Trong bài viết này, tôi sẽ phân tích những kiến thức toán học cốt lõi bạn cần cho AI và machine learning. Tôi cũng sẽ chia sẻ lộ trình và tài liệu chính xác đã giúp ích cho cá nhân tôi. Hãy bắt đầu ngay.
1. Thống kê và Xác suất
Ngôn ngữ của sự không chắc chắn, dữ liệu và suy luận
Các hệ thống AI/ML học từ dữ liệu vốn nhiễu, không đầy đủ và không chắc chắn. Xác suất và thống kê cung cấp các công cụ chính thức để suy luận trong điều kiện không chắc chắn và trích xuất các mẫu đáng tin cậy từ dữ liệu.
1.1 Tổng thể và Lấy mẫu
- Tổng thể: Tập hợp đầy đủ các điểm dữ liệu có thể có (thường không thể quan sát được).
- Mẫu: Một tập con được rút ra từ tổng thể.
- Hiểu về sai số lấy mẫu, tính đại diện và phương sai là rất quan trọng để mô hình tổng quát hóa tốt.
1.2 Thống kê mô tả
- Trung bình, Trung vị, Yếu vị: Các thước đo xu hướng trung tâm.
- Giá trị kỳ vọng: Giá trị trung bình theo xác suất; nền tảng cho các hàm mất mát và giảm thiểu rủi ro.
1.3 Phương sai và Hiệp phương sai
- Phương sai: Đo độ phân tán hoặc độ không chắc chắn trong dữ liệu.
- Hiệp phương sai: Đo lường cách hai biến số biến thiên cùng nhau.
- Dẫn trực tiếp đến việc hiểu về tương quan, đa cộng tuyến và tương tác giữa các đặc trưng.
1.4 Biến ngẫu nhiên
- Biến ngẫu nhiên rời rạc và liên tục.
- Hàm khối xác suất (PMF) và hàm mật độ xác suất (PDF).
1.5 Các phân phối xác suất phổ biến
Chúng xác định các giả định về cách dữ liệu được tạo ra:
- Phân phối Chuẩn (Gaussian): Mô hình nhiễu, sai số, CLT.
- Phân phối Nhị thức: Kết quả nhị phân, trực giác phân loại.
- Phân phối Đều: Tiên nghiệm không mang thông tin và các đường cơ sở ngẫu nhiên.
1.6 Định lý Giới hạn Trung tâm (CLT)
- Giải thích tại sao các giả định Gaussian xuất hiện ở khắp mọi nơi.
- Biện minh cho nhiều phương pháp thống kê ngay cả khi dữ liệu không được phân phối chuẩn.
1.7 Xác suất có điều kiện
- Xác suất khi có thông tin một phần.
- Cần thiết cho suy luận, dự đoán và trực giác nhân quả.
1.8 Định lý Bayes
- Cập nhật niềm tin với bằng chứng.
- Nền tảng của suy luận Bayes, mô hình xác suất và ML hiện đại có nhận thức về độ không chắc chắn.
1.9 Ước lượng Hợp lý Tối đa (MLE)
- Khuôn khổ để khớp các tham số mô hình với dữ liệu.
- Các hàm mất mát như MSE và cross-entropy phát sinh một cách tự nhiên từ MLE.
1.10 Hồi quy Tuyến tính và Hồi quy Logistic
- Hồi quy tuyến tính: Dự đoán liên tục dưới nhiễu Gaussian.
- Hồi quy logistic: Phân loại nhị phân xác suất.
- Cả hai đều là cánh cửa để hiểu các mô hình phức tạp hơn.
2. Đại số Tuyến tính
Cấu trúc của dữ liệu và mô hình
Hầu như mọi thứ trong machine learning đều là các phép toán ma trận. Dữ liệu, tham số, kích hoạt và gradient đều là các vector, ma trận hoặc tensor.
2.1 Vô hướng, Vector, Ma trận, Tensor
- Vô hướng: Các giá trị đơn lẻ.
- Vector: Biểu diễn đặc trưng.
- Ma trận: Tập dữ liệu, trọng số, phép biến đổi.
- Tensor: Tổng quát hóa chiều cao (deep learning).
2.2 Các phép toán Ma trận
- Cộng & Trừ: Kết hợp tín hiệu.
- Nhân: Các phép biến đổi tuyến tính và các lớp neural.
- Chuyển vị: Căn chỉnh hình dạng và đối xứng.
- Các phép toán này xác định các lượt truyền xuôi trong mô hình.
2.3 Định thức và Ma trận nghịch đảo
- Định thức: Tỷ lệ thể tích và tính suy biến.
- Ma trận nghịch đảo: Giải hệ phương trình tuyến tính (hiếm khi được tính trực tiếp trong thực tế, nhưng quan trọng về mặt khái niệm).
2.4 Hạng của Ma trận và Độc lập Tuyến tính
- Hạng xác định hàm lượng thông tin.
- Giải thích sự dư thừa, sự sụp đổ đặc trưng và tính nhận dạng được.
2.5 Trị riêng và Vector riêng
- Mô tả các hướng bất biến của các phép biến đổi.
- Trung tâm của sự ổn định, hội tụ và giảm chiều.
2.6 Phân rã Ma trận
Được sử dụng để đơn giản hóa, phân tích và nén dữ liệu:
- Phân rã Giá trị Suy biến (SVD): Công cụ cốt lõi cho sự ổn định số học và xấp xỉ hạng thấp.
- Phân tích Thành phần Chính (PCA): Giảm chiều, lọc nhiễu và trích xuất đặc trưng.
3. Giải tích
Học tập như một bài toán tối ưu hóa
Huấn luyện một mô hình AI là một bài toán tối ưu hóa. Giải tích giải thích cách các mô hình học, tốc độ học và liệu chúng có hội tụ hay không.
3.1 Đạo hàm và Gradient
- Đạo hàm: Tốc độ thay đổi.
- Gradient: Hướng tăng dốc nhất trong không gian nhiều chiều.
- Gradient thúc đẩy quá trình học thông qua gradient descent.
3.2 Giải tích Vector và Ma trận
Các mô hình hiện đại là đa chiều:
- Jacobian: Đạo hàm bậc nhất của các hàm nhận giá trị vector.
- Hessian: Thông tin độ cong bậc hai.
- Quy tắc Chuỗi: Xương sống của lan truyền ngược.
3.3 Cơ bản về Tối ưu hóa
Hiểu về bề mặt mất mát là rất quan trọng:
- Cực tiểu Địa phương và Toàn cục: Tại sao quá trình huấn luyện có thể bị "kẹt".
- Điểm Yên ngựa: Phổ biến trong không gian nhiều chiều.
- Tính lồi: Đảm bảo tính tối ưu và ổn định (hiếm nhưng quan trọng).
Cách Tôi Thực Sự Học Toán Này (Tài Liệu)
Đây là lộ trình đã hiệu quả với tôi.
1. Xây dựng Trực giác Trước
Trước khi đọc sách giáo khoa, tôi tập trung vào hiểu biết trực quan.
- 3Blue1Brown Đặc biệt:
- Essence of Linear Algebra
- Essence of Calculus
2. Các Khóa học Có Cấu trúc
- Imperial College London – Mathematics for Machine Learning trên Coursera Rất tốt cho đại số tuyến tính và giải tích nhiều biến, được giảng dạy theo cách rất thực tế.
3. Thống kê & Xác suất
- Khan Academy Giải thích rõ ràng và nhiều bài tập thực hành.
4. Kết nối Toán học với ML
- Tuyệt vời để hiểu cách lý thuyết biến thành các mô hình ML thực tế. Sách: An Introduction to Statistical Learning
5. Kết nối Mọi Thứ Lại Với Nhau
- Cho thấy tất cả các khái niệm kết hợp với nhau như thế nào trong các thuật toán thực tế. Sách: Mathematics for Machine Learning
