Bạn sẽ học được gì
- Biểu diễn dữ liệu và mô hình tuyến tính bằng vectơ, ma trận; dùng tích vô hướng, chuẩn và phép chiếu để đo độ giống và khoảng cách
- Tính trị riêng, phân tích giá trị suy biến (SVD) và dùng chúng để giảm chiều dữ liệu bằng PCA
- Tính gradient, ma trận Jacobi của hàm nhiều biến và áp dụng quy tắc dây chuyền như trong lan truyền ngược
- Dùng phân phối Gauss, định lý Bayes và ước lượng hợp lý cực đại để mô tả dữ liệu có nhiễu
- Giải bài toán tối ưu liên tục bằng gradient descent và nhân tử Lagrange
- Ghép các mảnh toán thành mô hình hoàn chỉnh: hồi quy tuyến tính, PCA, mô hình hỗn hợp Gauss, SVM
Nên học trước
Giới thiệu
Toán cho học máy gom lại những phần toán mà học máy thực sự dùng — đại số tuyến tính, giải tích vectơ, xác suất và tối ưu liên tục — rồi trình bày chúng đúng theo cách các mô hình học máy dùng chúng. Ba chủ đề đầu của nhóm Toán học — Giải tích, Đại số tuyến tính và Xác suất thống kê — dạy từng môn riêng; chủ đề này nối các mảnh đó lại quanh một câu hỏi duy nhất: mô hình học từ dữ liệu bằng những phép toán nào? Chủ đề bám theo sách Mathematics for Machine Learning của Deisenroth, Faisal và Ong (bản PDF đọc miễn phí trên trang của sách), cùng tinh thần với chuyên đề Mathematics for Machine Learning của Imperial College London.
Không bắt buộc, nhưng rất đáng học
Đây là chủ đề khuyến khích, không phải môn bắt buộc trước Học máy. Bạn hoàn toàn có thể vào thẳng Học máy và tra lại toán khi gặp. Nhưng nếu khi đọc về hồi quy tuyến tính, PCA hay gradient descent mà ký hiệu ma trận, đạo hàm theo vectơ hay hàm hợp lý làm bạn chững lại, vài tuần ở đây sẽ giúp phần còn lại của nhóm Trí tuệ nhân tạo nhẹ hơn nhiều: bạn hiểu vì sao thuật toán chạy, đọc được sách và bài báo, và biết sửa khi mô hình hỏng thay vì chỉ thử đổi thư viện.
Bốn mảng toán chính
- Đại số tuyến tính và hình học giải tích. Dữ liệu là vectơ, một bảng dữ liệu là ma trận, mô hình tuyến tính là phép nhân ma trận. Tích vô hướng, chuẩn, góc và phép chiếu trực giao là ngôn ngữ của “giống nhau” và “gần nhất” — nghiệm bình phương tối thiểu của hồi quy tuyến tính chính là một phép chiếu.
- Phân rã ma trận. Trị riêng, phân tích Cholesky, phân tích giá trị suy biến (SVD) và xấp xỉ hạng thấp — nền của PCA, nén dữ liệu và hệ gợi ý.
- Giải tích vectơ. Gradient, ma trận Jacobi, gradient theo ma trận và quy tắc dây chuyền cho hàm nhiều biến. Lan truyền ngược (backpropagation) trong mạng nơ-ron không gì khác ngoài quy tắc dây chuyền được tính khéo từ đầu ra về đầu vào.
- Xác suất và tối ưu liên tục. Phân phối Gauss nhiều chiều, định lý Bayes, ước lượng hợp lý cực đại; gradient descent, nhân tử Lagrange và nhập môn tối ưu lồi — đủ để hiểu mô hình được huấn luyện thế nào.
Từ toán đến mô hình
Phần hai của sách ghép bốn mảng trên thành bốn mô hình hoàn chỉnh: hồi quy tuyến tính (bình phương tối thiểu, hợp lý cực đại, góc nhìn Bayes), PCA, mô hình hỗn hợp Gauss với thuật toán EM, và SVM qua bài toán đối ngẫu. Làm xong phần này, các chương đầu của Học máy sẽ quen thuộc ngay, và bạn sẽ nhận ra cùng một ý tưởng toán xuất hiện lặp lại ở rất nhiều mô hình khác nhau.
Nên học thế nào
- Nền tảng: Giải tích, Đại số tuyến tính, Xác suất thống kê (các chủ đề trước trong nhóm Toán học); Python và NumPy cơ bản.
- Mỗi khái niệm một đoạn code: tự tính gradient của hàm mất mát rồi kiểm tra bằng sai phân hữu hạn; tự làm PCA bằng SVD trên một bộ dữ liệu nhỏ; sinh dữ liệu Gauss rồi ước lượng lại tham số. Code ngắn nhưng biến công thức thành thứ nhìn thấy được.
- Đọc thêm: Introduction to Applied Linear Algebra của Boyd và Vandenberghe (đọc miễn phí) để ôn đại số tuyến tính thật nhẹ nhàng; Linear Algebra and Learning from Data của Strang để đi sâu hơn.
- Xem thêm: lộ trình Toán học có chủ đề Phương pháp ma trận trong phân tích dữ liệu (MIT 18.065) về ma trận lớn, xấp xỉ hạng thấp và nền toán của mạng nơ-ron; nhóm này có chủ đề Optimization cho phần tối ưu sâu hơn.
Giáo trình & sách tham khảo
Xem tất cả trong tab SáchGiáo trình chính
Mathematics for Machine Learning
Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong · 2020
Vì sao chọn: Sách viết đúng cho mục đích của chủ đề này, bản PDF đọc miễn phí trên trang của sách (mml-book.github.io), có bài tập và notebook Python. Chọn làm sách chính vì đi đúng thứ tự từ toán đến mô hình và phủ cả sáu bước của lộ trình.
Nên đọc: Chương 2–7 (Phần I: nền tảng toán học); Chương 8–12 (Phần II: các bài toán học máy trung tâm)
Introduction to Applied Linear Algebra: Vectors, Matrices, and Least Squares
Stephen Boyd, Lieven Vandenberghe · 2018
Giáo trình đại số tuyến tính ứng dụng nhẹ nhàng nhất, đọc miễn phí trên trang của tác giả. Rất hợp để ôn vectơ, ma trận và bình phương tối thiểu trước hoặc trong bước 1; không bắt buộc.
Nên đọc: Phần I Vectors (Chương 1–5); Phần II Matrices (Chương 6–11); Phần III Least squares (Chương 12–19)
Linear Algebra and Learning from Data
Gilbert Strang · 2019
Sách của MIT 18.065, đi sâu hơn vào ma trận lớn, tối ưu và nền toán của mạng nơ-ron; sách trả phí. Đọc khi đã xong sách chính và muốn tiếp tục với chủ đề Phương pháp ma trận của lộ trình Toán học.
Nên đọc: Part I Highlights of Linear Algebra; Part VI Optimization; Part VII Learning from Data
Các bước học
Đăng nhập để đánh dấu các bước đã hoàn thành.
Bước 1: Vectơ, ma trận và hình học của dữ liệu
khoảng 8 giờHọc không gian vectơ, ánh xạ tuyến tính, hạng, tích vô hướng, chuẩn, góc và phép chiếu trực giao. Biểu diễn một bộ dữ liệu nhỏ thành ma trận, tính khoảng cách Euclid và độ tương đồng cosin giữa các mẫu bằng NumPy, rồi chiếu dữ liệu lên một đường thẳng và so với nghiệm bình phương tối thiểu.
- Đọc: Chương 2 Linear Algebra; Chương 3 Analytic Geometry — Mathematics for Machine Learning
Bước 2: Trị riêng, SVD và phân rã ma trận
khoảng 8 giờHọc định thức, vết, trị riêng và vectơ riêng, phân tích Cholesky, chéo hóa, phân tích giá trị suy biến và xấp xỉ hạng thấp. Nén một ảnh xám bằng SVD với vài hạng k khác nhau, so sánh chất lượng ảnh và dung lượng cần lưu.
- Đọc: Chương 4 Matrix Decompositions — Mathematics for Machine Learning
Bước 3: Giải tích vectơ và lan truyền ngược
khoảng 8 giờHọc đạo hàm riêng, gradient, ma trận Jacobi, gradient theo ma trận, quy tắc dây chuyền, lan truyền ngược và tự động tính đạo hàm, khai triển Taylor nhiều biến. Tự tính gradient của hàm mất mát bình phương cho hồi quy tuyến tính, kiểm tra lại bằng sai phân hữu hạn.
- Đọc: Chương 5 Vector Calculus — Mathematics for Machine Learning
Bước 4: Xác suất cho học máy
khoảng 7 giờHọc không gian xác suất, quy tắc tổng và quy tắc tích, định lý Bayes, kỳ vọng và hiệp phương sai, phân phối Gauss nhiều chiều, họ phân phối mũ. Sinh dữ liệu từ một phân phối Gauss hai chiều, ước lượng lại trung bình và ma trận hiệp phương sai rồi vẽ elip mật độ.
- Đọc: Chương 6 Probability and Distributions — Mathematics for Machine Learning
Bước 5: Tối ưu liên tục
khoảng 6 giờHọc gradient descent, chọn bước học, momentum, gradient ngẫu nhiên; tối ưu có ràng buộc và nhân tử Lagrange; nhập môn tối ưu lồi và đối ngẫu. Cài gradient descent cho một hàm hai biến, vẽ quỹ đạo các bước với vài bước học khác nhau để thấy khi nào hội tụ, khi nào dao động.
- Đọc: Chương 7 Continuous Optimization — Mathematics for Machine Learning
Bước 6: Từ toán đến mô hình: hồi quy, PCA, GMM, SVM
khoảng 8 giờHọc phần hai của sách: dữ liệu và mô hình, hồi quy tuyến tính (bình phương tối thiểu, hợp lý cực đại, Bayes), PCA, mô hình hỗn hợp Gauss với thuật toán EM, SVM và bài toán đối ngẫu. Cài PCA bằng SVD và hồi quy tuyến tính bằng phương trình chuẩn trên cùng một bộ dữ liệu thật, đối chiếu kết quả với scikit-learn.
- Đọc: Chương 8 When Models Meet Data; Chương 9 Linear Regression; Chương 10 Dimensionality Reduction with Principal Component Analysis; Chương 11 Density Estimation with Gaussian Mixture Models; Chương 12 Classification with Support Vector Machines — Mathematics for Machine Learning
Khái niệm chính
- Không gian vectơ và ánh xạ tuyến tính
- Tập các vectơ đóng với phép cộng và phép nhân vô hướng; ánh xạ tuyến tính giữa chúng được biểu diễn bằng ma trận — một tầng của mạng nơ-ron trước hàm kích hoạt chính là một ánh xạ tuyến tính.
- Tích vô hướng và phép chiếu trực giao
- Tích vô hướng đo độ giống giữa hai vectơ; chiếu một vectơ lên một không gian con cho điểm gần nhất trong không gian đó — chính là nghiệm bình phương tối thiểu của hồi quy tuyến tính.
- Phân tích trị riêng
- Viết ma trận vuông chéo hóa được thành PDP⁻¹; trị riêng cho biết ma trận kéo giãn không gian theo những hướng nào và bao nhiêu — với ma trận hiệp phương sai, đó là các hướng biến thiên chính của dữ liệu.
- Phân tích giá trị suy biến (SVD)
- Mọi ma trận A viết được thành UΣVᵀ với U, V trực giao và Σ chéo; giữ k giá trị suy biến lớn nhất cho xấp xỉ hạng k tốt nhất của A — nền của PCA và nén dữ liệu.
- Gradient và ma trận Jacobi
- Gradient của hàm vô hướng nhiều biến chỉ hướng tăng nhanh nhất; ma trận Jacobi gom các đạo hàm riêng của một hàm vectơ. Huấn luyện mô hình là đi ngược hướng gradient của hàm mất mát.
- Quy tắc dây chuyền nhiều biến
- Đạo hàm của hàm hợp bằng tích các ma trận Jacobi của từng tầng; lan truyền ngược trong mạng nơ-ron là cách tính tích này hiệu quả từ đầu ra về đầu vào.
- Phân phối Gauss nhiều chiều
- Phân phối hình chuông trong nhiều chiều, xác định bởi vectơ trung bình và ma trận hiệp phương sai; xuất hiện khắp học máy nhờ đóng dưới biến đổi tuyến tính, phép lấy biên và điều kiện hóa.
- Ước lượng hợp lý cực đại (MLE)
- Chọn tham số làm dữ liệu quan sát được có xác suất cao nhất; với nhiễu Gauss, MLE của hồi quy tuyến tính trùng với nghiệm bình phương tối thiểu.
- Nhân tử Lagrange
- Biến bài toán tối ưu có ràng buộc thành tìm điểm dừng của hàm Lagrange; dẫn tới bài toán đối ngẫu của SVM và nhiều bài toán có ràng buộc khác.
- Phân tích thành phần chính (PCA)
- Chiếu dữ liệu đã trừ trung bình lên các hướng có phương sai lớn nhất (vectơ riêng của ma trận hiệp phương sai) để giảm chiều mà giữ lại nhiều thông tin nhất.
Học xong để làm gì
- Giảm chiều và trực quan hóa dữ liệu nhiều đặc trưng bằng PCA
- Huấn luyện hồi quy tuyến tính và hồi quy logistic bằng gradient descent
- Hiểu và gỡ lỗi lan truyền ngược khi huấn luyện mạng nơ-ron
- Hệ gợi ý dựa trên phân rã ma trận
- Phân cụm mềm bằng mô hình hỗn hợp Gauss
Câu hỏi thường gặp
Có bắt buộc học chủ đề này trước Học máy không?
Không. Bạn có thể học Học máy ngay sau Giải tích, Đại số tuyến tính và Xác suất thống kê, rồi tra lại toán khi cần. Chủ đề này dành cho ai muốn hiểu chắc phần toán để học máy nhẹ nhàng hơn, hoặc muốn đọc được sách và bài báo nhiều ký hiệu.
Khác gì Đại số tuyến tính và Xác suất thống kê đã học?
Các môn đó dạy toán theo cách của toán học. Ở đây cùng các khái niệm được chọn lọc và trình bày theo cách học máy dùng — đạo hàm theo vectơ và ma trận, SVD để giảm chiều, hợp lý cực đại để huấn luyện — kèm ví dụ mô hình cụ thể.
Nên học chủ đề này hay Phương pháp ma trận trong phân tích dữ liệu?
Toán cho học máy rộng hơn (thêm giải tích vectơ, xác suất, tối ưu) và hợp với người chuẩn bị học Học máy. Phương pháp ma trận (lộ trình Toán học, theo MIT 18.065) đi sâu riêng vào ma trận lớn và tính toán, hợp khi đã quen học máy.
Cần lập trình tới mức nào?
Python và NumPy cơ bản là đủ: tạo mảng, nhân ma trận, vẽ đồ thị. Mục tiêu là kiểm chứng công thức bằng vài dòng code, không phải xây dựng hệ thống.
Mất bao lâu?
Khoảng 45 giờ, tương đương 7–8 tuần nếu học 6 giờ mỗi tuần.


