Bạn sẽ học được gì
- Diễn giải phép nhân ma trận theo cột và theo tổng các ma trận hạng một, liên hệ với bốn không gian con cơ bản
- Tính và diễn giải phân tích giá trị suy biến (SVD), phân biệt với phân tích trị riêng
- Áp dụng định lý Eckart–Young để xấp xỉ hạng thấp, nén ảnh và thực hiện PCA trên dữ liệu thật
- Giải bài toán bình phương tối thiểu bằng phương trình chuẩn, QR, SVD – giả nghịch đảo và đánh giá độ ổn định theo số điều kiện
- Giải thích ý tưởng đại số tuyến tính ngẫu nhiên hóa cho ma trận rất lớn
- Phân tích gradient descent, SGD và ADAM qua trị riêng của ma trận Hesse
- Mô tả mạng nơ-ron sâu như hợp các phép biến đổi ma trận và tính gradient bằng lan truyền ngược
Nên học trước
Giới thiệu
Phương pháp ma trận trong phân tích dữ liệu là phần đại số tuyến tính mà khoa học dữ liệu và học máy thực sự dùng hằng ngày. Một bảng dữ liệu m quan sát × n đặc trưng là một ma trận; một bức ảnh xám là một ma trận; một mạng xã hội là ma trận kề; các trọng số của một lớp mạng nơ-ron là một ma trận. Câu hỏi của môn học: phân rã ma trận như thế nào để lộ ra cấu trúc ẩn bên trong dữ liệu, và tính toán ra sao khi ma trận có hàng triệu dòng. Chủ đề này dựa trên MIT 18.065 Matrix Methods in Data Analysis, Signal Processing, and Machine Learning của Gilbert Strang (có video bài giảng đầy đủ trên MIT OpenCourseWare), đối chiếu với học phần Phân tích số liệu ở ĐHBK Hà Nội.
SVD: phân rã quan trọng nhất
Nếu chỉ nhớ một điều từ môn học này, hãy nhớ phân tích giá trị suy biến (SVD): mọi ma trận A đều viết được thành A = UΣVᵀ, với U, V trực giao và Σ chéo chứa các giá trị suy biến σ₁ ≥ σ₂ ≥ … ≥ 0. Viết lại, A là tổng các ma trận hạng một σᵢuᵢvᵢᵀ xếp theo mức độ quan trọng. Định lý Eckart–Young nói rằng giữ lại k số hạng đầu cho xấp xỉ hạng thấp tốt nhất của A — đây là nguyên lý của nén ảnh, lọc nhiễu, hệ gợi ý (Netflix Prize) và phân tích thành phần chính (PCA): các vectơ suy biến của ma trận dữ liệu đã trừ trung bình chính là các hướng biến thiên lớn nhất.
Bình phương tối thiểu và tính toán với ma trận lớn
Khi hệ Ax = b có nhiều phương trình hơn ẩn, ta tìm nghiệm bình phương tối thiểu cực tiểu ‖Ax − b‖². Có (ít nhất) bốn cách giải — phương trình chuẩn AᵀAx = Aᵀb, phân tích QR, SVD và giả nghịch đảo Moore–Penrose, và phương pháp lặp — và chúng khác nhau rất nhiều về độ ổn định số: tạo AᵀA bình phương số điều kiện của bài toán. Đây là chỗ đại số tuyến tính gặp giải tích số: trực chuẩn hóa Gram–Schmidt, phản xạ Householder, và với ma trận quá lớn, đại số tuyến tính ngẫu nhiên hóa — lấy mẫu ngẫu nhiên các cột để tính SVD xấp xỉ nhanh hơn nhiều lần.
Từ tối ưu đến học sâu
Nửa sau của môn học nối ma trận với tối ưu và học máy. Huấn luyện một mô hình là cực tiểu hóa một hàm mất mát bằng gradient descent và biến thể ngẫu nhiên SGD (cùng ADAM) — hiểu vì sao gradient descent chậm khi ma trận Hesse có số điều kiện lớn chính là bài toán trị riêng. Một mạng nơ-ron sâu là hợp của các phép biến đổi tuyến tính (ma trận trọng số) xen kẽ hàm kích hoạt phi tuyến như ReLU; lan truyền ngược là quy tắc dây chuyền được tính khéo bằng các phép nhân ma trận theo thứ tự ngược. Các chủ đề chọn lọc khác: ma trận Laplace của đồ thị và phân cụm phổ, biến đổi Fourier rời rạc và ma trận tuần hoàn, cảm biến nén (compressed sensing) và hoàn thiện ma trận.
Nên học thế nào
- Nền tảng: đại số tuyến tính vững (bốn không gian con cơ bản, trực giao, trị riêng, ma trận đối xứng) và xác suất (kỳ vọng, phương sai, hiệp phương sai, phân phối chuẩn nhiều chiều).
- Sách: Linear Algebra and Learning from Data của Strang là sách của chính MIT 18.065 — xem video bài giảng song song với đọc sách. Mathematics for Machine Learning (Deisenroth, Faisal, Ong; đọc miễn phí, đã có trong thư viện OpenER) trình bày cùng nội dung với ký hiệu của cộng đồng học máy. Numerical Linear Algebra của Trefethen và Bau là tài liệu chuẩn về QR, SVD, điều kiện và ổn định.
- Luôn chạy code: với NumPy, mỗi khái niệm đều thử được trong vài dòng — nén một bức ảnh bằng SVD, chạy PCA trên bộ dữ liệu chữ số viết tay, so sánh bốn cách giải bình phương tối thiểu trên ma trận điều kiện kém.
Học xong chủ đề này, bạn đọc được phần toán của hầu hết bài báo học máy và hiểu các thư viện như NumPy, scikit-learn, PyTorch đang làm gì bên dưới.
Giáo trình & sách tham khảo
Xem tất cả trong tab SáchGiáo trình chính
Linear Algebra and Learning from Data
Gilbert Strang · 2019
Vì sao chọn: Sách của chính MIT 18.065 do Gilbert Strang viết và giảng, có video bài giảng đầy đủ trên MIT OpenCourseWare. Chọn làm sách chính vì đi đúng mạch của lộ trình: phân rã ma trận → tính toán với ma trận lớn → tối ưu → học sâu; sách trả phí (trang của sách có mục lục, một số mục mẫu và lời giải chọn lọc).
Nên đọc: Part I Highlights of Linear Algebra; Part II Computations with Large Matrices; Part VI Optimization; Part VII Learning from Data (chọn lọc thêm Part III–V)
Numerical Linear Algebra
Lloyd N. Trefethen, David Bau III · 1997
Giáo trình đại số tuyến tính số kinh điển (SIAM), mỗi bài giảng ngắn gọn một chủ đề; tài liệu chuẩn để hiểu vì sao QR, SVD ổn định và số điều kiện quan trọng. Sách trả phí.
Nên đọc: Part I Fundamentals; Part II QR Factorization and Least Squares; Part III Conditioning and Stability
Mathematics for Machine Learning
Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong · 2020
Sách đọc miễn phí trên trang của tác giả (Cambridge University Press), đã có trong thư viện OpenER. Trình bày cùng nội dung bằng ký hiệu quen thuộc của cộng đồng học máy, có notebook Jupyter cho hồi quy tuyến tính và PCA.
Nên đọc: Chương 4 Matrix Decompositions; Chương 7 Continuous Optimization; Chương 9 Linear Regression; Chương 10 Dimensionality Reduction with Principal Component Analysis
Các bước học
Đăng nhập để đánh dấu các bước đã hoàn thành.
Bước 1: Ôn nhanh qua lăng kính mới: nhân ma trận, bốn không gian con, LU và trực giao
khoảng 6 giờNhìn lại đại số tuyến tính theo cách của 18.065: Ax theo cột, AB là tổng các ma trận hạng một, phân tích A = CR, bốn không gian con cơ bản, phân tích LU, ma trận trực giao và phép chiếu. Viết bằng NumPy hàm tính AB như tổng các tích cột – hàng và kiểm tra với A @ B; nếu cần ôn lại kiến thức nền, dùng khóa Nhập môn Đại số tuyến tính trên OpenER.
- Đọc: Part I: I.1–I.5 (nhân ma trận theo cột, AB, bốn không gian con, A = LU, ma trận trực giao) — Linear Algebra and Learning from Data
- Đọc: Part I Fundamentals — Numerical Linear Algebra
Bước 2: Trị riêng, ma trận xác định dương và SVD
khoảng 8 giờHọc trị riêng và vectơ riêng, ma trận đối xứng và định lý phổ, ma trận xác định dương, SVD và ý nghĩa hình học (xoay – co giãn – xoay), thương Rayleigh, chuẩn vectơ và chuẩn ma trận. Tính SVD của một ma trận 2 × 2 bằng tay, kiểm tra bằng numpy.linalg.svd và vẽ ảnh của đường tròn đơn vị qua ma trận đó.
- Đọc: Part I: I.6–I.8, I.10–I.11 (trị riêng, ma trận xác định dương, SVD, thương Rayleigh, chuẩn) — Linear Algebra and Learning from Data
- Đọc: Chương 4 Matrix Decompositions — Mathematics for Machine Learning
Bước 3: PCA và xấp xỉ hạng thấp
khoảng 6 giờHọc định lý Eckart–Young, xấp xỉ hạng thấp tốt nhất, phân tích thành phần chính, liên hệ giữa SVD của ma trận dữ liệu và ma trận hiệp phương sai, phân rã ma trận không âm. Nén một ảnh xám bằng SVD giữ k = 5, 20, 50 giá trị suy biến, và chạy PCA trên bộ dữ liệu chữ số viết tay để chiếu xuống 2 chiều.
- Đọc: Part I: I.9 Principal Components and the Best Low Rank Matrix; I.12 Factoring Matrices and Tensors — Linear Algebra and Learning from Data
- Đọc: Chương 10 Dimensionality Reduction with Principal Component Analysis — Mathematics for Machine Learning
Bước 4: Bình phương tối thiểu và tính toán với ma trận lớn
khoảng 7 giờHọc bốn cách giải bình phương tối thiểu (phương trình chuẩn, QR, SVD – giả nghịch đảo, lặp), điều kiện và ổn định, Gram–Schmidt và Householder, ba cơ sở cho không gian cột, đại số tuyến tính ngẫu nhiên hóa. Khớp đa thức bậc 10 vào 50 điểm dữ liệu nhiễu bằng phương trình chuẩn và bằng QR, so sánh sai số; đọc tài liệu OpenER về hồi quy tuyến tính để thấy bình phương tối thiểu trong học máy.
- Đọc: Part II: II.1–II.4 (đại số tuyến tính số, bình phương tối thiểu bốn cách, ba cơ sở cho không gian cột, đại số tuyến tính ngẫu nhiên hóa) — Linear Algebra and Learning from Data
- Đọc: Part II QR Factorization and Least Squares; Part III Conditioning and Stability — Numerical Linear Algebra
- Đọc: Chương 9 Linear Regression — Mathematics for Machine Learning
Bước 5: Tối ưu: gradient descent, SGD và ADAM
khoảng 6 giờHọc cực tiểu và tính lồi, phương pháp Newton, nhân tử Lagrange, gradient descent và tốc độ hội tụ theo số điều kiện, momentum, gradient descent ngẫu nhiên và ADAM. Cài đặt gradient descent có và không có momentum cho hàm bậc hai f(x, y) = (x² + 10y²)/2, vẽ quỹ đạo và giải thích bằng trị riêng.
- Đọc: Part VI: VI.1–VI.5 (cực tiểu và tính lồi, nhân tử Lagrange, quy hoạch tuyến tính, gradient descent, SGD và ADAM) — Linear Algebra and Learning from Data
- Đọc: Chương 7 Continuous Optimization — Mathematics for Machine Learning
Bước 6: Học từ dữ liệu: mạng nơ-ron sâu và lan truyền ngược
khoảng 7 giờHọc cấu trúc mạng nơ-ron sâu như hợp các phép biến đổi tuyến tính và ReLU, mạng tích chập, lan truyền ngược bằng quy tắc dây chuyền, siêu tham số; ma trận Laplace của đồ thị và phân cụm phổ. Viết từ đầu bằng NumPy một mạng hai lớp phân loại dữ liệu hình xoắn ốc, tự tính gradient bằng lan truyền ngược và kiểm tra bằng sai phân hữu hạn. Khóa Học máy và tài liệu mạng nơ-ron trên OpenER là phần ứng dụng đi kèm; video bài giảng MIT 18.065 trên MIT OpenCourseWare đi theo đúng sách chính.
- Đọc: Part VII: VII.1–VII.4 (mạng nơ-ron sâu, mạng tích chập, lan truyền ngược, siêu tham số); IV.6–IV.7 (Laplacian của đồ thị, phân cụm phổ) — Linear Algebra and Learning from Data
Khái niệm chính
- Nhân ma trận theo cột và tổng hạng một
- Ax là tổ hợp tuyến tính các cột của A; AB là tổng các tích cột – hàng (ma trận hạng một), cách nhìn nền tảng cho mọi phân rã.
- Phân tích QR
- A = QR với Q có cột trực chuẩn, R tam giác trên; tính bằng Gram–Schmidt hoặc phản xạ Householder, là cách ổn định để giải bình phương tối thiểu.
- Ma trận đối xứng xác định dương
- S = Sᵀ với mọi trị riêng dương (xᵀSx > 0); xuất hiện ở ma trận hiệp phương sai, ma trận Hesse của hàm lồi mạnh và AᵀA khi A có hạng cột đầy đủ.
- Phân tích giá trị suy biến (SVD)
- A = UΣVᵀ với U, V trực giao và Σ chéo không âm; tồn tại với mọi ma trận chữ nhật, các giá trị suy biến đo “độ lớn” của A theo từng hướng.
- Xấp xỉ hạng thấp (Eckart–Young)
- Giữ k giá trị suy biến lớn nhất cho ma trận hạng k gần A nhất theo chuẩn 2 và chuẩn Frobenius; nền của nén dữ liệu và lọc nhiễu.
- Phân tích thành phần chính (PCA)
- Tìm các hướng có phương sai lớn nhất của dữ liệu đã trừ trung bình — chính là vectơ suy biến của ma trận dữ liệu (vectơ riêng của ma trận hiệp phương sai).
- Bình phương tối thiểu
- Tìm x̂ cực tiểu ‖Ax − b‖²; x̂ thỏa phương trình chuẩn AᵀAx̂ = Aᵀb, và Ax̂ là hình chiếu của b lên không gian cột của A.
- Giả nghịch đảo Moore–Penrose
- A⁺ = VΣ⁺Uᵀ; cho nghiệm bình phương tối thiểu có chuẩn nhỏ nhất, kể cả khi A không đủ hạng.
- Số điều kiện
- κ(A) = σ_max/σ_min đo mức khuếch đại sai số khi giải Ax = b; phương trình chuẩn bình phương số điều kiện nên kém ổn định hơn QR.
- Chuẩn ma trận
- Chuẩn 2 (giá trị suy biến lớn nhất), chuẩn Frobenius (căn tổng bình phương các phần tử), chuẩn hạt nhân (tổng giá trị suy biến) — mỗi chuẩn dùng cho một loại bài toán.
- Đại số tuyến tính ngẫu nhiên hóa
- Nhân ma trận với ma trận ngẫu nhiên hoặc lấy mẫu cột để tính SVD, bình phương tối thiểu xấp xỉ cho ma trận rất lớn với sai số kiểm soát được.
- Gradient descent ngẫu nhiên (SGD)
- Cập nhật tham số theo gradient tính trên một lô nhỏ dữ liệu; nhanh với dữ liệu lớn, các biến thể như momentum, ADAM cải thiện hội tụ.
- Lan truyền ngược (Backpropagation)
- Áp dụng quy tắc dây chuyền theo thứ tự ngược qua các lớp để tính gradient của hàm mất mát theo mọi trọng số với chi phí tương đương một lần lan truyền xuôi.
- Ma trận Laplace của đồ thị
- L = D − A (bậc trừ kề); các vectơ riêng ứng với trị riêng nhỏ nhất tiết lộ cấu trúc cụm, là nền của phân cụm phổ.
Học xong để làm gì
- Hệ gợi ý (phim, sản phẩm, âm nhạc): phân rã ma trận người dùng × sản phẩm để dự đoán đánh giá còn thiếu
- Nén và xử lý ảnh, video: xấp xỉ hạng thấp, lọc nhiễu, nhận dạng khuôn mặt bằng eigenfaces
- Giảm chiều và trực quan hóa dữ liệu bằng PCA trước khi huấn luyện mô hình học máy
- Xử lý ngôn ngữ tự nhiên: phân tích ngữ nghĩa ẩn (LSA), nhúng từ, và tinh chỉnh mô hình ngôn ngữ lớn bằng cập nhật hạng thấp (LoRA)
- Huấn luyện mạng nơ-ron sâu: SGD, ADAM và lan truyền ngược đều là phép toán ma trận trên GPU
- Phân tích mạng xã hội và đồ thị: phân cụm phổ, xếp hạng trang (PageRank) bằng vectơ riêng
Câu hỏi thường gặp
Môn này khác gì Đại số tuyến tính đã học?
Đại số tuyến tính cơ bản dạy ngôn ngữ (không gian vectơ, định thức, trị riêng); môn này tập trung vào phân rã ma trận (đặc biệt SVD), tính toán ổn định với ma trận lớn và ứng dụng trực tiếp vào dữ liệu, tối ưu, học máy.
Có video bài giảng không?
Có: MIT 18.065 của Gilbert Strang (Spring 2018) có video bài giảng đầy đủ trên MIT OpenCourseWare, đi theo đúng sách Linear Algebra and Learning from Data.
Cần xác suất thống kê đến mức nào?
Kỳ vọng, phương sai, hiệp phương sai, phân phối chuẩn nhiều chiều và ý tưởng của ước lượng là đủ; PCA và bình phương tối thiểu có trọng số dùng trực tiếp ma trận hiệp phương sai.
Tại sao không nên giải bình phương tối thiểu bằng phương trình chuẩn?
Vì AᵀA có số điều kiện bằng bình phương số điều kiện của A, nên với dữ liệu gần suy biến sai số làm tròn bị khuếch đại mạnh; QR hoặc SVD ổn định hơn nhiều — đó là cách numpy.linalg.lstsq làm.
Học xong có đủ để làm học máy không?
Đủ phần toán ma trận và tối ưu; để làm học máy còn cần xác suất – thống kê sâu hơn, lập trình với thư viện (scikit-learn, PyTorch) và kinh nghiệm xử lý dữ liệu thật.


