Bỏ qua tới nội dung chính
Toán học

Hướng dẫn học chủ đề

Phương pháp ma trận trong phân tích dữ liệu

Trung bìnhkhoảng 40 giờ6 bước

Phân rã ma trận, xấp xỉ hạng thấp, bình phương tối thiểu, PCA, gradient ngẫu nhiên và nền toán học của mạng nơ-ron.

Bắt đầu học

Bạn sẽ học được gì

  • Diễn giải phép nhân ma trận theo cột và theo tổng các ma trận hạng một, liên hệ với bốn không gian con cơ bản
  • Tính và diễn giải phân tích giá trị suy biến (SVD), phân biệt với phân tích trị riêng
  • Áp dụng định lý Eckart–Young để xấp xỉ hạng thấp, nén ảnh và thực hiện PCA trên dữ liệu thật
  • Giải bài toán bình phương tối thiểu bằng phương trình chuẩn, QR, SVD – giả nghịch đảo và đánh giá độ ổn định theo số điều kiện
  • Giải thích ý tưởng đại số tuyến tính ngẫu nhiên hóa cho ma trận rất lớn
  • Phân tích gradient descent, SGD và ADAM qua trị riêng của ma trận Hesse
  • Mô tả mạng nơ-ron sâu như hợp các phép biến đổi ma trận và tính gradient bằng lan truyền ngược

Nên học trước

Giới thiệu

Phương pháp ma trận trong phân tích dữ liệu là phần đại số tuyến tính mà khoa học dữ liệu và học máy thực sự dùng hằng ngày. Một bảng dữ liệu m quan sát × n đặc trưng là một ma trận; một bức ảnh xám là một ma trận; một mạng xã hội là ma trận kề; các trọng số của một lớp mạng nơ-ron là một ma trận. Câu hỏi của môn học: phân rã ma trận như thế nào để lộ ra cấu trúc ẩn bên trong dữ liệu, và tính toán ra sao khi ma trận có hàng triệu dòng. Chủ đề này dựa trên MIT 18.065 Matrix Methods in Data Analysis, Signal Processing, and Machine Learning của Gilbert Strang (có video bài giảng đầy đủ trên MIT OpenCourseWare), đối chiếu với học phần Phân tích số liệu ở ĐHBK Hà Nội.

SVD: phân rã quan trọng nhất

Nếu chỉ nhớ một điều từ môn học này, hãy nhớ phân tích giá trị suy biến (SVD): mọi ma trận A đều viết được thành A = UΣVᵀ, với U, V trực giao và Σ chéo chứa các giá trị suy biến σ₁ ≥ σ₂ ≥ … ≥ 0. Viết lại, A là tổng các ma trận hạng một σᵢuᵢvᵢᵀ xếp theo mức độ quan trọng. Định lý Eckart–Young nói rằng giữ lại k số hạng đầu cho xấp xỉ hạng thấp tốt nhất của A — đây là nguyên lý của nén ảnh, lọc nhiễu, hệ gợi ý (Netflix Prize) và phân tích thành phần chính (PCA): các vectơ suy biến của ma trận dữ liệu đã trừ trung bình chính là các hướng biến thiên lớn nhất.

Bình phương tối thiểu và tính toán với ma trận lớn

Khi hệ Ax = b có nhiều phương trình hơn ẩn, ta tìm nghiệm bình phương tối thiểu cực tiểu ‖Ax − b‖². Có (ít nhất) bốn cách giải — phương trình chuẩn AᵀAx = Aᵀb, phân tích QR, SVD và giả nghịch đảo Moore–Penrose, và phương pháp lặp — và chúng khác nhau rất nhiều về độ ổn định số: tạo AᵀA bình phương số điều kiện của bài toán. Đây là chỗ đại số tuyến tính gặp giải tích số: trực chuẩn hóa Gram–Schmidt, phản xạ Householder, và với ma trận quá lớn, đại số tuyến tính ngẫu nhiên hóa — lấy mẫu ngẫu nhiên các cột để tính SVD xấp xỉ nhanh hơn nhiều lần.

Từ tối ưu đến học sâu

Nửa sau của môn học nối ma trận với tối ưu và học máy. Huấn luyện một mô hình là cực tiểu hóa một hàm mất mát bằng gradient descent và biến thể ngẫu nhiên SGD (cùng ADAM) — hiểu vì sao gradient descent chậm khi ma trận Hesse có số điều kiện lớn chính là bài toán trị riêng. Một mạng nơ-ron sâu là hợp của các phép biến đổi tuyến tính (ma trận trọng số) xen kẽ hàm kích hoạt phi tuyến như ReLU; lan truyền ngược là quy tắc dây chuyền được tính khéo bằng các phép nhân ma trận theo thứ tự ngược. Các chủ đề chọn lọc khác: ma trận Laplace của đồ thị và phân cụm phổ, biến đổi Fourier rời rạc và ma trận tuần hoàn, cảm biến nén (compressed sensing) và hoàn thiện ma trận.

Nên học thế nào

  • Nền tảng: đại số tuyến tính vững (bốn không gian con cơ bản, trực giao, trị riêng, ma trận đối xứng) và xác suất (kỳ vọng, phương sai, hiệp phương sai, phân phối chuẩn nhiều chiều).
  • Sách: Linear Algebra and Learning from Data của Strang là sách của chính MIT 18.065 — xem video bài giảng song song với đọc sách. Mathematics for Machine Learning (Deisenroth, Faisal, Ong; đọc miễn phí, đã có trong thư viện OpenER) trình bày cùng nội dung với ký hiệu của cộng đồng học máy. Numerical Linear Algebra của Trefethen và Bau là tài liệu chuẩn về QR, SVD, điều kiện và ổn định.
  • Luôn chạy code: với NumPy, mỗi khái niệm đều thử được trong vài dòng — nén một bức ảnh bằng SVD, chạy PCA trên bộ dữ liệu chữ số viết tay, so sánh bốn cách giải bình phương tối thiểu trên ma trận điều kiện kém.

Học xong chủ đề này, bạn đọc được phần toán của hầu hết bài báo học máy và hiểu các thư viện như NumPy, scikit-learn, PyTorch đang làm gì bên dưới.

Giáo trình & sách tham khảo

Xem tất cả trong tab Sách

Giáo trình chính

Có phíTrung bìnhTiếng Anh432 trang

Vì sao chọn: Sách của chính MIT 18.065 do Gilbert Strang viết và giảng, có video bài giảng đầy đủ trên MIT OpenCourseWare. Chọn làm sách chính vì đi đúng mạch của lộ trình: phân rã ma trận → tính toán với ma trận lớn → tối ưu → học sâu; sách trả phí (trang của sách có mục lục, một số mục mẫu và lời giải chọn lọc).

Nên đọc: Part I Highlights of Linear Algebra; Part II Computations with Large Matrices; Part VI Optimization; Part VII Learning from Data (chọn lọc thêm Part III–V)

Numerical Linear Algebra

Lloyd N. Trefethen, David Bau III · 1997

Có phíNâng caoTiếng Anh361 trang

Giáo trình đại số tuyến tính số kinh điển (SIAM), mỗi bài giảng ngắn gọn một chủ đề; tài liệu chuẩn để hiểu vì sao QR, SVD ổn định và số điều kiện quan trọng. Sách trả phí.

Nên đọc: Part I Fundamentals; Part II QR Factorization and Least Squares; Part III Conditioning and Stability

Mathematics for Machine Learning

Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong · 2020

Miễn phíTrung bìnhTiếng Anh371 trang

Sách đọc miễn phí trên trang của tác giả (Cambridge University Press), đã có trong thư viện OpenER. Trình bày cùng nội dung bằng ký hiệu quen thuộc của cộng đồng học máy, có notebook Jupyter cho hồi quy tuyến tính và PCA.

Nên đọc: Chương 4 Matrix Decompositions; Chương 7 Continuous Optimization; Chương 9 Linear Regression; Chương 10 Dimensionality Reduction with Principal Component Analysis

Các bước học

Đăng nhập để đánh dấu các bước đã hoàn thành.

  1. Bước 1: Ôn nhanh qua lăng kính mới: nhân ma trận, bốn không gian con, LU và trực giao

    khoảng 6 giờ

    Nhìn lại đại số tuyến tính theo cách của 18.065: Ax theo cột, AB là tổng các ma trận hạng một, phân tích A = CR, bốn không gian con cơ bản, phân tích LU, ma trận trực giao và phép chiếu. Viết bằng NumPy hàm tính AB như tổng các tích cột – hàng và kiểm tra với A @ B; nếu cần ôn lại kiến thức nền, dùng khóa Nhập môn Đại số tuyến tính trên OpenER.

  2. Bước 2: Trị riêng, ma trận xác định dương và SVD

    khoảng 8 giờ

    Học trị riêng và vectơ riêng, ma trận đối xứng và định lý phổ, ma trận xác định dương, SVD và ý nghĩa hình học (xoay – co giãn – xoay), thương Rayleigh, chuẩn vectơ và chuẩn ma trận. Tính SVD của một ma trận 2 × 2 bằng tay, kiểm tra bằng numpy.linalg.svd và vẽ ảnh của đường tròn đơn vị qua ma trận đó.

  3. Bước 3: PCA và xấp xỉ hạng thấp

    khoảng 6 giờ

    Học định lý Eckart–Young, xấp xỉ hạng thấp tốt nhất, phân tích thành phần chính, liên hệ giữa SVD của ma trận dữ liệu và ma trận hiệp phương sai, phân rã ma trận không âm. Nén một ảnh xám bằng SVD giữ k = 5, 20, 50 giá trị suy biến, và chạy PCA trên bộ dữ liệu chữ số viết tay để chiếu xuống 2 chiều.

  4. Bước 4: Bình phương tối thiểu và tính toán với ma trận lớn

    khoảng 7 giờ

    Học bốn cách giải bình phương tối thiểu (phương trình chuẩn, QR, SVD – giả nghịch đảo, lặp), điều kiện và ổn định, Gram–Schmidt và Householder, ba cơ sở cho không gian cột, đại số tuyến tính ngẫu nhiên hóa. Khớp đa thức bậc 10 vào 50 điểm dữ liệu nhiễu bằng phương trình chuẩn và bằng QR, so sánh sai số; đọc tài liệu OpenER về hồi quy tuyến tính để thấy bình phương tối thiểu trong học máy.

  5. Bước 5: Tối ưu: gradient descent, SGD và ADAM

    khoảng 6 giờ

    Học cực tiểu và tính lồi, phương pháp Newton, nhân tử Lagrange, gradient descent và tốc độ hội tụ theo số điều kiện, momentum, gradient descent ngẫu nhiên và ADAM. Cài đặt gradient descent có và không có momentum cho hàm bậc hai f(x, y) = (x² + 10y²)/2, vẽ quỹ đạo và giải thích bằng trị riêng.

  6. Bước 6: Học từ dữ liệu: mạng nơ-ron sâu và lan truyền ngược

    khoảng 7 giờ

    Học cấu trúc mạng nơ-ron sâu như hợp các phép biến đổi tuyến tính và ReLU, mạng tích chập, lan truyền ngược bằng quy tắc dây chuyền, siêu tham số; ma trận Laplace của đồ thị và phân cụm phổ. Viết từ đầu bằng NumPy một mạng hai lớp phân loại dữ liệu hình xoắn ốc, tự tính gradient bằng lan truyền ngược và kiểm tra bằng sai phân hữu hạn. Khóa Học máy và tài liệu mạng nơ-ron trên OpenER là phần ứng dụng đi kèm; video bài giảng MIT 18.065 trên MIT OpenCourseWare đi theo đúng sách chính.

    • Đọc: Part VII: VII.1–VII.4 (mạng nơ-ron sâu, mạng tích chập, lan truyền ngược, siêu tham số); IV.6–IV.7 (Laplacian của đồ thị, phân cụm phổ) — Linear Algebra and Learning from Data

Khái niệm chính

Nhân ma trận theo cột và tổng hạng một
Ax là tổ hợp tuyến tính các cột của A; AB là tổng các tích cột – hàng (ma trận hạng một), cách nhìn nền tảng cho mọi phân rã.
Phân tích QR
A = QR với Q có cột trực chuẩn, R tam giác trên; tính bằng Gram–Schmidt hoặc phản xạ Householder, là cách ổn định để giải bình phương tối thiểu.
Ma trận đối xứng xác định dương
S = Sᵀ với mọi trị riêng dương (xᵀSx > 0); xuất hiện ở ma trận hiệp phương sai, ma trận Hesse của hàm lồi mạnh và AᵀA khi A có hạng cột đầy đủ.
Phân tích giá trị suy biến (SVD)
A = UΣVᵀ với U, V trực giao và Σ chéo không âm; tồn tại với mọi ma trận chữ nhật, các giá trị suy biến đo “độ lớn” của A theo từng hướng.
Xấp xỉ hạng thấp (Eckart–Young)
Giữ k giá trị suy biến lớn nhất cho ma trận hạng k gần A nhất theo chuẩn 2 và chuẩn Frobenius; nền của nén dữ liệu và lọc nhiễu.
Phân tích thành phần chính (PCA)
Tìm các hướng có phương sai lớn nhất của dữ liệu đã trừ trung bình — chính là vectơ suy biến của ma trận dữ liệu (vectơ riêng của ma trận hiệp phương sai).
Bình phương tối thiểu
Tìm x̂ cực tiểu ‖Ax − b‖²; x̂ thỏa phương trình chuẩn AᵀAx̂ = Aᵀb, và Ax̂ là hình chiếu của b lên không gian cột của A.
Giả nghịch đảo Moore–Penrose
A⁺ = VΣ⁺Uᵀ; cho nghiệm bình phương tối thiểu có chuẩn nhỏ nhất, kể cả khi A không đủ hạng.
Số điều kiện
κ(A) = σ_max/σ_min đo mức khuếch đại sai số khi giải Ax = b; phương trình chuẩn bình phương số điều kiện nên kém ổn định hơn QR.
Chuẩn ma trận
Chuẩn 2 (giá trị suy biến lớn nhất), chuẩn Frobenius (căn tổng bình phương các phần tử), chuẩn hạt nhân (tổng giá trị suy biến) — mỗi chuẩn dùng cho một loại bài toán.
Đại số tuyến tính ngẫu nhiên hóa
Nhân ma trận với ma trận ngẫu nhiên hoặc lấy mẫu cột để tính SVD, bình phương tối thiểu xấp xỉ cho ma trận rất lớn với sai số kiểm soát được.
Gradient descent ngẫu nhiên (SGD)
Cập nhật tham số theo gradient tính trên một lô nhỏ dữ liệu; nhanh với dữ liệu lớn, các biến thể như momentum, ADAM cải thiện hội tụ.
Lan truyền ngược (Backpropagation)
Áp dụng quy tắc dây chuyền theo thứ tự ngược qua các lớp để tính gradient của hàm mất mát theo mọi trọng số với chi phí tương đương một lần lan truyền xuôi.
Ma trận Laplace của đồ thị
L = D − A (bậc trừ kề); các vectơ riêng ứng với trị riêng nhỏ nhất tiết lộ cấu trúc cụm, là nền của phân cụm phổ.

Học xong để làm gì

  • Hệ gợi ý (phim, sản phẩm, âm nhạc): phân rã ma trận người dùng × sản phẩm để dự đoán đánh giá còn thiếu
  • Nén và xử lý ảnh, video: xấp xỉ hạng thấp, lọc nhiễu, nhận dạng khuôn mặt bằng eigenfaces
  • Giảm chiều và trực quan hóa dữ liệu bằng PCA trước khi huấn luyện mô hình học máy
  • Xử lý ngôn ngữ tự nhiên: phân tích ngữ nghĩa ẩn (LSA), nhúng từ, và tinh chỉnh mô hình ngôn ngữ lớn bằng cập nhật hạng thấp (LoRA)
  • Huấn luyện mạng nơ-ron sâu: SGD, ADAM và lan truyền ngược đều là phép toán ma trận trên GPU
  • Phân tích mạng xã hội và đồ thị: phân cụm phổ, xếp hạng trang (PageRank) bằng vectơ riêng

Câu hỏi thường gặp

Môn này khác gì Đại số tuyến tính đã học?

Đại số tuyến tính cơ bản dạy ngôn ngữ (không gian vectơ, định thức, trị riêng); môn này tập trung vào phân rã ma trận (đặc biệt SVD), tính toán ổn định với ma trận lớn và ứng dụng trực tiếp vào dữ liệu, tối ưu, học máy.

Có video bài giảng không?

Có: MIT 18.065 của Gilbert Strang (Spring 2018) có video bài giảng đầy đủ trên MIT OpenCourseWare, đi theo đúng sách Linear Algebra and Learning from Data.

Cần xác suất thống kê đến mức nào?

Kỳ vọng, phương sai, hiệp phương sai, phân phối chuẩn nhiều chiều và ý tưởng của ước lượng là đủ; PCA và bình phương tối thiểu có trọng số dùng trực tiếp ma trận hiệp phương sai.

Tại sao không nên giải bình phương tối thiểu bằng phương trình chuẩn?

Vì AᵀA có số điều kiện bằng bình phương số điều kiện của A, nên với dữ liệu gần suy biến sai số làm tròn bị khuếch đại mạnh; QR hoặc SVD ổn định hơn nhiều — đó là cách numpy.linalg.lstsq làm.

Học xong có đủ để làm học máy không?

Đủ phần toán ma trận và tối ưu; để làm học máy còn cần xác suất – thống kê sâu hơn, lập trình với thư viện (scikit-learn, PyTorch) và kinh nghiệm xử lý dữ liệu thật.

Chọn nguồn tự học

Cần vững đại số tuyến tính và xác suất; bài giảng MIT 18.065 của Gilbert Strang là nguồn chính, nên chạy thử mọi phương pháp trên dữ liệu thật bằng NumPy.