Bỏ qua tới nội dung chính

Hướng dẫn học chủ đề

Học sâu

Deep Learning

Trung bìnhkhoảng 47 giờ6 bước

Học sâu: mạng nơ-ron nhiều lớp, nền tảng của các đột phá AI hiện đại như nhận diện ảnh và ngôn ngữ.

Bắt đầu học

Bạn sẽ học được gì

  • Giải thích vì sao mạng nơ-ron nhiều lớp học được biểu diễn phân cấp của dữ liệu
  • Cài đặt lan truyền tiến và lan truyền ngược (backpropagation), huấn luyện bằng gradient descent
  • Xây dựng mạng tích chập (CNN) cho bài toán thị giác máy tính cơ bản
  • Xây dựng mạng hồi quy hoặc Transformer cơ bản cho dữ liệu chuỗi và văn bản
  • Áp dụng kỹ thuật chống overfitting và tăng tốc huấn luyện (dropout, batch normalization, learning rate schedule)
  • Huấn luyện và tinh chỉnh (fine-tune) một mô hình học sâu bằng PyTorch trên dữ liệu thật

Nên học trước

Giới thiệu

Học sâu (deep learning) dùng mạng nơ-ron nhiều lớp để tự học biểu diễn dữ liệu, thay vì con người tự thiết kế đặc trưng như học máy cổ điển. Ảnh, âm thanh, văn bản đều là dữ liệu 'thô' mà một mạng đủ sâu có thể tự tìm ra cấu trúc hữu ích.

Một mạng nơ-ron là gì

Về bản chất chỉ là chuỗi phép biến đổi tuyến tính (nhân ma trận trọng số) xen kẽ hàm phi tuyến (activation). Không có phi tuyến, xếp bao nhiêu lớp cũng chỉ tương đương một phép biến đổi tuyến tính. Lan truyền ngược (backpropagation) là quy tắc chuỗi (chain rule) áp dụng có hệ thống để tính đạo hàm hàm mất mát theo từng trọng số.

Ba kiến trúc nền tảng

  • Mạng truyền thẳng (MLP): khối xây dựng cơ bản, dùng cho dữ liệu dạng vector.
  • Mạng tích chập (CNN): chia sẻ trọng số theo không gian, phù hợp ảnh — bộ lọc học được dò tìm cạnh, hoa văn, rồi tới vật thể.
  • Mạng hồi quy và Transformer: xử lý dữ liệu chuỗi (văn bản, thời gian); Transformer với cơ chế attention hiện là nền tảng của các mô hình ngôn ngữ lớn.

Huấn luyện thực tế khó hơn lý thuyết

Mạng sâu dễ gặp gradient biến mất/bùng nổ, overfitting trên tập dữ liệu nhỏ, hoặc hội tụ chậm. Batch normalization, dropout, khởi tạo trọng số hợp lý và learning rate schedule là những mẹo thực hành quan trọng không kém kiến trúc mô hình.

Công cụ nên dùng

PyTorch kèm GPU (dùng miễn phí qua Google Colab nếu máy cá nhân không có GPU). Bắt đầu bằng việc tự tay cài một mạng nhỏ bằng NumPy thuần để hiểu backpropagation trước khi chuyển sang dùng framework.

Giáo trình & sách tham khảo

Xem tất cả trong tab Sách

Giáo trình chính

Dive into Deep Learning

Aston Zhang, Zachary C. Lipton và 2 tác giả khác · 2023

CC BY-SATrung bìnhTiếng Anh574 trang

Vì sao chọn: Giáo trình mở (CC BY-SA), miễn phí, mỗi khái niệm đi kèm code PyTorch chạy được ngay. Cấu trúc chương bám sát đúng lộ trình từ MLP tới CNN, RNN và Transformer nên dùng làm sách chính, thực hành song song lý thuyết.

Nên đọc: Chương 5 Multilayer Perceptrons, Chương 7–8 CNN, Chương 9–11 RNN và Attention/Transformers, Chương 12 Optimization

Deep Learning

Ian Goodfellow, Yoshua Bengio, Aaron Courville · 2016

Miễn phíNâng caoTiếng Anh800 trang

Sách lý thuyết nền tảng, miễn phí đọc online, giải thích chặt chẽ hơn D2L về vì sao các kỹ thuật (regularization, tối ưu) hoạt động. Đọc bổ sung khi muốn hiểu sâu phần toán, không cần đọc hết vì khá dày và hơi cũ ở phần Transformer.

Nên đọc: Phần II: Deep Feedforward Networks, Regularization, Optimization, Convolutional Networks, Sequence Modeling

Understanding Deep Learning

Simon J. D. Prince · 2023

CC BY-NC-NDTrung bìnhTiếng Anh496 trang

Sách học sâu mới nhất (2023) trong danh sách, trình bày mỗi khái niệm theo hai lớp trực giác rồi tới công thức, có nội dung cập nhật về Transformer và mô hình khuếch tán mà Goodfellow chưa có. PDF miễn phí, đọc bổ sung ở giai đoạn cuối lộ trình.

Nên đọc: các chương về Transformer và mô hình khuếch tán (diffusion)

Các bước học

Đăng nhập để đánh dấu các bước đã hoàn thành.

  1. Bước 1: Từ perceptron tới mạng nhiều lớp

    khoảng 8 giờ

    Perceptron, hàm kích hoạt, forward/backward propagation; vì sao cần phi tuyến. Bài tập: tự cài một mạng 2 lớp bằng NumPy thuần (không dùng framework) để phân loại một bộ dữ liệu nhỏ, tự tính tay backpropagation cho một ví dụ đơn giản để đối chiếu.

  2. Bước 2: Huấn luyện hiệu quả: tối ưu và regularization

    khoảng 7 giờ

    Khởi tạo trọng số, các biến thể gradient descent (momentum, Adam), dropout, batch normalization, learning rate schedule. Bài tập: huấn luyện lại mạng ở bước 1 bằng PyTorch, thử bật/tắt dropout và batch norm, so sánh tốc độ hội tụ và độ chính xác.

  3. Bước 3: Mạng tích chập (CNN) cho ảnh

    khoảng 9 giờ

    Phép tích chập, pooling, các kiến trúc CNN kinh điển (LeNet, VGG, ResNet ở mức khái niệm). Bài tập: huấn luyện một CNN nhỏ trên bộ dữ liệu ảnh chuẩn (vd. Fashion-MNIST hoặc CIFAR-10) bằng PyTorch, trực quan hóa vài bộ lọc đã học được.

    • Đọc: Chương 7 Convolutional Neural Networks và Chương 8 Modern Convolutional Neural Networks — Dive into Deep Learning
    • Đọc: Convolutional Networks (Phần II) — Deep Learning
  4. Bước 4: Dữ liệu chuỗi: RNN và Transformer

    khoảng 9 giờ

    Mạng hồi quy (RNN, LSTM) cho chuỗi ngắn; hạn chế của RNN dẫn tới cơ chế attention và kiến trúc Transformer. Bài tập: huấn luyện một mô hình phân loại cảm xúc văn bản đơn giản, thử cả bản RNN và bản dùng self-attention, so sánh kết quả.

  5. Bước 5: Transfer learning và triển khai mô hình

    khoảng 6 giờ

    Dùng lại mô hình đã huấn luyện sẵn (pretrained) và fine-tune trên dữ liệu riêng; đóng gói mô hình để suy luận (inference) thực tế. Bài tập: tải một mô hình CNN pretrained (vd. ResNet trên ImageNet) và fine-tune trên một tập ảnh nhỏ tự thu thập hoặc tải từ Kaggle.

  6. Bước 6: Dự án cuối: huấn luyện và fine-tune trên dữ liệu thật

    khoảng 8 giờ

    Ghép toàn bộ quy trình học sâu — chuẩn bị dữ liệu, chọn kiến trúc, huấn luyện, fine-tune, đánh giá. Bài tập lớn: chọn một bài toán ảnh hoặc văn bản thật (Kaggle/HuggingFace datasets), huấn luyện hoặc fine-tune một mô hình hoàn chỉnh và viết báo cáo ngắn về các lựa chọn kiến trúc/siêu tham số.

Khái niệm chính

Perceptron nhiều lớp (MLP)
Chuỗi các lớp gồm phép biến đổi tuyến tính (nhân ma trận trọng số, cộng bias) xen kẽ hàm kích hoạt phi tuyến; là khối xây dựng cơ bản nhất của mạng nơ-ron.
Lan truyền ngược (backpropagation)
Áp dụng quy tắc chuỗi để tính đạo hàm hàm mất mát theo từng trọng số, đi từ lớp cuối ngược về lớp đầu, làm cơ sở cho gradient descent trong mạng nhiều lớp.
Hàm kích hoạt (activation function)
Hàm phi tuyến áp lên đầu ra mỗi nơ-ron (ReLU, sigmoid, tanh...); không có nó, chồng nhiều lớp tuyến tính vẫn chỉ tương đương một lớp tuyến tính duy nhất.
Mạng tích chập (CNN)
Kiến trúc dùng phép tích chập với bộ lọc chia sẻ trọng số theo không gian, kèm pooling để giảm chiều; khai thác tính cục bộ và bất biến dịch chuyển của ảnh.
Cơ chế attention và Transformer
Attention cho phép mô hình 'chú ý' có trọng số vào các phần khác nhau của chuỗi đầu vào khi tạo mỗi đầu ra; Transformer xây hoàn toàn từ attention, không cần đệ quy như RNN, là nền tảng của các mô hình ngôn ngữ lớn hiện nay.
Dropout và Batch normalization
Dropout ngẫu nhiên tắt một phần nơ-ron khi huấn luyện để chống overfitting; batch normalization chuẩn hóa đầu vào mỗi lớp theo batch để huấn luyện ổn định và nhanh hơn.
Học chuyển giao (transfer learning)
Dùng lại một mạng đã huấn luyện trên tập dữ liệu lớn (vd. ImageNet) làm điểm khởi đầu, rồi tinh chỉnh (fine-tune) trên tập dữ liệu nhỏ hơn của bài toán cụ thể.
Gradient biến mất/bùng nổ
Khi lan truyền ngược qua nhiều lớp, đạo hàm có thể co nhỏ dần về 0 hoặc phóng to mất kiểm soát, khiến mạng sâu khó huấn luyện nếu không có kỹ thuật khởi tạo, chuẩn hóa hay kết nối tắt (residual) phù hợp.

Học xong để làm gì

  • Nhận diện và phân loại ảnh, phát hiện vật thể trong ảnh/video
  • Mô hình ngôn ngữ lớn: dịch máy, chatbot, tóm tắt văn bản
  • Nhận diện và tổng hợp giọng nói
  • Xe tự hành: nhận diện làn đường, người đi bộ, biển báo
  • Tạo sinh ảnh, âm nhạc, văn bản (generative AI)

Câu hỏi thường gặp

Có bắt buộc phải có GPU riêng để học không?

Không. Google Colab cung cấp GPU miễn phí đủ dùng cho các bài tập và mô hình vừa trong lộ trình này. Chỉ khi làm dự án lớn với dữ liệu ảnh/video dung lượng cao mới cần cân nhắc thuê GPU mạnh hơn.

Nên học CNN hay Transformer trước?

Học CNN trước vì kiến trúc đơn giản, dữ liệu ảnh trực quan, dễ gỡ lỗi. Hiểu CNN giúp nắm vững quy trình huấn luyện chung (mất mát, tối ưu, regularization) trước khi sang Transformer vốn có nhiều thành phần hơn (attention, positional encoding).

Học sâu có thay thế hoàn toàn học máy cổ điển không?

Không. Với dữ liệu dạng bảng, ít mẫu, các mô hình học máy cổ điển (cây quyết định, hồi quy) vẫn thường nhanh hơn, dễ diễn giải hơn và đủ tốt. Học sâu chỉ thật sự cần thiết với ảnh, âm thanh, văn bản và dữ liệu quy mô lớn.

Cần code lại backpropagation từ đầu không?

Chỉ cần làm một lần bằng NumPy thuần để hiểu cơ chế. Sau đó dùng PyTorch — framework tự tính đạo hàm (autograd) — cho mọi bài tập và dự án tiếp theo.

Chọn nguồn tự học

Cần nền tảng Machine Learning vững trước; thực hành với các framework phổ biến song song lý thuyết.