Bạn sẽ học được gì
- Giải thích quá trình hình thành ảnh số và các tham số của mô hình camera
- Cài đặt các phép lọc và xử lý ảnh cơ bản từ đầu bằng NumPy
- Trích đặc trưng cục bộ, đối sánh và ghép nhiều ảnh thành một ảnh panorama
- Xây dựng và huấn luyện mạng nơ-ron tích chập (CNN) cho phân loại ảnh
- Áp dụng mô hình phát hiện vật thể và phân đoạn ngữ nghĩa tiền huấn luyện cho ảnh/video thực tế
- Giải thích nguyên lý đối sánh stereo và structure-from-motion để tái tạo cảnh 3D
Nên học trước
Giới thiệu
Thị giác máy tính (Computer Vision) dạy máy tính "nhìn": trích xuất thông tin có ý nghĩa từ ảnh và video — nhận diện vật thể, đo khoảng cách, dựng lại cảnh 3D. Đây là bài toán ngược khó: từ mảng điểm ảnh phải suy ra cấu trúc thế giới thực vốn đã mất đi một phần khi ảnh được chụp (chiếu phối cảnh làm mất chiều sâu, ánh sáng thay đổi, vật che khuất nhau).
Hai lớp phương pháp bổ sung nhau
Xử lý ảnh cổ điển (lọc, đặc trưng cục bộ như góc/cạnh, hình học chiếu) cho công cụ toán học tường minh, dùng được khi dữ liệu huấn luyện ít hoặc cần độ chính xác hình học cao (đo lường, hiệu chỉnh camera, ghép ảnh panorama). Học sâu (CNN, Vision Transformer) học đặc trưng trực tiếp từ dữ liệu, mạnh vượt trội cho nhận dạng và phân đoạn nhưng cần nhiều dữ liệu và khó diễn giải. Thị giác máy tính hiện đại kết hợp cả hai.
Lộ trình học
Bắt đầu từ mô hình hình thành ảnh và các phép xử lý ảnh cơ bản, rồi tới đặc trưng cục bộ và ghép ảnh (nền tảng cho panorama, SLAM), sau đó chuyển sang CNN cho phân loại/phát hiện/phân đoạn, và kết thúc ở tái tạo 3D (stereo, structure-from-motion) — nơi hình học chiếu và học sâu gặp nhau.
Công cụ nên dùng
Python với OpenCV cho xử lý ảnh cổ điển, PyTorch cho học sâu; tập dữ liệu nhỏ như CIFAR-10 hoặc ảnh tự chụp là đủ để thực hành từng bước trước khi chuyển sang bộ dữ liệu lớn.
Giáo trình & sách tham khảo
Xem tất cả trong tab SáchGiáo trình chính
Computer Vision: Algorithms and Applications
Richard Szeliski · 2022 · Bản thứ 2
Vì sao chọn: Giáo trình thị giác máy tính toàn diện nhất, PDF miễn phí từ chính tác giả, bao phủ đủ cả xử lý ảnh cổ điển lẫn học sâu — khớp toàn bộ 6 bước của lộ trình. Là lựa chọn chính vì miễn phí và cập nhật (2022).
Nên đọc: toàn bộ, từ hình thành ảnh tới nhận dạng và tái tạo 3D
Dive into Deep Learning
Aston Zhang, Zachary C. Lipton và 2 tác giả khác · 2023
Sách học sâu thực hành, mỗi khái niệm có code chạy ngay; dùng bổ sung ở bước 3-4 để thực hành CNN, phát hiện vật thể và phân đoạn ảnh bằng PyTorch/MXNet. Miễn phí, CC BY-SA.
Nên đọc: Chương 10–11 Convolutional Neural Networks, Chương 17 Computer Vision
Các bước học
Đăng nhập để đánh dấu các bước đã hoàn thành.
Bước 1: Hình thành ảnh và xử lý ảnh cơ bản
khoảng 7 giờMô hình camera lỗ kim, lấy mẫu và lượng tử hóa ảnh số, các phép lọc tuyến tính/phi tuyến; cài đặt bộ lọc Gaussian và Sobel bằng NumPy (không dùng hàm có sẵn của OpenCV) rồi so sánh kết quả.
- Đọc: phần về hình thành ảnh và xử lý ảnh cơ bản — Computer Vision: Algorithms and Applications
Bước 2: Đặc trưng cục bộ, đối sánh và ghép ảnh
khoảng 8 giờPhát hiện góc/cạnh, mô tả đặc trưng cục bộ, đối sánh đặc trưng giữa hai ảnh; tự chụp 3-4 ảnh chồng lấn và ghép thành một ảnh panorama bằng OpenCV.
- Đọc: phần về đặc trưng cục bộ, đối sánh đặc trưng và ghép ảnh (image stitching) — Computer Vision: Algorithms and Applications
Bước 3: Mạng nơ-ron tích chập (CNN)
khoảng 9 giờKiến trúc CNN (tích chập, pooling, các mạng LeNet/ResNet), lan truyền ngược qua lớp tích chập; huấn luyện một CNN nhỏ phân loại ảnh trên CIFAR-10 bằng PyTorch và theo dõi hiện tượng overfitting.
- Đọc: phần về học sâu (deep learning) cho thị giác máy tính — Computer Vision: Algorithms and Applications
- Đọc: Chương 10 Convolutional Neural Networks, Chương 11 Modern Convolutional Neural Networks — Dive into Deep Learning
Bước 4: Phát hiện vật thể và phân đoạn ngữ nghĩa
khoảng 8 giờSo sánh các họ mô hình phát hiện vật thể (two-stage và one-stage) và phân đoạn ngữ nghĩa; dùng một mô hình phát hiện vật thể tiền huấn luyện có sẵn để nhận diện vật thể trong ảnh/video tự quay.
- Đọc: phần về nhận dạng: phát hiện vật thể và phân đoạn ngữ nghĩa — Computer Vision: Algorithms and Applications
- Đọc: Chương 17 Computer Vision — Dive into Deep Learning
Bước 5: Tái tạo 3D: stereo và structure-from-motion
khoảng 8 giờHình học epipolar, đối sánh stereo để ước lượng bản đồ độ sâu, nguyên lý structure-from-motion; tính bản đồ độ sâu từ một cặp ảnh stereo mẫu bằng thuật toán block-matching có sẵn.
- Đọc: phần về đối sánh stereo và dựng ảnh 3D (structure-from-motion) — Computer Vision: Algorithms and Applications
Bước 6: Dự án tổng hợp
khoảng 8 giờChọn một bài toán thị giác máy tính đầu-cuối (ví dụ đếm người trong video, nhận diện biển số xe, hoặc phân loại ảnh y tế công khai); xây dựng pipeline hoàn chỉnh từ tiền xử lý tới đánh giá và viết báo cáo ngắn về hạn chế của mô hình.
Khái niệm chính
- Hình thành ảnh (Image formation)
- Cách một cảnh 3D chiếu thành ảnh 2D qua mô hình camera lỗ kim, gồm các tham số nội (tiêu cự, tâm ảnh) và ngoại (vị trí, hướng camera).
- Lọc ảnh (Filtering)
- Các phép tích chập tuyến tính (Gaussian, Sobel) và phi tuyến (median) dùng để làm mượt, khử nhiễu hoặc làm nổi bật biên cạnh trong ảnh.
- Đặc trưng cục bộ (Local features)
- Các điểm/vùng ảnh đặc trưng (góc, blob) cùng bộ mô tả bất biến với xoay/co giãn, dùng để đối sánh giữa các ảnh chụp cùng cảnh từ góc khác nhau.
- Mạng nơ-ron tích chập (CNN)
- Kiến trúc mạng dùng phép tích chập để tự học đặc trưng ảnh theo tầng, từ cạnh đơn giản ở tầng đầu tới khái niệm phức tạp ở tầng sâu; nền tảng của nhận dạng ảnh hiện đại.
- Phát hiện vật thể và phân đoạn ngữ nghĩa
- Phát hiện vật thể định vị và phân loại từng vật thể trong ảnh bằng khung bao; phân đoạn ngữ nghĩa gán nhãn lớp cho từng điểm ảnh.
- Đối sánh Stereo
- Ước lượng độ sâu bằng cách so khớp điểm ảnh tương ứng giữa hai camera đặt cách nhau một khoảng đã biết, dựa trên hình học epipolar.
- Structure-from-Motion
- Dựng lại cấu trúc 3D của cảnh và vị trí camera đồng thời từ nhiều ảnh 2D chụp ở các góc khác nhau, không cần biết trước vị trí camera.
Học xong để làm gì
- Nhận diện khuôn mặt để mở khóa điện thoại/chấm công
- Xe tự hành: phát hiện làn đường, biển báo, người đi bộ
- Kiểm tra chất lượng sản phẩm tự động trong nhà máy
- Chẩn đoán hình ảnh y tế (X-quang, MRI) hỗ trợ bác sĩ
- Thực tế tăng cường (AR) và quét vật thể 3D
Câu hỏi thường gặp
Cần học xử lý ảnh cổ điển khi CNN đã quá mạnh?
Cần — hiểu hình thành ảnh, lọc và hình học chiếu giúp debug khi mô hình học sâu thất bại (ví dụ do hiệu chỉnh camera sai) và vẫn là công cụ chính cho đo lường chính xác hoặc khi dữ liệu ít.
Cần GPU mạnh để thực hành không?
Không cho các bước 1-2; từ bước CNN trở đi, GPU miễn phí của Google Colab đủ để huấn luyện mô hình nhỏ trên CIFAR-10.
Nên học Szeliski hay một khóa online trước?
Đọc song song: Szeliski cho nền tảng toán/khái niệm, Dive into Deep Learning cho code chạy được ngay — đối chiếu hai nguồn giúp hiểu sâu hơn học một mình.
Mất bao lâu để hoàn thành?
Khoảng 48 giờ theo lộ trình, tức 8-10 tuần nếu học 5-6 giờ mỗi tuần.

