Bỏ qua tới nội dung chính

Hướng dẫn học chủ đề

Thị giác máy tính

Computer Vision

Nâng caokhoảng 48 giờ6 bước

Thị giác máy tính: giúp máy tính hiểu và phân tích nội dung hình ảnh, video.

Bắt đầu học

Bạn sẽ học được gì

  • Giải thích quá trình hình thành ảnh số và các tham số của mô hình camera
  • Cài đặt các phép lọc và xử lý ảnh cơ bản từ đầu bằng NumPy
  • Trích đặc trưng cục bộ, đối sánh và ghép nhiều ảnh thành một ảnh panorama
  • Xây dựng và huấn luyện mạng nơ-ron tích chập (CNN) cho phân loại ảnh
  • Áp dụng mô hình phát hiện vật thể và phân đoạn ngữ nghĩa tiền huấn luyện cho ảnh/video thực tế
  • Giải thích nguyên lý đối sánh stereo và structure-from-motion để tái tạo cảnh 3D

Nên học trước

Giới thiệu

Thị giác máy tính (Computer Vision) dạy máy tính "nhìn": trích xuất thông tin có ý nghĩa từ ảnh và video — nhận diện vật thể, đo khoảng cách, dựng lại cảnh 3D. Đây là bài toán ngược khó: từ mảng điểm ảnh phải suy ra cấu trúc thế giới thực vốn đã mất đi một phần khi ảnh được chụp (chiếu phối cảnh làm mất chiều sâu, ánh sáng thay đổi, vật che khuất nhau).

Hai lớp phương pháp bổ sung nhau

Xử lý ảnh cổ điển (lọc, đặc trưng cục bộ như góc/cạnh, hình học chiếu) cho công cụ toán học tường minh, dùng được khi dữ liệu huấn luyện ít hoặc cần độ chính xác hình học cao (đo lường, hiệu chỉnh camera, ghép ảnh panorama). Học sâu (CNN, Vision Transformer) học đặc trưng trực tiếp từ dữ liệu, mạnh vượt trội cho nhận dạng và phân đoạn nhưng cần nhiều dữ liệu và khó diễn giải. Thị giác máy tính hiện đại kết hợp cả hai.

Lộ trình học

Bắt đầu từ mô hình hình thành ảnh và các phép xử lý ảnh cơ bản, rồi tới đặc trưng cục bộ và ghép ảnh (nền tảng cho panorama, SLAM), sau đó chuyển sang CNN cho phân loại/phát hiện/phân đoạn, và kết thúc ở tái tạo 3D (stereo, structure-from-motion) — nơi hình học chiếu và học sâu gặp nhau.

Công cụ nên dùng

Python với OpenCV cho xử lý ảnh cổ điển, PyTorch cho học sâu; tập dữ liệu nhỏ như CIFAR-10 hoặc ảnh tự chụp là đủ để thực hành từng bước trước khi chuyển sang bộ dữ liệu lớn.

Giáo trình & sách tham khảo

Xem tất cả trong tab Sách

Giáo trình chính

Computer Vision: Algorithms and Applications

Richard Szeliski · 2022 · Bản thứ 2

Miễn phíNâng caoTiếng Anh

Vì sao chọn: Giáo trình thị giác máy tính toàn diện nhất, PDF miễn phí từ chính tác giả, bao phủ đủ cả xử lý ảnh cổ điển lẫn học sâu — khớp toàn bộ 6 bước của lộ trình. Là lựa chọn chính vì miễn phí và cập nhật (2022).

Nên đọc: toàn bộ, từ hình thành ảnh tới nhận dạng và tái tạo 3D

Dive into Deep Learning

Aston Zhang, Zachary C. Lipton và 2 tác giả khác · 2023

CC BY-SATrung bìnhTiếng Anh574 trang

Sách học sâu thực hành, mỗi khái niệm có code chạy ngay; dùng bổ sung ở bước 3-4 để thực hành CNN, phát hiện vật thể và phân đoạn ảnh bằng PyTorch/MXNet. Miễn phí, CC BY-SA.

Nên đọc: Chương 10–11 Convolutional Neural Networks, Chương 17 Computer Vision

Các bước học

Đăng nhập để đánh dấu các bước đã hoàn thành.

  1. Bước 1: Hình thành ảnh và xử lý ảnh cơ bản

    khoảng 7 giờ

    Mô hình camera lỗ kim, lấy mẫu và lượng tử hóa ảnh số, các phép lọc tuyến tính/phi tuyến; cài đặt bộ lọc Gaussian và Sobel bằng NumPy (không dùng hàm có sẵn của OpenCV) rồi so sánh kết quả.

  2. Bước 2: Đặc trưng cục bộ, đối sánh và ghép ảnh

    khoảng 8 giờ

    Phát hiện góc/cạnh, mô tả đặc trưng cục bộ, đối sánh đặc trưng giữa hai ảnh; tự chụp 3-4 ảnh chồng lấn và ghép thành một ảnh panorama bằng OpenCV.

  3. Bước 3: Mạng nơ-ron tích chập (CNN)

    khoảng 9 giờ

    Kiến trúc CNN (tích chập, pooling, các mạng LeNet/ResNet), lan truyền ngược qua lớp tích chập; huấn luyện một CNN nhỏ phân loại ảnh trên CIFAR-10 bằng PyTorch và theo dõi hiện tượng overfitting.

  4. Bước 4: Phát hiện vật thể và phân đoạn ngữ nghĩa

    khoảng 8 giờ

    So sánh các họ mô hình phát hiện vật thể (two-stage và one-stage) và phân đoạn ngữ nghĩa; dùng một mô hình phát hiện vật thể tiền huấn luyện có sẵn để nhận diện vật thể trong ảnh/video tự quay.

  5. Bước 5: Tái tạo 3D: stereo và structure-from-motion

    khoảng 8 giờ

    Hình học epipolar, đối sánh stereo để ước lượng bản đồ độ sâu, nguyên lý structure-from-motion; tính bản đồ độ sâu từ một cặp ảnh stereo mẫu bằng thuật toán block-matching có sẵn.

  6. Bước 6: Dự án tổng hợp

    khoảng 8 giờ

    Chọn một bài toán thị giác máy tính đầu-cuối (ví dụ đếm người trong video, nhận diện biển số xe, hoặc phân loại ảnh y tế công khai); xây dựng pipeline hoàn chỉnh từ tiền xử lý tới đánh giá và viết báo cáo ngắn về hạn chế của mô hình.

Khái niệm chính

Hình thành ảnh (Image formation)
Cách một cảnh 3D chiếu thành ảnh 2D qua mô hình camera lỗ kim, gồm các tham số nội (tiêu cự, tâm ảnh) và ngoại (vị trí, hướng camera).
Lọc ảnh (Filtering)
Các phép tích chập tuyến tính (Gaussian, Sobel) và phi tuyến (median) dùng để làm mượt, khử nhiễu hoặc làm nổi bật biên cạnh trong ảnh.
Đặc trưng cục bộ (Local features)
Các điểm/vùng ảnh đặc trưng (góc, blob) cùng bộ mô tả bất biến với xoay/co giãn, dùng để đối sánh giữa các ảnh chụp cùng cảnh từ góc khác nhau.
Mạng nơ-ron tích chập (CNN)
Kiến trúc mạng dùng phép tích chập để tự học đặc trưng ảnh theo tầng, từ cạnh đơn giản ở tầng đầu tới khái niệm phức tạp ở tầng sâu; nền tảng của nhận dạng ảnh hiện đại.
Phát hiện vật thể và phân đoạn ngữ nghĩa
Phát hiện vật thể định vị và phân loại từng vật thể trong ảnh bằng khung bao; phân đoạn ngữ nghĩa gán nhãn lớp cho từng điểm ảnh.
Đối sánh Stereo
Ước lượng độ sâu bằng cách so khớp điểm ảnh tương ứng giữa hai camera đặt cách nhau một khoảng đã biết, dựa trên hình học epipolar.
Structure-from-Motion
Dựng lại cấu trúc 3D của cảnh và vị trí camera đồng thời từ nhiều ảnh 2D chụp ở các góc khác nhau, không cần biết trước vị trí camera.

Học xong để làm gì

  • Nhận diện khuôn mặt để mở khóa điện thoại/chấm công
  • Xe tự hành: phát hiện làn đường, biển báo, người đi bộ
  • Kiểm tra chất lượng sản phẩm tự động trong nhà máy
  • Chẩn đoán hình ảnh y tế (X-quang, MRI) hỗ trợ bác sĩ
  • Thực tế tăng cường (AR) và quét vật thể 3D

Câu hỏi thường gặp

Cần học xử lý ảnh cổ điển khi CNN đã quá mạnh?

Cần — hiểu hình thành ảnh, lọc và hình học chiếu giúp debug khi mô hình học sâu thất bại (ví dụ do hiệu chỉnh camera sai) và vẫn là công cụ chính cho đo lường chính xác hoặc khi dữ liệu ít.

Cần GPU mạnh để thực hành không?

Không cho các bước 1-2; từ bước CNN trở đi, GPU miễn phí của Google Colab đủ để huấn luyện mô hình nhỏ trên CIFAR-10.

Nên học Szeliski hay một khóa online trước?

Đọc song song: Szeliski cho nền tảng toán/khái niệm, Dive into Deep Learning cho code chạy được ngay — đối chiếu hai nguồn giúp hiểu sâu hơn học một mình.

Mất bao lâu để hoàn thành?

Khoảng 48 giờ theo lộ trình, tức 8-10 tuần nếu học 5-6 giờ mỗi tuần.

Chọn nguồn tự học

Cần nền tảng Deep Learning; nên thực hành trên các bài toán ảnh thực tế như nhận diện vật thể.