Bạn sẽ học được gì
- Giải thích vì sao tăng tốc song song có giới hạn (định luật Amdahl) và phân biệt song song bộ nhớ chia sẻ với bộ nhớ phân tán
- Viết chương trình đa luồng đúng đắn bằng khóa (lock), biến điều kiện, và nhận diện được điều kiện tranh chấp (race condition)
- Lập trình song song bộ nhớ chia sẻ bằng OpenMP và đo tăng tốc thực tế so với lý thuyết
- Lập trình phân tán bộ nhớ bằng MPI để chạy một bài toán trên nhiều tiến trình/máy
- Thiết kế lại một thuật toán tuần tự (sắp xếp, nhân ma trận, duyệt đồ thị) thành phiên bản song song hiệu quả
- Phân tích hiệu năng (speedup, hiệu suất, chi phí giao tiếp) để biết khi nào thêm lõi không còn đáng
Nên học trước
Giới thiệu
Tính toán song song là chia một bài toán lớn cho nhiều lõi hoặc nhiều máy xử lý cùng lúc để hoàn thành nhanh hơn. Vấn đề không phải là "chia việc ra" — mà là chia sao cho các phần không giẫm chân nhau, và biết trước phần nào không thể chia được.
Giới hạn của tốc độ
Định luật Amdahl chỉ ra: nếu 10% chương trình bắt buộc chạy tuần tự, tăng tốc tối đa dù có vô hạn lõi cũng chỉ khoảng 10 lần. Bài học đầu tiên không phải là "dùng OpenMP" mà là tìm ra phần tuần tự đó trước, vì nó quyết định trần hiệu năng.
Hai kiểu song song, hai lớp vấn đề
- Bộ nhớ chia sẻ (nhiều lõi cùng một máy): nhanh để trao đổi dữ liệu, nhưng dễ dính race condition, deadlock — cần khóa hoặc kỹ thuật không khóa như RCU.
- Bộ nhớ phân tán (nhiều máy, dùng MPI): không lo tranh chấp bộ nhớ, nhưng giao tiếp qua mạng đắt — thiết kế phải giảm số lần gửi thông điệp.
Nhiều hệ thống thật (siêu máy tính, cụm huấn luyện mô hình học sâu) kết hợp cả hai: MPI giữa các máy, OpenMP/CUDA bên trong mỗi máy.
Học bằng cách tự làm hỏng trước
Cách hiểu race condition nhanh nhất là tự viết một chương trình đa luồng sai — không khóa khi cần — chạy nhiều lần để thấy kết quả khác nhau, rồi sửa từng bước. Sau đó đo tăng tốc thật bằng cách tăng dần số luồng: con số sẽ không tuyến tính, và hiểu vì sao còn quan trọng hơn chính con số đó.
Giáo trình & sách tham khảo
Xem tất cả trong tab SáchGiáo trình chính
Introduction to Parallel Computing
Ananth Grama, Anshul Gupta và 2 tác giả khác · 2003 · Bản thứ 2
Vì sao chọn: Giáo trình toàn diện và kinh điển nhất về tính toán song song, bao quát cả kiến trúc, hai mô hình lập trình (OpenMP và MPI) lẫn thiết kế thuật toán — khớp gần như toàn bộ lộ trình. Sách trả phí, xuất bản 2003 nên ví dụ phần cứng hơi cũ nhưng nguyên lý vẫn còn nguyên giá trị.
Nên đọc: Chương 1–5 (nền tảng và mô hình hiệu năng), Chương 6–7 (lập trình message-passing và chia sẻ bộ nhớ), Chương 9–10 (sắp xếp và thuật toán đồ thị song song)
Sách mở, miễn phí, cập nhật liên tục, do một kỹ sư nhân Linux viết nên cực kỳ thực chiến về đúng-sai khi lập trình đa luồng. Đọc song song bước 2 và bước 6 để hiểu sâu vì sao race condition khó phát hiện và cách kỹ thuật không khóa hoạt động.
Nên đọc: Phần về khóa (Locking), sở hữu dữ liệu, và các kỹ thuật đồng bộ nâng cao (RCU, mô hình bộ nhớ)
Các bước học
Đăng nhập để đánh dấu các bước đã hoàn thành.
Bước 1: Vì sao và giới hạn của song song hóa
khoảng 5 giờĐịnh luật Amdahl và Gustafson, phân biệt song song (parallel) với đồng thời (concurrent), kiến trúc SIMD/MIMD. Tính speedup lý thuyết tối đa cho một chương trình có 20% phần tuần tự, rồi so sánh với speedup đo được trên máy thật.
- Đọc: Chương 2 Parallel Programming Platforms và Chương 5 Analytical Modeling of Parallel Programs — Introduction to Parallel Computing
Bước 2: Lập trình đa luồng và đồng bộ hóa
khoảng 8 giờLuồng (thread), khóa (mutex), biến điều kiện, race condition và deadlock. Viết một chương trình đếm song song bằng nhiều luồng không khóa để thấy kết quả sai, rồi sửa bằng mutex và đo lại kết quả đúng.
- Đọc: Phần về khóa (Locking) và các vấn đề đồng bộ cơ bản — Is Parallel Programming Hard, And, If So, What Can You Do About It?
Bước 3: Lập trình song song bộ nhớ chia sẻ với OpenMP
khoảng 8 giờChỉ thị OpenMP (parallel for, reduction, schedule), false sharing và cân bằng tải. Song song hóa một vòng lặp nhân ma trận bằng OpenMP và đo speedup theo số luồng từ 1 đến 8.
- Đọc: Chương 7 Programming Shared Address Space Platforms — Introduction to Parallel Computing
Bước 4: Lập trình bộ nhớ phân tán với MPI
khoảng 8 giờMô hình truyền thông điệp, send/receive, broadcast, reduce. Viết chương trình MPI tính tổng một mảng lớn chia đều cho nhiều tiến trình, so sánh thời gian chạy với bản tuần tự.
- Đọc: Chương 4 Basic Communication Operations và Chương 6 Programming Using the Message-Passing Paradigm — Introduction to Parallel Computing
Bước 5: Thiết kế thuật toán song song
khoảng 9 giờPhân rã bài toán, sắp xếp song song (merge sort song song), nhân ma trận theo khối, duyệt đồ thị song song (BFS theo mức). Cài một thuật toán sắp xếp song song và so sánh hiệu năng với sắp xếp tuần tự trên dữ liệu lớn.
- Đọc: Chương 9 Sorting và Chương 10 Graph Algorithms — Introduction to Parallel Computing
Bước 6: Đồng bộ nâng cao và các kỹ thuật không khóa
khoảng 6 giờRead-Copy-Update (RCU), hazard pointer, mô hình bộ nhớ (memory ordering). Tự giải thích lại bằng lời một ví dụ RCU đơn giản, chỉ ra vì sao nó nhanh hơn khóa trong trường hợp đọc nhiều/ghi ít.
- Đọc: Phần về Deferred Processing / RCU và mô hình bộ nhớ — Is Parallel Programming Hard, And, If So, What Can You Do About It?
Khái niệm chính
- Định luật Amdahl
- Tăng tốc tối đa khi song song hóa bị giới hạn bởi phần chương trình bắt buộc chạy tuần tự, dù có thêm bao nhiêu lõi đi nữa.
- Race condition (tranh chấp dữ liệu)
- Kết quả chương trình phụ thuộc vào thứ tự thực thi không xác định của các luồng khi cùng truy cập dữ liệu chung mà không đồng bộ hóa.
- Khóa (lock) và deadlock
- Khóa bảo vệ vùng dữ liệu chung khỏi truy cập đồng thời; dùng sai thứ tự khóa có thể khiến hai luồng chờ nhau mãi mãi (deadlock).
- Bộ nhớ chia sẻ và truyền thông điệp
- Hai mô hình lập trình song song: các luồng đọc/ghi chung một vùng nhớ (OpenMP, Pthreads) so với các tiến trình trao đổi qua thông điệp rõ ràng (MPI).
- Speedup và hiệu suất (efficiency)
- Speedup là tỉ lệ thời gian chạy tuần tự trên thời gian chạy song song; hiệu suất là speedup chia cho số lõi, cho biết mỗi lõi thêm vào có còn đáng hay không.
- Phân rã bài toán (decomposition)
- Chia bài toán thành các tác vụ độc lập theo dữ liệu (data parallelism) hoặc theo chức năng (task parallelism).
- Cân bằng tải (load balancing)
- Phân phối công việc đều giữa các lõi/tiến trình để không có lõi nào rảnh trong khi lõi khác vẫn còn việc phải làm.
- SIMD và song song mức dữ liệu
- Một lệnh xử lý nhiều phần tử dữ liệu cùng lúc (vector instructions, GPU) — khác với chạy nhiều luồng lệnh độc lập (MIMD).
Học xong để làm gì
- Huấn luyện mô hình học sâu trên nhiều GPU/nhiều máy (data-parallel, model-parallel training)
- Siêu máy tính mô phỏng khí hậu, động lực học chất lỏng, vật liệu bằng MPI trên hàng ngàn node
- Xử lý ảnh, video và đồ họa thời gian thực trên GPU (shader, CUDA)
- Cơ sở dữ liệu và công cụ phân tích dữ liệu lớn chạy song song trên nhiều lõi/nhiều máy (Spark)
- Render phim hoạt hình và mô phỏng vật lý trong game engine
Câu hỏi thường gặp
Cần học đa luồng trước hay học MPI trước?
Nên học bộ nhớ chia sẻ (luồng, OpenMP) trước vì dễ hình dung và lỗi dễ tái hiện hơn; MPI đòi hỏi tư duy "không có gì dùng chung" nên học sau sẽ dễ so sánh hai mô hình.
Có bắt buộc phải giỏi C/C++ không?
Phần lớn công cụ chuẩn (OpenMP, MPI, Pthreads) là API cho C/C++; Python (multiprocessing, Dask) đủ để học khái niệm nhưng nên thực hành ít nhất vài bài bằng C để thấy hiệu năng thật.
Học xong có lập trình GPU (CUDA) được luôn không?
Lộ trình này cho nền tảng khái niệm cần thiết (song song dữ liệu, đồng bộ), nhưng lập trình GPU là một chủ đề chuyên sâu riêng — xem đây là bước đệm, không phải đích cuối.
Mất bao lâu để học xong lộ trình?
Khoảng 44 giờ nếu đã biết lập trình và cấu trúc dữ liệu cơ bản, tương đương 7 tuần với 6 giờ mỗi tuần.
