Bạn sẽ học được gì
- Phân tích giới hạn tăng tốc bằng định luật Amdahl, Gustafson và mô hình roofline
- Song song hóa chương trình trên CPU đa lõi bằng luồng POSIX và OpenMP, xử lý chia sẻ giả và mất cân bằng tải
- Giải thích kiến trúc GPU: bộ đa xử lý, warp, phân cấp bộ nhớ, và ảnh hưởng tới hiệu năng
- Viết kernel CUDA dùng bộ nhớ chia sẻ, truy cập gộp và tránh phân kỳ luồng
- Cài đặt các mẫu song song: nhân ma trận chia khối, tích chập, histogram, rút gọn, quét tiền tố
- Dùng MPI cho các phép truyền thông điểm tới điểm và tập thể trên nhiều tiến trình
- Đo, lập hồ sơ (profiling) và giải thích hiệu năng chương trình song song bằng giới hạn phần cứng
Nên học trước
Giới thiệu
Tính toán song song là cách duy nhất để phần mềm nhanh hơn kể từ khi xung nhịp bộ xử lý ngừng tăng: một máy tính xách tay có nhiều lõi, mỗi lõi có đơn vị SIMD, và một GPU với hàng nghìn luồng phần cứng. Với kỹ sư máy tính, song song không chỉ là chia việc cho nhiều luồng, mà là hiểu phần cứng song song đủ sâu để chương trình thực sự nhanh lên: băng thông bộ nhớ, bộ nhớ đệm dùng chung, đồng bộ và cách GPU lập lịch các nhóm luồng. Nội dung tương ứng với UC Berkeley CS267 Applications of Parallel Computers, phần song song của CS61C, khóa ECE 408 về lập trình GPU ở Đại học Illinois (nơi tác giả sách chính giảng dạy) và học phần Tính toán song song ở các trường Việt Nam.
Đo trước, song song sau
Mọi chương trình song song bắt đầu bằng hai câu hỏi: phần nào chiếm thời gian, và giới hạn là tính toán hay bộ nhớ? Định luật Amdahl cho biết phần tuần tự giới hạn tăng tốc; định luật Gustafson nhắc rằng khi có nhiều bộ xử lý ta thường giải bài toán lớn hơn. Mô hình roofline so sánh cường độ số học (số phép tính trên mỗi byte đọc từ bộ nhớ) của chương trình với đỉnh tính toán và băng thông của phần cứng, cho biết nên tối ưu phía nào. Nếu muốn góc nhìn thuật toán và phần mềm hơn, xem thêm Parallel Computing trong lộ trình Khoa học máy tính.
Song song trên CPU đa lõi
Trên CPU, bạn dùng luồng POSIX và OpenMP: một chỉ thị pragma là đủ để chia vòng lặp cho các lõi, cùng các mệnh đề rút gọn và lập lịch. Nhưng hiệu năng thật phụ thuộc phần cứng: chia sẻ giả khi hai luồng ghi vào cùng một khối bộ nhớ đệm, mất cân bằng tải, chi phí đồng bộ, và giới hạn băng thông DRAM khiến thêm lõi không còn giúp gì. Đồng bộ đúng đắn cần hiểu thao tác nguyên tử và mô hình bộ nhớ — sách của McKenney đi sâu vào phần này ở mức nhân hệ điều hành. SIMD bổ sung một tầng song song nữa trong mỗi lõi.
Lập trình GPU với CUDA
GPU tổ chức hàng nghìn luồng thành khối luồng chạy trên các bộ đa xử lý (SM); mỗi nhóm 32 luồng (warp) thực thi cùng một lệnh. Bạn sẽ học mô hình lưới – khối – luồng, phân cấp bộ nhớ GPU (thanh ghi, bộ nhớ chia sẻ trên chip, bộ nhớ toàn cục), truy cập bộ nhớ gộp (coalescing), phân kỳ luồng trong warp, độ lấp đầy (occupancy), và các mẫu song song kinh điển: nhân ma trận chia khối, tích chập, stencil, histogram với thao tác nguyên tử, rút gọn, quét tiền tố. Công cụ Nsight Compute cho biết kernel của bạn đang bị giới hạn bởi tính toán hay bộ nhớ. Không có GPU NVIDIA? Google Colab miễn phí có GPU đủ cho mọi bài tập.
Vượt ra ngoài một máy
Khi một máy không đủ, các nút tính toán trao đổi dữ liệu bằng truyền thông điệp (MPI): gửi – nhận điểm tới điểm và các phép tập thể như phát quảng bá, rút gọn. Chi phí truyền thông và độ trễ mạng trở thành yếu tố quyết định.
Nên học thế nào
- Nền tảng cần có: Kiến trúc máy tính (bộ nhớ đệm, nhất quán, SIMD) và Hệ điều hành (luồng, khóa).
- Sách chính: Programming Massively Parallel Processors của Hwu, Kirk và El Hajj (bản thứ 4) — chương 1–11 là nền CUDA và các mẫu song song. Introduction to Parallel Computing của Grama và cộng sự cho mô hình hiệu năng, bộ nhớ dùng chung và MPI.
- Luôn đo tăng tốc: với mỗi bài, báo cáo thời gian theo số luồng hoặc kích thước khối, so với roofline hoặc định luật Amdahl, và giải thích bằng giới hạn phần cứng.
- Trên trang: khóa Great Ideas in Computer Architecture (CS61C) và bài xử lý song song mức phần cứng.
Học xong, bạn viết được chương trình OpenMP và CUDA đạt phần lớn hiệu năng đỉnh của phần cứng, và biết lý do khi chúng không đạt.
Giáo trình & sách tham khảo
Xem tất cả trong tab SáchGiáo trình chính
Programming Massively Parallel Processors: A Hands-on Approach
Wen-mei W. Hwu, David B. Kirk, Izzat El Hajj · 2022 · Bản thứ 4
Vì sao chọn: Giáo trình lập trình GPU của Hwu, Kirk và El Hajj (bản thứ 4, Morgan Kaufmann, sách trả phí), gắn với khóa ECE 408 ở Đại học Illinois. Chọn làm sách chính vì đi từ kiến trúc phần cứng tới mã CUDA tối ưu, đúng góc nhìn của kỹ sư máy tính; chương 16 về học sâu dẫn sang chủ đề Bộ tăng tốc phần cứng.
Nên đọc: Chương 1–11 (CUDA, kiến trúc GPU, bộ nhớ, hiệu năng, các mẫu song song); Chương 20 (cụm máy dị thể)
Sách mở miễn phí của Paul McKenney (kernel.org), viết từ kinh nghiệm phát triển nhân Linux. Đi sâu vào đồng bộ, thao tác nguyên tử, mô hình bộ nhớ và RCU; đọc chọn lọc khi cần viết mã đồng bộ hiệu năng cao trên đa lõi.
Introduction to Parallel Computing
Ananth Grama, Anshul Gupta và 2 tác giả khác · 2003 · Bản thứ 2
Giáo trình kinh điển của Grama, Gupta, Karypis và Kumar (Addison-Wesley, sách trả phí). Cho phần lý thuyết mà sách chính không đi sâu: mô hình hiệu năng, khả năng mở rộng, lập trình bộ nhớ dùng chung và MPI.
Nên đọc: Chương 2–3, 5–7 (nền tảng song song, thiết kế thuật toán, mô hình hiệu năng, truyền thông điệp, bộ nhớ dùng chung)
Các bước học
Đăng nhập để đánh dấu các bước đã hoàn thành.
Bước 1: Nền tảng: nền tảng song song, thiết kế thuật toán và mô hình hiệu năng
khoảng 8 giờHọc vì sao cần song song, các kiểu nền tảng song song, phân rã bài toán và ánh xạ tác vụ, các thước đo tăng tốc, hiệu suất, khả năng mở rộng, định luật Amdahl, Gustafson, mô hình roofline. Luyện tập: đo băng thông bộ nhớ và đỉnh tính toán của máy bạn bằng một chương trình đơn giản (hoặc STREAM), vẽ roofline, rồi đặt nhân ma trận và cộng vectơ lên biểu đồ. Ôn bài xử lý song song mức phần cứng trên trang.
- Đọc: Chương 2 Parallel Programming Platforms; Chương 3 Principles of Parallel Algorithm Design; Chương 5 Analytical Modeling of Parallel Programs — Introduction to Parallel Computing
Bước 2: Bộ nhớ dùng chung trên CPU: luồng POSIX và OpenMP
khoảng 12 giờHọc luồng POSIX, khóa, biến điều kiện, OpenMP (parallel for, reduction, schedule, task), chia sẻ giả, cân bằng tải, SIMD trong từng lõi. Luyện tập: song song hóa nhân ma trận và tích phân số bằng OpenMP, đo tăng tốc với 1, 2, 4, 8 luồng; cố ý tạo chia sẻ giả với mảng bộ đếm mỗi luồng rồi sửa bằng đệm và so sánh; thử các kiểu schedule với vòng lặp có tải không đều.
- Đọc: Chương 7 Programming Shared Address Space Platforms — Introduction to Parallel Computing
Bước 3: Kiến trúc GPU và CUDA cơ bản
khoảng 12 giờHọc tính toán dị thể, mô hình kernel, lưới, khối, luồng, cấp phát và chép bộ nhớ giữa CPU và GPU, dữ liệu nhiều chiều, kiến trúc bộ đa xử lý, warp, lập lịch và phân kỳ luồng. Luyện tập trên GPU cá nhân hoặc Google Colab: viết kernel cộng vectơ, chuyển ảnh màu sang xám và làm mờ ảnh; đo thời gian kernel so với thời gian chép dữ liệu.
- Đọc: Chương 1 Introduction; Chương 2 Heterogeneous data parallel computing; Chương 3 Multidimensional grids and data; Chương 4 Compute architecture and scheduling — Programming Massively Parallel Processors: A Hands-on Approach
Bước 4: Bộ nhớ GPU và tối ưu hiệu năng
khoảng 12 giờHọc các loại bộ nhớ CUDA, chia khối dữ liệu vào bộ nhớ chia sẻ, truy cập gộp, độ lấp đầy, che độ trễ, chia thô luồng và danh sách kiểm tra tối ưu. Luyện tập: viết nhân ma trận ngây thơ rồi chia khối bằng bộ nhớ chia sẻ, đo GFLOP/s cho các kích thước khối khác nhau, dùng Nsight Compute để xác định kernel bị giới hạn bởi tính toán hay bộ nhớ và so với roofline.
- Đọc: Chương 5 Memory architecture and data locality; Chương 6 Performance considerations — Programming Massively Parallel Processors: A Hands-on Approach
Bước 5: Các mẫu song song trên GPU
khoảng 13 giờHọc tích chập với bộ nhớ hằng, stencil, histogram với thao tác nguyên tử và riêng hóa, rút gọn và giảm phân kỳ, quét tiền tố. Luyện tập: cài đặt rút gọn tổng một mảng 100 triệu phần tử theo ít nhất ba phiên bản tối ưu dần và đo băng thông đạt được; cài đặt histogram cho ảnh xám có và không có riêng hóa trong bộ nhớ chia sẻ.
- Đọc: Chương 7 Convolution; Chương 8 Stencil; Chương 9 Parallel histogram; Chương 10 Reduction; Chương 11 Prefix sum (scan) — Programming Massively Parallel Processors: A Hands-on Approach
Bước 6: Truyền thông điệp và đồ án
khoảng 8 giờHọc MPI: gửi – nhận, các phép tập thể, chồng lấp tính toán và truyền thông; lập trình cụm máy dị thể với MPI kết hợp CUDA. Đồ án: chọn một bài toán (mô phỏng truyền nhiệt 2D bằng stencil, hoặc nhân ma trận lớn), viết phiên bản tuần tự, OpenMP và CUDA (tùy chọn thêm MPI), đo tăng tốc và hiệu suất, rồi viết báo cáo giải thích kết quả bằng roofline và định luật Amdahl.
- Đọc: Chương 6 Programming Using the Message-Passing Paradigm — Introduction to Parallel Computing
- Đọc: Chương 20 Programming a heterogeneous computing cluster — Programming Massively Parallel Processors: A Hands-on Approach
Khái niệm chính
- Định luật Amdahl và Gustafson
- Amdahl: với cỡ bài toán cố định, tăng tốc bị giới hạn bởi phần tuần tự. Gustafson: khi cỡ bài toán tăng theo số bộ xử lý N và phần tuần tự s không tăng theo cỡ bài toán, tăng tốc theo quy mô S = s + p·N (p = 1 − s) gần tuyến tính.
- Mô hình roofline
- Biểu đồ hiệu năng đạt được theo cường độ số học; hiệu năng bị chặn bởi min(đỉnh tính toán, băng thông bộ nhớ × cường độ số học).
- Cường độ số học
- Số phép tính dấu phẩy động trên mỗi byte truyền từ bộ nhớ; chương trình có cường độ thấp bị giới hạn bởi băng thông.
- OpenMP
- Chuẩn chỉ thị cho C, C++ và Fortran để song song hóa vòng lặp và tác vụ trên bộ nhớ dùng chung, với các mệnh đề chia dữ liệu, rút gọn và lập lịch.
- Chia sẻ giả
- Các luồng ghi vào biến khác nhau nằm chung một khối bộ nhớ đệm, gây chuyển khối liên tục giữa các lõi; sửa bằng đệm hoặc sắp xếp lại dữ liệu.
- Mô hình bộ nhớ và thao tác nguyên tử
- Quy tắc về thứ tự đọc ghi giữa các luồng; thao tác nguyên tử và rào bộ nhớ là công cụ để viết mã đồng bộ đúng đắn không cần khóa.
- Kiến trúc GPU
- Nhiều bộ đa xử lý (SM), mỗi SM chạy nhiều warp 32 luồng cùng lúc và chuyển warp khi có warp phải chờ bộ nhớ, để che độ trễ bằng song song.
- Lưới, khối và luồng CUDA
- Mô hình lập trình phân cấp: kernel chạy trên một lưới các khối luồng; luồng trong cùng khối dùng chung bộ nhớ chia sẻ và đồng bộ được với nhau.
- Phân cấp bộ nhớ GPU
- Thanh ghi và bộ nhớ chia sẻ trên chip nhanh nhưng nhỏ, bộ nhớ toàn cục lớn nhưng chậm; chia khối dữ liệu vào bộ nhớ chia sẻ là kỹ thuật tối ưu trung tâm.
- Truy cập bộ nhớ gộp
- Khi các luồng liên tiếp của một warp đọc các địa chỉ liên tiếp, phần cứng gộp thành ít giao dịch bộ nhớ, tận dụng tối đa băng thông.
- Phân kỳ luồng
- Khi các luồng trong một warp đi theo nhánh khác nhau, các nhánh được thực thi lần lượt, làm giảm hiệu suất.
- Rút gọn và quét tiền tố
- Hai mẫu song song nền tảng: rút gọn gộp nhiều giá trị thành một, quét tính mọi tổng tiền tố; đều có thuật toán song song với độ sâu logarit.
- MPI
- Chuẩn truyền thông điệp giữa các tiến trình trên nhiều nút, với phép gửi – nhận điểm tới điểm và các phép tập thể như phát quảng bá, rút gọn, phân tán.
Học xong để làm gì
- Huấn luyện và suy luận mô hình học sâu trên GPU
- Mô phỏng khoa học và kỹ thuật: động lực học chất lưu, thời tiết, vật liệu trên siêu máy tính
- Xử lý ảnh, video và tín hiệu thời gian thực
- Phân tích dữ liệu lớn và cơ sở dữ liệu trên máy chủ đa lõi
- Tối ưu phần mềm nhúng đa lõi và hệ thống tự hành
Câu hỏi thường gặp
Không có GPU NVIDIA thì học CUDA thế nào?
Google Colab và nhiều dịch vụ đám mây cho dùng GPU miễn phí hoặc giá rẻ, đủ cho mọi bài tập của sách chính. Phần OpenMP và MPI chỉ cần một máy nhiều lõi bất kỳ.
Vì sao chương trình song song của tôi không nhanh hơn?
Nguyên nhân thường gặp: phần tuần tự lớn, bị giới hạn bởi băng thông bộ nhớ, chia sẻ giả, đồng bộ quá nhiều, mất cân bằng tải, hoặc với GPU là truy cập bộ nhớ không gộp và chép dữ liệu qua PCIe quá thường xuyên. Hãy đo bằng công cụ lập hồ sơ thay vì đoán.
Nên học OpenMP hay CUDA trước?
OpenMP trước: dễ bắt đầu và giúp bạn gặp các vấn đề chia sẻ giả, băng thông bộ nhớ trên phần cứng quen thuộc. CUDA sau, khi đã hiểu vì sao phân cấp bộ nhớ quan trọng.
Chủ đề này khác gì Parallel Computing trong lộ trình Khoa học máy tính?
Bản Khoa học máy tính chú trọng thuật toán song song và mô hình lập trình; bản này dành nhiều thời gian hơn cho kiến trúc GPU, phân cấp bộ nhớ và đo hiệu năng trên phần cứng thật — nền cho chủ đề Bộ tăng tốc phần cứng.
Học xong nên học gì tiếp?
Bộ tăng tốc phần cứng và kiến trúc chuyên biệt để thiết kế chính phần cứng song song, hoặc đi sâu vào tính toán hiệu năng cao và hệ thống học máy.

