Bỏ qua tới nội dung chính

Tính toán song song

SIMD, đa luồng, nhất quán cache, mô hình bộ nhớ, OpenMP và lập trình GPU với CUDA — viết chương trình khai thác được phần cứng song song hiện đại.

4 khóa học đề xuất9 học liệu (2 video, 4 tài liệu, 3 sách)

Hướng dẫn học chủ đề

Nâng caokhoảng 65 giờ6 bước
  • Phân tích giới hạn tăng tốc bằng định luật Amdahl, Gustafson và mô hình roofline
  • Song song hóa chương trình trên CPU đa lõi bằng luồng POSIX và OpenMP, xử lý chia sẻ giả và mất cân bằng tải
  • Giải thích kiến trúc GPU: bộ đa xử lý, warp, phân cấp bộ nhớ, và ảnh hưởng tới hiệu năng

Giáo trình: Programming Massively Parallel Processors: A Hands-on Approach +2 sách khác

Đọc hướng dẫn đầy đủ
Thuộc nhóm Hệ thống máy tính · Computer Systems5 chủ đề · khoảng 335 giờKiến trúc máy tính hiệu năng cao, hệ điều hành, mạng máy tính, tính toán song song và bộ tăng tốc phần cứng.Xem nhóm
Chọn nguồn tự học

Chọn nguồn có bài tập chạy trên phần cứng thật (CPU đa nhân, GPU); luôn đo tốc độ tăng và giải thích bằng giới hạn của phần cứng (băng thông bộ nhớ, đồng bộ) thay vì chỉ đếm số luồng.

Khóa học đề xuất

Khóa trên OpenER và khóa mở của các trường, tuyển chọn cho chủ đề này.

Xem tất cả (4)

Stanford · CS 149 · Thu 2024

Parallel Computing (mở trong tab mới)

Tính toán song song

Kayvon Fatahalian, Kunle Olukotun

Đề xuất chínhChỉ tài liệuLiên kết ngoàiCấp độ: Trung bìnhTiếng AnhBản quyền

Môn tính toán song song của Stanford: vì sao cần song song, bộ xử lý đa nhân hiện đại, SIMD và đa luồng, kiến trúc GPU, lập trình song song dữ liệu, nhất quán bộ nhớ đệm và mô hình bộ nhớ, đồng bộ, giao dịch và bộ tăng tốc phần cứng cho học sâu.

Vì sao chọn: Khóa chính vì phủ đúng phạm vi chủ đề từ SIMD, đa luồng, nhất quán bộ nhớ đệm, mô hình bộ nhớ tới lập trình GPU, lại luôn giải thích hiệu năng bằng giới hạn phần cứng như hướng dẫn chủ đề khuyên; bản 2024 đã hoàn tất, slide từng buổi rất trực quan.

  • Chuyên sâu

  • IIT Kharagpur · 106105220

    GPU Architectures and Programming (mở trong tab mới)

    Kiến trúc và lập trình GPU

    Soumyajit Dey

    Thay thếVideo + tài liệuLiên kết ngoàiCấp độ: Nâng cao

    Vì sao chọn: Bám sát tinh thần sách chính Programming Massively Parallel Processors: kiến trúc GPU, CUDA, lập lịch warp, gộp truy cập bộ nhớ và tối ưu kernel, có video công khai.

    • Chuyên sâu

  • IIT Delhi · 106102163

    Introduction to parallel programming with OpenMP and MPI (mở trong tab mới)

    Nhập môn lập trình song song với OpenMP và MPI

    Yogish Sabharwal

    Thay thếVideo + tài liệuLiên kết ngoàiCấp độ: Trung bình

    Vì sao chọn: Thiên về OpenMP và MPI qua video công khai; hợp với người muốn viết chương trình đa luồng ngay trên CPU đa nhân khi chưa có GPU.

    • Dễ bắt đầu

  • IIT Guwahati · 106103359

    Parallel Computer Architecture (mở trong tab mới)

    Kiến trúc máy tính song song

    Hemangee K. Kapoor

    Nâng caoVideo + tài liệuLiên kết ngoàiCấp độ: Nâng cao

    Vì sao chọn: Đi sâu vào phía phần cứng của song song: nhất quán bộ nhớ đệm với MSI, MESI, Dragon và cách hiện thực trên bus, giúp giải thích vì sao chương trình song song chậm hơn dự kiến.

    • Chuyên sâu

Video

Video 34.2: Thread-Level Parallelism II: OpenMP

UC Berkeley

Cập nhật 09/10/2026
Tài liệu

OpenMP Summary Card

UC Berkeley

Cập nhật 09/10/2026
Tài liệu

OpenMP Summary Card

UC Berkeley

Cập nhật 02/10/2026
Tài liệu

OpenMP Summary Card

UC Berkeley

Cập nhật 02/10/2026
Video

[CS61C FA20] Lecture 34.2 - Thread-Level Parallelism II: OpenMP

UC Berkeley

Cập nhật 01/10/2026
Tài liệu

OpenMP Summary Card

UC Berkeley

Cập nhật 01/10/2026
Sách

Programming Massively Parallel Processors: A Hands-on Approach

Elsevier

Giáo trình chuẩn về lập trình GPU với CUDA: mô hình thực thi, phân cấp bộ nhớ, tối ưu hiệu năng và các mẫu tính toán song song (tích chập, stencil, reduction, sắp xếp, đồ thị, học sâu).

Cập nhật 26/09/2026
Sách

Introduction to Parallel Computing

Trang chính thức của tác giả Ananth Grama (Purdue University)

Giáo trình kinh điển và toàn diện nhất về tính toán song song: kiến trúc song song, mô hình hiệu năng, lập trình chia sẻ bộ nhớ (OpenMP/Pthreads) và truyền thông điệp (MPI), cùng các thuật toán song song kinh điển (ma trận, sắp xếp, đồ thị).

Cập nhật 25/09/2026
Sách

Is Parallel Programming Hard, And, If So, What Can You Do About It?

Trang chính thức của tác giả trên kernel.org

Sách mở, cập nhật liên tục, dạy lập trình song song/đồng thời đúng đắn ở mức hệ thống (khóa, RCU, mô hình bộ nhớ) bằng C — miễn phí theo giấy phép CC BY-SA 3.0 US.

Cập nhật 25/09/2026