Bạn sẽ học được gì
- Giải thích vì sao ngành chuyển sang kiến trúc chuyên biệt và nêu các nguyên tắc thiết kế bộ tăng tốc theo lĩnh vực
- Phân tích một mạng nơ-ron thành phép nhân – cộng, ước lượng số phép tính, lượng dữ liệu và cường độ số học
- Đánh giá bộ tăng tốc theo thông lượng, độ trễ, năng lượng, diện tích, độ chính xác và tính linh hoạt
- So sánh các luồng dữ liệu (giữ trọng số, giữ kết quả, giữ hàng) theo mức tái sử dụng dữ liệu
- Giải thích mảng systolic và bài toán ánh xạ một lớp mạng lên mảng xử lý
- Đánh giá ảnh hưởng của lượng tử hóa và tính thưa lên phần cứng và độ chính xác
- Thiết kế, kiểm chứng và đưa lên FPGA một khối nhân ma trận nhỏ, so sánh với cài đặt trên CPU và GPU
Nên học trước
Giới thiệu
Bộ tăng tốc phần cứng là câu trả lời của ngành kiến trúc máy tính khi bộ xử lý đa dụng không còn nhanh lên đủ: thay vì một lõi làm được mọi việc, ta thiết kế phần cứng chuyên cho một lớp bài toán — xử lý đồ họa, mạng nơ-ron, mã hóa, xử lý tín hiệu — và đạt hiệu năng trên mỗi watt cao hơn hàng chục đến hàng trăm lần. GPU, TPU của Google, khối xử lý nơ-ron (NPU) trong điện thoại đều là ví dụ. Chủ đề này gom kiến thức của cả lộ trình: kiến trúc máy tính, thiết kế HDL và FPGA, tính toán song song và đại số tuyến tính. Nội dung tương ứng với MIT 6.5930 Hardware Architecture for Deep Learning (do chính các tác giả sách chính giảng dạy) và các khóa về phần cứng cho học máy ở UC Berkeley.
Vì sao kiến trúc chuyên biệt
Khi quy luật tỉ lệ Dennard chấm dứt và định luật Moore chậm lại, năng lượng trở thành giới hạn chính. Phần lớn năng lượng của một bộ xử lý đa dụng dành cho nạp lệnh, giải mã, đổi tên thanh ghi và bộ nhớ đệm, chứ không phải cho phép tính. Một kiến trúc chuyên biệt theo lĩnh vực bỏ bớt các phần đó và dồn diện tích cho đơn vị tính toán và bộ nhớ trên chip. Các nguyên tắc: dùng bộ nhớ chuyên dụng để giảm di chuyển dữ liệu, dùng nhiều đơn vị tính toán đơn giản, dùng kiểu dữ liệu nhỏ nhất đủ chính xác, và đi kèm một ngôn ngữ hay thư viện chuyên biệt.
Tải học sâu nhìn từ phần cứng
Bạn sẽ phân tích mạng nơ-ron như một chuỗi phép nhân – cộng: lớp kết nối đầy đủ là nhân ma trận – vectơ, lớp tích chập biến đổi được thành nhân ma trận (GEMM). Đếm số phép nhân – cộng, số trọng số và lượng dữ liệu di chuyển, rồi đánh giá bằng các chỉ số: độ chính xác, thông lượng, độ trễ, năng lượng, diện tích và tính linh hoạt. Một con số làm thay đổi cách thiết kế: đọc một giá trị từ DRAM tốn năng lượng gấp khoảng hai trăm lần một phép nhân – cộng, nên tái sử dụng dữ liệu gần đơn vị tính toán là chìa khóa.
Thiết kế bộ tăng tốc
Trung tâm là mảng xử lý: mảng systolic (như TPU thế hệ đầu với 256 × 256 bộ nhân – cộng 8 bit) cho dữ liệu chảy nhịp nhàng qua các phần tử xử lý; các luồng dữ liệu (dataflow) như giữ trọng số tại chỗ, giữ kết quả tại chỗ hay giữ hàng tại chỗ quyết định dữ liệu nào được tái sử dụng ở cấp bộ nhớ nào. Bài toán ánh xạ — chia khối và sắp thứ tự vòng lặp của một lớp lên phần cứng — ảnh hưởng tới hiệu năng không kém bản thân phần cứng. Tiếp đó là đồng thiết kế phần cứng – thuật toán: lượng tử hóa xuống 8 bit hoặc ít hơn, khai thác trọng số và kích hoạt bằng 0 (tính thưa), và thiết kế mô hình hiệu quả. GPU với nhân tensor là điểm so sánh quan trọng: linh hoạt hơn nhưng tốn năng lượng hơn.
Công cụ thực hành
- SystemVerilog trên FPGA: tự viết một mảng systolic nhỏ nhân ma trận số nguyên 8 bit, kiểm chứng bằng Verilator với mô hình tham chiếu viết bằng Python và NumPy.
- Tổng hợp mức cao (HLS): viết nhân ma trận bằng C++ và để công cụ như Vitis HLS sinh RTL, rồi so sánh với bản tự viết.
- Các dự án mở để đọc và chạy mô phỏng: Gemmini (bộ sinh mảng systolic của Berkeley), NVDLA, và công cụ mô hình hóa Timeloop cùng Accelergy.
- Đo trên GPU: chạy cùng phép nhân ma trận trên CPU, GPU và thiết kế của bạn, so sánh thông lượng và năng lượng ước tính.
Nên học thế nào
- Nền tảng cần có: Kiến trúc máy tính, Thiết kế số với HDL và FPGA, Đại số tuyến tính (nhân ma trận, tích chập); nên học trước Tính toán song song.
- Sách chính: Efficient Processing of Deep Neural Networks của Sze, Chen, Yang và Emer — tổng quan có hệ thống nhất về thiết kế bộ tăng tốc học sâu. Chương 7 Domain Specific Architectures của Hennessy và Patterson cho bức tranh chung và các ví dụ thật; sách của Hwu cho góc nhìn GPU.
- Trên trang: tài liệu về mạng nơ-ron nhân tạo cơ bản nếu cần ôn phía thuật toán.
Học xong, bạn đánh giá được một bộ tăng tốc bằng số liệu, và tự thiết kế một khối tăng tốc nhỏ chạy trên FPGA.
Giáo trình & sách tham khảo
Xem tất cả trong tab SáchGiáo trình chính
Efficient Processing of Deep Neural Networks
Vivienne Sze, Yu-Hsin Chen và 2 tác giả khác · 2020
Vì sao chọn: Sách của Vivienne Sze, Yu-Hsin Chen, Tien-Ju Yang và Joel Emer (Morgan & Claypool, nay thuộc bộ Synthesis Lectures của Springer; sách trả phí), các tác giả của bộ tăng tốc Eyeriss và khóa MIT 6.5930. Chọn làm sách chính vì là tổng quan có hệ thống nhất về thiết kế phần cứng cho học sâu, từ chỉ số đánh giá tới luồng dữ liệu và đồng thiết kế.
Nên đọc: Chương 1–10 (tổng quan mạng nơ-ron, chỉ số đánh giá, thiết kế bộ tăng tốc, ánh xạ, độ chính xác thấp, tính thưa, mô hình hiệu quả, công nghệ mới)
Programming Massively Parallel Processors: A Hands-on Approach
Wen-mei W. Hwu, David B. Kirk, Izzat El Hajj · 2022 · Bản thứ 4
Sách chính của chủ đề Tính toán song song. Chương 16 cho thấy lớp tích chập và kết nối đầy đủ được cài đặt hiệu quả trên GPU thế nào — điểm so sánh cho bộ tăng tốc chuyên biệt.
Nên đọc: Chương 16 Deep learning
Computer Architecture: A Quantitative Approach
John L. Hennessy, David A. Patterson · 2017 · Bản thứ 6
Sách chính của chủ đề Kiến trúc máy tính. Chương 7 nêu các nguyên tắc thiết kế kiến trúc chuyên biệt và phân tích các ví dụ thật như TPU của Google; chương 4 về GPU và vectơ.
Nên đọc: Chương 4 Data-Level Parallelism in Vector, SIMD, and GPU Architectures; Chương 7 Domain Specific Architectures
Các bước học
Đăng nhập để đánh dấu các bước đã hoàn thành.
Bước 1: Vì sao cần kiến trúc chuyên biệt
khoảng 8 giờHọc giới hạn năng lượng sau khi quy luật Dennard chấm dứt, nguyên tắc của kiến trúc chuyên biệt theo lĩnh vực và các ví dụ thật (TPU, bộ tăng tốc trong điện thoại, FPGA trong trung tâm dữ liệu); mô hình roofline cho bộ tăng tốc. Luyện tập: với một bộ tăng tốc được mô tả trong sách, lập bảng số đơn vị MAC, dung lượng bộ nhớ trên chip, băng thông bộ nhớ ngoài, rồi vẽ roofline và đặt một lớp tích chập, một lớp kết nối đầy đủ lên đó.
- Đọc: Chương 7 Domain Specific Architectures — Computer Architecture: A Quantitative Approach
- Đọc: Chương 1 Introduction — Efficient Processing of Deep Neural Networks
Bước 2: Mạng nơ-ron nhìn từ phần cứng
khoảng 10 giờHọc các loại lớp (kết nối đầy đủ, tích chập, chú ý), số phép MAC, số trọng số, các chỉ số đánh giá (độ chính xác, thông lượng, độ trễ, năng lượng, diện tích, tính linh hoạt), biến đổi tích chập thành nhân ma trận. Luyện tập: viết bằng Python một bảng tính số MAC, dung lượng trọng số và kích hoạt cho từng lớp của một mạng CNN nhỏ; cài đặt tích chập theo kiểu im2col cộng GEMM bằng NumPy và kiểm tra với cài đặt trực tiếp. Ôn tài liệu mạng nơ-ron nhân tạo cơ bản trên trang nếu cần.
- Đọc: Chương 2 Overview of Deep Neural Networks; Chương 3 Key Metrics and Design Objectives; Chương 4 Kernel Computation — Efficient Processing of Deep Neural Networks
Bước 3: GPU như một bộ tăng tốc
khoảng 10 giờHọc kiến trúc GPU cho song song dữ liệu, nhân tensor, cách thư viện học sâu ánh xạ tích chập và nhân ma trận lên GPU. Luyện tập: đo thông lượng nhân ma trận số thực 32 bit và 16 bit trên GPU (Colab) bằng thư viện có sẵn và bằng kernel CUDA tự viết từ chủ đề Tính toán song song; tính phần trăm đỉnh lý thuyết đạt được và giải thích bằng roofline.
- Đọc: Chương 4 Data-Level Parallelism in Vector, SIMD, and GPU Architectures — Computer Architecture: A Quantitative Approach
- Đọc: Chương 16 Deep learning — Programming Massively Parallel Processors: A Hands-on Approach
Bước 4: Thiết kế bộ tăng tốc: mảng xử lý, luồng dữ liệu và ánh xạ
khoảng 14 giờHọc kiến trúc mảng xử lý, mảng systolic, phân cấp bộ nhớ trên chip, các luồng dữ liệu giữ trọng số, giữ kết quả, giữ hàng, bài toán ánh xạ và chia khối vòng lặp. Luyện tập: với một lớp tích chập cho trước, đếm số lần truy cập DRAM, bộ đệm trên chip và thanh ghi cho hai luồng dữ liệu khác nhau và ước tính năng lượng theo tỉ lệ chi phí trong sách; nếu có thời gian, chạy thử Timeloop với cấu hình mẫu.
- Đọc: Chương 5 Designing DNN Accelerators; Chương 6 Operation Mapping on Specialized Hardware — Efficient Processing of Deep Neural Networks
Bước 5: Đồng thiết kế: độ chính xác thấp, tính thưa, mô hình hiệu quả
khoảng 10 giờHọc lượng tử hóa và định dạng số, khai thác tính thưa và nén, thiết kế mô hình hiệu quả, cùng các công nghệ mới như xử lý gần bộ nhớ. Luyện tập: lượng tử hóa trọng số một mạng nhỏ từ 32 bit xuống 8 bit và 4 bit bằng Python, đo độ chính xác trên tập kiểm tra; tính mức giảm dung lượng và băng thông; đo tỉ lệ kích hoạt bằng 0 sau hàm ReLU.
- Đọc: Chương 7 Reducing Precision; Chương 8 Exploiting Sparsity; Chương 9 Designing Efficient DNN Models; Chương 10 Advanced Technologies — Efficient Processing of Deep Neural Networks
Bước 6: Đồ án: mảng systolic nhân ma trận trên FPGA
khoảng 18 giờĐồ án: thiết kế bằng SystemVerilog một mảng systolic 4 × 4 (hoặc 8 × 8) nhân ma trận số nguyên 8 bit với bộ cộng dồn 32 bit, kiểm chứng bằng Verilator với mô hình tham chiếu NumPy, nạp lên board FPGA và nạp dữ liệu qua UART từ chủ đề HDL và FPGA. Viết thêm phiên bản HLS của cùng phép tính. Báo cáo: tài nguyên sử dụng, tần số, thông lượng, so sánh với CPU và GPU, và đề xuất cải tiến theo roofline.
Khái niệm chính
- Kiến trúc chuyên biệt theo lĩnh vực (DSA)
- Bộ xử lý thiết kế cho một lớp ứng dụng, đánh đổi tính đa dụng lấy hiệu năng và hiệu quả năng lượng cao hơn nhiều lần.
- Phép nhân – cộng (MAC)
- Phép tính cơ bản của mạng nơ-ron và đại số tuyến tính; số MAC là thước đo khối lượng tính toán của một mô hình.
- GEMM
- Nhân ma trận tổng quát; lớp kết nối đầy đủ và (sau khi biến đổi) lớp tích chập đều quy về GEMM, nên phần cứng nhân ma trận hiệu quả là trung tâm của bộ tăng tốc.
- Chi phí di chuyển dữ liệu
- Năng lượng đọc dữ liệu tăng mạnh theo khoảng cách: từ tệp thanh ghi cục bộ, bộ đệm trên chip, tới DRAM (đắt gấp khoảng hai trăm lần một MAC); vì vậy tái sử dụng dữ liệu là mục tiêu thiết kế số một.
- Mảng systolic
- Lưới phần tử xử lý đơn giản nối láng giềng, dữ liệu chảy nhịp nhàng qua mảng và mỗi giá trị được dùng lại nhiều lần; dùng trong TPU và nhiều bộ tăng tốc.
- Luồng dữ liệu (dataflow)
- Chiến lược quyết định dữ liệu nào được giữ tại phần tử xử lý: giữ trọng số tại chỗ, giữ kết quả tại chỗ, giữ hàng tại chỗ (Eyeriss).
- Ánh xạ (mapping)
- Cách chia khối và sắp thứ tự vòng lặp của một lớp mạng lên phần cứng; cùng phần cứng, ánh xạ khác nhau cho năng lượng và hiệu năng rất khác nhau.
- Mô hình roofline
- Hiệu năng đạt được bị chặn bởi min(đỉnh tính toán, băng thông bộ nhớ × cường độ số học); dùng để biết bộ tăng tốc đang bị giới hạn bởi tính toán hay bộ nhớ.
- Lượng tử hóa
- Giảm độ chính xác số (dấu phẩy động 32 bit xuống số nguyên 8 bit hoặc ít hơn) để giảm năng lượng, diện tích và băng thông, với tổn thất độ chính xác chấp nhận được.
- Tính thưa
- Nhiều trọng số và kích hoạt bằng 0; phần cứng có thể bỏ qua phép tính hoặc nén dữ liệu, nhưng phải trả chi phí cho định dạng và điều khiển.
- GPU và nhân tensor
- GPU hiện đại có đơn vị chuyên nhân ma trận nhỏ; linh hoạt hơn bộ tăng tốc cố định nhưng hiệu quả năng lượng thấp hơn.
- Tổng hợp mức cao (HLS)
- Sinh RTL từ mã C/C++ có chỉ thị về đường ống và phân vùng bộ nhớ; rút ngắn thời gian thiết kế khối tính toán nhưng cần hiểu phần cứng được sinh ra.
- Đồng thiết kế phần cứng – thuật toán
- Thiết kế mô hình và phần cứng cùng nhau (độ chính xác, tính thưa, kích thước lớp) để tối ưu chung độ chính xác, năng lượng và độ trễ.
Học xong để làm gì
- Thiết kế NPU cho điện thoại, camera thông minh và thiết bị IoT
- Bộ tăng tốc học sâu trong trung tâm dữ liệu cho huấn luyện và suy luận
- Tăng tốc trên FPGA cho xử lý ảnh, video, mạng và tài chính
- Bộ tăng tốc mã hóa, nén dữ liệu, xử lý tín hiệu trong hệ thống trên chip
- Đánh giá, chọn nền tảng phần cứng và tối ưu mô hình để triển khai AI ở biên
Câu hỏi thường gặp
Có cần giỏi học máy trước khi học chủ đề này không?
Chỉ cần hiểu mạng nơ-ron ở mức lớp kết nối đầy đủ, tích chập, hàm kích hoạt; sách chính có chương tổng quan riêng. Phần quan trọng hơn là kiến trúc máy tính và đại số tuyến tính.
Làm đồ án trên FPGA nào?
Bo Artix-7 dùng cho chủ đề HDL và FPGA đủ cho một mảng systolic 4 × 4 hoặc 8 × 8 với số nguyên 8 bit. Nếu chỉ có board iCE40 nhỏ, hãy thu nhỏ mảng và dựa nhiều hơn vào mô phỏng bằng Verilator.
Nên dùng HLS hay tự viết RTL?
Nên làm cả hai cho cùng một khối: tự viết RTL để hiểu phần cứng, dùng HLS để thấy năng suất thiết kế. Trong công nghiệp cả hai cùng tồn tại; HLS phổ biến cho FPGA, RTL vẫn là chuẩn cho ASIC hiệu năng cao.
GPU có phải là bộ tăng tốc không?
Có — GPU là bộ tăng tốc cho tính toán song song dữ liệu và là điểm so sánh chuẩn. Các bộ tăng tốc chuyên biệt như TPU hy sinh bớt tính linh hoạt để đạt hiệu quả năng lượng cao hơn cho một lớp bài toán hẹp hơn.
Chủ đề này dẫn tới công việc gì?
Kỹ sư kiến trúc và thiết kế RTL cho bộ tăng tốc AI, kỹ sư FPGA, kỹ sư tối ưu phần mềm cho phần cứng AI, và nghiên cứu sinh ngành kiến trúc máy tính.


