Bỏ qua tới nội dung chính

Hướng dẫn học chủ đề

Kiến trúc máy tính

Nâng caokhoảng 75 giờ6 bước

Đường ống lệnh và xử lý xung đột, dự đoán rẽ nhánh, thực thi không theo thứ tự, phân cấp cache, bộ nhớ ảo, đa nhân và nhất quán bộ nhớ — cùng phương pháp định lượng để đánh giá hiệu năng (tham chiếu UC Berkeley CS152).

Bắt đầu học

Bạn sẽ học được gì

  • Đánh giá thiết kế bằng phương pháp định lượng: công thức hiệu năng, định luật Amdahl, công suất và năng lượng, bộ chuẩn đo
  • Giải thích thực thi không theo thứ tự với đổi tên thanh ghi, trạm chờ và bộ đệm sắp xếp lại, cùng thực thi suy đoán
  • So sánh các bộ dự đoán rẽ nhánh và đo ảnh hưởng của rẽ nhánh khó đoán bằng bộ đếm hiệu năng
  • Phân tích và tối ưu phân cấp bộ nhớ: bộ nhớ đệm nhiều mức, nạp trước, DRAM, TLB
  • Giải thích song song mức dữ liệu (SIMD, vectơ, GPU) và song song mức luồng trên đa lõi
  • Phân tích giao thức nhất quán bộ nhớ đệm và phân biệt các mô hình nhất quán bộ nhớ
  • Dùng gem5 hoặc một bộ xử lý tự viết để thử nghiệm và báo cáo một đánh đổi thiết kế có số liệu

Nên học trước

Giới thiệu

Kiến trúc máy tính là nghệ thuật dùng một ngân sách transistor, năng lượng và diện tích có hạn để chạy phần mềm thật nhanh. Sau Cấu trúc tính toán, bạn đã có một bộ xử lý đường ống năm giai đoạn; chủ đề này hỏi tiếp: làm sao các bộ xử lý hiện đại thực thi vài lệnh mỗi chu kỳ, che được độ trễ hàng trăm chu kỳ của DRAM, và phối hợp hàng chục lõi dùng chung bộ nhớ? Nội dung tương ứng với UC Berkeley CS152 Computer Architecture and Engineering, MIT 6.5900 (trước đây là 6.823) và học phần Kiến trúc máy tính nâng cao ở các trường Việt Nam.

Phương pháp định lượng

Kiến trúc máy tính hiện đại là một ngành định lượng: mọi ý tưởng phải được đo trên tải thật. Bạn sẽ dùng công thức hiệu năng (số lệnh × CPI × chu kỳ xung nhịp), định luật Amdahl, công suất động tỉ lệ với điện dung × bình phương điện áp × tần số, và hiểu vì sao khi quy luật tỉ lệ Dennard chấm dứt, ngành chuyển từ tăng xung nhịp sang đa lõi và kiến trúc chuyên biệt. Công cụ đo là bộ đếm hiệu năng phần cứng (perf trên Linux) và trình mô phỏng kiến trúc như gem5. Đây là góc nhìn của kỹ sư máy tính; nếu muốn góc nhìn từ phía phần mềm, xem thêm Computer Architecture and Engineering trong lộ trình Khoa học máy tính.

Song song mức lệnh

Để CPI xuống dưới 1, bộ xử lý phải phát nhiều lệnh mỗi chu kỳ (siêu vô hướng) và không chờ lệnh bị kẹt: thực thi không theo thứ tự với đổi tên thanh ghi, trạm chờ (thuật toán Tomasulo) và bộ đệm sắp xếp lại (ROB) để lệnh vẫn hoàn tất theo thứ tự chương trình. Dự đoán rẽ nhánh động — từ bộ đếm bão hòa 2 bit tới bộ dự đoán dùng lịch sử toàn cục — và thực thi suy đoán giữ cho đường ống luôn đầy. Chính thực thi suy đoán đã mở ra lớp lỗ hổng Spectre, bài học rằng tối ưu hiệu năng có thể trả giá bằng bảo mật.

Thiết kế phân cấp bộ nhớ

Phần lớn thời gian chờ của chương trình hiện đại nằm ở bộ nhớ. Bạn sẽ học các kỹ thuật tối ưu bộ nhớ đệm (bộ nhớ đệm nhiều mức, bộ nhớ đệm không chặn, nạp trước bằng phần cứng và phần mềm), tổ chức DRAM, bộ nhớ ảo với TLB nhiều mức, và cách đo "núi bộ nhớ" trên máy của chính mình.

Song song mức dữ liệu và mức luồng

SIMD và vectơ (phần mở rộng V của RISC-V, AVX của x86) xử lý nhiều phần tử một lệnh; GPU đẩy ý tưởng này tới hàng nghìn luồng. Với đa lõi, hai vấn đề mới xuất hiện: nhất quán bộ nhớ đệm (giao thức MSI, MESI, dựa trên nghe lén bus hay thư mục) và mô hình nhất quán bộ nhớ — thứ tự các lệnh đọc ghi của lõi này được lõi khác nhìn thấy (nhất quán tuần tự, TSO của x86, RVWMO của RISC-V). Phần kiến trúc chuyên biệt như bộ tăng tốc học sâu được học riêng ở chủ đề Bộ tăng tốc phần cứng.

Nên học thế nào

  • Nền tảng cần có: Cấu trúc tính toán (đường ống năm giai đoạn, bộ nhớ đệm, bộ nhớ ảo) và C.
  • Sách chính: Computer Architecture: A Quantitative Approach của Hennessy và Patterson (bản thứ 6), chương 1–5 cùng các phụ lục B, C để ôn. Sách nặng nên đọc có chọn lọc theo từng bước.
  • Đo trên phần cứng thật: với mỗi kỹ thuật, viết một chương trình nhỏ làm lộ ra nó (rẽ nhánh khó đoán, truy cập bộ nhớ theo bước lớn, chia sẻ giả giữa hai luồng) và đo bằng perf.
  • Mô phỏng và tự xây: dùng gem5 để thay đổi kích thước bộ nhớ đệm, bộ dự đoán rẽ nhánh và xem ảnh hưởng; hoặc thêm bộ dự đoán rẽ nhánh vào bộ xử lý đường ống SystemVerilog của bạn. Đọc mã các lõi mở như Rocket và BOOM của Berkeley để thấy thiết kế thật.
  • Trên trang: khóa Kiến trúc máy tính và Great Ideas in Computer Architecture cùng các bài về đường ống lệnh, bộ nhớ đệm và xử lý song song mức phần cứng.

Giáo trình & sách tham khảo

Xem tất cả trong tab Sách

Giáo trình chính

Computer Architecture: A Quantitative Approach

John L. Hennessy, David A. Patterson · 2017 · Bản thứ 6

Có phíNâng caoTiếng Anh936 trang

Vì sao chọn: Sách tham khảo kinh điển nhất về kiến trúc máy tính định lượng của Hennessy và Patterson (bản thứ 6, Morgan Kaufmann, sách trả phí), dùng ở UC Berkeley CS152 và nhiều khóa cao học. Chọn làm sách chính vì trình độ nâng cao khớp chủ đề; chương 7 về kiến trúc chuyên biệt dùng ở chủ đề Bộ tăng tốc phần cứng.

Nên đọc: Chương 1–5; Phụ lục B Review of Memory Hierarchy; Phụ lục C Pipelining: Basic and Intermediate Concepts

Digital Design and Computer Architecture: RISC-V Edition

Sarah Harris, David Money Harris · 2021

Có phíTrung bìnhTiếng Anh656 trang

Sách của trục thiết kế số trong lộ trình. Chương 7 có mã SystemVerilog của bộ xử lý đường ống RISC-V và phần tổng quan vi kiến trúc nâng cao (siêu vô hướng, không theo thứ tự) — điểm xuất phát cho đồ án tự hiện thực.

Nên đọc: Chương 7 Microarchitecture

Các bước học

Đăng nhập để đánh dấu các bước đã hoàn thành.

  1. Bước 1: Phương pháp định lượng và đo hiệu năng

    khoảng 10 giờ

    Học xu hướng công nghệ, công suất và năng lượng, chi phí, độ tin cậy, bộ chuẩn đo SPEC và cách báo cáo hiệu năng, định luật Amdahl. Luyện tập: cài perf trên Linux, dùng perf stat đo chu kỳ, số lệnh, IPC, trượt bộ nhớ đệm và đoán sai rẽ nhánh của vài chương trình (sắp xếp, nhân ma trận, duyệt danh sách liên kết); viết một trang báo cáo so sánh.

  2. Bước 2: Ôn đường ống và xung đột

    khoảng 8 giờ

    Ôn đường ống năm giai đoạn, xung đột dữ liệu, điều khiển, cấu trúc, chuyển tiếp, ngoại lệ chính xác, đường ống cho lệnh nhiều chu kỳ. Luyện tập: trong Ripes, chạy cùng một chương trình trên bộ xử lý đơn chu kỳ và đường ống năm giai đoạn có và không có chuyển tiếp, ghi số chu kỳ và CPI; giải thích từng chu kỳ chờ.

  3. Bước 3: Song song mức lệnh: dự đoán rẽ nhánh và thực thi không theo thứ tự

    khoảng 16 giờ

    Học phụ thuộc dữ liệu và phụ thuộc giả, lập lịch động theo Tomasulo, đổi tên thanh ghi, bộ đệm sắp xếp lại, dự đoán rẽ nhánh động, thực thi suy đoán, siêu vô hướng và giới hạn của song song mức lệnh. Luyện tập: đo bằng perf một vòng lặp cộng có điều kiện trên mảng ngẫu nhiên và trên mảng đã sắp xếp, giải thích chênh lệch; trong gem5 so sánh bộ xử lý theo thứ tự và không theo thứ tự trên cùng chương trình.

  4. Bước 4: Thiết kế phân cấp bộ nhớ

    khoảng 14 giờ

    Học mười cách tối ưu bộ nhớ đệm, công nghệ và tổ chức DRAM, bộ nhớ ảo và máy ảo, bảo vệ bộ nhớ; ôn khái niệm bộ nhớ đệm cơ bản ở phụ lục B. Luyện tập: viết chương trình đo độ trễ truy cập theo kích thước mảng và bước nhảy để vẽ núi bộ nhớ trên máy của bạn và suy ra kích thước L1, L2, L3; trong gem5 thay đổi độ liên kết và kích thước L1 cho một tải và lập bảng tỉ lệ trượt.

  5. Bước 5: Song song mức dữ liệu và mức luồng

    khoảng 14 giờ

    Học kiến trúc vectơ, SIMD đa phương tiện, GPU; đa lõi dùng chung bộ nhớ, nhất quán bộ nhớ đệm dựa trên nghe lén và thư mục, đồng bộ hóa, mô hình nhất quán bộ nhớ. Luyện tập: viết hai luồng tăng hai bộ đếm riêng nằm chung một khối bộ nhớ đệm, đo thời gian, rồi đệm cho hai bộ đếm nằm ở hai khối khác nhau và đo lại; vectơ hóa một vòng lặp cộng mảng (tự động hoặc bằng intrinsic) và so sánh tốc độ.

  6. Bước 6: Đồ án khám phá không gian thiết kế

    khoảng 13 giờ

    Chọn một đồ án và viết báo cáo có số liệu: (a) trong gem5, khảo sát ảnh hưởng của kích thước bộ nhớ đệm L2, độ rộng phát lệnh và loại bộ dự đoán rẽ nhánh lên hiệu năng của ba chương trình, vẽ biểu đồ và rút ra cấu hình tốt nhất theo một ngân sách diện tích giả định; hoặc (b) thêm bộ dự đoán rẽ nhánh 2 bit có bảng đích vào bộ xử lý đường ống SystemVerilog của bạn, đo CPI trước và sau trên cùng bộ chương trình.

Khái niệm chính

Phương pháp định lượng
Đánh giá mọi ý tưởng kiến trúc bằng số đo trên tải thật: thời gian thực thi, CPI, năng lượng, diện tích; ưu tiên tối ưu trường hợp phổ biến.
Kết thúc quy luật Dennard
Khi transistor nhỏ đi mà điện áp không còn giảm tương ứng, mật độ công suất tăng; ngành chuyển từ tăng xung nhịp sang đa lõi và kiến trúc chuyên biệt.
Siêu vô hướng
Bộ xử lý có thể nạp, giải mã và phát nhiều lệnh trong một chu kỳ, cho CPI nhỏ hơn 1 khi đủ song song mức lệnh.
Thực thi không theo thứ tự
Lệnh được thi hành ngay khi toán hạng sẵn sàng thay vì theo thứ tự chương trình, nhưng vẫn hoàn tất theo thứ tự nhờ bộ đệm sắp xếp lại (ROB).
Đổi tên thanh ghi
Ánh xạ thanh ghi kiến trúc sang tập thanh ghi vật lý lớn hơn để loại bỏ phụ thuộc giả (ghi sau đọc, ghi sau ghi).
Dự đoán rẽ nhánh động
Đoán hướng và đích của lệnh rẽ nhánh dựa trên lịch sử thực thi (bộ đếm bão hòa 2 bit, lịch sử toàn cục, bộ đệm đích rẽ nhánh) để đường ống không phải chờ.
Thực thi suy đoán
Thi hành lệnh sau rẽ nhánh trước khi biết chắc hướng đi và hủy kết quả nếu đoán sai; dấu vết để lại trong bộ nhớ đệm là cơ sở của tấn công Spectre.
Tối ưu bộ nhớ đệm
Các kỹ thuật giảm thời gian trúng, tỉ lệ trượt và thời gian phạt trượt: bộ nhớ đệm nhiều mức, không chặn, nạp trước, bộ đệm ghi.
SIMD và vectơ
Một lệnh xử lý nhiều phần tử dữ liệu; kiến trúc vectơ (RISC-V V) có độ dài vectơ thay đổi, SIMD (AVX, NEON) có độ rộng cố định.
Nhất quán bộ nhớ đệm (cache coherence)
Bảo đảm mọi lõi thấy cùng một giá trị cho một địa chỉ; giao thức MSI, MESI hiện thực bằng nghe lén bus hoặc thư mục.
Mô hình nhất quán bộ nhớ
Quy tắc về thứ tự các lệnh đọc ghi của một lõi mà lõi khác quan sát được: nhất quán tuần tự, TSO (x86), RVWMO (RISC-V); cần lệnh rào (fence) để ép thứ tự.
Chia sẻ giả (false sharing)
Hai luồng ghi vào các biến khác nhau nằm chung một khối bộ nhớ đệm khiến khối đó bị chuyển qua lại giữa các lõi, làm chậm chương trình dù không có dữ liệu chung.
Bộ đếm hiệu năng phần cứng
Thanh ghi đếm sự kiện (chu kỳ, lệnh, trượt bộ nhớ đệm, đoán sai rẽ nhánh) mà công cụ như perf đọc để phân tích chương trình trên máy thật.

Học xong để làm gì

  • Thiết kế lõi bộ xử lý hiệu năng cao ở các công ty vi mạch
  • Tối ưu phần mềm hiệu năng cao và hệ thống dựa trên số đo của bộ đếm hiệu năng
  • Đánh giá và chọn bộ xử lý, cấu hình máy chủ cho trung tâm dữ liệu
  • Phân tích và phòng chống lỗ hổng vi kiến trúc như Spectre, Meltdown
  • Nghiên cứu kiến trúc mới bằng mô phỏng gem5 trước khi hiện thực

Câu hỏi thường gặp

Sách Hennessy và Patterson có quá khó để tự học không?

Sách viết cho trình độ năm cuối đại học và cao học. Hãy chắc phần đường ống và bộ nhớ đệm trong sách Patterson và Hennessy trước, đọc phụ lục B, C để ôn, rồi đọc chương 1–5 theo từng bước của lộ trình, bỏ qua các mục nghiên cứu điển hình khi mới đọc lần đầu.

Cần máy gì để làm thực hành?

Một máy Linux (hoặc máy ảo, WSL) là đủ để chạy perf và gem5; perf trong máy ảo có thể không truy cập được mọi bộ đếm phần cứng, khi đó hãy chạy trên máy thật. gem5 biên dịch khá lâu, nên dùng bản đã đóng gói hoặc container nếu có.

Có cần tự viết bộ xử lý không theo thứ tự không?

Không bắt buộc. Hiểu và mô phỏng được là đủ cho phần lớn mục tiêu; tự viết một bộ dự đoán rẽ nhánh hoặc bộ nhớ đệm trong bộ xử lý đường ống của mình đã là bài tập rất giá trị. Đọc mã BOOM giúp thấy một lõi không theo thứ tự thật trông thế nào.

Vì sao kiến trúc máy tính lại liên quan tới bảo mật?

Các tối ưu như thực thi suy đoán và bộ nhớ đệm dùng chung để lại dấu vết thời gian đo được; tấn công Spectre, Meltdown và kênh kề qua bộ nhớ đệm khai thác chính điều đó. Chủ đề Bảo mật phần cứng ở nhóm cuối đi sâu hơn.

Học xong nên học gì tiếp?

Tính toán song song để lập trình tận dụng đa lõi và GPU, Bộ tăng tốc phần cứng nếu muốn thiết kế kiến trúc chuyên biệt, hoặc nhóm Integrated Circuits and VLSI để hiện thực bộ xử lý ở mức vi mạch.

Chọn nguồn tự học

Đọc giáo trình định lượng song song với bài lab mô phỏng (gem5, hoặc tự viết đường ống lệnh bằng Verilog); với mỗi kỹ thuật, đo tác động lên chương trình thật bằng bộ đếm hiệu năng thay vì chỉ học định nghĩa.