Bỏ qua tới nội dung chính

Hướng dẫn học chủ đề

Học tăng cường

Reinforcement Learning

Nâng caokhoảng 43 giờ6 bước

Học tăng cường: huấn luyện tác nhân học cách hành động tối ưu qua tương tác thử-sai với môi trường.

Bắt đầu học

Bạn sẽ học được gì

  • Mô hình hóa bài toán ra quyết định tuần tự bằng Markov Decision Process (MDP)
  • Cài đặt quy hoạch động (Value Iteration, Policy Iteration) khi biết đầy đủ mô hình môi trường
  • Cài đặt các phương pháp học không cần mô hình: Monte Carlo, Temporal-Difference, Q-learning
  • Giải thích đánh đổi khám phá–khai thác (exploration–exploitation) và các chiến lược xử lý nó
  • Áp dụng xấp xỉ hàm và Deep Q-Network cho không gian trạng thái lớn
  • Huấn luyện một agent học tăng cường trên môi trường mô phỏng và đánh giá bằng đường cong phần thưởng

Nên học trước

Giới thiệu

Học tăng cường (reinforcement learning – RL) huấn luyện một agent học cách hành động tối ưu qua thử–sai: agent thực hiện hành động, môi trường trả về trạng thái mới và một phần thưởng (reward), agent điều chỉnh chính sách (policy) để tối đa hóa tổng phần thưởng tích lũy về lâu dài. Khác học có giám sát, không có ai nói trước hành động nào là 'đúng' ở mỗi bước.

Khung bài toán: MDP

Mọi bài toán RL đều mô hình hóa bằng Markov Decision Process: tập trạng thái, tập hành động, xác suất chuyển trạng thái và hàm phần thưởng. Tính Markov nghĩa là tương lai chỉ phụ thuộc trạng thái hiện tại, không phụ thuộc lịch sử. Hai đại lượng trung tâm là hàm giá trị trạng thái V(s) và hàm giá trị hành động Q(s,a) — chúng thỏa phương trình Bellman, nền tảng của gần như mọi thuật toán RL.

Hai thái cực: biết mô hình và không biết mô hình

  • Biết đầy đủ mô hình môi trường: dùng quy hoạch động (Value/Policy Iteration) để tính chính sách tối ưu trực tiếp.
  • Không biết mô hình (model-free): học từ trải nghiệm thực tế — Monte Carlo ước lượng theo cả episode, Temporal-Difference (TD) cập nhật ngay sau mỗi bước, Q-learning là thuật toán TD nổi tiếng nhất.

Khi không gian trạng thái quá lớn để lập bảng, ta xấp xỉ hàm giá trị bằng một mạng nơ-ron — đó là ý tưởng cốt lõi của Deep Q-Network và các thuật toán Deep RL hiện đại.

Đánh đổi khám phá–khai thác

Agent phải cân bằng giữa khai thác (chọn hành động tốt nhất đã biết) và khám phá (thử hành động mới để có thể tìm ra điều tốt hơn) — đây là vấn đề riêng, không xuất hiện trong học có giám sát, và là nguồn gốc của nhiều thất bại khi huấn luyện RL trong thực tế.

Công cụ nên dùng

Gymnasium (kế thừa OpenAI Gym) cho môi trường mô phỏng chuẩn, PyTorch cho phần Deep RL. Luôn bắt đầu ở môi trường nhỏ, rời rạc (như Frozen Lake, Taxi) trước khi chuyển sang môi trường liên tục cần xấp xỉ hàm.

Giáo trình & sách tham khảo

Xem tất cả trong tab Sách

Giáo trình chính

Reinforcement Learning: An Introduction

Richard S. Sutton, Andrew G. Barto · 2018 · Bản thứ 2

Miễn phíTrung bìnhTiếng Anh552 trang

Vì sao chọn: Sách nền tảng và dễ tiếp cận nhất của chính hai người đặt nền móng cho lĩnh vực, miễn phí hợp pháp từ tác giả. Cấu trúc sách đi đúng thứ tự lộ trình này nên dùng làm sách chính xuyên suốt.

Nên đọc: toàn bộ — từ multi-armed bandit, MDP, quy hoạch động, Monte Carlo, TD learning tới xấp xỉ hàm và Deep RL

CC BY-NC-NDNâng caoTiếng Anh1.360 trang

Miễn phí, đặt RL vào bối cảnh xác suất/thống kê rộng hơn và có góc nhìn hiện đại (kết hợp deep learning). Đọc bổ sung ở bước cuối khi đã nắm vững Sutton & Barto, để thấy RL liên hệ thế nào với các chủ đề nâng cao khác.

Nên đọc: chương về học tăng cường (RL nâng cao) và các chủ đề liên quan tới mô hình đồ họa xác suất, suy luận Bayes

Các bước học

Đăng nhập để đánh dấu các bước đã hoàn thành.

  1. Bước 1: Bài toán ra quyết định tuần tự: Markov Decision Process

    khoảng 6 giờ

    Trạng thái, hành động, phần thưởng, xác suất chuyển trạng thái; hàm giá trị V(s), Q(s,a) và phương trình Bellman. Bài tập: tự định nghĩa một MDP nhỏ trên giấy (vd. grid-world 4x4 có ô đích và ô bẫy) và viết phương trình Bellman cho vài trạng thái.

  2. Bước 2: Quy hoạch động: Value Iteration và Policy Iteration

    khoảng 6 giờ

    Tính chính sách tối ưu khi biết đầy đủ mô hình môi trường bằng Value Iteration và Policy Iteration. Bài tập: cài đặt Value Iteration cho grid-world ở bước 1 bằng Python, quan sát hàm giá trị hội tụ qua từng vòng lặp.

  3. Bước 3: Học không cần mô hình: Monte Carlo, TD learning, Q-learning

    khoảng 9 giờ

    Ước lượng giá trị từ trải nghiệm khi không biết mô hình môi trường: Monte Carlo theo cả episode, TD(0) cập nhật từng bước, Q-learning học chính sách tối ưu off-policy. Bài tập: cài đặt Q-learning bảng cho môi trường Frozen Lake hoặc Taxi trong Gymnasium, vẽ đường cong phần thưởng theo số episode.

  4. Bước 4: Đánh đổi khám phá–khai thác

    khoảng 5 giờ

    Bài toán multi-armed bandit như phiên bản đơn giản nhất của đánh đổi khám phá–khai thác; các chiến lược epsilon-greedy, Upper Confidence Bound. Bài tập: cài đặt và so sánh epsilon-greedy với vài giá trị epsilon khác nhau trên một bài toán multi-armed bandit mô phỏng.

  5. Bước 5: Xấp xỉ hàm và Deep Q-Network

    khoảng 9 giờ

    Vì sao cần xấp xỉ hàm khi không gian trạng thái lớn hoặc liên tục; Deep Q-Network, replay buffer, target network để ổn định huấn luyện. Bài tập: huấn luyện một DQN đơn giản (bằng PyTorch) trên môi trường CartPole của Gymnasium.

  6. Bước 6: Dự án: huấn luyện agent trên môi trường mô phỏng

    khoảng 8 giờ

    Ghép toàn bộ quy trình RL — chọn thuật toán, thiết kế phần thưởng, huấn luyện, đánh giá bằng đường cong phần thưởng. Bài tập lớn: chọn một môi trường Gymnasium khác (vd. LunarLander hoặc một môi trường Atari đơn giản), huấn luyện một agent hoàn chỉnh và viết báo cáo ngắn về các lựa chọn siêu tham số, cách agent cải thiện theo thời gian.

Khái niệm chính

Markov Decision Process (MDP)
Khung mô hình hóa bài toán ra quyết định tuần tự gồm tập trạng thái, tập hành động, xác suất chuyển trạng thái và hàm phần thưởng; tính Markov nghĩa là trạng thái tiếp theo chỉ phụ thuộc trạng thái và hành động hiện tại.
Hàm giá trị (value function)
V(s) đo tổng phần thưởng kỳ vọng nhận được nếu bắt đầu từ trạng thái s và theo một chính sách cho trước; Q(s,a) đo tương tự nhưng gắn với một hành động cụ thể tại s.
Chính sách (policy)
Hàm ánh xạ từ trạng thái sang hành động (hoặc phân phối xác suất trên hành động); mục tiêu của RL là tìm chính sách tối đa hóa tổng phần thưởng kỳ vọng.
Phương trình Bellman
Phương trình đệ quy biểu diễn giá trị của một trạng thái theo giá trị của các trạng thái kế tiếp; là nền tảng toán học cho quy hoạch động và phần lớn thuật toán RL.
Đánh đổi khám phá–khai thác
Vấn đề cân bằng giữa chọn hành động tốt nhất đã biết (khai thác) và thử hành động chưa chắc chắn để thu thập thông tin (khám phá); các chiến lược phổ biến gồm epsilon-greedy và Upper Confidence Bound.
Temporal-Difference (TD) learning
Học từ chênh lệch giữa ước lượng giá trị hiện tại và ước lượng cập nhật sau một bước, không cần đợi hết episode như Monte Carlo và không cần biết mô hình môi trường.
Q-learning
Thuật toán TD học trực tiếp hàm giá trị hành động tối ưu Q*(s,a) bằng cách cập nhật theo hành động tốt nhất ở trạng thái kế tiếp, bất kể agent thực sự chọn hành động nào (off-policy).
Xấp xỉ hàm và Deep Q-Network
Khi trạng thái quá nhiều để lập bảng giá trị, dùng một hàm xấp xỉ (thường là mạng nơ-ron) để ước lượng Q(s,a); Deep Q-Network kết hợp Q-learning với mạng nơ-ron sâu và các kỹ thuật ổn định hóa như replay buffer.

Học xong để làm gì

  • Chơi game vượt trình độ con người (cờ vây, cờ vua, game Atari)
  • Điều khiển robot: đi, cầm nắm, thao tác trong môi trường vật lý
  • Tối ưu hệ thống gợi ý, đấu giá quảng cáo theo thời gian thực
  • Giao dịch tài chính thuật toán và quản lý danh mục đầu tư
  • Điều khiển hệ thống năng lượng, làm mát trung tâm dữ liệu

Câu hỏi thường gặp

Học tăng cường khác học có giám sát ở điểm nào?

Học có giám sát có nhãn đúng cho từng mẫu; RL chỉ có phần thưởng trễ và thưa, agent phải tự khám phá hành động nào dẫn tới kết quả tốt, và hành động ở bước này ảnh hưởng tới cả những bước sau.

Có cần học Deep Learning trước khi học RL không?

Với các thuật toán RL cổ điển (quy hoạch động, Q-learning bảng) thì không cần. Nhưng để học Deep RL (DQN và xa hơn) — phần ứng dụng thực tế nhất — bạn cần vững mạng nơ-ron và cách huấn luyện chúng.

Vì sao huấn luyện RL hay không ổn định?

Vì dữ liệu huấn luyện do chính agent tạo ra (không independent và identically distributed như học có giám sát), phần thưởng thường thưa và trễ, và nhỏ thay đổi trong chính sách có thể làm thay đổi hoàn toàn phân phối trải nghiệm thu thập được.

Nên bắt đầu từ đâu để tránh nản?

Bắt đầu ở môi trường rời rạc, nhỏ (Frozen Lake, Taxi trong Gymnasium) và cài quy hoạch động, Q-learning bảng trước. Chỉ chuyển sang môi trường liên tục và Deep RL sau khi các thuật toán nền tảng đã chạy đúng và bạn hiểu rõ từng bước.

Chọn nguồn tự học

Nên vững xác suất thống kê và machine learning cơ bản trước khi học chủ đề nâng cao này.