Bạn sẽ học được gì
- Mô hình hóa bài toán ra quyết định tuần tự bằng Markov Decision Process (MDP)
- Cài đặt quy hoạch động (Value Iteration, Policy Iteration) khi biết đầy đủ mô hình môi trường
- Cài đặt các phương pháp học không cần mô hình: Monte Carlo, Temporal-Difference, Q-learning
- Giải thích đánh đổi khám phá–khai thác (exploration–exploitation) và các chiến lược xử lý nó
- Áp dụng xấp xỉ hàm và Deep Q-Network cho không gian trạng thái lớn
- Huấn luyện một agent học tăng cường trên môi trường mô phỏng và đánh giá bằng đường cong phần thưởng
Nên học trước
Giới thiệu
Học tăng cường (reinforcement learning – RL) huấn luyện một agent học cách hành động tối ưu qua thử–sai: agent thực hiện hành động, môi trường trả về trạng thái mới và một phần thưởng (reward), agent điều chỉnh chính sách (policy) để tối đa hóa tổng phần thưởng tích lũy về lâu dài. Khác học có giám sát, không có ai nói trước hành động nào là 'đúng' ở mỗi bước.
Khung bài toán: MDP
Mọi bài toán RL đều mô hình hóa bằng Markov Decision Process: tập trạng thái, tập hành động, xác suất chuyển trạng thái và hàm phần thưởng. Tính Markov nghĩa là tương lai chỉ phụ thuộc trạng thái hiện tại, không phụ thuộc lịch sử. Hai đại lượng trung tâm là hàm giá trị trạng thái V(s) và hàm giá trị hành động Q(s,a) — chúng thỏa phương trình Bellman, nền tảng của gần như mọi thuật toán RL.
Hai thái cực: biết mô hình và không biết mô hình
- Biết đầy đủ mô hình môi trường: dùng quy hoạch động (Value/Policy Iteration) để tính chính sách tối ưu trực tiếp.
- Không biết mô hình (model-free): học từ trải nghiệm thực tế — Monte Carlo ước lượng theo cả episode, Temporal-Difference (TD) cập nhật ngay sau mỗi bước, Q-learning là thuật toán TD nổi tiếng nhất.
Khi không gian trạng thái quá lớn để lập bảng, ta xấp xỉ hàm giá trị bằng một mạng nơ-ron — đó là ý tưởng cốt lõi của Deep Q-Network và các thuật toán Deep RL hiện đại.
Đánh đổi khám phá–khai thác
Agent phải cân bằng giữa khai thác (chọn hành động tốt nhất đã biết) và khám phá (thử hành động mới để có thể tìm ra điều tốt hơn) — đây là vấn đề riêng, không xuất hiện trong học có giám sát, và là nguồn gốc của nhiều thất bại khi huấn luyện RL trong thực tế.
Công cụ nên dùng
Gymnasium (kế thừa OpenAI Gym) cho môi trường mô phỏng chuẩn, PyTorch cho phần Deep RL. Luôn bắt đầu ở môi trường nhỏ, rời rạc (như Frozen Lake, Taxi) trước khi chuyển sang môi trường liên tục cần xấp xỉ hàm.
Giáo trình & sách tham khảo
Xem tất cả trong tab SáchGiáo trình chính
Reinforcement Learning: An Introduction
Richard S. Sutton, Andrew G. Barto · 2018 · Bản thứ 2
Vì sao chọn: Sách nền tảng và dễ tiếp cận nhất của chính hai người đặt nền móng cho lĩnh vực, miễn phí hợp pháp từ tác giả. Cấu trúc sách đi đúng thứ tự lộ trình này nên dùng làm sách chính xuyên suốt.
Nên đọc: toàn bộ — từ multi-armed bandit, MDP, quy hoạch động, Monte Carlo, TD learning tới xấp xỉ hàm và Deep RL
Probabilistic Machine Learning: Advanced Topics
Kevin P. Murphy · 2023
Miễn phí, đặt RL vào bối cảnh xác suất/thống kê rộng hơn và có góc nhìn hiện đại (kết hợp deep learning). Đọc bổ sung ở bước cuối khi đã nắm vững Sutton & Barto, để thấy RL liên hệ thế nào với các chủ đề nâng cao khác.
Nên đọc: chương về học tăng cường (RL nâng cao) và các chủ đề liên quan tới mô hình đồ họa xác suất, suy luận Bayes
Các bước học
Đăng nhập để đánh dấu các bước đã hoàn thành.
Bước 1: Bài toán ra quyết định tuần tự: Markov Decision Process
khoảng 6 giờTrạng thái, hành động, phần thưởng, xác suất chuyển trạng thái; hàm giá trị V(s), Q(s,a) và phương trình Bellman. Bài tập: tự định nghĩa một MDP nhỏ trên giấy (vd. grid-world 4x4 có ô đích và ô bẫy) và viết phương trình Bellman cho vài trạng thái.
- Đọc: phần định nghĩa bài toán và Markov Decision Process — Reinforcement Learning: An Introduction
Bước 2: Quy hoạch động: Value Iteration và Policy Iteration
khoảng 6 giờTính chính sách tối ưu khi biết đầy đủ mô hình môi trường bằng Value Iteration và Policy Iteration. Bài tập: cài đặt Value Iteration cho grid-world ở bước 1 bằng Python, quan sát hàm giá trị hội tụ qua từng vòng lặp.
- Đọc: phần quy hoạch động (dynamic programming) — Reinforcement Learning: An Introduction
Bước 3: Học không cần mô hình: Monte Carlo, TD learning, Q-learning
khoảng 9 giờƯớc lượng giá trị từ trải nghiệm khi không biết mô hình môi trường: Monte Carlo theo cả episode, TD(0) cập nhật từng bước, Q-learning học chính sách tối ưu off-policy. Bài tập: cài đặt Q-learning bảng cho môi trường Frozen Lake hoặc Taxi trong Gymnasium, vẽ đường cong phần thưởng theo số episode.
- Đọc: phần Monte Carlo methods và Temporal-Difference learning — Reinforcement Learning: An Introduction
Bước 4: Đánh đổi khám phá–khai thác
khoảng 5 giờBài toán multi-armed bandit như phiên bản đơn giản nhất của đánh đổi khám phá–khai thác; các chiến lược epsilon-greedy, Upper Confidence Bound. Bài tập: cài đặt và so sánh epsilon-greedy với vài giá trị epsilon khác nhau trên một bài toán multi-armed bandit mô phỏng.
- Đọc: phần multi-armed bandit — Reinforcement Learning: An Introduction
Bước 5: Xấp xỉ hàm và Deep Q-Network
khoảng 9 giờVì sao cần xấp xỉ hàm khi không gian trạng thái lớn hoặc liên tục; Deep Q-Network, replay buffer, target network để ổn định huấn luyện. Bài tập: huấn luyện một DQN đơn giản (bằng PyTorch) trên môi trường CartPole của Gymnasium.
- Đọc: phần xấp xỉ hàm (function approximation) và on-policy/off-policy control — Reinforcement Learning: An Introduction
- Đọc: chương về học tăng cường (RL nâng cao) — Probabilistic Machine Learning: Advanced Topics
Bước 6: Dự án: huấn luyện agent trên môi trường mô phỏng
khoảng 8 giờGhép toàn bộ quy trình RL — chọn thuật toán, thiết kế phần thưởng, huấn luyện, đánh giá bằng đường cong phần thưởng. Bài tập lớn: chọn một môi trường Gymnasium khác (vd. LunarLander hoặc một môi trường Atari đơn giản), huấn luyện một agent hoàn chỉnh và viết báo cáo ngắn về các lựa chọn siêu tham số, cách agent cải thiện theo thời gian.
Khái niệm chính
- Markov Decision Process (MDP)
- Khung mô hình hóa bài toán ra quyết định tuần tự gồm tập trạng thái, tập hành động, xác suất chuyển trạng thái và hàm phần thưởng; tính Markov nghĩa là trạng thái tiếp theo chỉ phụ thuộc trạng thái và hành động hiện tại.
- Hàm giá trị (value function)
- V(s) đo tổng phần thưởng kỳ vọng nhận được nếu bắt đầu từ trạng thái s và theo một chính sách cho trước; Q(s,a) đo tương tự nhưng gắn với một hành động cụ thể tại s.
- Chính sách (policy)
- Hàm ánh xạ từ trạng thái sang hành động (hoặc phân phối xác suất trên hành động); mục tiêu của RL là tìm chính sách tối đa hóa tổng phần thưởng kỳ vọng.
- Phương trình Bellman
- Phương trình đệ quy biểu diễn giá trị của một trạng thái theo giá trị của các trạng thái kế tiếp; là nền tảng toán học cho quy hoạch động và phần lớn thuật toán RL.
- Đánh đổi khám phá–khai thác
- Vấn đề cân bằng giữa chọn hành động tốt nhất đã biết (khai thác) và thử hành động chưa chắc chắn để thu thập thông tin (khám phá); các chiến lược phổ biến gồm epsilon-greedy và Upper Confidence Bound.
- Temporal-Difference (TD) learning
- Học từ chênh lệch giữa ước lượng giá trị hiện tại và ước lượng cập nhật sau một bước, không cần đợi hết episode như Monte Carlo và không cần biết mô hình môi trường.
- Q-learning
- Thuật toán TD học trực tiếp hàm giá trị hành động tối ưu Q*(s,a) bằng cách cập nhật theo hành động tốt nhất ở trạng thái kế tiếp, bất kể agent thực sự chọn hành động nào (off-policy).
- Xấp xỉ hàm và Deep Q-Network
- Khi trạng thái quá nhiều để lập bảng giá trị, dùng một hàm xấp xỉ (thường là mạng nơ-ron) để ước lượng Q(s,a); Deep Q-Network kết hợp Q-learning với mạng nơ-ron sâu và các kỹ thuật ổn định hóa như replay buffer.
Học xong để làm gì
- Chơi game vượt trình độ con người (cờ vây, cờ vua, game Atari)
- Điều khiển robot: đi, cầm nắm, thao tác trong môi trường vật lý
- Tối ưu hệ thống gợi ý, đấu giá quảng cáo theo thời gian thực
- Giao dịch tài chính thuật toán và quản lý danh mục đầu tư
- Điều khiển hệ thống năng lượng, làm mát trung tâm dữ liệu
Câu hỏi thường gặp
Học tăng cường khác học có giám sát ở điểm nào?
Học có giám sát có nhãn đúng cho từng mẫu; RL chỉ có phần thưởng trễ và thưa, agent phải tự khám phá hành động nào dẫn tới kết quả tốt, và hành động ở bước này ảnh hưởng tới cả những bước sau.
Có cần học Deep Learning trước khi học RL không?
Với các thuật toán RL cổ điển (quy hoạch động, Q-learning bảng) thì không cần. Nhưng để học Deep RL (DQN và xa hơn) — phần ứng dụng thực tế nhất — bạn cần vững mạng nơ-ron và cách huấn luyện chúng.
Vì sao huấn luyện RL hay không ổn định?
Vì dữ liệu huấn luyện do chính agent tạo ra (không independent và identically distributed như học có giám sát), phần thưởng thường thưa và trễ, và nhỏ thay đổi trong chính sách có thể làm thay đổi hoàn toàn phân phối trải nghiệm thu thập được.
Nên bắt đầu từ đâu để tránh nản?
Bắt đầu ở môi trường rời rạc, nhỏ (Frozen Lake, Taxi trong Gymnasium) và cài quy hoạch động, Q-learning bảng trước. Chỉ chuyển sang môi trường liên tục và Deep RL sau khi các thuật toán nền tảng đã chạy đúng và bạn hiểu rõ từng bước.

