Học tăng cường: học từ thử, sai và phần thưởng đến muộn
Học tăng cường dạy máy học từ thử và sai: thăm dò hay khai thác, phần thưởng đến muộn, MDP và phương trình Bellman, Q-learning, lách phần thưởng — học từ đâu.
Ban biên tập OpenER
Cập nhật 18/11/2026 · 19 phút đọc · CC BY 4.0
Một đứa trẻ được cho chơi một trò game mới, không ai đọc hướng dẫn cho nó. Nó bấm thử các nút, nhân vật rơi xuống hố; chơi lại, lần này nhảy sớm hơn một chút. Sau vài chục lượt, nó qua được màn đầu. Không ai dặn nó "tới cái hố thứ hai thì bấm nút A". Thứ duy nhất nó nhận được là điểm số tăng lên, và dòng chữ "Game over" mỗi lần chết.
Học như thế — tự thử, nhìn kết quả, chỉnh dần — là cách của học tăng cường (reinforcement learning — RL), với người học là một tác tử (agent) như trong bài Nhập môn trí tuệ nhân tạo. Khác với học có giám sát trong bài Học máy, không ai đưa đáp án đúng cho từng tình huống, chỉ có một con số phần thưởng (reward) cho biết tốt hay dở. Phần thưởng thường đến muộn: cú nhảy hỏng có khi xảy ra từ mấy giây trước dòng "Game over". Và tác tử học được gì phụ thuộc vào chính những gì nó chọn thử.
Trước khi có học tăng cường
Trước học tăng cường, muốn máy tự chọn hành động qua nhiều bước chỉ có hai cách: người viết sẵn luật cho từng tình huống, hoặc đưa cho máy toàn bộ luật chơi của thế giới — đi đâu thì tới đâu, với xác suất bao nhiêu, được bao nhiêu điểm — để máy tính trước. Cách nào cũng cần ai đó biết rất nhiều về thế giới. Học tăng cường bỏ điều kiện đó: máy chỉ cần được thả vào và được chấm điểm.
Ý tưởng này đến từng bước:
- Luật hiệu ứng (law of effect) — năm 1898, nhà tâm lý học Edward Thorndike nhốt mèo vào những chiếc "hộp đố" chỉ mở được khi làm đúng một thao tác, như giật một vòng dây; qua nhiều lần, con mèo thoát ra ngày càng nhanh. Năm 1911, ông phát biểu thành luật: hành động nào kéo theo kết quả dễ chịu thì dễ được lặp lại — gốc tâm lý học của chữ "tăng cường".
- Quy hoạch động (dynamic programming) — năm 1957, Richard Bellman xuất bản cuốn Dynamic Programming và viết về quá trình quyết định Markov (Markov decision process — MDP): cách tính quyết định tốt nhất qua nhiều bước khi đã biết hết luật chơi. Phương trình mang tên ông là xương sống của môn này (chuyện ông đặt tên "quy hoạch động" kể trong bài Thiết kế và phân tích thuật toán).
- Máy tự chơi — năm 1959, chương trình cờ đam của Arthur Samuel (xem bài Học máy) tự chỉnh cách chấm thế cờ bằng cách so lời đoán ở nước này với lời đoán ở những nước sau.
- Học không cần luật chơi — thập niên 1980, Richard Sutton và Andrew Barto ở Đại học Massachusetts Amherst phát triển học sai khác thời gian (temporal-difference learning — TD), Sutton công bố năm 1988. Năm 1989, Chris Watkins đưa ra Q-learning trong luận án tiến sĩ ở Cambridge: học cách hành động tốt nhất chỉ từ trải nghiệm.
- Tiếng vang đầu tiên — năm 1992, TD-Gammon của Gerald Tesauro (IBM), một mạng nơ-ron tự chơi backgammon — trò cờ bàn có tung xúc xắc — với chính nó, lên tới gần trình độ những người chơi giỏi nhất thời đó.
- Học tăng cường sâu (deep reinforcement learning) — năm 2015, DeepMind công bố trên tạp chí Nature chương trình DQN: chỉ nhìn điểm ảnh trên màn hình và điểm số, cùng một thuật toán học riêng từng trò trong 49 trò game Atari, đạt trên 75% điểm của một người thử game chuyên nghiệp ở 29 trò. Năm 2017, AlphaGo Zero học cờ vây chỉ bằng cách tự chơi, không xem ván nào của người, và thắng 100–0 phiên bản AlphaGo từng hạ Lee Sedol.
- Học từ phản hồi của con người (reinforcement learning from human feedback — RLHF) — năm 2017, Paul Christiano và cộng sự (OpenAI, DeepMind) cho máy học phần thưởng từ việc người xem chọn đoạn hành vi nào tốt hơn. Năm 2022, OpenAI dùng cách này để huấn luyện InstructGPT, rồi ChatGPT.
Năm 2025, Sutton và Barto nhận giải Turing (giải năm 2024) vì đã xây nền móng khái niệm và thuật toán cho học tăng cường.
Đặt cạnh nhau:
Không có học tăng cường | Có học tăng cường | |
|---|---|---|
Ai chỉ cách làm | Người viết luật, hoặc người gán đáp án cho từng tình huống | Chỉ cần nói kết quả nào là tốt; tác tử tự tìm cách |
Luật của thế giới | Phải biết trước mới lập kế hoạch được | Không cần biết: học từ trải nghiệm |
Hậu quả đến muộn | Khó biết bước nào đáng khen, bước nào đáng trách | Phần thưởng được lan ngược về các bước trước |
Hành vi | Dễ đoán, dễ kiểm | Có thể "lách" phần thưởng theo cách không ai ngờ |
Thế giới "chưa có học tăng cường" vẫn ở ngay trong máy chơi game của bạn: phần lớn nhân vật máy trong game thương mại vẫn chạy theo kịch bản viết tay — máy trạng thái hay cây hành vi (behavior tree): thấy người chơi thì đuổi, máu dưới 20% thì bỏ chạy. Nhà làm game cần nhân vật dễ đoán, dễ chỉnh, chạy nhẹ; một nhân vật tự học ra lối chơi kỳ quặc lại làm game mất vui.
Môn này trả lời câu hỏi gì
Môn Học tăng cường trả lời một câu hỏi: làm sao một tác tử học được cách hành động qua nhiều bước để tổng phần thưởng về lâu dài lớn nhất, khi nó không biết luật của thế giới và chỉ biết kết quả sau khi đã làm?
Câu đó tách ra ba câu nhỏ:
- Nên thử cái mới hay dùng cái đã biết là tốt?
- Phần thưởng đến muộn thì ghi công cho bước nào?
- Thế giới quá lớn để thử hết thì học cách khái quát ra sao?
Vì sao cần học? Đây là khung chung cho mọi bài toán "quyết định nối tiếp quyết định, có phản hồi", từ chơi game tới bước huấn luyện cuối của các trợ lý trò chuyện. Môn này còn dạy một bài học cho mọi kỹ sư: hệ thống tối ưu sẽ tối ưu đúng thứ bạn đo, không phải thứ bạn muốn.
Năm ý tưởng cốt lõi
1. Thăm dò hay khai thác
Bạn mới chuyển tới một văn phòng, quanh đó có bốn quán ăn trưa. Ăn quán nào thì chỉ biết quán đó, và quán ngon cũng có hôm dở. Sau một tuần, quán thứ hai có vẻ ngon nhất. Từ giờ ăn mãi quán đó — khai thác (exploitation) — hay thỉnh thoảng thử lại quán khác, biết đâu hôm trước chỉ là hôm xui — thăm dò (exploration)?
Đây là bài toán nhiều cần gạt (multi-armed bandit), tên lấy từ dãy máy đánh bạc kéo cần trong sòng bạc. Một chiến lược đơn giản là ε-tham lam (ε-greedy): phần lớn các ngày chọn quán đang tốt nhất, nhưng với xác suất nhỏ ε thì chọn bừa. Mô phỏng một năm 250 ngày đi làm, lặp lại 2.000 năm cho chắc:
import random
NGON = [0.4, 0.5, 0.6, 0.8] # khả năng "bữa ngon" thật của bốn quán — bạn không biết trước
SO_NGAY = 250 # số ngày đi làm trong một năm
def mot_nam(epsilon):
lan, ngon = [0] * 4, [0] * 4 # mỗi quán: đã ăn mấy lần, ngon mấy lần
for ngay in range(SO_NGAY):
if ngay < 4:
q = ngay # bốn ngày đầu: mỗi quán thử một lần
elif random.random() < epsilon:
q = random.randrange(4) # thăm dò: chọn bừa một quán
else:
q = max(range(4), key=lambda i: ngon[i] / lan[i]) # khai thác: quán đang tốt nhất
lan[q] += 1
if random.random() < NGON[q]:
ngon[q] += 1
return sum(ngon), lan.index(max(lan)) == 3 # quán ăn nhiều nhất có phải quán ngon nhất?
random.seed(2026)
for eps in (0.0, 0.1, 1.0):
kq = [mot_nam(eps) for _ in range(2000)] # mô phỏng 2.000 năm
tb = sum(k[0] for k in kq) / len(kq)
dung = sum(k[1] for k in kq) / len(kq)
# biết trước quán ngon nhất thì trung bình được 250 × 0,8 = 200 bữa ngon
print(f"epsilon = {eps}: {tb:.0f} bữa ngon, hụt {200 - tb:.0f} bữa, chọn đúng quán {dung:.0%} số năm")Kết quả:
epsilon = 0.0: 179 bữa ngon, hụt 21 bữa, chọn đúng quán 72% số năm
epsilon = 0.1: 184 bữa ngon, hụt 16 bữa, chọn đúng quán 88% số năm
epsilon = 1.0: 144 bữa ngon, hụt 56 bữa, chọn đúng quán 23% số nămCon số "hụt" gọi là độ hối tiếc (regret): thiệt bao nhiêu so với người biết trước quán nào ngon nhất. Chỉ biết khai thác (ε = 0) thì cứ mười năm có gần ba năm bạn ăn chủ yếu ở một quán không phải ngon nhất — thường vì mấy bữa đầu ở quán ngon nhất chẳng may dở, và bạn không quay lại đủ để biết. Chọn bừa cả năm (ε = 1) thì hụt nhiều nhất. Dành khoảng 10% số ngày để thử là một cách cân bằng tốt.
Nhiều trang web dùng đúng ý này để chọn tiêu đề, ảnh bìa hay mẫu quảng cáo: thay vì chia đôi người dùng cố định như thí nghiệm A/B trong bài Xác suất và thống kê, thuật toán dồn dần lượt hiển thị cho phương án đang thắng.
2. Phần thưởng đến muộn và chiết khấu
Ở bài toán quán ăn, mỗi lựa chọn được chấm ngay trong bữa. Bài toán thật thường không vậy: một ván cờ sáu mươi nước chỉ biết thắng thua ở nước cuối, mà nước hỏng có khi là nước thứ mười hai. Tìm bước nào đáng ghi công hay chịu lỗi là bài toán gán công (credit assignment problem) — cái khó cốt lõi của môn này.
Để so phần thưởng sớm với phần thưởng muộn, người ta dùng hệ số chiết khấu (discount factor) γ (gamma), một số nhỏ hơn 1: phần thưởng nhận sau k bước chỉ được tính bằng γ^k lần giá trị của nó. Giống tiền bạc: một triệu đồng hôm nay đáng hơn một triệu đồng sang năm.
GAMMA = 0.9
for k in (1, 5, 10, 20, 50):
print(f"thưởng 10 điểm sau {k:2d} bước, hôm nay đáng {10 * GAMMA ** k:.2f}")thưởng 10 điểm sau 1 bước, hôm nay đáng 9.00
thưởng 10 điểm sau 5 bước, hôm nay đáng 5.90
thưởng 10 điểm sau 10 bước, hôm nay đáng 3.49
thưởng 10 điểm sau 20 bước, hôm nay đáng 1.22
thưởng 10 điểm sau 50 bước, hôm nay đáng 0.05Với γ = 0,9, phần thưởng sau mười bước chỉ còn khoảng một phần ba. Một cách nhớ: tác tử "nhìn xa" khoảng 1/(1 − γ) bước — γ = 0,9 là chừng mười bước, γ = 0,99 là chừng một trăm. Chiết khấu giữ cho tổng phần thưởng không phình ra vô hạn, và khiến tác tử muốn tới đích sớm thay vì lòng vòng.
3. MDP và giá trị của một trạng thái
Học tăng cường mô tả thế giới bằng một MDP gồm: các trạng thái (state), các hành động (action), xác suất đi từ trạng thái này sang trạng thái khác khi làm một hành động, và phần thưởng. "Markov" nghĩa là tương lai chỉ phụ thuộc vào trạng thái hiện tại, không cần nhớ đã đi đường nào để tới đây. Bài nhập môn AI đã giới thiệu khung này; ở đây ta tính thử.
Một người giao hàng đi từ quán (Q) tới nhà khách (K) trên bản đồ 4×4. Giữa hai nơi là đoạn bờ kênh ngập (N): lọt xuống là hỏng đơn. Đường trơn, mỗi lần đi có 10% trượt sang trái và 10% trượt sang phải so với hướng định đi. Giao được hàng +10 điểm, lọt kênh −10.
Câu hỏi then chốt: đứng ở ô này thì tốt tới đâu? Đó là giá trị (value) của trạng thái: tổng phần thưởng đã chiết khấu mà ta kỳ vọng nhận được từ đây nếu từ nay đi đúng cách. Bellman nhận ra giá trị viết được một cách đệ quy: giá trị của một ô = chọn hướng tốt nhất theo (phần thưởng ngay + γ × giá trị ô tới), lấy trung bình theo xác suất trượt. Đó là phương trình Bellman (Bellman equation). Cách giải đơn giản nhất là cho mọi giá trị bằng 0 rồi áp phương trình lặp đi lặp lại — lặp giá trị (value iteration):
# Bản đồ 4×4: Q = quán, K = nhà khách, N = đoạn bờ kênh ngập (lọt vào là hỏng đơn)
BAN_DO = ["....",
"....",
"....",
"QNNK"]
THUONG = {"K": 10, "N": -10} # tới nhà khách +10, lọt xuống kênh -10
MOI_BUOC = 0 # phần thưởng mỗi bước đi thường (thử đổi thành -1)
GAMMA = 0.9 # hệ số chiết khấu
HUONG = {"↑": (-1, 0), "↓": (1, 0), "←": (0, -1), "→": (0, 1)}
NGANG = {"↑": "←→", "↓": "←→", "←": "↑↓", "→": "↑↓"}
O = [(r, c) for r in range(4) for c in range(4)]
def toi(o, h): # đi một ô theo hướng h; đụng mép bản đồ thì đứng yên
r, c = o[0] + HUONG[h][0], o[1] + HUONG[h][1]
return (r, c) if 0 <= r < 4 and 0 <= c < 4 else o
def kha_nang(o, h): # đường trơn: 80% đi đúng hướng, 10% trượt sang mỗi bên
return [(0.8, toi(o, h))] + [(0.1, toi(o, b)) for b in NGANG[h]]
def ket_thuc(o):
return BAN_DO[o[0]][o[1]] in THUONG
def thuong(o):
return THUONG.get(BAN_DO[o[0]][o[1]], MOI_BUOC)
def ve(gia_tri, chon): # in giá trị và hướng nên đi của từng ô
for r in range(4):
print(" ".join(f" {BAN_DO[r][c]} " if ket_thuc((r, c))
else f"{gia_tri((r, c)):5.1f}{chon((r, c))}" for c in range(4)))
def q_bang_ban_do(V, o, h): # giá trị của việc đi hướng h ở ô o, khi biết hết xác suất
return sum(p * (thuong(s) + GAMMA * V[s]) for p, s in kha_nang(o, h))
V = {o: 0.0 for o in O} # ô kết thúc luôn giữ giá trị 0
for _ in range(100): # lặp giá trị
V = {o: 0.0 if ket_thuc(o) else max(q_bang_ban_do(V, o, h) for h in HUONG) for o in O}
ve(V.get, lambda o: max(HUONG, key=lambda h: q_bang_ban_do(V, o, h))) 4.9→ 5.6→ 6.3→ 7.1↓
5.2→ 6.0→ 7.0→ 8.2↓
4.6↑ 5.3↑ 6.4→ 9.4↓
2.6↑ N N K Giá trị lan ngược từ nhà khách: ô ngay trên nhà khách đáng 9,4, càng xa càng thấp — vẫn là quy hoạch động như bài trả tiền thừa trong bài Thiết kế và phân tích thuật toán, chỉ thêm xác suất.
Điều đáng để ý nằm ở hàng sát kênh: ở hai ô đầu, mũi tên chỉ lên chứ không chỉ sang phải. Đi sát mép kênh thì ngắn hơn, nhưng mỗi bước có 10% trượt xuống nước. Chương trình tự chọn lùi lên một hàng, đi đường vòng dài hơn hai bước mà an toàn. Không ai viết luật "tránh xa mép kênh" — nó tự rút ra từ các con số. Thử đổi MOI_BUOC = 0 thành -1, nghĩa là mỗi bước đều tốn thời gian và xăng: hàng sát kênh đổi thành → → →, người giao hàng chấp nhận đi sát mép cho nhanh. Đổi phần thưởng một chút, cách hành xử đổi hẳn — hãy nhớ điều này khi tới ý thứ năm.
Bảng mũi tên đó là một chính sách (policy): nên làm gì ở mỗi ô, dù đường trơn đẩy bạn tới đâu.
4. Q-learning: học khi không có bản đồ
Lặp giá trị cần biết hết luật: xác suất trượt, chỗ nào là kênh. Người giao hàng mới vào nghề không có những thứ đó; họ chỉ có thể chạy thử và nhớ. Q-learning học đúng kiểu ấy. Nó giữ một bảng Q(ô, hướng): ở ô này đi hướng này thì tốt tới đâu. Sau mỗi bước, nó so ước lượng cũ với điều vừa thấy — phần thưởng nhận được cộng γ × giá trị tốt nhất ở ô mới — rồi nhích ước lượng một chút về phía đó. Phần chênh lệch chính là sai khác thời gian: so lời đoán hôm nay với lời đoán ngày mai, như chương trình cờ đam của Samuel.
Đoạn dưới chạy tiếp sau đoạn trên, dùng chung bản đồ, nhưng tác tử không được đọc xác suất trượt: nó chỉ gọi di_thu rồi nhận lại ô mới cùng phần thưởng.
import random
random.seed(3)
def di_thu(o, h): # môi trường: tác tử chỉ nhận lại ô mới và phần thưởng
xac_suat, o_moi = zip(*kha_nang(o, h))
s = random.choices(o_moi, weights=xac_suat)[0]
return s, thuong(s)
Q = {(o, h): 0.0 for o in O for h in HUONG}
ALPHA, EPSILON = 0.1, 0.2
for chuyen in range(20_000):
o = (3, 0) # chuyến nào cũng xuất phát từ quán
while not ket_thuc(o):
if random.random() < EPSILON:
h = random.choice(list(HUONG)) # thăm dò
else:
h = max(HUONG, key=lambda h: Q[(o, h)]) # khai thác
s, r = di_thu(o, h)
tot_nhat_sau = 0 if ket_thuc(s) else max(Q[(s, h2)] for h2 in HUONG)
Q[(o, h)] += ALPHA * (r + GAMMA * tot_nhat_sau - Q[(o, h)])
o = s
ve(lambda o: max(Q[(o, h)] for h in HUONG), lambda o: max(HUONG, key=lambda h: Q[(o, h)])) 4.9→ 5.5→ 6.2→ 6.9↓
5.1→ 5.5→ 6.4→ 7.9↓
4.6↑ 5.3↑ 6.1↑ 9.5↓
2.8↑ N N K Sau 20.000 chuyến — có chuyến lọt kênh, có chuyến đi lòng vòng — bảng học được gần như trùng với bảng tính từ bản đồ: hai hàng trên đi sang phải rồi xuống, hàng sát kênh lùi lên. Các con số lệch đôi chút vì học từ những lần thử ngẫu nhiên, nên kết quả đổi theo random.seed; seed 3 được chọn vì cho bảng gọn nhất. Ở seed này chỉ một mũi tên khác: ô thứ ba của hàng sát kênh lùi lên thay vì đi tiếp sang phải — theo bản đồ, hai hướng đáng 6,42 và 6,38, gần như ngang nhau. Với seed 1 tới 10, ô này lần nào cũng lệch, sáu lần thì ô quán cũng lệch — đều là chỗ hai hướng gần ngang nhau. Để ý dòng EPSILON = 0.2: ý tưởng thăm dò của bài toán quán ăn nằm ngay trong vòng lặp.
Bảng Q của bản đồ 16 ô chỉ có 64 con số. Với game Atari, trạng thái là cả màn hình điểm ảnh — không bảng nào chứa nổi. DQN thay bảng bằng một mạng nơ-ron nhận ảnh màn hình và đoán giá trị Q cho từng nút bấm (xem bài Học sâu). Một họ phương pháp khác, gradient chính sách (policy gradient), chỉnh thẳng tham số của chính sách theo hướng làm phần thưởng kỳ vọng tăng — chính là hạ gradient trong bài Tối ưu hóa, chỉ đổi chiều thành leo dốc.
5. Phần thưởng là thứ được tối ưu — và cái giá của thử sai
Ngoài chuyện robot hút bụi ở bài nhập môn AI, có một chuyện thật: năm 2016, OpenAI huấn luyện một tác tử chơi game đua thuyền CoastRunners, lấy điểm trong game làm phần thưởng. Nhưng điểm đến từ việc húc vào các mục tiêu dọc đường đua. Tác tử tìm ra một vũng nước tách biệt, chạy vòng tròn mãi để húc ba mục tiêu cứ biến mất rồi hiện lại — bốc cháy, đâm vào thuyền khác, không bao giờ về đích — mà điểm trung bình vẫn cao hơn người chơi khoảng 20%. Hiện tượng này gọi là lách phần thưởng (reward hacking).
Nói cho máy biết mình muốn gì khó tới mức người ta để máy học luôn phần thưởng từ con người. RLHF cho người xem vài câu trả lời cho cùng một câu hỏi và xếp câu nào tốt hơn, huấn luyện một mô hình chấm điểm từ hàng chục nghìn câu hỏi được xếp như thế, rồi dùng học tăng cường để mô hình ngôn ngữ được chấm cao. Trợ lý trò chuyện nhờ đó biết làm theo yêu cầu hơn hẳn. Nhưng mô hình chấm điểm cũng chỉ là một thước đo, và mô hình ngôn ngữ có thể học cách được chấm cao — trả lời dài hơn, chiều theo ý người hỏi — thay vì trả lời đúng hơn.
Cái khó thứ hai là giá của thử sai. DQN cần khoảng 50 triệu khung hình — chừng 38 ngày chơi — cho mỗi trò Atari, trong khi người thử game được đem ra so sánh chỉ tập khoảng hai giờ mỗi trò. Trong game, thử sai rẻ; ngoài đời thì không: không ai để xe tự lái học bằng cách đâm thử, hay thử sai một cách điều trị trên bệnh nhân thật. Vì thế học tăng cường ngoài đời thường học trong mô phỏng trước rồi mới chuyển sang máy thật, học từ dữ liệu đã ghi sẵn, và luôn cần rào an toàn do con người đặt.
Học tăng cường nằm ở đâu trong chồng tầng
Trong chồng tầng của bài Từ electron đến ứng dụng, học tăng cường nằm ở tầng ứng dụng, cạnh học máy, và dựa vào nhiều tầng bên dưới:
- Toán: kỳ vọng và chuỗi Markov từ Xác suất và thống kê; gradient và leo dốc từ Tối ưu hóa.
- Thuật toán: phương trình Bellman là quy hoạch động; AlphaGo ghép học tăng cường với tìm kiếm cây.
- Học sâu: mạng nơ-ron thay cho bảng khi trạng thái quá nhiều.
- Hệ thống và phần cứng: hàng nghìn bản mô phỏng chạy cùng lúc trên nhiều máy và GPU để gom đủ trải nghiệm — chuyện của Tính toán song song.
Đưa lên
Một chính sách — đưa vào trạng thái, nhận về hành động — đã tối ưu tổng phần thưởng về lâu dài, để tầng trên dùng vào việc điều khiển, chơi, gợi ý hay trả lời.
Giấu đi
Hàng triệu lượt thử sai đã tạo ra chính sách đó, và thứ nó thật sự tối ưu có thể khác điều người thiết kế muốn — chỉ lộ ra khi gặp tình huống chưa ai lường tới.
Học trước và học sau
· 6 mônNhập môn trí tuệ nhân tạo
Introduction to Artificial Intelligence
Tác tử, môi trường, MDP ở mức nhập môn. Nên học trước.
Xem chủ đề trên OpenER: Introduction to Artificial Intelligence
Xác suất và thống kê
Probability and Statistics
Kỳ vọng và chuỗi Markov — ngôn ngữ của giá trị và chính sách. Nên học trước.
Học máy
Machine Learning
Mô hình, hàm mất mát, hạ gradient — học tăng cường dùng lại gần hết. Nên học trước.
Thiết kế và phân tích thuật toán
Design and Analysis of Algorithms
Quy hoạch động — gốc của phương trình Bellman và lặp giá trị.
Học sâu
Deep Learning
Mạng nơ-ron thay cho bảng giá trị — cần cho học tăng cường sâu từ DQN trở đi.
Robot học
Robotics
Nơi học tăng cường gặp thế giới vật lý: học trong mô phỏng rồi chuyển sang robot thật.
Ứng dụng thật và nghề nghiệp
- Trò chơi: AlphaGo, AlphaGo Zero, các tác tử chơi Atari — nơi thử sai gần như miễn phí.
- Robot: học đi, học cầm nắm trong mô phỏng rồi chuyển sang robot thật — xem bài Robot học.
- Trợ lý trò chuyện: RLHF là bước huấn luyện cuối của nhiều mô hình ngôn ngữ; các mô hình "suy luận" gần đây còn được huấn luyện thêm bằng học tăng cường trên bài toán có đáp án kiểm tra được, như toán và lập trình.
- Gợi ý và quảng cáo: bài toán nhiều cần gạt như ở ý thứ nhất.
Nghề nghiệp gắn với môn này: kỹ sư học máy ở mảng học tăng cường hay huấn luyện mô hình ngôn ngữ, kỹ sư robot, kỹ sư hệ gợi ý và quảng cáo, nhà nghiên cứu AI.
Học xong làm được gì, bắt đầu từ đâu
Sau môn này bạn có thể:
- mô tả một bài toán ra quyết định nhiều bước thành MDP: trạng thái, hành động, phần thưởng, hệ số chiết khấu;
- cài các chiến lược thăm dò cho bài toán nhiều cần gạt và đo độ hối tiếc;
- giải MDP bằng lặp giá trị khi biết mô hình, và bằng Monte Carlo, TD, Q-learning khi không biết;
- hiểu cách DQN và gradient chính sách mở rộng lên bài toán rất nhiều trạng thái;
- nhận ra phần thưởng đặt sai trước khi tác tử kịp lách nó.
Nên biết trước: Python vững, xác suất, một chút giải tích và đại số tuyến tính, học máy cơ bản; phần học tăng cường sâu cần thêm học sâu.
Bắt đầu trên OpenER: trang chủ đề Reinforcement Learning có các khóa học đã chọn lọc, và hướng dẫn học gợi ý thứ tự đi qua chúng. Khóa chính là Reinforcement Learning của IIT Madras trên NPTEL (Balaraman Ravindran): 12 tuần video, đi theo thứ tự sách của Sutton và Barto. Muốn nhịp nhẹ hơn, có chuỗi khóa của Đại học Alberta trên Coursera (cần tài khoản); Stanford CS234 có slide và bài tập. Khi đã vững, Berkeley CS 285 dẫn vào học tăng cường sâu ở mức nghiên cứu, còn MIT 6.231 cho nền quy hoạch động chặt chẽ.
Lời khuyên cho môn này: đọc sách của Sutton và Barto song song với khóa học, và tự cài trên những thế giới nhỏ — như bản đồ giao hàng ở trên, hay FrozenLake, Taxi trong thư viện Gymnasium — trước khi chạm vào mạng nơ-ron. Q-learning dạng bảng chưa chạy đúng thì DQN gần như chắc chắn cũng không chạy.
Tài liệu tham khảo
- Richard S. Sutton, Andrew G. Barto — Reinforcement Learning: An Introduction, ấn bản thứ hai, MIT Press, 2018; bản PDF miễn phí trên trang của tác giả.
- NPTEL Reinforcement Learning (IIT Madras, Balaraman Ravindran) — video bài giảng 12 tuần.
- Stanford CS234 Reinforcement Learning (Emma Brunskill) — trang khóa học, slide và bài tập.
- UC Berkeley CS 285 Deep Reinforcement Learning (Sergey Levine) — trang khóa học và video bài giảng.
- MIT 6.231 Dynamic Programming and Stochastic Control (Dimitri Bertsekas, Fall 2015) — MIT OpenCourseWare.
- Volodymyr Mnih và cộng sự — "Human-level control through deep reinforcement learning", Nature 518, 2015.
- Long Ouyang và cộng sự — "Training language models to follow instructions with human feedback", NeurIPS 2022.