Video
Đăng bởi Ban biên tập OpenER ·
Tác giả giữ toàn bộ bản quyền (All Rights Reserved) — không phải giấy phép mở. Bạn vẫn xem và học miễn phí trên OpenER; muốn tái sử dụng cần xin phép tác giả.
[SIDE CONVERSATIONS] PROFESSOR: Hi, everyone.
[CÁC CUỘC TRÒ CHUYỆN RIÊNG] GIÁO SƯ: Chào các bạn.
Welcome to the tenth lecture of 188. Today, we'll look at reinforcement learning.
Chào mừng đến với bài giảng thứ mười của môn 188. Hôm nay chúng ta sẽ học về học tăng cường.
A couple of quick logistical announcements. Your Project 2 was due last week. The mini contest extends till Sunday.
Trước hết là vài thông báo nhanh. Project 2 của các bạn đã hết hạn tuần trước. Cuộc thi nhỏ kéo dài đến Chủ nhật.
Once in that contest, which is optional, you get to program a AI agent for Pac-Man — a team of Pac-Man playing another team of Pac-Man. On your own side, you're actually ghosts now.
Trong cuộc thi này, vốn là tùy chọn, các bạn lập trình một tác tử AI cho Pac-Man, một đội Pac-Man đấu với một đội Pac-Man khác. Ở phần sân của mình, các bạn lại là ma.
And you can defend your pellets on your side. And then when you go to the other side, you're Pac-Man.
Và có thể bảo vệ các viên thức ăn ở phía mình. Còn khi sang phía bên kia thì các bạn là Pac-Man.
You're supposed to eat as many pellets as possible, bring them back to your own camp.
Nhiệm vụ là ăn càng nhiều viên càng tốt, rồi mang chúng về phần sân của mình.
If you're carrying pellets and get caught, you explode into lots of pellets and get reset to your own side. So this is optional.
Nếu đang mang thức ăn mà bị bắt, bạn sẽ nổ thành nhiều viên thức ăn và bị đưa về phía sân mình. Phần này là tùy chọn.
There's a little bit of extra credit associated with it based on beating staff agents. So if you beat the baseline agent, you get a half point.
Có một ít điểm cộng đi kèm, dựa trên việc đánh bại các tác tử của ban giảng huấn. Nếu đánh bại tác tử cơ sở, bạn được nửa điểm.
You beat staff agent 1, you get a half point, saff agent 2, a 1/2 point, staff agent 3, a 1/2 point, on top of your Project 2 scores.
Đánh bại tác tử 1 của ban giảng huấn, nửa điểm; tác tử 2, nửa điểm; tác tử 3, nửa điểm, cộng thêm vào điểm Project 2 của các bạn.
And then in addition, we have a leader board, which also has some extra credit, but mostly it's for glory and to show that you have the strongest AI for this Pac-Man game.
Ngoài ra, chúng ta còn có bảng xếp hạng, cũng có một ít điểm cộng, nhưng chủ yếu là để vinh danh và cho thấy bạn có AI mạnh nhất cho trò Pac-Man này.
This runs till Sunday. At this point, there are nine participants in the competition. So a lot of opportunity to land in the top 10 still, especially if you're fast.
Cuộc thi kéo dài đến Chủ nhật. Hiện giờ có chín người tham gia cuộc thi. Vậy vẫn còn nhiều cơ hội vào top 10, nhất là nếu các bạn nhanh tay.
First team right now is team No Bug. Is team No Bug here? Over there? Congratulations.
Đội đứng đầu hiện giờ là đội No Bug. Đội No Bug có ở đây không? Ở đằng kia à? Chúc mừng các bạn.
That's great. [APPLAUSE] Second team right now is [? Uchen ?] [? Woo. ?] Is [? Uchen ?] here? Congratulations. And third team, right now, is Run Pac-Man Run.
Tuyệt lắm. [VỖ TAY] Đội nhì hiện giờ là [? Uchen ?] [? Woo. ?] [? Uchen ?] có ở đây không? Chúc mừng các bạn. Và đội thứ ba hiện giờ là Run Pac-Man Run.
Is Run Pac-Man Run here? Over there? Congratulations. [APPLAUSE] But this is not the final ranking.
Đội Run Pac-Man Run có ở đây không? Ở đằng kia à? Chúc mừng các bạn. [VỖ TAY] Nhưng đây chưa phải xếp hạng cuối cùng.
You're not guaranteed to be third, just because you're third right now. You might all be first come Sunday. There's still a lot of time. I encourage you to try it out.
Không có gì đảm bảo bạn sẽ hạng ba chỉ vì hiện giờ bạn đang hạng ba. Đến Chủ nhật, có thể tất cả các bạn sẽ đứng nhất. Vẫn còn nhiều thời gian. Tôi khuyến khích các bạn thử.
The final contest we'll have will also be a little bit related to this contest where you get to play against each other on a board where, on one side, you're ghosts, the other side, you're Pac-Man.
Cuộc thi cuối cùng của chúng ta cũng sẽ có liên quan phần nào đến cuộc thi này, khi các bạn đấu với nhau trên một bản đồ mà một bên các bạn là ma, bên kia các bạn là Pac-Man.
Any questions about the contest?
Có câu hỏi nào về cuộc thi không?
Project 3, reinforcement learning, will be released very soon, meaning probably tomorrow.
Project 3, về học tăng cường, sẽ được đăng rất sớm, nghĩa là có thể ngày mai.
It will be on the two lectures from last week, on Markov decision processes and the two lectures from this week on reinforcement learning. And then it'll be due next week Friday at 4:00 PM.
Nó dựa trên hai bài giảng tuần trước, về quá trình quyết định Markov, và hai bài giảng tuần này về học tăng cường. Hạn nộp là 4 giờ chiều thứ Sáu tuần sau.
Your homework 5 — which, again, will have three components, as all homeworks have an electronic, a written, and a self-assessment of the previous written — will go out soon, probably today, maybe tomorrow, and will be due on Monday.
Bài tập về nhà số 5, vẫn gồm ba phần như mọi bài tập: phần điện tử, phần viết và phần tự đánh giá bài viết trước, sẽ được đăng sớm, có thể hôm nay, có thể ngày mai, và hạn nộp là thứ Hai.
Any logistical questions?
Có câu hỏi nào về các vấn đề này không?
[SNEEZE] Bless you.
[HẮT HƠI] Chúc bạn mau khỏe.
OK, let's dive in. Reinforcement learning — in reinforcement learning, we're going to be studying how to learn behaviors.
Được rồi, bắt đầu nào. Học tăng cường: trong học tăng cường, chúng ta sẽ nghiên cứu cách học các hành vi.
And this is a long-standing discipline that is studied not just in AI, but also studied in psychology, in cognitive science, and so forth, to try to understand how people and animals learn behaviors.
Đây là một lĩnh vực có từ lâu, không chỉ được nghiên cứu trong AI mà còn trong tâm lý học, khoa học nhận thức, v.v. nhằm hiểu cách con người và động vật học các hành vi.
In fact, a good example would be if you had a dog. And it's a little puppy, and it doesn't really listen to you yet.
Một ví dụ hay là khi bạn nuôi một con chó. Nó còn là một chú cún con và chưa thực sự nghe lời bạn.
And then sometimes, you yell at it when you're not happy. And sometimes, you give it a treat when you are happy. That's you giving it rewards.
Đôi khi bạn quát nó khi bạn không vui. Và đôi khi bạn cho nó món ngon khi bạn vui. Đó là bạn đang cho nó phần thưởng.
And the hope is that, somehow, as a consequence of you either yelling, or giving treats, or saying nice words, the dog will somehow become a well-behaved dog.
Hy vọng là nhờ việc bạn quát nó, cho nó món ngon, hay nói những lời dễ nghe, mà con chó sẽ dần trở thành một chú chó ngoan.
That dog is running reinforcement learning, in some sense. It's somehow trying to optimize behavior for rewards.
Theo một nghĩa nào đó, con chó đó đang chạy học tăng cường. . Nó đang cố tối ưu hành vi để nhận phần thưởng.
And these rewards, in this case, you are providing them and, in that way kind of guiding what the behavior is that you want from the dog, maybe as a function of maybe you call their name, or you whistle or something.
Và những phần thưởng này, trong trường hợp này, là do bạn đưa ra, và theo cách đó định hướng hành vi mà bạn muốn ở con chó, có thể tùy theo việc bạn gọi tên nó, hay huýt sáo hoặc làm gì đó.
You want them to do something. That's effectively reinforced learning, an action that probably many of you have already seen in real life.
Bạn muốn nó làm một việc gì đó. Về bản chất đó chính là học tăng cường, một hành động mà có lẽ nhiều bạn đã thấy ngoài đời thực.
What does it mean formally? There's an agent. The agent gets to choose actions. After they choose an action, the environment will change.
Về mặt hình thức thì nó có nghĩa là gì? Có một tác tử. Tác tử được chọn các hành động. Sau khi nó chọn một hành động, môi trường sẽ thay đổi.
There will be a new state of the environment, and there will be also a reward associated with what just happened.
Sẽ có một trạng thái mới của môi trường, và cũng có một phần thưởng gắn với điều vừa xảy ra.
So reinforcement learning is essentially like Markov decision processes, but it's different in the sense that, right now, we're not going to know ahead of time what the models are for the environment and the rewards.
Vậy học tăng cường về cơ bản giống quá trình quyết định Markov, nhưng khác ở chỗ, lúc này chúng ta sẽ không biết trước các mô hình của môi trường và của phần thưởng.
We just get to interact with the world, see what reward we get, interact again, repeat, repeat, repeat, and hope that over time, from the observed rewards and the observed next states that we experience, we can figure out how to optimize reward.
Chúng ta chỉ được tương tác với thế giới, xem nhận được phần thưởng gì, rồi tương tác tiếp, lặp đi lặp lại, và hy vọng rằng theo thời gian, từ các phần thưởng và các trạng thái tiếp theo quan sát được mà ta trải qua, ta có thể tìm ra cách tối ưu phần thưởng.
So this is going to be learning, rather than direct planning.
Vậy đây là học, chứ không phải lập kế hoạch trực tiếp.
So people apply this with robot dogs, also. So this is some results I'm going to showcase from Peter Stone's group at the University of Texas Austin. And there's something called RoboCup.
Người ta cũng áp dụng điều này với chó robot. Đây là một số kết quả mà tôi sẽ trình chiếu từ nhóm của Peter Stone tại Đại học Texas Austin. Có một cuộc thi tên là RoboCup.
In RoboCup, robots play World Cup soccer among each other. And one of the leagues is the Dog League. This is the Dog League robots.
Trong RoboCup, các robot đá World Cup với nhau. Và một trong các giải là Giải Robot Chó. Đây là các robot của Giải Robot Chó.
These are Sony AIBO robots, which just came back into production. And now, if you want to do well in soccer, it's actually important to run fast.
Đây là các robot Sony AIBO, loại vừa mới được sản xuất trở lại. Giờ, muốn đá bóng giỏi, chạy nhanh thực sự rất quan trọng.
If you run much slower than your opponent, it's hard to beat them.
Nếu bạn chạy chậm hơn đối thủ nhiều, thì rất khó thắng họ.
And so one of the things that they used reinforcement learning for is to train their robot dogs to run as fast as possible.
Vì vậy một trong những việc họ dùng học tăng cường là để huấn luyện những chú chó robot chạy nhanh nhất có thể.
So you can imagine you run reinforcement learning in the lab, and these dogs learn how to run.
Bạn có thể hình dung bạn chạy học tăng cường trong phòng thí nghiệm, và những chú chó này học cách chạy.
But then you put them on the actual field, and the field is a little different from your lab field.
Nhưng khi đưa chúng ra sân thật, sân thật hơi khác sân trong phòng thí nghiệm.
And they might not do us well, because there's different friction, different properties of the terrain. So what now?
Và chúng có thể chạy không tốt, vì ma sát khác, đặc tính mặt sân khác. Vậy giờ làm gì?
Or maybe the dog has played a lot, and a little bit of wear and tear makes it different than how it behaved in the lab.
Hoặc có thể chú chó đã chơi nhiều, và một chút hao mòn khiến nó hoạt động khác so với trong phòng thí nghiệm.
Then what you want to do, and what they did is they say, well, we have an initial thing. Before we play a game, we can run our lab-trained control policy.
Điều bạn muốn làm, và điều họ đã làm, là họ nói: ta có sẵn một thứ ban đầu. Trước khi vào trận, ta có thể chạy chính sách điều khiển đã huấn luyện trong phòng thí nghiệm.
It's OK. In the lab, it worked really, really well. But out here on the actual scene of the World Cup for robot dogs, it is kind of slow.
Cũng tạm được. Trong phòng thí nghiệm, nó chạy rất rất tốt. Nhưng ở đây, tại sân thật của World Cup dành cho chó robot, thì nó hơi chậm.
Then they say, let's rerun a bunch of trials and run reinforcement learning in the background. And we'll understand better what that means, but this is what it would do before a game starts.
Rồi họ nói, hãy chạy lại hàng loạt lượt thử và chạy học tăng cường ở chế độ nền. Ta sẽ hiểu rõ hơn điều đó nghĩa là gì, nhưng đây là việc nó làm trước khi trận đấu bắt đầu.
It just starts running on that terrain and practicing, understanding how that terrain interacts with its legs. And then after full training, before the game, here is what you get.
Nó cứ thế chạy trên mặt sân đó và luyện tập, tìm hiểu mặt sân đó tương tác thế nào với đôi chân của nó. Và sau khi huấn luyện xong, trước trận đấu, đây là kết quả bạn nhận được.
And you get maximum speed and also very stable head to see what's around you, locomotion. And these dogs beat, pretty much, every other team all the time.
Bạn có tốc độ tối đa và đồng thời là chuyển động rất ổn định, đầu giữ vững để quan sát xung quanh. Và những chú chó này hầu như lúc nào cũng thắng mọi đội khác.
Here's another example of a result attained with reinforcement learning. What we have here is a snake robot. How do you build a snake robot? Essentially, just a bunch of motors sequenced together.
Đây là một ví dụ khác về kết quả đạt được nhờ học tăng cường. Ở đây ta có một robot rắn. Làm sao chế tạo một robot rắn? Về cơ bản, chỉ là một loạt động cơ nối tiếp nhau.
And that allows you to build a snake, so with a bunch of motors sequenced together here. The training has already happened.
Và điều đó cho phép bạn làm ra một con rắn, với một loạt động cơ nối tiếp nhau như ở đây. Việc huấn luyện đã diễn ra rồi.
So it's been trained to control itself, to climb on top of the step and sidewind. Let's see how it does.
Nó đã được huấn luyện để tự điều khiển, leo lên bậc và bò ngang kiểu rắn sidewinding. Hãy xem nó làm thế nào.
And this is a project in Andrew Ng's lab at Stanford, about maybe 10 years ago now, a time I was still there.
Đây là một dự án ở phòng thí nghiệm của Andrew Ng tại Stanford, khoảng 10 năm trước, lúc tôi vẫn còn ở đó.
And you see, indeed, the snake is able to get onto that step and actually wants to get to the other side.
Và bạn thấy, quả thật con rắn leo lên được cái bậc đó và nó muốn sang phía bên kia.
So once it's on, it'll start sidewinding and make its way over. And you might start seeing a pattern here.
Khi đã lên rồi, nó sẽ bắt đầu bò ngang và tiến sang bên kia. Và bạn có thể bắt đầu thấy một quy luật ở đây.
And the pattern is that, for solving these problems, it's very difficult to build reliable simulators.
Quy luật đó là, để giải những bài toán này, rất khó xây dựng các trình mô phỏng đáng tin cậy.
So far in 188, we've looked at scenarios where we can have a model, either a deterministic or stochastic model of how the world works. And we could plan in it.
Cho đến giờ trong CS 188, ta đã xét các tình huống mà ta có một mô hình, hoặc tất định hoặc ngẫu nhiên, về cách thế giới vận hành. Và ta có thể lập kế hoạch trong đó.
But for things like this, how do you build a reliable snake simulator? Very hard to do. Not clear if anybody can do this at this point in time that would match this particular snake.
Nhưng với những thứ như thế này, làm sao xây một trình mô phỏng rắn đáng tin cậy? Rất khó làm. Không rõ hiện giờ có ai làm được không, một cái khớp với đúng con rắn này.
And so if you build a simulator and it's not good, well, then whatever you plan in that simulator might not be a good plan for the real snake.
Và nếu bạn xây trình mô phỏng mà nó không tốt, thì bất cứ kế hoạch nào bạn lập trong đó có thể không phải kế hoạch tốt cho con rắn thật.
And it might not work in the real world. And so that's why reinforcement comes to the rescue here.
Và nó có thể không hiệu quả ngoài đời thực. Và đó là lý do học tăng cường xuất hiện để giải cứu.
You can let the thing learn on its own on the task it's supposed to do well at. Here's another example. This is from Russ Tedrake's lab, Russ Tedrake's PhD thesis at MIT.
Bạn có thể để nó tự học ngay trên nhiệm vụ mà nó cần làm tốt. Đây là một ví dụ khác. Đây là từ phòng thí nghiệm của Russ Tedrake, luận án tiến sĩ của Russ Tedrake tại MIT.
So what are we looking at here? This is a toddler robot. Making a two-legged robot walk is actually pretty tricky, because they only have two legs. By default, they're going to fall over.
Vậy ta đang xem gì ở đây? Đây là một robot tập đi. Làm cho robot hai chân đi được thực ra khá khó, vì chúng chỉ có hai chân. Mặc định thì chúng sẽ ngã.
And then once you fall over, it's hard to get up. Especially, this robot design wouldn't know how to get up once it's fallen over. And also, you might damage the robot.
Và một khi đã ngã, rất khó đứng dậy. Đặc biệt, thiết kế robot này sẽ không biết cách đứng dậy khi đã ngã. Và bạn cũng có thể làm hỏng robot.
So Russ kind of used some cleverness on both the design side of the robot and the reinforced learning side.
Nên Russ đã dùng chút khéo léo ở cả phần thiết kế robot lẫn phần học tăng cường.
On the design side, if you look at this robot, actually hard to see from here, but the feet are curved. And so what it's naturally really good at is going like this.
Về thiết kế, nếu nhìn robot này, từ đây khó thấy, nhưng bàn chân được làm cong. Nhờ vậy, điều nó làm rất tự nhiên và tốt là lắc như thế này.
And if you know how to go like this, then you have lifted a leg at any given time, you can swing it forward, take a step, and repeat.
Và nếu bạn biết lắc như thế này, thì tại mỗi thời điểm có một chân nhấc lên, bạn có thể đưa nó về phía trước, bước một bước, rồi lặp lại.
And it turns out if you put this robot, I believe it's roughly eight degrees downhill slope, and you start it off to the side so it's wobbling because of gravity, the downhill slope, it'll swing a leg forward when it's off the ground.
Và hóa ra nếu bạn đặt robot này lên, tôi tin là dốc xuống khoảng tám độ, và bạn cho nó bắt đầu lệch sang một bên để nó lắc lư do trọng lực, do dốc xuống, thì nó sẽ đưa một chân về phía trước khi chân đó rời mặt đất.
And it will actually gradually walk down that 8 degrees or 15 degree slope that it's designed for.
Và nó sẽ dần dần đi xuống con dốc 8 độ hay 15 độ mà nó được thiết kế cho.
So Russ designed it to passively walk down hills without any control needed, if the hill has the right slope.
Russ thiết kế nó để đi xuống đồi một cách thụ động mà không cần điều khiển gì, nếu đồi có độ dốc phù hợp.
So that means your design is in the right space, that it, in principle, should work. If you now kick a little bit of energy into it, maybe it can walk on flat surfaces too.
Điều đó có nghĩa thiết kế của bạn nằm đúng không gian, về nguyên tắc là nó sẽ hoạt động. Giờ nếu bạn bơm thêm một chút năng lượng vào, có thể nó cũng đi được trên mặt phẳng.
And that's exactly what the reinforced learning took care of. So initially, when the reinforcement learning starts, it doesn't know how to control the system. And it's just kind of wobbling back and forth.
Và đó chính xác là phần mà học tăng cường đảm nhận. Ban đầu, khi học tăng cường bắt đầu, nó chưa biết cách điều khiển hệ thống. Và nó chỉ lắc lư qua lại.
That's what happens when you just randomly put energy into this system, it'll start wobbling left right. But it gets rewarded for making forward progress.
Đó là điều xảy ra khi bạn cấp năng lượng một cách ngẫu nhiên vào hệ thống này: nó sẽ lắc trái, lắc phải. Nhưng nó được thưởng khi tiến về phía trước.
And so over time, it starts figuring out how to make some forward progress. Right now, it's kind of just circling around, not exactly straight line forward progress.
Và theo thời gian, nó bắt đầu tìm ra cách để tiến về phía trước được một chút. Hiện giờ nó chỉ đang đi vòng vòng, chưa tiến thẳng về phía trước thật sự.
But over time, it becomes better and better, making this consistent progress. And after a good amount of training, it just walks off. It's gone.
Nhưng theo thời gian, nó ngày càng giỏi hơn, tiến lên một cách ổn định. Và sau một lượng huấn luyện kha khá, nó cứ thế bước đi mất. Nó đi mất rồi.
[LAUGHTER] In your Project 3, you'll get to do something very similar for this robot here. So this is sometimes the simplest locomotion robot you can imagine.
[CƯỜI] Trong Project 3, các bạn sẽ làm một việc rất giống như vậy với con robot này. Đây có lẽ là robot di chuyển đơn giản nhất mà bạn có thể tưởng tượng.
You might wonder why did we keep it so simple? Why don't we have like a full humanoid robot? Wouldn't that be awesome?
Bạn có thể thắc mắc sao lại làm đơn giản vậy? Sao không dùng robot hình người hoàn chỉnh? Chẳng phải sẽ tuyệt hơn sao?
The running time for reinforcement, the amount of experience it needs to control a full humanoid, will be much higher than for a lower dimensional robot.
Thời gian chạy của học tăng cường, lượng kinh nghiệm cần để điều khiển một robot hình người đầy đủ, sẽ cao hơn nhiều so với một robot có số chiều thấp hơn.
And then it would take maybe a day or so to run your project code. And then if you had a bug and it didn't work, you'd have to go again.
Và có thể mất khoảng một ngày để chạy code project của bạn. Nếu bạn có lỗi và nó không chạy đúng, bạn phải chạy lại từ đầu.
And you'd only have a few trials before deadline is set. Whereas this one, you can run relatively quickly. If it doesn't work right, you can debug it and repeat.
Và bạn chỉ có vài lần thử trước hạn nộp. Còn con này thì chạy tương đối nhanh. Nếu chạy chưa đúng, bạn gỡ lỗi rồi chạy lại.
So how do you make this thing move? Well, you can control two angles. There is an angle over here, and an angle over here. That's where your motors are.
Vậy làm sao để con này di chuyển? Bạn điều khiển được hai góc. Một góc ở đây và một góc ở đây. Đó là chỗ đặt các động cơ.
You can control those angles. And if you're smart about how you do it, this thing can move. So let's take a look at the video of this in action.
Bạn điều khiển các góc đó. Và nếu làm khéo, con này có thể di chuyển. Hãy xem video nó hoạt động.
This is the robot kind of just — [VIDEO PLAYBACK] - So here, what do we see?
Con robot này đang... [PHÁT VIDEO] - Ở đây chúng ta thấy gì?
PROFESSOR
Oops, lets mute this a little bit. So what are we watching here? The robot is just randomly moving its arm around. And sometimes, that means it moves forward, sometimes it means it moves backward.
Ôi, tắt bớt tiếng đi một chút. Vậy chúng ta đang xem gì đây? Robot chỉ đang vung cánh tay một cách ngẫu nhiên. Có lúc nó tiến về phía trước, có lúc nó lùi về phía sau.
But we give it reward — negative for moving backwards, positive for moving forward.
Nhưng ta cho nó phần thưởng: âm khi lùi, dương khi tiến.
And the hope is that reinforcement learning, based on that signal, can figure out what is a good policy to control the robot. Now, this takes a while.
Và hy vọng là học tăng cường, dựa trên tín hiệu đó, có thể tìm ra chính sách tốt để điều khiển robot. Việc này mất khá lâu.
So in this video that we recorded here, we'll skip forward a lot of attempts. So we're not watching all the learning in action. You might wonder why is this hard?
Nên trong video quay lại ở đây, ta sẽ tua qua rất nhiều lần thử. Vậy là ta không xem toàn bộ quá trình học. Bạn có thể thắc mắc tại sao việc này khó?
Why isn't it easy to just pedal yourself forward? Well, it has a lot of options in terms of what to do.
Sao không dễ dàng đạp để tiến lên? Vì nó có rất nhiều lựa chọn về việc phải làm.
And it doesn't know ahead of time how it works and has to figure it out from its own experience. And in fact, when you reach forward, you don't move.
Và nó không biết trước mình hoạt động ra sao, mà phải tự tìm ra từ kinh nghiệm. Thật ra, khi bạn duỗi tay ra phía trước thì bạn không di chuyển.
It's only once you put your pickle down and start pulling you move forward. So first, you need to go through a phase where nothing happens for you. You don't get rewarded.
Chỉ khi hạ càng xuống và bắt đầu kéo thì bạn mới tiến lên. Vậy trước hết, bạn phải trải qua một giai đoạn mà chẳng có gì xảy ra cả. Bạn không được thưởng.
And so it's hard to learn to do that, because you don't get any signal that's the right thing to do. That's like giving your dog no feedback for a whole day, let's say.
Nên rất khó học điều đó, vì bạn không nhận được tín hiệu nào cho biết đó là việc đúng. Giống như không phản hồi gì cho con chó của bạn cả ngày, chẳng hạn.
And then at the end of the day, say, good dog, that was a great day today, or bad dog. It's not going to learn.
Rồi cuối ngày mới nói: chó ngoan, hôm nay tuyệt lắm, hoặc chó hư. Nó sẽ không học được.
The more your reward is spaced out over time, the harder to learn.
Phần thưởng càng cách xa nhau theo thời gian, càng khó học.
And so what makes this hard is that you do need that period of getting no reward and somehow discover that that's the way to achieve reward in the long run.
Vì vậy, điều làm việc này khó là bạn cần có giai đoạn không nhận được phần thưởng và bằng cách nào đó phát hiện ra đó là cách để đạt phần thưởng về lâu dài.
So if you successfully complete your Project 3, you will have implemented a reinforced learning algorithm that learns to control the crawler bot.
Nếu hoàn thành tốt Project 3, bạn sẽ cài đặt được một thuật toán học tăng cường học cách điều khiển crawler bot.
OK, let's formalize a little bit what we're thinking about today — reinforcement learning. We'll still assume that we're working with the Markov decision process, which we've looked at for the past two lectures already.
Được rồi, hãy hình thức hóa một chút điều ta nghĩ đến hôm nay: học tăng cường. Ta vẫn giả sử đang làm việc với quá trình quyết định Markov, mà ta đã xem trong hai bài giảng vừa rồi.
As a reminder, what does that mean? There's a set of states, the configurations the world can be in. There's a set of actions available to the agent to take.
Nhắc lại, điều đó nghĩa là gì? Có một tập các trạng thái, tức các cấu hình mà thế giới có thể có. Có một tập các hành động mà tác tử có thể thực hiện.
And then there's a model. And this model is a probabilistic model that says, what is the probability of landing in a state s prime if you start in state S and took action A?
Và có một mô hình. Mô hình này là mô hình xác suất, cho biết xác suất rơi vào trạng thái s' nếu bắt đầu ở trạng thái S và thực hiện hành động A là bao nhiêu?
And then there's a reward function that says, how good was that transition that you've just experienced? And that's what we want to optimize.
Rồi có hàm phần thưởng cho biết bước chuyển vừa trải qua tốt đến mức nào? Và đó là thứ ta muốn tối ưu.
So we'll still be looking to optimize behavior in an MDP, but the twist is that we now don't know tier R.
Vậy ta vẫn muốn tối ưu hành vi trong một MDP, nhưng điểm khác là giờ ta không biết T hay R.
So remember previous two lectures, you would see things like value iteration, policy iteration.
Nhớ lại hai bài trước, bạn đã thấy lặp giá trị, lặp chính sách.
If you look at those equations, what appears in there is T and R. And because you have T and R, you can run through those equations and get a value function and a policy that might be good.
Nếu nhìn các phương trình đó, thứ xuất hiện là T và R. Và vì có T và R, bạn có thể chạy qua các phương trình đó để có hàm giá trị và một chính sách có thể tốt.
But now, in this lecture and next lecture, we're not going to know tier R, yet still want to solve this problem.
Nhưng giờ, trong bài này và bài sau, ta sẽ không biết T hay R, mà vẫn muốn giải bài toán này.
So the problem is the same, but what we have available in terms of information about the problem has changed. What that means in practice is that you need to try things.
Vậy bài toán vẫn như cũ, nhưng thông tin ta có về bài toán đã thay đổi. Trong thực tế, điều đó nghĩa là bạn cần thử.
Because as an agent, you don't know how in the world functions. You need to experiment.
Vì là một tác tử, bạn không biết thế giới vận hành thế nào. Bạn cần thử nghiệm.
And so reinforce when the agent that experiments in the world, from that, figures out how the world works, where the rewards are, how does it dynamically evolve, and then from there is able to, hopefully, achieve high rewards.
Và trong học tăng cường, tác tử thử nghiệm trong thế giới, từ đó tìm ra thế giới vận hành ra sao, phần thưởng nằm ở đâu, nó biến đổi động thế nào, và từ đó hy vọng là có thể đạt được phần thưởng cao.
So if we look at this picture here from last time, now, the picture would become like this.
Nếu nhìn vào hình của buổi trước, bây giờ hình đó sẽ trở thành thế này.
We don't have access anymore to how the world works or where the rewards are, unless we experiment and experience them.
Ta không còn biết thế giới vận hành ra sao hay phần thưởng nằm ở đâu, trừ khi ta thử nghiệm và trải nghiệm chúng.
So offline would be value iteration, policy iteration, which we can do when we have the full MDP model available.
Offline là lặp giá trị, lặp chính sách, làm được khi ta có đầy đủ mô hình MDP.
There, our agent would — when it's supposed to navigate a maze — would think about the consequence of its actions. Say, well, if I did this, then that.
Ở đó, tác tử của ta, khi cần đi qua một mê cung, sẽ suy nghĩ về hệ quả của các hành động. Kiểu như: nếu làm thế này thì sẽ ra thế kia.
If I did this, then that. Let me do this thing, because that gives me high reward. In RL, the agent has to go try it out. This can get pretty painful at times.
Làm thế này thì ra thế kia. Vậy làm cái này đi, vì nó cho phần thưởng cao. Trong RL, tác tử phải đi thử. Đôi khi việc này khá đau đớn.
So often, people prefer to do RL in simulation when possible. Because in real world, if you need to experience things, often there's a high cost associated with experiencing the negative rewards.
Nên người ta thường thích làm RL trong mô phỏng nếu có thể. Vì trong thế giới thực, nếu phải trải nghiệm, thường phải trả giá đắt khi trải nghiệm những phần thưởng âm.
But this is what effectively needs to happen. OK.
Nhưng về bản chất thì buộc phải như vậy. Được rồi.
And actually, one thing to remark here is that this agent, when it's not fallen on a fire pit yet, it doesn't know that a fire pit is bad.
Một điều cần lưu ý ở đây là tác tử này, khi chưa rơi xuống hố lửa, thì nó không biết hố lửa là xấu.
And so in reinforced learning, you only know something is bad once you've experienced it. And that's why you'll experience some of these things before you know what is the right thing to do.
Nên trong học tăng cường, bạn chỉ biết điều gì đó xấu khi đã trải qua nó. Và đó là lý do ta phải trải qua một số chuyện như vậy trước khi biết điều đúng đắn cần làm.
OK. There's a few ways of [? incarnating ?] reinforcement learning. There's model-based learning, and there's model-free learning. We'll start with the model-based, and then we'll transition to model-free.
Được rồi. Có vài cách hiện thực hóa học tăng cường. Có học dựa trên mô hình (model-based) và học không cần mô hình (model-free). Ta sẽ bắt đầu với model-based, rồi chuyển sang model-free.
But both are totally good approaches. Not one is better than the other. One is a little simpler than the other, which is model-based, to understand what's going on.
Cả hai đều là cách tiếp cận hoàn toàn tốt. Không cái nào hơn cái nào. Model-based thì dễ hiểu hơn một chút về những gì đang diễn ra.
So we'll do that one first. So what is a model-based idea? You learn an approximate model based on experiences, OK? So you act in the world.
Nên ta làm cái đó trước. Ý tưởng model-based là gì? Bạn học một mô hình xấp xỉ dựa trên trải nghiệm, nhé? Bạn hành động trong thế giới.
You see how the world works. You have an estimate of how the world works. And based on that, you build a model. Then once you have that model, you just solve against that model.
Bạn thấy thế giới vận hành thế nào. Bạn có một ước lượng về cách thế giới vận hành. Và dựa trên đó, bạn xây dựng một mô hình. Có mô hình rồi, bạn chỉ cần giải trên mô hình đó.
You can use the techniques from last week to solve against that model. So step one would be something like you're acting, acting, acting, and if it's a discrete world, you keep track of counts.
Bạn có thể dùng các kỹ thuật của tuần trước để giải trên mô hình đó. Bước một là bạn cứ hành động, hành động, hành động, và nếu thế giới rời rạc, bạn theo dõi số lần đếm.
How often when I was in state S, took action A, did I land in state S prime? How often did I land in S double prime? How often in S triple prime?
Bao nhiêu lần khi ở trạng thái S, làm hành động A, thì rơi vào trạng thái S phẩy? Bao nhiêu lần rơi vào S hai phẩy? Bao nhiêu lần vào S ba phẩy?
And then you can, from those statistics, build a model — say, well, it looks like one-third of the time I land in this state, two-thirds of the time in that state, and zero in other states.
Rồi từ các thống kê đó, bạn xây mô hình, ví dụ: có vẻ một phần ba số lần tôi rơi vào trạng thái này, hai phần ba vào trạng thái kia, và không vào các trạng thái khác.
That might be your model for that particular starting state and that action. And you'd have that for every starting state and every action that you're willing to consider.
Đó có thể là mô hình cho trạng thái xuất phát đó và hành động đó. Và bạn có điều đó cho mọi trạng thái xuất phát và mọi hành động mà bạn muốn xét.
Same for the reward. You could keep track of, for each transition, what reward did you get?
Phần thưởng cũng tương tự. Bạn có thể theo dõi, với mỗi chuyển tiếp, bạn nhận được phần thưởng bao nhiêu.
And then, in this case, let's, say, build a table of what reward is about to happen for a specific triple. Once you've done that, then you can solve the learned MDP.
Rồi, trong trường hợp này, ta lập một bảng phần thưởng sẽ xảy ra cho một bộ ba cụ thể. Xong rồi thì bạn có thể giải MDP đã học được.
Learned is important here. So it won't be the true MDP, most likely. Because if you have to estimate how the world works from experience, usually, you're not super precise.
Chữ "đã học được" ở đây rất quan trọng. Nhiều khả năng nó không phải MDP thật. Vì nếu phải ước lượng cách thế giới vận hành từ trải nghiệm, thường thì không chính xác lắm.
It's going to be approximate. But you're going to solve this approximation of the real world by, let's say, running value iteration. That gives you a policy. You can use the policy and act.
Nó sẽ chỉ là xấp xỉ. Nhưng bạn sẽ giải xấp xỉ này của thế giới thực bằng cách, chẳng hạn, chạy lặp giá trị. Nó cho bạn một chính sách. Bạn dùng chính sách đó để hành động.
Let's look at an example. So initially, we don't know nothing about the world.
Hãy xem một ví dụ. Ban đầu, ta không biết gì về thế giới.
Now on the slides, it's a little hard to signal we know nothing about the world, so bear with me for a moment here.
Trên slide thì hơi khó để thể hiện là ta không biết gì, nên các bạn thông cảm một chút.
But even though we can see that this is a world with five states and that there's some pattern of how you can transition and that you probably can go from B to D, or from E to D, those things are actually not available to the agent when the agent starts out.
Dù ta thấy đây là thế giới có năm trạng thái và có một kiểu chuyển tiếp nào đó, và có lẽ đi được từ B sang D, hay từ E sang D, thì những điều đó tác tử không hề biết lúc mới bắt đầu.
The agent will just know, I'm in a state right now. I have some actions to choose from. Let me see what happens.
Tác tử chỉ biết: giờ tôi đang ở một trạng thái. Tôi có vài hành động để chọn. Để xem chuyện gì xảy ra.
So maybe after four episodes in this world, this is what has happened to the agent. And maybe this is the strategy they used for acting — from B, go east.
Có thể sau bốn episode trong thế giới này, tác tử đã trải qua những điều này. Và có thể đây là chiến lược nó dùng: từ B, đi sang đông.
From C, go east. And from E, go north. And from A and D, you can only exit, so no options available than just that one option. So we've done that.
Từ C, đi sang đông. Và từ E, đi lên bắc. Còn từ A và D chỉ có thể thoát, nên không có lựa chọn nào ngoài đúng một lựa chọn đó. Vậy là ta đã làm xong.
We've collected experience. Next step in model-based reinforcement learning is to now turn that experience into a model, an MDP, Markov decision process, that models the world based on this experience.
Ta đã thu thập kinh nghiệm. Bước tiếp theo trong học tăng cường model-based là biến kinh nghiệm đó thành một mô hình, một MDP, quá trình quyết định Markov, mô hình hóa thế giới dựa trên kinh nghiệm này.
What would that mean?
Điều đó nghĩa là gì?
Well, we can look at when we do east in B, that happened twice, we always landed in C. So our model would be transition, B east, C. Probability of landing in C from B after taking action east is 1, if we just look at the frequencies here.
Ta xem khi làm hành động đông ở B, việc đó xảy ra hai lần, ta luôn rơi vào C. Vậy mô hình có chuyển tiếp B, đông, C. Xác suất rơi vào C từ B sau khi làm hành động đông là 1, nếu chỉ nhìn vào tần suất ở đây.
And this middle one third of 188, we'll look a lot at probabilities and how you might want to maybe estimate this slightly differently and not be so deterministic from a small amount of data.
Và đây là một phần ba giữa của CS 188, ta sẽ làm việc rất nhiều với xác suất và cách bạn có thể ước lượng điều này hơi khác đi, không quá tất định từ một lượng dữ liệu nhỏ.
But for now, let's just use the frequencies that are present as our estimates of the probabilities. So we saw it was always C, so we set the probability equal to 1.
Nhưng bây giờ, ta cứ dùng các tần suất đang có làm ước lượng cho các xác suất. Ta thấy lúc nào cũng là C, nên đặt xác suất bằng 1.
How about when we go from C, go east, what happens? It looks like three out of four times we end up in D, and one out of four times we end up in A.
Còn khi đi từ C, sang phía đông thì sao? Có vẻ ba trên bốn lần ta kết thúc ở D, và một trên bốn lần ta kết thúc ở A.
So we'd have T, C, east, D. Happens sometimes in T, C, east A happens.
Vậy ta có T, C, east, D. Đôi khi xảy ra T, C, east, A.
And this happens three out of four, and this happens one out of four. OK, so that's what we can do to build a model for rewards.
Cái này xảy ra ba trên bốn, còn cái này xảy ra một trên bốn. Được rồi, đó là cách ta xây dựng mô hình cho phần thưởng.
We can also read them off, spelled out on the slides in typeset font, rather than hand scribbled. This is what we get.
Ta cũng có thể đọc chúng, được viết ra trên slide bằng phông chữ in, thay vì viết tay nguệch ngoạc. Đây là kết quả ta có.
Once we have the model, we can run value iteration or policy iteration, whichever you prefer, and get out a policy that will be, sometimes, as good as this model captures how the real world works.
Khi đã có mô hình, ta có thể chạy lặp giá trị hoặc lặp chính sách, tùy bạn thích, và thu được một chính sách mà đôi khi sẽ tốt đến mức mô hình này nắm bắt được cách thế giới thật vận hành.
Any questions about how model-based RL works? Because that's it for model-based RL.
Có câu hỏi nào về cách học tăng cường dựa trên mô hình hoạt động không? Vì học tăng cường dựa trên mô hình chỉ có vậy thôi.
Yeah?
Bạn hỏi đi?
STUDENT
So all of the states and actions are already known? The only unknown [INAUDIBLE] is the T and R?
Vậy tất cả trạng thái và hành động đều đã biết trước? Chỉ có T và R là chưa biết [KHÔNG NGHE RÕ]?
PROFESSOR
It's a good question. So the question is, what is known and what is not known? I've made very clear T and R are unknown ahead of time.
Câu hỏi hay. Câu hỏi là, cái gì đã biết và cái gì chưa biết? Tôi đã nói rõ T và R là chưa biết từ trước.
Whether you know the states based on the action space, that's more debatable whether you consider that given or not.
Còn việc bạn có biết các trạng thái dựa trên không gian hành động hay không, thì còn tranh cãi là có coi nó là cho trước hay không.
In principle, it doesn't matter too much in this setting because, if you don't know the state space, I mean, you still know the current state.
Về nguyên tắc, trong bối cảnh này điều đó không quá quan trọng vì nếu bạn không biết không gian trạng thái, ý tôi là, bạn vẫn biết trạng thái hiện tại.
And you'll only build models probably around states you've experienced, rather than some external states. But different people will consider that differently when they see a model-based RL.
Và có lẽ bạn chỉ xây mô hình quanh các trạng thái bạn đã trải qua, chứ không phải các trạng thái bên ngoài nào đó. Nhưng mỗi người sẽ xem điều đó khác nhau khi họ gặp học tăng cường dựa trên mô hình.
For 188, you can assume that the state space is a given, action space is a given.
Ở CS 188, bạn có thể giả sử không gian trạng thái là cho trước, không gian hành động là cho trước.
SINH VIÊN
We just don't know T and R. Yes STUDENT: Do you ever update the policy?
Ta chỉ không biết T và R. Bạn hỏi đi. Có bao giờ cập nhật chính sách không ạ?
PROFESSOR
OK, good question.
Được, câu hỏi hay.
SINH VIÊN
So model-based learning — STUDENT: [YAWN] [LAUGHTER] PROFESSOR: So in model-based learning, you first collect data, build a model.
Học dựa trên mô hình thì... [NGÁP] [CƯỜI] GIÁO SƯ: Trong học dựa trên mô hình, đầu tiên bạn thu thập dữ liệu, xây dựng mô hình.
Once you have your model, you find a value function, V star, against this model. It will not be the real V star, it will be against this particular model that you just learned.
Có mô hình rồi, bạn tìm hàm giá trị V star theo mô hình này. Nó sẽ không phải V star thật, mà là theo đúng mô hình bạn vừa học được.
After you have that, often you go back.
Sau đó, thường bạn quay lại.
You might execute that policy or a variation of that policy to see how well it actually works in the real world, collect more data, improve your dynamics model with the new data, and repeat.
Bạn có thể thực thi chính sách đó hoặc một biến thể của nó để xem nó thực sự hiệu quả thế nào trong thế giới thật, thu thập thêm dữ liệu, cải thiện mô hình động lực học bằng dữ liệu mới, rồi lặp lại.
And so you'd go around in a cycle through this. This step of collecting more data is something we'll see more about in next lecture. What's important there is the notion of exploration.
Vậy là bạn đi theo một vòng tuần hoàn. Bước thu thập thêm dữ liệu này ta sẽ tìm hiểu thêm ở bài giảng sau. Điều quan trọng ở đó là khái niệm khám phá.
You need to try things you haven't tried before. So two things will happen at the same time.
Bạn cần thử những thứ chưa từng thử. Vậy hai việc sẽ xảy ra cùng lúc.
Because you have learned a policy, or value iteration has given you a policy against a learned model, you can go check how well that actually works compared to in your simulator.
Vì bạn đã học được một chính sách, hoặc lặp giá trị đã cho bạn một chính sách theo mô hình đã học, bạn có thể kiểm tra nó thực sự hiệu quả thế nào so với trong trình mô phỏng.
If it works equally well, then probably your simulator was good, and you might be all set.
Nếu hiệu quả tương đương, thì có lẽ trình mô phỏng đã tốt, và bạn có thể xong việc.
If it doesn't work as well, that means that you're getting new data that can inform you about how the world works differently from what your simulator thought. And so you learn something new.
Nếu không hiệu quả bằng, nghĩa là bạn đang nhận được dữ liệu mới cho bạn biết thế giới vận hành khác với những gì trình mô phỏng đã nghĩ. Và như vậy bạn học được điều mới.
There's some notion of either it works just as well, or you learn something new. If you learn something new, improve your model and repeat.
Tức là hoặc nó hiệu quả tương đương, hoặc bạn học được điều mới. Nếu học được điều mới, hãy cải thiện mô hình và lặp lại.
Now to learn something new more quickly, you often don't want to just directly execute this policy, but you might want to do something called exploration. And more about that next lecture.
Để học điều mới nhanh hơn, bạn thường không muốn chỉ thực thi trực tiếp chính sách này, mà có thể muốn làm một việc gọi là khám phá. Và sẽ nói thêm về nó ở bài sau.
Yes?
Bạn hỏi đi?
STUDENT
In order for model based learning to work well, do we need to have [INAUDIBLE]??
Để học dựa trên mô hình hoạt động tốt, ta có cần [KHÔNG NGHE RÕ] không ạ?
PROFESSOR
That's a question about exploration. Let's revisit that, once we're covering exploration. Yes?
Đó là câu hỏi về khám phá. Ta sẽ quay lại khi nói về khám phá. Bạn hỏi đi?
STUDENT
So this requires from the agent preprogramming, [INAUDIBLE].
Vậy điều này đòi hỏi tác tử phải được lập trình sẵn, [KHÔNG NGHE RÕ].
PROFESSOR
So the question here is, where does the reward function come from? That's your question, effectively, right?
Câu hỏi ở đây là, hàm phần thưởng đến từ đâu? Về cơ bản đó là câu hỏi của bạn, đúng không?
STUDENT
Yes.
Vâng.
PROFESSOR
So it varies. So for most AI agents, the reward function would come from a human designer who decides what they want. Now, there's a lot of tricky issues with that.
Điều này tùy trường hợp. Với hầu hết tác tử AI, hàm phần thưởng đến từ người thiết kế, người quyết định họ muốn gì. Có nhiều vấn đề phức tạp ở đây.
You need to design it correctly. If you're naive about how you design it, things won't work very well. Let's say you have a vacuum cleaner robot.
Bạn cần thiết kế nó đúng. Nếu bạn thiết kế một cách ngây thơ, mọi thứ sẽ không chạy tốt lắm. Giả sử bạn có một robot hút bụi.
You say, oh, just any time you pick up dirt, you get positive reward. Then it might start emptying trash cans, so it can pick up a lot of dirt.
Bạn nói, cứ mỗi lần hút được bụi thì được phần thưởng dương. Thì nó có thể bắt đầu đổ thùng rác để hút được thật nhiều bụi.
And that's actually the optimal way against what you then specify, but it's not what you intended. So definitely, there's a lot of challenges in specifying it.
Và đó thực ra là cách tối ưu theo những gì bạn chỉ định, nhưng không phải điều bạn muốn. Nên chắc chắn có nhiều thách thức khi chỉ định nó.
But specifying the reward is also our control over the agent. It's how we tell the agent what we want.
Nhưng chỉ định phần thưởng cũng chính là cách ta kiểm soát tác tử. Đó là cách ta nói cho tác tử biết ta muốn gì.
But there is a good body of research that specifically is about, how do we go about specifying this in a clever way?
Nhưng có một mảng nghiên cứu khá lớn chuyên về việc, làm thế nào để chỉ định điều này một cách khéo léo?
Because if we don't, then this thing will just optimize against whatever we asked for. And what we asked for might just not really be what we really wanted.
Vì nếu không, thứ này sẽ chỉ tối ưu theo bất cứ điều gì ta yêu cầu. Mà điều ta yêu cầu có thể không thực sự là điều ta thực sự muốn.
Yes?
Bạn hỏi đi?
STUDENT
Do we have [INAUDIBLE]?
Mình có [KHÔNG NGHE RÕ] không ạ?
PROFESSOR
So for this setting here, the way we calculated T was by just looking at the frequencies.
Với trường hợp này, cách ta tính T là chỉ dựa vào tần suất xuất hiện.
So the reason we got 1 here is because, in the four episodes we looked at, whenever we were in state B and took action east, every time we landed in C. So that's why we gave it probability 1.
Lý do ta có 1 ở đây là vì trong bốn tập (episode) ta đã xem, mỗi khi ở trạng thái B và thực hiện hành động đi về phía đông, lần nào ta cũng đến C. Nên ta gán xác suất 1.
It's just one procedure. It's a relatively simple one that we're using for now.
Đây chỉ là một cách làm. Một cách khá đơn giản mà ta dùng tạm lúc này.
Then when we were in C and took the action east, three times, we ended up in D, and one time in A.
Rồi khi ở C và đi về phía đông, ba lần ta đến D, và một lần đến A.
So that 0.75, three out of four, is the empirical estimate of how often you end up in D. And the 0.25 is empirical estimate of how often you end up in A.
Vậy 0,75, tức ba trên bốn, là ước lượng thực nghiệm về tần suất ta đến D. Còn 0,25 là ước lượng thực nghiệm về tần suất ta đến A.
As I said, the middle one third of the class, we'll go into a lot of depth about estimating probabilities and reasoning with probability distributions.
Như tôi đã nói, ở một phần ba giữa của môn học, ta sẽ đi rất sâu vào việc ước lượng xác suất và suy luận với các phân phối xác suất.
And you will then see ideas that might make you want to do this a little differently. But for now, let's just assume we use the frequencies we observe and are happy with it.
Khi đó bạn sẽ thấy những ý tưởng khiến bạn muốn làm việc này hơi khác đi. Nhưng bây giờ, cứ giả sử ta dùng tần suất quan sát được và hài lòng với nó.
OK, that's model-based RL. That wasn't too hard, I hope.
Vâng, đó là học tăng cường dựa trên mô hình (model-based RL). Hy vọng là không quá khó.
Now, to contrast model-based RL with model-free RL, we'll look at an example of model-based estimation versus model-free estimation in an extremely simple setting. So it's not going to be reinforced learning.
Giờ để đối chiếu model-based RL với model-free RL, ta xét ví dụ về ước lượng dựa trên mô hình so với không dựa trên mô hình, trong một bối cảnh cực kỳ đơn giản. Nên đây sẽ không phải là học tăng cường.
It's going to be really, really simple, but just to highlight the difference. And then from there, we'll go to the more complicated setting again. OK.
Nó sẽ thật sự rất đơn giản, chỉ để làm nổi bật sự khác biệt. Sau đó ta sẽ quay lại bối cảnh phức tạp hơn một lần nữa. Được rồi.
Let's say we want to compute the expected age of CS 188 students. OK, what does that mean?
Giả sử ta muốn tính tuổi kỳ vọng của sinh viên CS 188. Điều đó nghĩa là gì?
Well, that means we need to somehow have a distribution over ages and take a weighted sum for each age, multiply it with probability of that age, and that gives us the expected value of age in 188.
Nghĩa là ta cần có một phân phối của độ tuổi và lấy tổng có trọng số: mỗi độ tuổi nhân với xác suất của độ tuổi đó, và ta được giá trị kỳ vọng của tuổi trong lớp 188.
We've seen that before. That's how you compute expected values. What if we don't have this probability distribution? That's the simplified counterpart of not having the model T in the MDP slash reinforced learning scenario.
Ta đã thấy điều này rồi. Đó là cách tính giá trị kỳ vọng. Nhưng nếu ta không có phân phối xác suất này thì sao? Đó là phiên bản đơn giản của việc không có mô hình T trong bối cảnh MDP và học tăng cường.
What if we don't have this P? Well, what can we do? We can then go collect samples — ask a bunch of students what's your age, what's your age, what's your age?
Nếu ta không có P này thì sao? Ta có thể làm gì? Ta có thể đi thu thập mẫu — hỏi nhiều sinh viên: bạn bao nhiêu tuổi, bạn bao nhiêu tuổi, bạn bao nhiêu tuổi?
After we've done that, we could then build a model of this probability distribution. We could say, how often was a certain age mentioned?
Sau khi làm xong, ta có thể xây dựng một mô hình của phân phối xác suất này. Ta xét một độ tuổi nào đó được nhắc đến bao nhiêu lần.
Let's say, how often did somebody say 20, divided by the total number of samples we collected. And that's our estimate of the probability of 20 years old.
Chẳng hạn, có bao nhiêu người nói 20, chia cho tổng số mẫu đã thu thập. Đó là ước lượng xác suất của tuổi 20.
Once we have those estimates, that's our model that we learned. We can use it to estimate the expectation, using the exact same equation.
Khi có các ước lượng đó, đó là mô hình mà ta đã học được. Ta dùng nó để ước lượng kỳ vọng, với đúng công thức cũ.
But this little hat here denotes that this is a estimate of the probability. We don't know the true probability, but this is our estimate.
Nhưng dấu mũ nhỏ ở đây cho biết đây là một ước lượng của xác suất. Ta không biết xác suất thật, mà chỉ có ước lượng này.
So this is a way that we can compute what we wanted, even though we didn't initially have access to a model. But then we have an estimate of the model.
Vậy là ta tính được thứ mình muốn, dù ban đầu không có sẵn mô hình. Nhưng ta có một ước lượng của mô hình.
There's another way you can do this. And you probably would have done this a different way, actually.
Còn một cách khác để làm việc này. Thực ra có lẽ bạn đã làm theo cách khác ngay từ đầu.
Probably what you would have done, instead of building this model and then computing an expectation, you would have just taken a bunch of measurements and averaged them, because the expected value was the average.
Có lẽ bạn sẽ không xây mô hình rồi tính kỳ vọng, mà chỉ cần lấy nhiều số đo rồi tính trung bình, vì giá trị kỳ vọng chính là trung bình.
So why does this work? Let's look at these two equations here. We have this equation here, this equation here. What's different about them?
Vậy tại sao cách này hoạt động? Hãy xem hai phương trình này. Phương trình này và phương trình kia. Chúng khác nhau chỗ nào?
Well, a very striking difference is that, on the left, there is a weighting by the probability. And on the right, there is not. How come?
Một khác biệt rất rõ là ở bên trái có trọng số xác suất. Còn bên phải thì không. Tại sao vậy?
How come, on the left, we have to weight by the probability, and on the right we don't?
Tại sao bên trái phải nhân trọng số xác suất, còn bên phải thì không?
Well, it's because on the right, we drew samples, randomly picked people from the class and asked them what their age is. And the way these samples work is that they already obey the distribution.
Đó là vì bên phải, ta lấy mẫu, chọn ngẫu nhiên người trong lớp và hỏi tuổi của họ. Và các mẫu này vốn đã tuân theo phân phối.
If there's a lot of people of age 20 in our samples, we get a lot of samples with age 20.
Nếu có nhiều người tuổi 20 trong lớp, ta sẽ có nhiều mẫu tuổi 20.
And so the probabilities are reflected in how often a certain age appears in this average that we compute over n samples here.
Nên xác suất đã được phản ánh qua tần suất xuất hiện của một độ tuổi trong trung bình mà ta tính trên n mẫu này.
And so they compute the same thing actually here, but in a different way. Any questions about this? Because this is going to be fundamental to understanding model-free RL.
Vậy hai cách thực ra tính cùng một thứ, nhưng theo hai cách khác nhau. Có câu hỏi nào về phần này không? Vì đây sẽ là nền tảng để hiểu model-free RL.
Yes?
Bạn hỏi đi?
STUDENT
[INAUDIBLE]?
[KHÔNG NGHE RÕ]?
PROFESSOR
Sorry, say that again.
Xin lỗi, bạn nói lại nhé.
STUDENT
Just what is the I?
I là gì ạ?
PROFESSOR
Oh, what is the I? So i here is indexing over students.
À, I là gì à? i ở đây là chỉ số chạy qua các sinh viên.
And so we have, let's say, 800 students, but the capital N might only be, let's say, 50, because we're only going to sample 50. And then capital I is indexing from 1 through 50.
Giả sử ta có 800 sinh viên, nhưng N viết hoa có thể chỉ là, giả sử, 50, vì ta chỉ lấy mẫu 50 người. Và i chạy từ 1 đến 50.
We randomly pick a student each time, and then average their age.
Mỗi lần ta chọn ngẫu nhiên một sinh viên, rồi lấy trung bình tuổi của họ.
STUDENT
And on the other one, A is the age?
Còn ở công thức kia, A là tuổi ạ?
PROFESSOR
Here, A is indexing over age. Correct.
Ở đây, A là chỉ số chạy qua các độ tuổi. Đúng vậy.
So you would go — I mean, I don't know, maybe, not from 0, but from some reasonable age it would be probability non-zero, probably, and average it out.
Nên bạn sẽ đi từ — tôi không rõ, có thể không phải từ 0, mà từ một độ tuổi hợp lý nào đó có xác suất khác không, rồi tính trung bình.
OK, yeah?
OK, bạn hỏi đi?
STUDENT
[INAUDIBLE] how the probability [INAUDIBLE]??
[KHÔNG NGHE RÕ] xác suất đó [KHÔNG NGHE RÕ]?
PROFESSOR
So yeah, that's really the fundamental thing we need to understand to go from model-based to model-free.
Vâng, đây thực sự là điều cơ bản mà ta cần hiểu để đi từ model-based sang model-free.
So the question was, how come it's here, but we don't have a PAI appearing over here? We don't have this. Why not?
Câu hỏi là: tại sao nó có ở đây, mà ở bên này lại không có PAI? Ở đây ta không có số hạng này. Tại sao không?
Intuitively, the reason we don't is because the way these things appear here, the AIs — the I corresponds to a random student.
Theo trực giác, lý do là vì cách những thứ này xuất hiện ở đây, các AI, chỉ số I ứng với một sinh viên ngẫu nhiên.
So we randomly pick a student in the room and ask, what's your age? Randomly pick another student, ask their age.
Tức là ta chọn ngẫu nhiên một sinh viên trong phòng và hỏi: bạn bao nhiêu tuổi? Rồi chọn ngẫu nhiên một bạn khác, hỏi tuổi bạn ấy.
And so if there's a high probability of, let's say, age 20, then a lot of these randomly picked students will say 20. And so 20 will appear many times in this summation here.
Nếu xác suất cao, chẳng hạn, ở tuổi 20, thì nhiều sinh viên được chọn ngẫu nhiên sẽ trả lời 20. Và như vậy 20 sẽ xuất hiện nhiều lần trong tổng này.
Whereas, if, let's say age 15 is unlikely and rarely appears, then when I randomly sample people and ask their age, it might only appear once out of 800 or something.
Còn nếu tuổi 15 là hiếm và hầu như không xuất hiện, thì khi tôi lấy mẫu ngẫu nhiên và hỏi tuổi, có thể nó chỉ xuất hiện một lần trong khoảng 800 người.
And so automatically, it's downweighted, because it doesn't show up much in the samples. If you were to add this probability here, nevertheless, you'd be somehow double counting the probabilities.
Vậy là nó tự động bị giảm trọng số, vì nó không xuất hiện nhiều trong các mẫu. Nếu bạn thêm xác suất này vào đây, thì bạn sẽ đếm hai lần các xác suất.
And that's not good. You don't want to double count them. You want to count them exactly the right amount.
Và như vậy là không tốt. Bạn không muốn đếm trùng. Bạn muốn đếm đúng số lần cần thiết.
And here, the counting happens through the sampling process, rather than through explicitly multiplying with the probabilities.
Và ở đây, việc đếm diễn ra thông qua quá trình lấy mẫu, chứ không phải bằng cách nhân tường minh với các xác suất.
STUDENT
Is this a strong assumption to make though?
Đây có phải là một giả định mạnh không ạ?
PROFESSOR
Is it a strong assumption to make? The assumption we make here — well, a couple of things. I'm not claiming this is — I mean, there's an approximation here.
Có phải giả định mạnh không? Giả định mà ta đưa ra ở đây, à, có vài điều. Tôi không khẳng định đây là... Ý tôi là, ở đây có sự xấp xỉ.
If you don't sample everyone, it's not going to be super precise. Then if you wonder about these two, actually they compute the exact same thing.
Nếu bạn không lấy mẫu tất cả mọi người, nó sẽ không quá chính xác. Còn nếu bạn thắc mắc về hai cách này, thực ra chúng tính ra cùng một giá trị.
If you collect a set of samples, A1 through An from n students, and either you go this route or this route, you'll end up with the same number.
Nếu bạn thu một tập mẫu A1 đến An từ n sinh viên, và đi theo cách này hoặc cách kia, bạn sẽ ra cùng một con số.
It's a different way of computing what ends up being the same number. So it's not that on one side you make a bigger assumption than on the other side.
Đó chỉ là hai cách tính khác nhau cho cùng một con số. Vậy không phải một bên đưa ra giả định lớn hơn so với bên kia.
So let's then transition to model-free not age estimation in 188, but model-free reinforcement learning. We'll do this in two phases.
Giờ ta chuyển sang model-free, không phải ước lượng tuổi trong 188, mà là học tăng cường model-free. Ta sẽ làm theo hai giai đoạn.
We'll look at passive reinforcement learning and active reinforcement learning.
Ta sẽ xét học tăng cường thụ động và học tăng cường chủ động.
Passive will mean that we just are trying to estimate quantities we care about — let's say, values — but we don't worry about acting in the world.
Thụ động nghĩa là ta chỉ cố gắng ước lượng các đại lượng mình quan tâm, chẳng hạn các giá trị, mà không lo việc hành động trong thế giới.
We somehow just watch things in action and try to estimate the values of states for this agent.
Ta chỉ quan sát mọi thứ diễn ra và cố ước lượng giá trị của các trạng thái cho tác tử này.
In active reinforcement learning, we'll also worry about how we collect the data to estimate these values from. So let's start with passive, because then we don't have to worry about taking actions.
Trong học tăng cường chủ động, ta còn phải lo cách thu thập dữ liệu để ước lượng các giá trị này. Ta bắt đầu với thụ động, vì khi đó ta không phải lo việc chọn hành động.
We'll just observe them. Then since we don't get to choose actions, we somehow observe a policy in action. So there'll be some fixed policy, which we get to observe in action.
Ta chỉ quan sát chúng. Vì ta không được chọn hành động, ta chỉ quan sát một chính sách đang chạy. Sẽ có một chính sách cố định, và ta quan sát nó hoạt động.
We don't know the transitions. We don't know the reward.
Ta không biết các phép chuyển. Ta không biết phần thưởng.
But we see a sequence of state, action, state, reward associated with the transition, then again action, again state, then reward associated with the transition over, and over, and over, coming from this policy pi of S.
Nhưng ta thấy một chuỗi trạng thái, hành động, trạng thái, phần thưởng gắn với phép chuyển, rồi lại hành động, lại trạng thái, rồi phần thưởng gắn với phép chuyển, cứ lặp đi lặp lại, sinh ra từ chính sách pi của S này.
The learner here is just along for the ride, watching this in action. You don't get to choose what actions are taken.
Người học ở đây chỉ đi theo và quan sát. Bạn không được chọn hành động nào sẽ được thực hiện.
The policy is just executed as is, and you try to evaluate quality of the policy. What does it mean? Quality of the policy is the value it achieves.
Chính sách cứ thế được thực thi, và bạn cố đánh giá chất lượng của chính sách. Điều đó nghĩa là gì? Chất lượng của chính sách là giá trị mà nó đạt được.
Right? The value is expected reward you get over time. And high value is good. Means high expected reward.
Đúng không? Giá trị là phần thưởng kỳ vọng bạn nhận được theo thời gian. Và giá trị cao là tốt. Nghĩa là phần thưởng kỳ vọng cao.
And so we want to evaluate for policy. How good is this policy?
Vậy ta muốn đánh giá một chính sách. Chính sách này tốt đến đâu?
So the goal — computing values for each state under policy pi.
Mục tiêu: tính giá trị của mỗi trạng thái theo chính sách pi.
In direct evaluation — so we have passive versus active — well, we have model-based versus model-free. Then under model-free, we have passive and active.
Trong direct evaluation, ta có thụ động so với chủ động, và ta có model-based so với model-free. Trong model-free, ta có thụ động và chủ động.
We're in the model-free passive now. Under model-free passive, there will be direct and indirect. We're doing direct now. So we're slightly deep in, but that's the simplest thing to start from for model-free.
Giờ ta đang ở model-free thụ động. Trong model-free thụ động, sẽ có trực tiếp và gián tiếp. Giờ ta làm trực tiếp. Vậy ta đã đi hơi sâu, nhưng đó là điểm bắt đầu đơn giản nhất cho model-free.
So direct evaluation means that we just average the observed sample values. So we observe agent acting according to pi.
Direct evaluation nghĩa là ta chỉ lấy trung bình các giá trị mẫu quan sát được. Ta quan sát tác tử hành động theo pi.
And every time you visit a state, you just say, OK, how much reward did I get from then onwards?
Và mỗi lần bạn đến một trạng thái, bạn hỏi: OK, từ lúc đó trở đi mình nhận được bao nhiêu phần thưởng?
And that gives you a sample measurement of how good that state is under your current policy. And then you average over many experiences. So let's do this for a small example.
Và điều đó cho bạn một phép đo mẫu về trạng thái đó tốt đến đâu theo chính sách hiện tại. Rồi bạn lấy trung bình qua nhiều lần trải nghiệm. Ta làm thử với một ví dụ nhỏ.
Here's the input policy. Then again, a bunch of episodes get observed.
Đây là chính sách đầu vào. Rồi một loạt episode được quan sát.
And now we can ask the question, what are the values of each of the states not based on knowing exactly how does MDP works, but based on only having observed this here?
Và giờ ta có thể hỏi: giá trị của từng trạng thái là bao nhiêu, không dựa trên việc biết chính xác MDP hoạt động ra sao, mà chỉ dựa trên những gì đã quan sát được ở đây?
OK. Well, let's think about this, and let's try to draw this into this grid. There's five states. What are the values of the states?
OK. Giờ ta thử nghĩ về điều này, và thử vào lưới này. Có năm trạng thái. Giá trị của từng trạng thái là bao nhiêu?
Well, let's see for A. Where did we visit A? We visited A only over here. And then what happened is we got negative 10.
Xét A trước. Ta đã ghé thăm A ở đâu? Chỉ ở đây thôi. Và kết quả là ta nhận được âm 10.
So A, we've only experienced once, and the result was negative 10. Episode over. So our estimate of the value for A is negative 10.
Vậy A ta chỉ trải qua một lần, và kết quả là âm 10. Hết tập. Nên ước lượng giá trị của A là âm 10.
Also happens to be the exact value in this case, but this is also our estimate based on this experience. How about another simple one? D. D, we experienced three times.
Trường hợp này đó cũng là giá trị chính xác, nhưng đây vẫn là ước lượng dựa trên trải nghiệm này. Một trạng thái đơn giản khác thì sao? D. Ta trải qua D ba lần.
And every time we experienced D, we got a plus 10. So we averaged the three plus 10s together. That gives you plus 10. How about B?
Lần nào ở D ta cũng nhận được cộng 10. Ta lấy trung bình ba giá trị cộng 10. Kết quả là cộng 10. Còn B?
We've been in B here and here. When we were in B, we got a negative 1, a negative 1, and a 10. So this is plus 8.
Ta ở B ở đây và ở đây. Khi ở B, ta nhận âm 1, âm 1, và 10. Tổng là cộng 8.
When we were in B here, we got negative 1, negative 1, 10. That's plus 8. We assume our discount factor gamma is 1, to keep the calculus simple.
Khi ở B ở đây, ta nhận âm 1, âm 1, 10. Cũng là cộng 8. Ta giả sử hệ số chiết khấu gamma bằng 1, để tính toán cho đơn giản.
So this is only two times we saw B. The average of 8 and 8 is 8, so the value for B is 8.
Ta chỉ thấy B hai lần. Trung bình của 8 và 8 là 8, nên giá trị của B là 8.
OK, let's take a look at C. We experienced C over here, over here, over here, over here. Here, we've got negative 1 and 10. That's 9. Here, we got negative 1 and 10.
Giờ xét C. Ta trải qua C ở đây, đây, đây, và đây. Ở đây, ta nhận âm 1 và 10. Được 9. Ở đây, ta nhận âm 1 và 10.
That's 9. Here, we got negative 1 and negative 10. That's negative 11. Here, we got negative 1 and 10.
Được 9. Ở đây, ta nhận âm 1 và âm 10. Được âm 11. Ở đây, ta nhận âm 1 và 10.
That's 9. So we have three 9's and one 11. We average that. So we sum it all together, divide by 4.
Được 9. Vậy ta có ba số 9 và một số âm 11. Ta lấy trung bình. Cộng tất cả lại, chia cho 4.
Let's see. 27 minus 11, 16. Divided by 4, that is plus 4. So this is the first more interesting ones where we have different types of experiences.
Để xem. 27 trừ 11 là 16. Chia 4 được cộng 4. Đây là trường hợp thú vị đầu tiên khi ta có các trải nghiệm khác nhau.
We averaged what we've got from them, and that's our estimate. How about E? E, we experience here and here. Here, we end up with negative 1, negative 1, 10.
Ta lấy trung bình những gì nhận được, và đó là ước lượng của ta. Còn E? E, ta trải qua ở đây và ở đây. Ở đây, ta nhận âm 1, âm 1, 10.
That's 8. And here, we have negative 1, negative 1, 10. That's also 8. So for E, we'll also have 8.
Được 8. Và ở đây, ta có âm 1, âm 1, 10. Cũng là 8. Vậy E cũng sẽ là 8.
Is that right? No, that's a negative 10 here. This is bad. Negative 12, rather than 8.
Đúng không? Không, ở đây có âm 10. Tệ quá. Âm 12, chứ không phải 8.
So we have an 8 for E over here and a negative 12 here. The average of that is negative 2. That's what direct evaluation does for us. That's the procedure — fairly simple.
Vậy E có một giá trị 8 ở đây và một giá trị âm 12 ở đây. Trung bình là âm 2. Đó là những gì direct evaluation cho ta. Quy trình khá đơn giản.
So whats good about this? It's very simple. You just look at, for every state, whenever you were there, what happened afterwards? Compute the discounted sum of rewards, and average it, and that's your estimate.
Vậy nó có điểm gì tốt? Rất đơn giản. Với mỗi trạng thái, mỗi lần ta ở đó, ta xem sau đó chuyện gì xảy ra? Tính tổng phần thưởng có chiết khấu rồi lấy trung bình, và đó là ước lượng của ta.
You don't need to do anything with T and R, you just average these sum of rewards. What's not so good about it?
Ta không cần dùng T và R, chỉ cần lấy trung bình các tổng phần thưởng. Còn điểm nào chưa tốt?
It actually wastes a lot of information about how the world works, because it never really considers correlations between states. Look at this here.
Nó lãng phí nhiều thông tin về cách thế giới vận hành, vì nó không bao giờ xét đến mối tương quan giữa các trạng thái. Nhìn chỗ này.
I mean, this is a crazy way to assign values because, when you're in E, you always go through C. Or when you're in B, you go through C.
Đây là cách gán giá trị khá vô lý vì khi ở E, ta luôn đi qua C. Hay khi ở B, ta cũng đi qua C.
But somehow you say, for B, my value is plus 8. And for E, my value is negative 2.
Nhưng bằng cách nào đó, B có giá trị cộng 8. Còn E có giá trị âm 2.
But really, they should be the same because when we go from B or E into C — that's the only thing we've done from there — we get negative 1 for the transition.
Lẽ ra chúng phải bằng nhau vì khi đi từ B hay E vào C, đó là điều duy nhất ta làm từ đó, ta nhận âm 1 cho bước chuyển.
And then after that, we're in C. And we should get whatever C is worth, not something different, depending on where we came from. So the consistency is lost here between consecutive states.
Rồi sau đó ta ở C. Và ta phải nhận đúng giá trị của C, chứ không khác đi tùy theo ta đến từ đâu. Vậy tính nhất quán giữa các trạng thái liên tiếp đã mất.
And then even between these two states, how is it possible that, from E, you expect negative 2, but from C, you expect plus 4. That's not compatible.
Thậm chí giữa hai trạng thái này, sao từ E ta kỳ vọng âm 2, mà từ C lại kỳ vọng cộng 4? Điều đó không tương thích.
I mean, that must remind you a little bit of inconsistent heuristics in one of their early lectures.
Chắc các em nhớ ra phần nào về heuristic không nhất quán ở các bài giảng đầu.
You can't say it was going to be negative 2 from E, and all of a sudden, it's actually going to be plus 4 now from C. That's not compatible.
Không thể nói từ E là âm 2, rồi đột nhiên từ C lại là cộng 4. Điều đó không tương thích.
But that's just what it gives us, because we don't look at a lot of detail of what's in the data.
Nhưng phương pháp này cho ra như vậy, vì ta không xét chi tiết của dữ liệu.
We just look at summaries, how much did you get from each state, and average it. And so that's why this is not super precise.
Ta chỉ xem tổng kết: mỗi trạng thái nhận được bao nhiêu, rồi lấy trung bình. Vì vậy nó không thật chính xác.
But if you keep collecting data, and you collect data infinitely long, it will average out to the right thing. You just need to collect more data than we collected in this case.
Nhưng nếu cứ tiếp tục thu thập dữ liệu, vô hạn lâu, thì trung bình sẽ ra đúng giá trị. Chỉ cần thu thập nhiều dữ liệu hơn so với trường hợp này.
I want to say, for infinite data, all of this will work out nicely. But often in learning, it's not about what you learn after infinite data.
Với dữ liệu vô hạn, mọi thứ đều sẽ ổn. Nhưng trong học máy, vấn đề thường không phải học được gì sau dữ liệu vô hạn.
You want to learn more quickly than after infinite time. So what else can we do? Maybe we can do something closer to policy evaluation. We saw policy evaluation last lecture.
Ta muốn học nhanh hơn là chờ vô hạn thời gian. Vậy ta còn làm được gì khác? Có thể ta làm điều gì đó gần với đánh giá chính sách hơn. Ta đã thấy đánh giá chính sách ở bài trước.
What did it mean? Well, you were in a state. And then your policy chooses an action.
Nó nghĩa là gì? Ta đang ở một trạng thái. Rồi chính sách chọn một hành động.
And then you might be in some kind of Q state where you are committed to an action for that state.
Rồi ta có thể ở một trạng thái Q nào đó nơi ta đã cam kết một hành động cho trạng thái đó.
And then from there, you randomly transition into what the next state is going to be.
Và từ đó, bạn chuyển ngẫu nhiên sang trạng thái kế tiếp.
And with this diagram, there was a set of backup equations, called Bellman equations, that told you how to do dynamic programming to efficiently find the values of states.
Với sơ đồ này, có một tập các phương trình backup, gọi là phương trình Bellman, cho ta biết cách dùng quy hoạch động để tìm hiệu quả giá trị của các trạng thái.
The way it was done was, well, if you have 0 time steps left — so notation, the bottom index means how many times steps left — 0 time steps left.
Cách làm là: nếu còn 0 bước thời gian — về ký hiệu, chỉ số dưới là số bước thời gian còn lại — còn 0 bước thời gian.
Top is the policy you used, policy pi. Then S is the state you're in.
Chỉ số trên là chính sách bạn dùng, chính sách pi. Còn S là trạng thái bạn đang ở.
If you have 0 times steps from state S using policy pi, you'll get rewards 0, because there's nothing left to do for you.
Nếu còn 0 bước từ trạng thái S khi dùng chính sách pi, bạn nhận phần thưởng 0, vì không còn gì để làm nữa.
Then there's a recursion that says, the value, when you have k plus 1 steps left in your agent's life, can be computed as a function of what happens in the first step of that agent's life, which is some action gets chosen.
Sau đó có một công thức đệ quy cho biết, giá trị khi còn k cộng 1 bước trong đời của tác tử có thể tính như một hàm của những gì xảy ra ở bước đầu tiên, tức là một hành động nào đó được chọn.
And then there's some distribution over possible next states, based on that action. That's this transition here. And then there is a reward associated with that transition.
Rồi có một phân phối trên các trạng thái kế tiếp có thể, dựa trên hành động đó. Đó là phép chuyển ở đây. Rồi có một phần thưởng gắn với phép chuyển đó.
And then there is the rest of the agent's life, which, at this point, is k long.
Và sau đó là phần còn lại của đời tác tử, lúc này dài k bước.
Because you start with k plus 1, you took one step in your life, you have k steps left.
Vì bạn bắt đầu với k cộng 1, đã đi một bước, nên còn k bước.
And assuming we know the value with k steps left, then we can use that to compute this weighted value for k plus 1 steps left.
Và giả sử ta biết giá trị khi còn k bước, thì ta dùng nó để tính giá trị có trọng số này cho trường hợp còn k cộng 1 bước.
If we use an equation like this, we are definitely using the connections between the states and exploiting that if states are next to each other and one comes after the other, their values will be very related, thanks to this equation.
Nếu dùng phương trình như vậy, ta đang tận dụng mối liên hệ giữa các trạng thái và khai thác việc nếu các trạng thái kề nhau và cái này đến sau cái kia, giá trị của chúng sẽ liên quan chặt chẽ, nhờ phương trình này.
But how to do this, because we don't have T and R?
Nhưng làm sao đây, vì ta không có T và R?
So what we're going to answer in the remainder of this lecture is all centered around this question — how do you solve a Bellman equation like this one — and we'll also see the value iteration equation later — without having access to T or R?
Vậy phần còn lại của bài giảng này xoay quanh câu hỏi này — làm sao giải một phương trình Bellman như thế này — và sau này ta cũng sẽ thấy phương trình lặp giá trị — mà không có T hay R?
Well, let's give it a shot. This is the equation we want to work with.
Thử xem sao. Đây là phương trình ta muốn xử lý.
So what we want is, essentially, somehow, starting state S, use our policy a few times from there. See what happens. And then that gives us sample experiences.
Về cơ bản, ta muốn bắt đầu từ trạng thái S, dùng chính sách vài lần từ đó. Xem chuyện gì xảy ra. Từ đó ta có các trải nghiệm mẫu.
And then we want to average that.
Rồi ta lấy trung bình chúng.
Because we don't have the model, but we can act in the world to see what happens, see where we land, see how much reward is associated with it.
Vì ta không có mô hình, nhưng ta có thể hành động trong thế giới để xem điều gì xảy ra, ta đến đâu, và nhận được bao nhiêu phần thưởng.
And let's for now assume we have the small k time steps left value function, because we'll start V 0 anyway, right? At V 0, we have that 0.
Tạm thời giả sử ta có hàm giá trị với k bước còn lại nhỏ, vì dù sao ta cũng bắt đầu từ V 0, đúng không? Ở V 0, giá trị là 0.
That's easy. And so we can then get to V 1, if we can make this work, then V 2 and so forth.
Dễ rồi. Từ đó ta có thể tới V 1, nếu làm được như vậy, rồi V 2 và cứ thế.
So this is the way to compute this quantity over here, by averaging experience in the real world, rather than computing an expectation with the probabilities in there. Remember the age averaging?
Vậy đây là cách tính đại lượng này, bằng cách lấy trung bình trải nghiệm trong thế giới thực, thay vì tính kỳ vọng với các xác suất trong đó. Nhớ phép lấy trung bình ở trên chứ?
The age averaging on the left on the slide, model-based. You use the probabilities explicitly. The age averaging equation on the right would be corresponding to averaging these sample values.
Phương trình trung bình bên trái slide là dựa trên mô hình. Bạn dùng xác suất một cách tường minh. Phương trình trung bình bên phải tương ứng với việc lấy trung bình các giá trị mẫu này.
We average them. We get a value for k plus 1 steps to go. What's the tricky part here?
Ta lấy trung bình chúng. Ta được giá trị cho k cộng 1 bước còn lại. Chỗ khó ở đây là gì?
Well, the tricky part here is that, typically, you cannot just put your agent anywhere and now say, OK, let's act from there. And then, let's reset you. Let's go again.
Chỗ khó là thông thường, bạn không thể đặt tác tử ở bất kỳ đâu rồi nói, được rồi, hãy hành động từ đó. Rồi đặt lại từ đầu. Làm lại lần nữa.
Because the agent is acting in some kind of environment, and the dynamics of the environment might not allow you to reset it every time to wherever you want it to be.
Vì tác tử đang hành động trong một môi trường nào đó, và động lực học của môi trường có thể không cho phép bạn đặt lại mỗi lần về bất kỳ chỗ nào bạn muốn.
So we might not be able to actually collect this data the way it's described here. So in practice, we might need a little different than what we do here.
Vì vậy ta có thể không thu thập được dữ liệu theo cách mô tả ở đây. Nên trong thực tế, ta có thể cần làm khác đi một chút so với những gì ta làm ở đây.
But if we could collect the data from a specific state multiple times, this is what we could do.
Nhưng nếu thu thập được dữ liệu từ một trạng thái cụ thể nhiều lần, thì ta có thể làm như vậy.
And we could effectively run policy evaluation with an averaging version from samples, rather than a weighted expectation using the equation up there.
Và ta có thể chạy đánh giá chính sách bằng phiên bản lấy trung bình từ các mẫu, thay vì kỳ vọng có trọng số dùng phương trình ở trên.
OK, we can't rewind time, unless we have some kind of helpful daemon for us. So what can we do, if we don't have this daemon?
Ta không thể tua lại thời gian, trừ khi có một con quỷ nào đó giúp ta. Vậy nếu không có con quỷ này thì làm gì?
Well, the main idea is that we want to learn from every experience that happens.
Ý tưởng chính là ta muốn học từ mọi trải nghiệm xảy ra.
So any time we get an experience which is state, action, next state, reward, we want to learn something from it that ties into this Bellman equation. How can we do this?
Nên mỗi khi có một trải nghiệm gồm trạng thái, hành động, trạng thái kế tiếp, phần thưởng, ta muốn học điều gì đó từ nó gắn với phương trình Bellman này. Làm thế nào?
OK, let's think about this. Our policy will still be fixed, so we're still doing evaluation.
Ta cùng nghĩ xem. Chính sách của ta vẫn cố định, nên ta vẫn đang đánh giá.
But the values will hopefully become more and more precise about what the value of each state is under that policy. So let's say we get an experience.
Nhưng hy vọng các giá trị sẽ ngày càng chính xác hơn về giá trị của mỗi trạng thái theo chính sách đó. Giả sử ta có một trải nghiệm.
What it means is we get a sample of the value of the policy in state S expressed as immediate reward plus gamma times future expected reward from the next state onwards.
Nghĩa là ta có một mẫu về giá trị của chính sách tại trạng thái S, biểu diễn bằng phần thưởng tức thời cộng gamma nhân phần thưởng kỳ vọng tương lai từ trạng thái kế tiếp trở đi.
That's our sample. Just like we had samples here, same type of samples. But now we consider only one, instead of having many. Now, how do you average one in a meaningful way?
Đó là mẫu của ta. Giống như các mẫu ở đây, cùng loại mẫu. Nhưng giờ ta chỉ xét một mẫu, thay vì có nhiều. Vậy làm sao lấy trung bình một mẫu một cách có ý nghĩa?
Well, maybe this is what we can do. We can say, we assume we already have some running average. And maybe we initialize it to 0, but we assume we already have a running average.
Có lẽ ta có thể làm thế này. Giả sử ta đã có một giá trị trung bình đang chạy. Có thể ta khởi tạo nó bằng 0, nhưng giả sử ta đã có một trung bình đang chạy.
And then what we say is, we have a running average, V pi of S. And we're going to bootstrap off that. We're going to keep that, mostly.
Và ta nói rằng, ta có trung bình đang chạy là V pi của S. Và ta sẽ bootstrap từ giá trị đó. Ta sẽ giữ lại phần lớn giá trị đó.
So alpha will be, let's say, maybe, 0.9 — let's see. We want to mostly keep what we already have, so it's a 0.1. Let's say alpha, to make it concrete, equals 0.1.
Vậy alpha sẽ là, giả sử, 0.9 — để xem nào. Ta muốn giữ phần lớn cái đã có, nên alpha là 0.1. Để cụ thể, giả sử alpha bằng 0.1.
That means 0.9 times what we already have. And this will not be precise, this is just something we hope that might be somewhat precise. And we correct it with the sample value.
Nghĩa là 0.9 nhân với cái ta đã có. Giá trị này sẽ không chính xác, chỉ là thứ ta hy vọng là tương đối chính xác. Và ta hiệu chỉnh nó bằng giá trị mẫu.
This Is not a normal way of computing an average. It's a running average calculation. But what it allows us to do is, as new experiences come in, go look at our table.
Đây không phải cách tính trung bình thông thường. Đây là phép tính trung bình chạy. Nhưng nó cho phép ta, khi có trải nghiệm mới, xem lại bảng của mình.
What is our current value estimate for this state? And add on the current experience to improve that estimate. Another way to write it is as follows.
Ước lượng giá trị hiện tại của trạng thái này là gì? Rồi cộng thêm trải nghiệm hiện tại để cải thiện ước lượng đó. Còn một cách viết khác như sau.
We keep the current estimate, but add a alpha-sized or scaled correction to it, based on the difference between the current experience, which is noisy — because one experience doesn't tell you the whole story, so it's a noisy estimate — the current experience and what we have our best estimate so far.
Ta giữ ước lượng hiện tại, nhưng cộng thêm một hiệu chỉnh có hệ số alpha, dựa trên hiệu giữa trải nghiệm hiện tại, vốn có nhiễu — vì một trải nghiệm không cho bạn biết toàn bộ câu chuyện, nên đây là ước lượng nhiễu — trải nghiệm hiện tại và ước lượng tốt nhất ta có cho đến giờ.
Look at the difference, and add it on times a small scaling factor.
Xem hiệu của chúng, rồi cộng vào, nhân với một hệ số nhỏ.
Let's look a little bit of this running average. What does it mean to compute such a running average? OK.
Ta hãy xem kỹ hơn trung bình chạy này. Tính trung bình chạy như vậy nghĩa là gì? OK.
Well, what it really means is that somehow let's abstract it for something that's not necessarily values. We have some x. We get an x 1, an x 2, an x 3, and so forth.
Thực chất, ta hãy trừu tượng hóa nó cho thứ không nhất thiết là giá trị. Ta có một x nào đó. Ta nhận được x 1, x 2, x 3, và cứ thế.
We want to compute the average of all the x's. And the running average is this x bar thing. After we've seen n minus 1 samples, x bar n minus 1 is the running average.
Ta muốn tính trung bình của tất cả các x. Và trung bình chạy là x bar này. Sau khi thấy n trừ 1 mẫu, x bar n trừ 1 là trung bình chạy.
Then we see an n sample.
Rồi ta thấy mẫu thứ n.
And we're going to correct the running average by adding on the n sample, by taking an average between the new sample and our running average that we have so far.
Và ta hiệu chỉnh trung bình chạy bằng cách cộng mẫu thứ n vào, lấy trung bình giữa mẫu mới và trung bình chạy ta có cho đến giờ.
It makes recent samples more important. It's not the same as computing the actual average. It's a little different. So here's what it'll do.
Nó khiến các mẫu gần đây quan trọng hơn. Nó không giống việc tính trung bình thực sự. Có hơi khác một chút. Đây là điều nó làm.
If you expand this, this is the kind of weighting you get. And remember, 1 minus alpha ends up being a number between 0 and 1. So the higher the exponent, the smaller this becomes.
Nếu khai triển ra, bạn sẽ có kiểu trọng số này. Và nhớ rằng 1 trừ alpha là một số nằm giữa 0 và 1. Nên số mũ càng cao thì số hạng càng nhỏ.
And so this is the biggest contributor. This the second biggest contributor, third biggest contributor, and so forth. So it's kind of a skewed average where later experiences count for more than earlier experiences.
Và đây là đóng góp lớn nhất. Đây là đóng góp lớn thứ hai, rồi thứ ba, và cứ thế. Vậy đây là trung bình bị lệch, trong đó trải nghiệm về sau có trọng số lớn hơn trải nghiệm trước.
You might think of it as a bug. Don't I want the real average? But soon enough, you'll see why this is actually even better. It's better to skew towards the later ones.
Bạn có thể nghĩ đó là một lỗi. Chẳng phải tôi muốn trung bình thật sao? Nhưng sớm thôi bạn sẽ thấy vì sao thế này còn tốt hơn. Thiên về các mẫu sau thì tốt hơn.
OK, so you forget about the past.
Tức là bạn quên đi quá khứ.
And intuitively, what's happening is that, when I showed you this equation here — this is the previous slide — I said, let's assume we already have some estimate.
Và về trực giác, điều đang xảy ra là, khi tôi cho bạn xem phương trình này — ở slide trước — tôi nói, giả sử ta đã có một ước lượng nào đó.
And we're going to average with it, and we're also are going to use it here. So that estimate, initially, is not correct, and we're just using it.
Ta sẽ lấy trung bình với nó, và cũng dùng nó ở đây. Ban đầu ước lượng đó chưa đúng, và ta vẫn cứ dùng nó.
But after we do an update, it becomes more correct.
Nhưng sau khi cập nhật, nó trở nên đúng hơn.
And so the further we are in this process, the more precise these V pis are, and so the more precise are these sample values that we calculate here that we average in.
Vậy quá trình càng tiến xa, các V pi này càng chính xác, và các giá trị mẫu ta tính ở đây để lấy trung bình cũng càng chính xác.
And so that's why the later ones are good when they're weighted more highly than the early ones, which are pretty random.
Và đó là lý do các mẫu sau tốt khi được đặt trọng số cao hơn so với các mẫu đầu, vốn khá ngẫu nhiên.
If you make your alpha go down to 0 with the appropriate scheme — don't worry too much about the specifics here for now — but you make it go to 0, then this will converge in the limit.
Nếu bạn cho alpha giảm về 0 theo một lược đồ phù hợp — đừng lo quá về chi tiết lúc này — nhưng nếu cho nó về 0, thì nó sẽ hội tụ khi đi đến giới hạn.
OK, let's look at this in action. Same environment. We have now we're going to learn from every experience on the fly.
OK, ta xem nó hoạt động nhé. Cùng môi trường. Giờ ta sẽ học từ mỗi trải nghiệm ngay khi nó diễn ra.
So we start in state B. We have some current estimates of our values, and we're going to try to improve them from our experience.
Ta bắt đầu ở trạng thái B. Ta có các ước lượng giá trị hiện tại, và sẽ cố cải thiện chúng từ trải nghiệm.
First thing we do is we move east, land in C, get a reward of negative 2. What does that mean? That means we experienced a sample value of — what is the sample value?
Đầu tiên ta đi sang đông, đến C, nhận phần thưởng âm 2. Điều đó nghĩa là gì? Nghĩa là ta trải nghiệm một giá trị mẫu — giá trị mẫu là gì?
Sample value will be reward, which is negative 2 plus gamma, which is 1 in this case, times the value of the next state, which is C.
Giá trị mẫu bằng phần thưởng, là âm 2, cộng gamma, ở đây bằng 1, nhân với giá trị của trạng thái kế tiếp, là C.
So let me write this as reward we experienced plus gamma times value. Reward is negative 2. Gamma is 1.
Tôi viết là phần thưởng đã trải nghiệm cộng gamma nhân giá trị. Phần thưởng là âm 2. Gamma là 1.
And the value of the next state C that we have as our estimate right now is 0. So our sample value is negative 2.
Và giá trị của trạng thái kế tiếp C mà ta đang ước lượng hiện giờ là 0. Vậy giá trị mẫu của ta là âm 2.
Now we can do an update to our value for B — V pi of B becomes 1 minus alpha V pi of B, that we had before, plus alpha times the sample value, which is negative 2.
Giờ ta cập nhật giá trị của B — V pi của B thành 1 trừ alpha nhân V pi của B trước đó, cộng alpha nhân giá trị mẫu, là âm 2.
Alpha is 1/2. Our previous V pi of B is 0. So the result will be here that this becomes negative 1. So after one experience, we've updated our value estimates.
Alpha là 1/2. V pi của B trước đó là 0. Vậy kết quả là giá trị này thành âm 1. Sau một trải nghiệm, ta đã cập nhật các ước lượng giá trị.
And this became negative 1. The other ones didn't change.
Và nó thành âm 1. Các giá trị khác không đổi.
The only one that changed is the state you left, because the state you left is the one for which you get a new estimate of the value of that state.
Chỉ có trạng thái mà ta vừa rời đi là thay đổi, vì trạng thái ta rời đi là trạng thái ta có được ước lượng mới về giá trị của nó.
Other states, you didn't get any new information about. Then we can repeat this process. Now we take, again, action east, land in D. Reward of negative 2 associated with that.
Các trạng thái khác, ta không có thêm thông tin gì. Rồi ta có thể lặp lại quá trình này. Giờ ta lại thực hiện hành động sang đông, đến D. Phần thưởng âm 2 đi kèm với bước đó.
We can go through the same process. Reward plus gamma times V of next state, which is D, is our sample value up here.
Ta làm lại quá trình tương tự. Phần thưởng cộng gamma nhân V của trạng thái kế tiếp, ở đây là D, chính là giá trị mẫu của ta ở trên này.
Reward, negative 2 plus gamma, which is 1, times the value of D, which is 8. So this is equal to 6.
Phần thưởng là âm 2, cộng gamma bằng 1, nhân giá trị của D là 8. Vậy kết quả bằng 6.
So our sample value will be — let's make this for C now.
Vậy giá trị mẫu của ta sẽ là — giờ ta làm cho C.
We experienced an exit from C. We're going to update the value for C, by adjusting it towards the sample value of 6. Learning rate is 1/2.
Ta vừa trải qua việc rời khỏi C. Ta sẽ cập nhật giá trị của C bằng cách điều chỉnh nó về phía giá trị mẫu là 6. Tốc độ học là 1/2.
So it happens to be in C. So far, it was 0, so we have 0 — oops — we have — well, to make it explicit, 1 minus 1/2 times 0 plus 1/2 times 6, which is 3.
Ở C, từ trước đến giờ giá trị là 0, nên ta có 0 — ôi — ta có — để viết rõ ra, 1 trừ 1/2 nhân 0, cộng 1/2 nhân 6, bằng 3.
So our new value for C — estimate for C's value is going to be 3. And none of the other values changed, because we didn't learn anything new about the other states.
Vậy giá trị mới của C — ước lượng giá trị của C sẽ là 3. Còn các giá trị khác không đổi, vì ta không học được gì mới về các trạng thái khác.
Actually, let's take a break here. And then we'll start looking at some of the remaining issues we need to resolve to get this working more fully.
Thôi, ta nghỉ giải lao ở đây. Sau đó ta sẽ xem một số vấn đề còn lại cần giải quyết để phương pháp này hoạt động đầy đủ hơn.
[SIDE CONVERSATIONS] PROFESSOR: All right, let's restart.
[NÓI CHUYỆN RIÊNG] GIÁO SƯ: Được rồi, ta bắt đầu lại.
Any questions about anything we covered so far?
Có câu hỏi nào về phần đã học không?
Yes?
Bạn nào?
STUDENT
So n — actually, when [INAUDIBLE] reward of negative 2 — Is the reason that the value of C went up because of the 8 in V, even though we got a negative reward?
Khi [KHÔNG NGHE RÕ] phần thưởng âm 2 — Có phải giá trị của C tăng lên là nhờ số 8 trong V, dù ta nhận phần thưởng âm không ạ?
Why [INAUDIBLE]?
Tại sao [KHÔNG NGHE RÕ]?
PROFESSOR
Yeah, that's a really good observation, and it's worth emphasizing.
Vâng, em quan sát rất hay, và đáng để nhấn mạnh.
So the question was, why did the value of C go up, even though you got a negative reward when exiting C to go into D?
Câu hỏi là: tại sao giá trị của C tăng lên, dù ta nhận phần thưởng âm khi rời C để sang D?
And the reason is that when we compute values, we want to estimate the total expected discounted sum of rewards over all future times left in the life of the agent.
Lý do là khi tính giá trị, ta muốn ước lượng tổng kỳ vọng các phần thưởng có chiết khấu trong toàn bộ thời gian còn lại của tác tử.
And so it's exactly what you're pointing at. There is still time left in the life of the agent. They're in D then onwards.
Đúng như điều em chỉ ra. Tác tử vẫn còn thời gian phía trước. Từ lúc ở D trở đi.
And from D, they're going to, based on our estimate, get 8.
Và từ D, theo ước lượng của ta, sẽ nhận được 8.
And so, even though there was a negative 2 associated with the transition itself, there was a plus 8 associated with the estimate of everything that's going to be accumulated over future times.
Vì vậy, dù bước chuyển có phần thưởng âm 2, vẫn có thêm cộng 8 từ ước lượng của mọi thứ sẽ tích lũy trong tương lai.
And that's captured by this term over here. So the reward, instantaneous reward, is this term. And then all future times are summarized in that term. And that's the 8 discounted.
Và điều đó nằm trong số hạng này. Phần thưởng tức thời là số hạng này. Còn toàn bộ tương lai được tóm gọn trong số hạng kia. Đó là số 8 sau chiết khấu.
In this case, discount factor is 1. So it doesn't really get discounted. And that's how we get to minus 2 plus 8 — 6 as the new estimate based on the current sample.
Ở đây hệ số chiết khấu là 1. Nên thực ra không bị chiết khấu. Và vậy ta có âm 2 cộng 8 — là 6, ước lượng mới dựa trên mẫu hiện tại.
And then, the old estimate was 0. Our learning rate, alpha is 1/2. So that means we average half of what we had and half of the new thing.
Còn ước lượng cũ là 0. Tốc độ học alpha là 1/2. Nghĩa là ta lấy trung bình một nửa cái cũ và một nửa cái mới.
So 1/2 of 0 plus 1/2 of 6 makes for 3.
Vậy 1/2 của 0 cộng 1/2 của 6 ra 3.
So what we can do now is we can have an agent act in an environment. We can decide to never build a model of how the world works.
Giờ ta có thể cho một tác tử hoạt động trong môi trường. Ta có thể không bao giờ xây dựng mô hình về cách thế giới vận hành.
We never build a T, we never build an R, yet we can recover V values, the values of the policy for each state.
Ta không xây T, không xây R, vậy mà vẫn khôi phục được các giá trị V, tức giá trị của chính sách tại mỗi trạng thái.
And then it turns out, if you run this long enough and the learning rate goes down over time, you get accurate values for each of your states.
Và nếu chạy đủ lâu, với tốc độ học giảm dần theo thời gian, ta sẽ có giá trị chính xác cho mỗi trạng thái.
Now last week, you saw an algorithm called policy iteration. And one of the two components in policy iteration was policy evaluation.
Tuần trước, các em đã thấy một thuật toán gọi là lặp chính sách. Một trong hai thành phần của lặp chính sách là đánh giá chính sách.
Once you know how to evaluate your policy, then you still need to do something else, which is improve your policy, which was the policy update step.
Khi đã biết cách đánh giá chính sách, ta vẫn cần làm thêm một việc nữa, là cải thiện chính sách, tức bước cập nhật chính sách.
Now to improve your policy, actually, you need to somehow have access to a model, because you somehow are looking at reward and next state value.
Nhưng để cải thiện chính sách, thực ra ta cần có mô hình, vì ta phải xem phần thưởng và giá trị trạng thái kế tiếp.
But then you need this model to see which action actually maximizes that. And so we're still kind of stuck with what we've seen so far, because we don't have the model.
Rồi cần mô hình này để biết hành động nào cực đại hóa giá trị đó. Nên ta vẫn bị kẹt với những gì đã thấy, vì ta không có mô hình.
So we don't know how to update our policy.
Do đó ta không biết cách cập nhật chính sách.
So we know how to get values for our policy for each state, just not how to update it.
Ta biết tính giá trị của chính sách tại mỗi trạng thái, nhưng chưa biết cách cập nhật nó.
Now, the key idea for the remainder of this lecture is that maybe we've been doing it all wrong in some sense.
Ý tưởng then chốt cho phần còn lại của bài giảng là có lẽ từ đầu ta đã làm theo hướng chưa đúng.
Because if just instead of learning the values of the regular states, the V states, why don't we learn the values of the Q states?
Vì thay vì học giá trị của các trạng thái thường, các trạng thái V, sao ta không học giá trị của các trạng thái Q?
Because if we learn the values of the Q states, then this is all very easy.
Bởi nếu học được giá trị của các trạng thái Q, thì mọi thứ trở nên rất dễ.
Once you have the Q values for every state, you have the value of state S and taking action A in state S, followed by whatever you do after, then you can now see which action achieves the highest Q value.
Khi đã có các giá trị Q cho mọi trạng thái, tức giá trị của việc ở trạng thái S và thực hiện hành động A, rồi sau đó làm gì thì làm, ta có thể thấy hành động nào cho giá trị Q cao nhất.
And that would be the one you want to take. So maybe we just need to swap it around, start learning Q values.
Và đó là hành động ta muốn chọn. Vậy có lẽ ta chỉ cần đổi cách làm, bắt đầu học các giá trị Q.
You might wonder, why didn't we just from the beginning learn Q values? Just the math is a little simpler learning V values.
Các em có thể thắc mắc, sao ngay từ đầu ta không học giá trị Q luôn? Chỉ là học giá trị V thì toán đơn giản hơn một chút.
In some other methods, it actually is quite relevant to learn V values.
Trong một số phương pháp khác, việc học giá trị V lại khá quan trọng.
But now, we'll switch to learning Q values, because that will give us the extra power to be able to improve our policy as we learn the values.
Nhưng giờ ta chuyển sang học giá trị Q, vì nó cho ta thêm khả năng cải thiện chính sách ngay khi đang học các giá trị.
And so what we can then do is we can, as we update our Q value, we actually, also if we want to, update how we act in the world.
Và như vậy, ta có thể, mỗi khi cập nhật giá trị Q, nếu muốn thì cũng cập nhật luôn cách hành động trong thế giới.
And repeat. And become better, and better and better over time. OK.
Rồi lặp lại. Và ngày càng tốt hơn theo thời gian. OK.
So this now will be active reinforcement learning, because now, when we learn Q values, the Q values can prescribe to us what we want to do.
Đây sẽ là học tăng cường chủ động, vì giờ khi học giá trị Q, các giá trị Q chỉ ra cho ta nên làm gì.
And we can actively collect our data, while learning the Q values. Now how do we learn the Q values? It'll be very similar to how we learn the V values.
Và ta có thể chủ động thu thập dữ liệu trong khi học các giá trị Q. Vậy làm sao để học các giá trị Q? Cách làm rất giống với cách ta học các giá trị V.
We need to do a little bit of trickery, still. We still don't know the transitions. Still don't know the rewards, but we get to choose the actions.
Nhưng vẫn cần thêm một chút mẹo. Ta vẫn chưa biết các xác suất chuyển. Vẫn chưa biết các phần thưởng, nhưng ta được chọn hành động.
And we'll do it based on our Q values that we have so far, which will be approximate, but might give us some guidance in terms of what's promising, what's not promising.
Và ta sẽ chọn dựa trên các giá trị Q đang có, vốn chỉ là xấp xỉ, nhưng cũng cho ta chút định hướng về cái gì có triển vọng, cái gì không có triển vọng.
But the goal is that, ultimately, we end up with the optimal Q values that tell us, this is the optimal action to take and will give you this much value.
Nhưng mục tiêu là cuối cùng ta có được các giá trị Q tối ưu, cho ta biết: đây là hành động tối ưu cần chọn và nó mang lại chừng này giá trị.
So the learner now makes choices. There will be a fundamental trade-off. And we're not going to go into that this current lecture, but we'll see a lot of that in the next lecture.
Vậy giờ người học đưa ra các lựa chọn. Sẽ có một sự đánh đổi cơ bản. Bài này ta sẽ chưa đi vào phần đó, nhưng bài sau sẽ nói nhiều về nó.
Because it turns out, you don't necessarily always want to follow based on what you've learned so far.
Vì hóa ra không phải lúc nào ta cũng nên làm theo những gì đã học được cho đến giờ.
Sometimes, you want to fundamentally just try something new you never tried before, because that might accelerate your learning, rather than just keeping doing what already looked good in the past.
Đôi khi, về cơ bản ta nên thử một điều mới chưa từng thử, vì điều đó có thể đẩy nhanh việc học, thay vì cứ tiếp tục làm điều trông có vẻ tốt trong quá khứ.
That's the exploration/exploitation trade-off. More in next lecture. But keep this in mind, because it's an important concept that I want you to be aware of from the beginning.
Đó là sự đánh đổi giữa khám phá và khai thác. sự đánh đổi. Bài sau sẽ nói thêm. Nhưng hãy nhớ điều này, vì đây là một khái niệm quan trọng mà tôi muốn các em nắm ngay từ đầu.
Keep in mind also, Q learning is not some offline planning. We're not building a model and planning in it.
Cũng nên nhớ Q-learning không phải là lập kế hoạch ngoại tuyến. Ta không xây dựng mô hình rồi lập kế hoạch trong đó.
We're actually collecting data and improving our Q values, just like we did with V values, but we haven't seen the math yet for the Q values.
Ta thực sự thu thập dữ liệu và cải thiện các giá trị Q, giống như với các giá trị V, nhưng ta chưa xem phần toán cho các giá trị Q.
So in value iteration, we start with V 0 for each state is equal to 0.
Trong lặp giá trị, ta bắt đầu với V 0 của mỗi trạng thái bằng 0.
And that's intuitively meaningful because, when there's 0 time left, you'll get 0 reward for the remainder of your life as an agent.
Điều đó hợp lý về trực giác vì khi còn 0 bước thời gian, bạn sẽ nhận 0 phần thưởng cho phần đời còn lại với tư cách một tác tử.
And from there, you can recurse to compute values for more and more time steps left. From V 0, you can get V 1. From V 1, you can get V 2, and so forth.
Từ đó, bạn có thể đệ quy để tính giá trị cho số bước thời gian còn lại ngày càng nhiều. Từ V 0, ta được V 1. Từ V 1, ta được V 2, và cứ thế.
Can we rewrite this in terms of Q values?
Ta có thể viết lại điều này theo các giá trị Q không?
Because if we can, then we can maybe do the same thing as we did with V values and learn them from experience, rather than computing them from having a model.
Vì nếu được, có thể ta sẽ làm giống như với các giá trị V và học chúng từ kinh nghiệm, thay vì tính chúng từ một mô hình có sẵn.
Well, Q 0 with 0 time steps left, we can also set equal to 0. That's correct. Nothing different there. How about Qk?
Với Q 0, khi còn 0 bước thời gian, ta cũng có thể đặt bằng 0. Điều đó đúng. Không có gì khác ở đây. Còn Qk thì sao?
Can we compute it from a Q with less time steps left? OK. Well, here's what we can do.
Ta có tính được nó từ Q có ít bước thời gian còn lại hơn không? OK. Đây là cách ta làm.
If we have Qk plus 1 — I'm going to step through this in detail.
Nếu ta có Qk cộng 1 — tôi sẽ đi qua chi tiết từng bước.
Qk plus 1 is the value for being in state S, taking action A, and then keep going from then onwards, and to compute how much value you're going to collect from S onwards for k plus 1 time steps.
Qk cộng 1 là giá trị khi ở trạng thái S, thực hiện hành động A, rồi tiếp tục đi từ đó trở đi, và tính xem bạn sẽ thu được bao nhiêu giá trị từ S trở đi trong k cộng 1 bước thời gian.
You can decompose that into what happens in the first step and what happens in the remainder k. The first step, it is whatever reward you get.
Ta có thể tách nó thành những gì xảy ra ở bước đầu và những gì xảy ra trong k bước còn lại. Bước đầu là phần thưởng bạn nhận được.
And remainder k, well, the recursion tells you that you already computed it for the smaller k. You can just plug that in. What value do you get from state S prime?
Còn k bước còn lại, đệ quy cho biết ta đã tính nó cho k nhỏ hơn rồi. Ta chỉ cần thế vào. Từ trạng thái S phẩy, bạn nhận được giá trị nào?
Well, it's the max over all actions available to you of Qk S prime, A prime.
Đó là max trên mọi hành động có thể chọn của Qk S phẩy, A phẩy.
This is the recursion we want to work with. And then this is all weighted by the probability of landing in a state S prime.
Đây là đệ quy ta muốn dùng. Rồi tất cả được nhân trọng số với xác suất rơi vào trạng thái S phẩy.
These are essentially the same, but just reorganized a bit to be written in terms of Q values rather than V values.
Về cơ bản hai cái này giống nhau, chỉ là sắp xếp lại một chút để viết theo các giá trị Q thay vì các giá trị V.
But is the same dynamic programming principle that the value of for k plus 1 time steps left is what you get in the first step, plus what you get in the remainder k steps.
Nhưng vẫn là nguyên lý quy hoạch động: giá trị khi còn k cộng 1 bước thời gian là những gì bạn nhận ở bước đầu, cộng với những gì bạn nhận trong k bước còn lại.
And we assume we already know the values for k steps left, and so we can bootstrap all of that to get the ones for k plus 1.
Và ta giả sử đã biết giá trị khi còn k bước, nên ta có thể bootstrap từ tất cả những điều đó để có giá trị cho k cộng 1.
Now, if we look at this equation, the difference between the two, the difference is that this one starts with a max, and this one starts with a averaging.
Giờ nhìn phương trình này, điểm khác nhau giữa hai cái là cái này bắt đầu bằng max, còn cái kia bắt đầu bằng phép lấy trung bình.
The one that starts with the max, we cannot just have samples and make it work. Because a max based on samples — that doesn't work out. The samples are happening behind the max.
Với cái bắt đầu bằng max, ta không thể chỉ dùng mẫu mà làm được. Vì max dựa trên mẫu thì không ổn. Các mẫu nằm phía sau max.
It's not clear how to do this. Nobody's figured this out. But here, we have the sampling upfront.
Không rõ làm thế nào. Chưa ai tìm ra cách. Nhưng ở đây, việc lấy mẫu nằm ở phía trước.
If we have a sampling upfront, an expectation being computed, we can do that based on just samples we draw. Without having access to a model, we can just average the actual samples we experience.
Nếu lấy mẫu ở phía trước, tức là tính một kỳ vọng, ta có thể làm chỉ dựa trên các mẫu ta lấy. Không cần truy cập mô hình, ta chỉ cần lấy trung bình các mẫu thực tế ta trải qua.
So what we've seen so far, to contextualize it — we've seen policy evaluation. That's what we've seen so far.
Để đặt vào bối cảnh những gì ta đã thấy, ta đã thấy đánh giá chính sách. Đó là những gì ta đã thấy cho đến giờ.
And there, we have an average upfront too. Then we have value iteration, which is this one here. But because of the max upfront, we can't do the sample-based estimation.
Và ở đó, ta cũng có phép trung bình ở phía trước. Rồi ta có lặp giá trị, chính là cái này đây. Nhưng vì có max ở phía trước, ta không thể ước lượng dựa trên mẫu.
So we're stuck. But by reorganizing it in terms of Qs, we have samples upfront again.
Nên ta bị kẹt. Nhưng bằng cách sắp xếp lại theo các Q, ta lại có mẫu ở phía trước.
And this is a Q value iteration, which also, if you iterate this, computes the optimal values, just in a slightly different iteration scheme.
Và đây là lặp giá trị Q, mà nếu lặp nó, cũng tính ra các giá trị tối ưu, chỉ là theo một sơ đồ lặp hơi khác.
But the beauty is that we can use this iteration scheme to start taking averages, rather than using the model itself. So we have Q value iteration. We're going to make it sample-based.
Nhưng cái hay là ta có thể dùng sơ đồ lặp này để bắt đầu lấy trung bình, thay vì dùng chính mô hình. Vậy ta có lặp giá trị Q. Ta sẽ biến nó thành dựa trên mẫu.
What does that mean? Well, as we get a new experience, let's say, in some kind of grid world — and I'll show some examples soon — you receive a sample SA S prime R.
Điều đó nghĩa là gì? Khi ta có một trải nghiệm mới, giả sử trong một thế giới dạng lưới nào đó, và tôi sẽ cho xem vài ví dụ sớm thôi, bạn nhận được một mẫu (s, a, s', r).
You have a current old estimate of your Q value for S and A. You've going to update it.
Bạn có ước lượng cũ hiện tại của giá trị Q cho s và a. Bạn sẽ cập nhật nó.
You're going to say, I have my sample right now, which tells me, hm, I got this much reward. Plus in the future, I expect to get this amount, which is one of these terms.
Bạn nói: tôi có mẫu này ngay lúc này, nó cho tôi biết là tôi vừa nhận được chừng này phần thưởng. Cộng với chừng này mà tôi kỳ vọng nhận được trong tương lai, đó là một trong các số hạng này.
So only one of these terms, so it's not an accurate estimate. It's not the precise Q value.
Chỉ là một số hạng thôi, nên đây không phải ước lượng chính xác. Đây không phải giá trị Q chính xác.
It's just one of the terms, but we can use it in our running average to update our current estimate.
Nó chỉ là một số hạng, nhưng ta có thể dùng nó trong trung bình trượt của mình để cập nhật ước lượng hiện tại.
And as we update often enough from enough new experience, we will get the correct average in here, assuming again alpha goes down, so we don't keep hopping around.
Và khi ta cập nhật đủ thường xuyên từ đủ nhiều trải nghiệm mới, ta sẽ có được trung bình đúng ở đây, lại với giả định alpha giảm dần, để ta không cứ nhảy loạn mãi.
Let's look at some demos of this in action. So here, so what are we looking at here? This is a standard grid world.
Hãy xem vài bản demo thực tế. Vậy ở đây ta đang xem gì? Đây là một grid world chuẩn.
We know how this works, but we're going to watch what happens when Q learning is taking an experience and trying to learn the values for each of the state action pairs.
Ta biết nó hoạt động thế nào, nhưng ta sẽ xem điều gì xảy ra khi Q-learning lấy một trải nghiệm và cố học giá trị của từng cặp trạng thái-hành động.
So each state now has four values when there is four actions. So most of these states have four actions, so there's four values.
Giờ mỗi trạng thái có bốn giá trị vì có bốn hành động. Hầu hết các trạng thái này có bốn hành động, nên có bốn giá trị.
There's two exit states which only have one action, so they only have one value. We initialize everything equal to 0. Now, I'm going to do a first experience, moving up.
Có hai trạng thái thoát chỉ có một hành động, nên chúng chỉ có một giá trị. Ta khởi tạo mọi thứ bằng 0. Giờ tôi thực hiện trải nghiệm đầu tiên, đi lên.
What do you think is going to happen to the Q values? Well, we need to know about rewards, of course. Here, the rewards are 0, unless you take these exits.
Các bạn nghĩ các giá trị Q sẽ ra sao? Tất nhiên ta cần biết về phần thưởng. Ở đây phần thưởng bằng 0, trừ khi bạn đi vào các lối thoát này.
So if you move up, nothing's going to happen. All values stay the same, because your previous estimate was 0 for the Q value of the bottom left state for going up.
Nên nếu đi lên, sẽ không có gì xảy ra. Mọi giá trị giữ nguyên, vì ước lượng trước đó của giá trị Q cho hành động đi lên ở trạng thái dưới cùng bên trái là 0.
You experience 0 reward plus gamma times max overall Q values in the new state. But that max overall Q values is also 0, so the sample value is 0.
Bạn nhận phần thưởng 0 cộng gamma nhân max của mọi giá trị Q ở trạng thái mới. Nhưng max của mọi giá trị Q đó cũng bằng 0, nên giá trị mẫu là 0.
All the value is 0, nothing changes. When we move up again, what's going to happen? Same thing. There will be 0 reward.
Mọi giá trị là 0, không có gì thay đổi. Khi đi lên lần nữa thì sao? Cũng vậy. Phần thưởng bằng 0.
And a max over all the values there is 0, so the sample value will be 0. Averaging the sample value of 0 with the existing value of 0 will remain 0.
Và max của mọi giá trị ở đó là 0, nên giá trị mẫu sẽ là 0. Lấy trung bình giá trị mẫu 0 với giá trị hiện có là 0 vẫn là 0.
Same moving to the right. Same moving to the right. How about here? Still the same thing, because the value of the next state is 0.
Đi sang phải cũng vậy. Đi sang phải cũng vậy. Còn ở đây thì sao? Vẫn thế, vì giá trị của trạng thái kế tiếp là 0.
But now, when we take the exit action, a non-0 sample will come in. A reward of, in this case, I believe, 1 was received, plus 1. The learning rate is 1/2.
Nhưng giờ, khi ta thực hiện hành động thoát, một mẫu khác 0 sẽ xuất hiện. Một phần thưởng, trong trường hợp này tôi nhớ là 1, đã được nhận, cộng 1. Tốc độ học là 1/2.
So we had 0 before, reward of 1, and then it finishes, so no future value. So the sample value is 1. Average the 1 with the 0 gives us 1/2.
Vậy trước đó ta có 0, phần thưởng 1, rồi kết thúc, nên không có giá trị tương lai. Nên giá trị mẫu là 1. Lấy trung bình 1 với 0 ra 1/2.
Now we go again same way. Everything stays 0 here, because the sample values are all 0. But now from this state here, if we go right, we will experience a sample value that's non-0.
Giờ ta đi lại theo đường đó. Mọi thứ ở đây vẫn là 0, vì các giá trị mẫu đều bằng 0. Nhưng giờ từ trạng thái này, nếu ta đi sang phải, ta sẽ có một giá trị mẫu khác 0.
Why? Not because the reward is non-0. Reward is still 0, but the sample value is reward plus max of Q values in the next state.
Tại sao? Không phải vì phần thưởng khác 0. Phần thưởng vẫn bằng 0, nhưng giá trị mẫu là phần thưởng cộng max các giá trị Q ở trạng thái kế tiếp.
Max of Q values in the next state is 0.5. And we'll average the 0.5 with the zero that we have, making it 0.25.
Max các giá trị Q ở trạng thái kế tiếp là 0,5. Ta lấy trung bình 0,5 với số 0 đang có, ra 0,25.
And the last one averages at 0.5 with 1 to get the 0.75. Now, we add a 0.12.
Và giá trị cuối lấy trung bình 0,5 với 1 ra 0,75. Giờ ta thêm 0,12.
And as we keep running that same trajectory, we see the values propagate from that termination state all the way to the start state, gradually, through averaging of values from future states.
Và khi tiếp tục chạy cùng quỹ đạo đó, ta thấy các giá trị lan truyền từ trạng thái kết thúc đến tận trạng thái bắt đầu, dần dần, nhờ lấy trung bình các giá trị từ những trạng thái tương lai.
Let's do it a few more times. Well, let's go back here. Oh, what happened here? So I went right.
Làm thêm vài lần nữa. Nào, quay lại đây. Ồ, chuyện gì xảy ra ở đây? Tôi đã đi sang phải.
I came back, and I got 0.13 at the bottom. Why do we get 0.13 here? I've never from this state experienced a reward, but you don't need to.
Tôi quay lại và được 0,13 ở dưới cùng. Tại sao ở đây ta có 0,13? Từ trạng thái này tôi chưa bao giờ nhận được phần thưởng, nhưng không cần thiết.
From this state, we transition into this state. This state — the transition had 0 reward, but the value here is 0.25. That means this sample estimate is 0 reward plus 0.25 future value.
Từ trạng thái này, ta chuyển sang trạng thái kia. Trạng thái này, phép chuyển có phần thưởng 0, nhưng giá trị ở đây là 0,25. Nghĩa là ước lượng mẫu này là phần thưởng 0 cộng giá trị tương lai 0,25.
So a sample estimate of 0.25. 1/2 of that rounded is 0.13. So as we keep going through this, these values get closer and closer to the correct values.
Tức ước lượng mẫu là 0,25. Một nửa của nó, làm tròn, là 0,13. Khi ta cứ tiếp tục như vậy, các giá trị này càng lúc càng gần giá trị đúng.
Now, let's see what happens if I go up here. And now I go down, instead of sideways. What do you think is going to happen?
Giờ hãy xem điều gì xảy ra nếu tôi đi lên đây. Rồi giờ tôi đi xuống, thay vì đi ngang. Các bạn nghĩ điều gì sẽ xảy ra?
Well, moving down, it's going to stay 0 because there's no reward on the transition, and there's no value yet in any of those actions in that state.
Đi xuống thì nó sẽ vẫn là 0 vì phép chuyển không có phần thưởng, và chưa có giá trị nào ở các hành động đó trong trạng thái ấy.
So the sample value of 0, things just stay 0. What if I now go here? Still 0. Now exit here, I get something in here.
Nên giá trị mẫu là 0, mọi thứ vẫn là 0. Nếu giờ tôi đi đến đây thì sao? Vẫn là 0. Giờ thoát ở đây, tôi có được giá trị ở chỗ này.
Let's do this again.
Làm lại lần nữa.
Now I go to the side, the negative values are propagating, because the sample value was instantaneous reward plus the negative 0.5.
Giờ tôi đi sang bên, các giá trị âm đang lan truyền, vì giá trị mẫu là phần thưởng tức thời cộng với âm 0,5.
And we average it with the 0 we had before, and now this thing gets a negative value. Now interesting things happening here. I keep going to the negative.
Và ta lấy trung bình với số 0 trước đó, và giờ chỗ này có giá trị âm. Giờ có chuyện thú vị đang xảy ra ở đây. Tôi cứ đi về phía âm.
And actually, the values of all the states in the beginning keep going up. Like look at the values here as I'm moving up, they keep increasing, even though I'm always experiencing pretty negative rewards.
Vậy mà giá trị của tất cả các trạng thái ở đầu cứ tăng lên. Hãy nhìn các giá trị ở đây khi tôi đi lên, chúng cứ tăng, dù tôi luôn nhận được những phần thưởng khá âm.
Why is that? It's because the way these values are computed is based on what the value is in the next state.
Tại sao vậy? Vì cách các giá trị này được tính dựa vào giá trị ở trạng thái kế tiếp.
And not what I have experienced particularly, but the best thing I have in that next state, which is actually based on going to the plus 1.
Chứ không phải dựa vào điều tôi đã trải qua, mà là điều tốt nhất tôi có ở trạng thái kế tiếp đó, mà thực ra dựa trên việc đi tới ô cộng 1.
And even if I go now to the negative 1, that does not affect these other values.
Và dù bây giờ tôi đi vào ô âm 1, điều đó không ảnh hưởng đến các giá trị khác này.
In fact, going down from here still has 0 value, even though I've always gotten negative 1. Why is that? Because I still have some zeros in that state.
Thực ra, đi xuống từ đây vẫn có giá trị 0, dù tôi luôn nhận được âm 1. Tại sao vậy? Vì ở trạng thái đó tôi vẫn còn vài giá trị 0.
And in fact, I can even make going down positive. If I go down now, come back up, now I get a positive value for going up. Now I exit.
Thậm chí tôi còn có thể làm cho việc đi xuống thành dương. Nếu giờ tôi đi xuống, rồi quay lên, thì tôi có giá trị dương cho việc đi lên. Giờ tôi thoát.
Now I go again.
Giờ tôi chạy lại.
I go down here, and now the value of that state on the top for going down has become positive because it knows that the best thing to do after that is come back up, and then go right.
Tôi đi xuống đây, và giờ giá trị của trạng thái phía trên cho hành động đi xuống đã trở nên dương vì nó biết rằng điều tốt nhất sau đó là quay lên, rồi đi sang phải.
And that's encoded in these Q values. And so it knows that there's positive value even in going down.
Và điều đó được mã hóa trong các giá trị Q này. Nên nó biết rằng có giá trị dương ngay cả khi đi xuống.
It's better to go right than to go down, but it's also still a positive value to go down. What if we follow the other path here? Well, we see here something positive — 0.37.
Đi sang phải tốt hơn đi xuống, nhưng đi xuống vẫn có giá trị dương. Nếu ta đi theo đường kia thì sao? Ta thấy ở đây một giá trị dương, 0.37.
Why is that? Because from this current state, if we were to go up, we have high value. And that's propagated. Even though there's also a negative there, it doesn't take the negative.
Tại sao vậy? Vì từ trạng thái hiện tại, nếu ta đi lên, ta có giá trị cao. Và nó được lan truyền. Dù ở đó cũng có giá trị âm, nó không lấy giá trị âm.
It takes the max of all those values, which is the 0.75 used [INAUDIBLE] in the sample estimate.
Nó lấy max của tất cả các giá trị đó, tức là 0.75 được dùng [KHÔNG NGHE RÕ] trong ước lượng từ mẫu.
And even if I go now — even if — well, I did it for so long, it exited. But you can go to the negative 1 for as long as you want.
Và dù bây giờ tôi đi... à, tôi làm lâu quá nên nó đã thoát. Nhưng bạn có thể vào ô âm 1 bao lâu tùy ý.
It will still keep grabbing the most positive Q values to propagate. Let's look at another example, a more extreme kind of maze of this type.
Nó vẫn sẽ tiếp tục lấy các giá trị Q dương nhất để lan truyền. Hãy xem một ví dụ khác, một mê cung cực đoan hơn thuộc loại này.
This the bridge world, bridge or cliff world. Essentially, the way it works is that the middle is safe and the ends have rewards.
Đây là thế giới cây cầu, hay thế giới vách đá. Về cơ bản, ở giữa thì an toàn còn hai đầu có phần thưởng.
But if you go off to the side, you die with negative reward. So let's see what happens.
Nhưng nếu đi lệch sang bên, bạn chết và nhận phần thưởng âm. Xem chuyện gì xảy ra.
We move to the right, to the right, to the right, to the right, and we get positive reward there. The Q value becomes positive.
Ta đi sang phải, sang phải, sang phải, sang phải, và nhận phần thưởng dương ở đó. Giá trị Q trở thành dương.
So at a plus 10, learning rate of a 1/2 becomes 5. Let's go again.
Với cộng 10, tốc độ học 1/2 thì thành 5. Chạy lại nào.
And now, when we transition from here, we expect a non-0 value, because the sample will be 0 reward plus a value of 5.
Và giờ, khi chuyển từ đây, ta mong đợi giá trị khác 0, vì mẫu sẽ là phần thưởng 0 cộng giá trị 5.
1/2 of that, with a learning rate of 1/2, will be 2.5 in there.
Một nửa của đó, với tốc độ học 1/2, sẽ là 2.5 ở đây.
Now, we can also jump off the cliff from here. Negative 50, not great. We can jump over the cliff here. Negative 50, not great.
Giờ ta cũng có thể nhảy khỏi vách đá từ đây. Âm 50, không tốt. Ta có thể nhảy xuống vách đá ở đây. Âm 50, không tốt.
We can jump off the cliff here. Negative 50, not great. We can go jump off the cliff over here. Not great.
Ta có thể nhảy khỏi vách đá ở đây. Âm 50, không tốt. Ta có thể nhảy khỏi vách đá ở đằng này. Không tốt.
But actually what happened is, even though we ran this trajectory where we jumped off the cliff, the value here went up.
Nhưng thực ra điều xảy ra là, dù ta đã chạy quỹ đạo mà ta nhảy khỏi vách đá, giá trị ở đây vẫn tăng lên.
And now, if I again go jump off a cliff, at this state, the value will nevertheless go up because it knows that there is something good available.
Và giờ, nếu tôi lại nhảy khỏi vách đá ở trạng thái này, giá trị vẫn sẽ tăng vì nó biết có điều tốt đang có sẵn.
And that's what the max Q value is. And that's what's propagating. Yes?
Và đó chính là giá trị Q lớn nhất. Và đó là thứ đang được lan truyền. Bạn hỏi?
STUDENT
So the [INAUDIBLE] jumped off the cliff first, so that it wouldn't exit. Would it always be [INAUDIBLE]?
Nếu nó nhảy khỏi vách đá trước, để nó không thoát được thì sao? Có luôn là [KHÔNG NGHE RÕ] không?
PROFESSOR
The question is, what happens if we jump off the cliff first? Let's just do it. So we need to reset this thing, of course. Otherwise, it's not first.
Câu hỏi là, chuyện gì xảy ra nếu ta nhảy khỏi vách đá trước? Làm thử nhé. Dĩ nhiên ta cần đặt lại cái này. Nếu không thì không phải là trước.
So let's do this again. Let's just jump off the cliff right away. And in fact, it's not that bad a decision, per se, because it doesn't know how the world works.
Làm lại nào. Nhảy khỏi vách đá ngay lập tức. Thực ra đó cũng không hẳn là quyết định tệ, vì nó không biết thế giới vận hành ra sao.
It's not, oh, I'm going to jump off a cliff. It's more like, I've never been here. Let me go check it out. Oh, it turns out to be that I jumped off a cliff.
Nó không nghĩ: ồ, mình sẽ nhảy khỏi vách đá. Mà giống như: mình chưa từng đến đây. Để mình xem thử. Ồ, hóa ra mình nhảy khỏi vách đá.
That was not good. That's the reinforced learning world. And that's why, typically, reinforcement is more easily experimented within simulation than real world. So let's jump off of the middle cliff here.
Không tốt rồi. Đó là thế giới của học tăng cường. Và vì vậy, thường thì học tăng cường dễ thử nghiệm trong mô phỏng hơn so với thế giới thực. Giờ nhảy khỏi vách đá ở giữa này.
Boom. We jumped off. OK, now we go again. What do you expect to happen?
Bùm. Ta đã nhảy xuống. Được rồi, chạy lại. Bạn mong đợi điều gì xảy ra?
Well, as we go here, if we now move up again, it should know that that's a bad thing. And let's see if that happens. Yes, it knows.
Khi ta tới đây, nếu giờ lại đi lên, nó nên biết đó là điều xấu. Xem có đúng vậy không. Đúng, nó biết rồi.
What if we're here again, and now we actually move somewhere else? Let's say we move right. It did not do anything. We move left, nothing.
Nếu ta lại ở đây, và giờ ta đi sang hướng khác thì sao? Giả sử ta đi sang phải. Không có gì thay đổi. Đi sang trái, không có gì.
Nothing. Nothing. No values get updated here. Why is that?
Không có gì. Không có gì. Không có giá trị nào được cập nhật ở đây. Tại sao vậy?
Because you look at the max value, it's still 0. So even if you're neighboring this negative 25, the max of that square is still 0.
Vì nhìn vào giá trị lớn nhất, nó vẫn là 0. Nên dù bạn ở cạnh ô âm 25 này, max của ô đó vẫn là 0.
And so the max stays the same, and the negative 25 can't make it out. Even if we were to jump off this one, there's still some zeros available in that square.
Nên giá trị max vẫn giữ nguyên, và con số âm 25 không thể lan ra ngoài được. Kể cả khi ta nhảy khỏi ô này, thì trong ô đó vẫn còn một số giá trị 0.
Let's see. What else can we — we cannot get negative values in there, just because the 0 is always better is the problem. Well, not the problem, it's a feature.
Để xem nào. Còn gì nữa nhỉ — ta không thể có giá trị âm ở đó, chỉ vì 0 luôn tốt hơn, đó là vấn đề. À không, không phải vấn đề, đó là một tính năng.
It's a good thing. What it also showcases is the notion of off-policy learning. You're not learning the value of the policy that I'm executing.
Đó là điều tốt. Điều này cũng cho thấy khái niệm học off-policy. Bạn không học giá trị của chính sách mà tôi đang thực thi.
This thing is learning the value of the optimal Q values — the values of the optimal policy, not my dumb policy that's just jumping off cliffs. No, it's learning.
Nó đang học giá trị Q tối ưu — giá trị của chính sách tối ưu, chứ không phải chính sách ngớ ngẩn của tôi cứ nhảy khỏi vách đá. Không, nó vẫn đang học.
And now I'm maybe not so dumb, so I can get some positive values every now and then.
Và giờ có lẽ tôi cũng không còn quá ngớ ngẩn, nên tôi thỉnh thoảng nhận được một vài giá trị dương.
And then these values are the ones that are going to propagate, even if at some point I start jumping off the cliff again. So now, we get these positives to come through.
Và những giá trị này sẽ là những giá trị được lan truyền, kể cả khi đến một lúc nào đó tôi lại bắt đầu nhảy khỏi vách đá. Vậy là các giá trị dương này được lan truyền.
And now, after they have kind of settled in place a bit, I can go through that again, but at the end try another cliff. And still positive values will have propagated.
Và sau khi chúng đã ổn định phần nào, tôi có thể đi lại đường đó, nhưng cuối cùng thử một vách đá khác. Và các giá trị dương vẫn đã được lan truyền.
Now, let's take a look at how well this works for our crawler bot. There'll be a video. So what we're going to watch here is the crawler in action running Q learning.
Bây giờ, hãy xem cách này hoạt động tốt thế nào với robot bò. Sẽ có một video. Những gì ta sắp xem ở đây là robot bò đang chạy Q-learning.
That's what you're going to do in your project. So what are you seeing at the bottom left here? Bottom left is values. There is a two-dimensional state space.
Đó là việc các bạn sẽ làm trong project. Vậy các bạn thấy gì ở góc dưới bên trái? Góc dưới bên trái là các giá trị. Có một không gian trạng thái hai chiều.
Really, the state space is continuous, but we discretized it. There's buckets. Like if you're between certain angles, you're in a certain state. If you look at both angles, you fall into a bucket.
Thật ra không gian trạng thái là liên tục, nhưng ta đã rời rạc hóa nó. Có các bucket. Ví dụ nếu bạn nằm giữa các góc nhất định, bạn ở một trạng thái nhất định. Nhìn cả hai góc, bạn rơi vào một bucket.
And that's what's shown on the bottom left here — so based on your first angle, based on your second angle. We see the values are going up for if you're down here.
Và đó là những gì hiện ở góc dưới bên trái — dựa trên góc thứ nhất, và góc thứ hai của bạn. Ta thấy các giá trị tăng lên nếu ở vùng dưới này.
So these are good states to be in. Here, we have Q values, which is then compartmentalized. In any state, we have four actions available.
Vậy đây là những trạng thái tốt. Ở đây là các giá trị Q, được chia nhỏ ra. Ở mỗi trạng thái, ta có bốn hành động.
For each joint, we can either increase or decrease the value of the angle of that joint. And we do that for both, so 2 times 2 — 4 total actions.
Với mỗi khớp, ta có thể tăng hoặc giảm giá trị góc của khớp đó. Và làm vậy cho cả hai khớp, nên 2 nhân 2 — tổng cộng 4 hành động.
And what we see here is that after it's been training for a while, it gets into a cycle where it goes through the same state over, and over, and over, which allows it to move fast to the right.
Và ở đây ta thấy là sau khi huấn luyện một lúc, nó rơi vào một chu trình đi qua cùng các trạng thái lặp đi lặp lại, giúp nó di chuyển nhanh sang phải. Hãy xem lại lần nữa.
Let's watch this one more time. So initially, these values are all initialized, in this case, 0 effectively. And it's exploring.
Ban đầu, các giá trị này đều được khởi tạo, trong trường hợp này, về cơ bản bằng 0. Và nó đang khám phá.
But of course, we're accelerating the exploration a little bit in this demo where we are letting it run many, many steps behind the scenes.
Nhưng tất nhiên, trong demo này ta đang tăng tốc việc khám phá một chút, khi ta cho nó chạy rất nhiều bước ngầm phía sau. Bùm — một triệu bước, tôi nghĩ vậy, ta cứ để nó học.
Boom — one million steps, I believe, we just let it learn. And the values got a lot more precise after an extra one million steps. And you see it learns to locomote.
Và các giá trị chính xác hơn nhiều sau thêm một triệu bước. Và bạn thấy nó học được cách di chuyển.
The beauty here is that it doesn't know anything about how this world works.
Điều tuyệt vời ở đây là nó không biết gì về cách thế giới này vận hành.
It just has been experiencing states, actions, and rewards, and figures out from that what are the optimal Q values to maximize reward.
Nó chỉ trải nghiệm các trạng thái, hành động và phần thưởng, và từ đó tìm ra các giá trị Q tối ưu để cực đại hóa phần thưởng.
So this is actually a pretty amazing result. Q learning converges to the optimal policy, which is encoded in these optimal Q values, even if you're acting suboptimally. Just the way the propagation equations work.
Đây thực sự là một kết quả khá tuyệt vời. Q-learning hội tụ về chính sách tối ưu, vốn được mã hóa trong các giá trị Q tối ưu này, kể cả khi bạn hành động không tối ưu. Chỉ nhờ cách các phương trình lan truyền hoạt động. Phần không tối ưu thì không lan truyền, chỉ phần tốt lan truyền, nhờ phép max đó.
The suboptimal stuff doesn't propagate, only the good stuff propagates somehow through that max. And this works out. That's important, because you don't know the optimal policy.
Và cách này hiệu quả. Điều đó quan trọng, vì bạn không biết chính sách tối ưu.
If all you can do is learn the value of an existing policy, then it's very hard to find the value of the optimal policy, because you don't know what the optimal policy is.
Nếu bạn chỉ học được giá trị của một chính sách có sẵn, thì rất khó tìm giá trị của chính sách tối ưu, vì bạn không biết chính sách tối ưu là gì. Bài toán con gà và quả trứng.
Chicken and egg problem. But with Q learning, you can use any policy, as long as it visits every state sufficiently often to learn the value of the optimal policy.
Nhưng với Q-learning, bạn có thể dùng bất kỳ chính sách nào, miễn là nó ghé thăm mọi trạng thái đủ thường xuyên để học giá trị của chính sách tối ưu. Đây gọi là học off-policy.
This is called off-policy learning. Caveats — you need to explore enough. I said, if you visit every state often enough, that's exploration.
Lưu ý — bạn cần khám phá đủ. Tôi đã nói, nếu bạn ghé thăm mọi trạng thái đủ thường xuyên, đó chính là khám phá.
You need to go see all the states sufficiently often to understand what their values are.
Bạn cần đi xem tất cả các trạng thái đủ thường xuyên để hiểu giá trị của chúng.
You have to make the learning rate decay over time — we'll see a scheme for that next lecture — and also not decay too quickly because, otherwise, your later experience cannot contribute enough to correct maybe some noisy past experience.
Bạn phải cho tốc độ học giảm dần theo thời gian — ta sẽ thấy một cách làm ở bài giảng sau — và cũng không giảm quá nhanh, vì nếu không, kinh nghiệm về sau không đủ để sửa lại một số kinh nghiệm cũ có nhiễu.
But the beauty, again, is that, in a limit, it does not matter how you select actions, as long as you satisfy those properties. OK, that's it for today.
Nhưng điều tuyệt vời, một lần nữa, là ở giới hạn, cách bạn chọn hành động không quan trọng, miễn là thỏa mãn những tính chất đó. Được rồi, hôm nay đến đây thôi. Lần sau, ta sẽ xem xét các vấn đề này.
Next time, we'll look at these issues. See you on Thursday.
Hẹn gặp lại các bạn vào thứ Năm.
[SIDE CONVERSATION]
[HỘI THOẠI BÊN LỀ] [HỘI THOẠI BÊN LỀ]
Đăng nhập để đánh giá học liệu này.
Đăng nhập để bình luận — chưa ai bình luận về học liệu này.
Không có khóa học liên quan.