Video
Đăng bởi Ban biên tập OpenER ·
Tác giả giữ toàn bộ bản quyền (All Rights Reserved) — không phải giấy phép mở. Bạn vẫn xem và học miễn phí trên OpenER; muốn tái sử dụng cần xin phép tác giả.
PROFESSOR
Hi, everyone. Welcome to Lecture 11 of 188. Let's start with a couple of announcements.
Chào các bạn. Chào mừng đến với bài giảng 11 của môn 188. Trước hết là vài thông báo.
Project two was due last week Friday, but there's a mini contest that's optional in which you get to compete with other agents, staff agents, and, in the future, other student agents on the board,
Project 2 đã đến hạn vào thứ Sáu tuần trước, nhưng có một cuộc thi nhỏ không bắt buộc, trong đó các bạn thi đấu với các tác tử khác, tác tử của ban giảng huấn, và sau này là tác tử của các sinh viên khác trên bảng xếp hạng,
where on one side you are ghosts, you are supposed to defend your territory, on the other side, you're Pac-Man, supposed to go eat the food pellets and bring them back.
ở một bên bạn là các con ma, nhiệm vụ là bảo vệ lãnh thổ của mình, ở bên kia bạn là Pac-Man, phải đi ăn các viên thức ăn và mang chúng về.
But if the ghost catch you on the other side before you bring them back, then you explode back into food pellets and you get reset. So this optional contest ends on Sunday.
Nhưng nếu ma bắt được bạn ở phía bên kia trước khi bạn mang về, thì bạn nổ tung thành các viên thức ăn và bị đặt lại. Cuộc thi tùy chọn này kết thúc vào Chủ nhật.
Currently on the leaderboard, at number one we have YZS. Is YZS here? Right there? Congratulations.
Hiện tại trên bảng xếp hạng, đứng nhất là YZS. YZS có ở đây không? Ở đằng kia à? Xin chúc mừng.
At number two, we have Team No Bug. Are they here, Team No Bug? Over there? Congratulations.
Hạng hai là Team No Bug. Team No Bug có ở đây không? Ở đằng kia à? Xin chúc mừng.
And at number three, we have [? Yu-Che Wu, ?] over here. Congratulations. So we have till Sunday for this contest.
Và hạng ba là [? Yu-Che Wu, ?] ở đây. Xin chúc mừng. Vậy cuộc thi còn đến Chủ nhật.
And we'll round up results of the final leaderboard likely next week. You can get extra credit by being near the top of the leaderboard, or also by beating staff agents.
Và chúng tôi sẽ tổng kết bảng xếp hạng cuối cùng, có lẽ vào tuần sau. Bạn có thể được điểm cộng nếu nằm gần đầu bảng xếp hạng, hoặc nếu đánh bại các tác tử của ban giảng huấn.
So independent of what the other students do, if you beat enough staff agents, there's also extra credit for that. 0.5 points for every staff agent you beat sufficiently often.
Tức là bất kể các sinh viên khác làm gì, nếu bạn thắng đủ nhiều tác tử của ban giảng huấn, bạn cũng được điểm cộng. 0,5 điểm cho mỗi tác tử của ban giảng huấn bạn thắng đủ thường xuyên.
So that's with the Sunday timeline. Homework five was released, and is due on Monday. As usual, it has three components.
Đó là với hạn chót Chủ nhật. Bài tập về nhà 5 đã được đăng, hạn nộp là thứ Hai. Như thường lệ, nó có ba phần.
There is the electronic part, there's the written part, and then there is a self-assessment of the previous written part of the homework. Project three, reinforcement learning, is also released.
Có phần điện tử, có phần viết, và có phần tự đánh giá phần viết của bài tập trước. Project 3, học tăng cường, cũng đã được đăng.
And it's due next week, Friday, at 4:00 PM. Any questions about logistics?
Hạn nộp là thứ Sáu tuần sau, lúc 4 giờ chiều. Có câu hỏi nào về các vấn đề hành chính không?
OK, let's dive into the technical content then. This is our second lecture on reinforcement learning. Just as a reminder, what's going on in reinforcement learning? We will still assume there's a market decision process.
Được rồi, vào phần kỹ thuật nhé. Đây là bài giảng thứ hai về học tăng cường. Nhắc lại, học tăng cường là gì? Ta vẫn giả định có một quá trình quyết định Markov.
What does that mean? That there's a set of states, a set of actions which might depend what's available on which state you're in.
Điều đó nghĩa là gì? Là có một tập trạng thái, một tập hành động có thể phụ thuộc vào việc hành động nào khả dụng ở trạng thái bạn đang đứng.
There is an underlying model that says what is the probability of landing in state s-prime if you were in state s and took action A.
Có một mô hình nền tảng cho biết xác suất rơi vào trạng thái s-prime nếu bạn ở trạng thái s và thực hiện hành động A.
And there's a reward function that tells you, if you're in a state s, took action A, landed in s-prime, how much reward did you get, or will you get when it happens again.
Và có một hàm phần thưởng cho bạn biết, nếu bạn ở trạng thái s, thực hiện hành động A, rơi vào s-prime, bạn nhận được bao nhiêu phần thưởng, hoặc sẽ nhận được khi điều đó xảy ra lần nữa.
And what we're looking for is a policy [? pi of s ?]
Và ta tìm một chính sách [? pi của s ?]
that tells us, for every state, what is the best thing to do, where best is defined as maximizing expected discounted sum of future rewards.
cho biết ở mỗi trạng thái, việc tốt nhất cần làm là gì, trong đó tốt nhất được định nghĩa là cực đại hóa kỳ vọng của tổng phần thưởng tương lai có chiết khấu.
The twist in reinforcement learning is that we don't know t or r, so we have to experiment in the world to figure out how it works, how the transitions are, and where the reward is, to then, from that, maybe figure out how we can then optimize how much reward we collect.
Điểm khác biệt trong học tăng cường là ta không biết t hay r, nên ta phải thử nghiệm trong thế giới để hiểu nó vận hành ra sao, các chuyển trạng thái thế nào, và phần thưởng ở đâu, rồi từ đó có thể tìm cách tối ưu lượng phần thưởng thu được.
The big idea we covered last time is that you can compute averages, instead of having access to t, and we'll review some of that now.
Ý tưởng lớn ta đã học lần trước là bạn có thể tính trung bình, thay vì có sẵn t, và bây giờ ta sẽ ôn lại một phần điều đó.
Big picture wise, with market decision processes and reinforced learning, a total of four lectures, what have we seen?
Nhìn tổng thể, với quá trình quyết định Markov và học tăng cường, tổng cộng bốn bài giảng, ta đã thấy những gì?
In the first two lectures, the MDP was known, there were two types of techniques we looked at.
Trong hai bài đầu, MDP đã biết, và ta xem xét hai loại kỹ thuật.
We looked at computing optimal value v-star optimal, Q-value Q-star optimal policy pi star, we had two algorithms for that.
Ta xem cách tính giá trị tối ưu v-star, giá trị Q tối ưu Q-star, chính sách tối ưu pi star, với hai thuật toán cho việc đó.
Policy attrition and value attrition, they assume access to the model and to the reward function.
Lặp chính sách và lặp giá trị, chúng giả định có mô hình và hàm phần thưởng.
And then we also saw, you can evaluate a policy — so somebody fixes a policy, you can evaluate it, see what the value is, and that's called policy evaluation.
Và ta cũng thấy có thể đánh giá một chính sách: ai đó cố định một chính sách, bạn đánh giá nó, xem giá trị là bao nhiêu, và đó gọi là đánh giá chính sách.
Which you could do in two ways — it turns out you could do it just like value attrition, but instead of having a max over actions, the action is fixed to whatever the policy prescribes.
Có hai cách làm: bạn có thể làm giống lặp giá trị, nhưng thay vì lấy max trên các hành động, hành động được cố định theo chính sách quy định.
And so it's like being in a new MDP where only one action's available in every state, and this running val attrition that new MDP, just — it's a very simple MDP where the action is fixed for every state.
Nó giống như đang ở trong một MDP mới chỉ có một hành động khả dụng ở mỗi trạng thái, và ta chạy lặp giá trị trên MDP mới đó, một MDP rất đơn giản mà hành động đã cố định cho mỗi trạng thái.
That's policy evaluation. One way to do it. The other thing that happened is once we got rid of that max in the value attrition equation, it became a linear equation.
Đó là đánh giá chính sách. Một cách làm. Điều khác là khi ta bỏ phép max trong phương trình lặp giá trị, nó trở thành phương trình tuyến tính.
So we could also just solve a linear system of equations to find the values of a policy. That's when we know the model and we know the reward function.
Nên ta cũng có thể chỉ cần giải hệ phương trình tuyến tính để tìm giá trị của một chính sách. Đó là khi ta biết mô hình và biết hàm phần thưởng.
Then last lecture we started looking at, what if we don't know the model and/or the reward function? And we saw there's two ways of tackling this.
Rồi bài trước ta bắt đầu xét, nếu ta không biết mô hình và/hoặc hàm phần thưởng thì sao? Và ta thấy có hai cách tiếp cận.
The model-based approach is somewhere we say, OK, let's collect data. From that data, estimate t and r. And then we can reuse the techniques you already know. And that's model-based reinforcement learning.
Cách tiếp cận dựa trên mô hình là ta thu thập dữ liệu. Từ dữ liệu đó, ước lượng t và r. Rồi ta có thể dùng lại các kỹ thuật đã biết. Đó là học tăng cường dựa trên mô hình.
So that's one way to do it. Another way to do is to say, well actually, rather than learning the models, we can directly learn values, Q-functions policies. We saw this in two ways.
Vậy là một cách. Cách khác là nói rằng, thay vì học mô hình, ta có thể học trực tiếp các giá trị, hàm Q, chính sách. Ta đã thấy điều này theo hai cách.
We saw first value learning.
Đầu tiên là học giá trị.
Under value learning, we saw two approaches — we saw direct evaluation, where we just looked from a state every time we were there, how much reward did we get in the future, and average it.
Với học giá trị, ta đã thấy hai cách tiếp cận — đầu tiên là đánh giá trực tiếp, nơi ta chỉ nhìn từ một trạng thái, mỗi lần ở đó, ta nhận được bao nhiêu phần thưởng trong tương lai, rồi lấy trung bình.
And we saw a temporal difference learning, or indirect evaluation, where we used the Bellman equation, but a sampled version, to from every experience, update our estimate of the value of the state we were just in.
Và ta đã thấy học sai khác thời gian (temporal difference learning), hay đánh giá gián tiếp, trong đó ta dùng phương trình Bellman, nhưng ở dạng lấy mẫu, để từ mỗi trải nghiệm, cập nhật ước lượng giá trị của trạng thái mà ta vừa ở.
And we saw, then, that we can also do this with Q values, and that has a lot of benefits.
Sau đó ta thấy rằng cũng có thể làm điều này với giá trị Q, và cách này có rất nhiều lợi ích.
Because if you do it with Q values, it also tells us what action to take in any given state. So that's what we'll look out more today, and expand on what we covered there.
Vì nếu làm với giá trị Q, nó cũng cho ta biết nên thực hiện hành động nào ở mỗi trạng thái. Vì vậy hôm nay ta sẽ xem kỹ hơn phần này, và mở rộng những gì đã học.
So in model free learning, what we have is effectively a stream of experience. And from that stream of experience, we want to somehow learn something.
Trong học không dùng mô hình (model-free), cái ta có thực chất là một luồng trải nghiệm. Và từ luồng trải nghiệm đó, ta muốn học được điều gì đó.
And we want to do it whenever there is a transition, an entity of this type. So one part of that stream. We want to update what we know so far.
Và ta muốn làm điều đó mỗi khi có một chuyển tiếp, một phần tử kiểu này. Tức là một phần của luồng đó. Ta muốn cập nhật những gì đã biết cho đến giờ.
And the way we've done is by mimicking the Bellman equation, but doing it in a sample-based way rather than requiring access to the model. Let's take a look again at how that worked.
Và cách ta làm là bắt chước phương trình Bellman, nhưng theo cách dựa trên mẫu thay vì cần truy cập mô hình. Hãy xem lại cách nó hoạt động.
This is the Bellman equation for Q values. What does it say?
Đây là phương trình Bellman cho giá trị Q. Nó nói gì?
It says, the value for being in state s, and taking action a, if we have k plus 1 steps yet to live in the life of the agent, is equal to a sum over states that we might land in.
Nó nói rằng giá trị của việc ở trạng thái s và thực hiện hành động a, nếu tác tử còn k cộng 1 bước nữa trong đời nó, bằng tổng trên các trạng thái mà ta có thể đến.
And it's a weighted sum based on the probability of landing in that state. The reward we get for that transition, plus a discount factor, gamma times what we expect to get in the future.
Và đó là tổng có trọng số dựa trên xác suất đến được trạng thái đó. Phần thưởng nhận được ở chuyển tiếp đó, cộng với hệ số chiết khấu gamma nhân với những gì ta kỳ vọng nhận được trong tương lai.
And in the future, it is only k steps left now, so this is OK.
Và trong tương lai, giờ chỉ còn k bước, nên như vậy là ổn.
We start from Q0 equals 0, and can work our way up to any k, going up one at a time. Why a max here? Well, we're trying to compute the optimal Q values.
Ta bắt đầu từ Q0 bằng 0, và có thể tăng dần lên bất kỳ k nào, mỗi lần một bước. Tại sao lại có max ở đây? Vì ta đang cố tính các giá trị Q tối ưu.
And so when we think about, what is the value from the current state in action? It's the reward we got instantaneously, plus what we expect to get if we act optimally from then onwards.
Nên khi nghĩ về việc giá trị của trạng thái và hành động hiện tại là gì? Đó là phần thưởng nhận được ngay lập tức, cộng với những gì ta kỳ vọng nhận được nếu hành động tối ưu từ đó trở đi.
And optimally from then onwards means that we need to take the optimal action over all choices of action available at that next date as prime.
Và tối ưu từ đó trở đi nghĩa là ta cần chọn hành động tối ưu trong tất cả các hành động khả dụng tại trạng thái kế tiếp là s phẩy.
Of course, now we want to compute this without knowing t and r — and t and r are featured quite prominently in here.
Tất nhiên, giờ ta muốn tính điều này mà không biết T và R — trong khi T và R xuất hiện rất nổi bật ở đây.
So what we do is, we experience a transition, s a r s prime.
Vậy ta làm như sau: ta trải nghiệm một chuyển tiếp, s a r s phẩy.
What that gives us is in some sense the ability to compute one such term in this weighted sum.
Điều đó cho ta, theo một nghĩa nào đó, khả năng tính một số hạng trong tổng có trọng số này.
So this is our sample estimate, based on just one of these terms.
Đây là ước lượng mẫu của ta, dựa trên chỉ một trong các số hạng đó.
Of course, we don't want to just say that the Q-value for state s action is equal to this, because there could be many future states s prime, and this is just one that we experienced out of many possible futures states, s prime.
Tất nhiên, ta không muốn chỉ nói giá trị Q của trạng thái s và hành động a bằng giá trị này, vì có thể có nhiều trạng thái tương lai s phẩy, và đây chỉ là một trạng thái ta đã gặp trong nhiều trạng thái tương lai s phẩy có thể xảy ra.
So we're going to do an averaging over the many times we were in state s and and took action a, what was the sample estimate of the value?
Vì vậy ta sẽ lấy trung bình qua nhiều lần ở trạng thái s và thực hiện hành động a, ước lượng mẫu của giá trị là bao nhiêu?
So the way we average this with a running average — so we don't have to keep everything around. We say, OK, our current running average is Q s a.
Cách ta lấy trung bình là dùng trung bình trượt — để không phải giữ lại mọi thứ. Ta nói, được rồi, trung bình trượt hiện tại là Q s a.
We have a new sample estimate, this one over here. We're going to average them together in a weighted way.
Ta có một ước lượng mẫu mới, cái này ở đây. Ta sẽ lấy trung bình hai cái theo trọng số.
If alpha is 1/2, then we have 1/2 what we used to have, 1/2 the new sample estimate.
Nếu alpha là 1/2, ta có 1/2 giá trị cũ và 1/2 ước lượng mẫu mới.
In practice, alpha will be much smaller than 1/2, so the update here will be dominated by this term over here, but a little bit of an adjustment based on this term here.
Trên thực tế, alpha nhỏ hơn 1/2 nhiều, nên bản cập nhật ở đây sẽ bị chi phối bởi số hạng bên này, chỉ điều chỉnh một chút dựa trên số hạng bên đây.
Any questions about this? Because this will be the foundation for the first half of lecture today. Yes?
Có câu hỏi nào về phần này không? Vì đây sẽ là nền tảng cho nửa đầu của bài giảng hôm nay. Bạn hỏi à?
STUDENT
[INAUDIBLE] PROFESSOR: Good, that's a good question.
[KHÔNG NGHE RÕ] GIÁO SƯ: Tốt, câu hỏi hay.
So you could say, well, in sum, the question is, how do we even choose alpha?
Câu hỏi là, làm sao chọn alpha? Tức là chọn alpha bằng cách nào?
If alpha is fixed, then what we get is the latest ones contribution more than the early ones, because they get down-weighted over time.
Nếu alpha cố định, thì những mẫu gần nhất đóng góp nhiều hơn mẫu đầu, vì các mẫu cũ bị giảm trọng số dần theo thời gian. Bạn có thể coi đó là một tính năng hoặc một lỗi.
So you could think of it as a feature or a bug. Let's think about this.
Hãy nghĩ thử xem.
Well, if the later ones get more weight in the result than the earlier ones, the reason we might like that is because, as we've been doing this for a while, the Q values become more and more accurate.
Nếu các mẫu sau có trọng số lớn hơn trong kết quả so với các mẫu trước, lý do ta có thể thích điều đó là vì khi đã làm một thời gian, các giá trị Q ngày càng chính xác hơn.
And as the Q values become more accurate, then the sample estimate that we compute here will be a more accurate one than the one we had before.
Và khi các giá trị Q chính xác hơn, thì ước lượng mẫu ta tính ở đây sẽ chính xác hơn so với trước đó. Và vì vậy các trải nghiệm sau cho ra ước lượng mẫu chính xác hơn các trải nghiệm đầu.
And so the later experiences result in sample estimates that are more accurate than the earlier experiences.
Đó là lý do ta thực sự coi việc các mẫu sau đóng góp nhiều hơn là điều tốt.
And so that's why we actually consider it a good thing that the later ones contribute more than the earlier ones.
Nhưng về nguyên tắc, nếu muốn tất cả đóng góp như nhau, có lẽ bạn có thể tìm ra cách tính để làm vậy.
But in principle, if you wanted them all to contribute equally, you could probably find a calculation to do that. In practice, we don't care about that. We'd rather have the later ones contribute more.
Nhưng thực tế, ta không quan tâm đến điều đó. Ta thà để các mẫu sau đóng góp nhiều hơn. Và nó cũng tình cờ rất tiện, vì khi đó ta có thể dùng trung bình có trọng số mũ, mà không cần lưu giữ nhiều thông tin.
And it happens to also be very convenient, because then we can do this exponentially weighted average, for which we don't need to keep as much information around.
Còn câu hỏi nào khác không? Được rồi, vậy ta tiếp tục từ đây.
Any other questions?
Các tính chất của nó là gì?
OK, let's build on this, then.
What are some of the properties?
The update equation we just looked at, if we use it often enough — meaning we collect enough experience — the Q values will converge to do the optimal Q values, even if you're acting sub-optimally.
Với công thức cập nhật vừa xem, nếu ta dùng đủ thường xuyên — nghĩa là thu thập đủ trải nghiệm — các giá trị Q sẽ hội tụ về giá trị Q tối ưu, ngay cả khi bạn hành động dưới mức tối ưu. Điều này rất đáng ngạc nhiên, vì thông thường, khi cố tính các giá trị, như ta thấy ở thiết lập đánh giá tiêu chuẩn, bạn sẽ tính giá trị của chính sách hiện tại.
And this is very surprising, because typically, when you're trying to compute values, like we saw on the standard evaluation type setup, you would compute the value of the current policy.
giống như ta đã thấy trong cách thiết lập đánh giá chính sách chuẩn, bạn sẽ tính giá trị của chính sách hiện tại.
But with this update equation — and this is because of the max that's happening in here, here — that max makes it that the samples are referencing the optimal policy, even if the way you collect your data is not optimally.
Nhưng với phương trình cập nhật này, và đây là nhờ phép max ở ngay đây, đây — phép max đó khiến các mẫu tham chiếu tới chính sách tối ưu, dù cách bạn thu thập dữ liệu không tối ưu.
In fact, it would never be optimal, initially, because you don't know how to do things optimally. And so this is off-policy learning.
Thực tế, lúc đầu nó sẽ không bao giờ tối ưu, vì bạn chưa biết cách làm tối ưu. Đây gọi là học off-policy.
That max in there allows off-policy learning, allows us to use any policy to collect data — not any, there are a few caveats that we will look at — but any policy that visits every state action pair sufficiently often is OK, and will result in the optimal Q values.
Phép max đó cho phép học off-policy, cho phép dùng bất kỳ chính sách nào để thu thập dữ liệu, không phải bất kỳ, có vài lưu ý mà ta sẽ xem, nhưng chính sách nào ghé thăm mọi cặp trạng thái-hành động đủ thường xuyên thì đều được, và sẽ cho ra giá trị Q tối ưu.
What are these caveats?
Những lưu ý đó là gì?
Caveats are you have to explore enough — more about that later — but one way to think of this, you need to somehow satisfy the condition that every state action pairs visit infinitely often.
Bạn phải khám phá đủ, lát nữa sẽ nói thêm, nhưng một cách nghĩ là bạn phải bằng cách nào đó thỏa điều kiện mọi cặp trạng thái-hành động được ghé thăm vô hạn lần.
Your alpha has to go down, otherwise you don't get convergence — because the updates remain too big over time. So gradually decaying your alpha.
Alpha của bạn phải giảm dần, nếu không sẽ không hội tụ, vì các cập nhật vẫn quá lớn theo thời gian. Nên ta giảm dần alpha.
But don't decay too quickly, because if you decay too quickly, you've only averaged a small amount of experience together, and it won't have converged yet to the right average.
Nhưng đừng giảm quá nhanh, vì nếu giảm quá nhanh, bạn mới chỉ lấy trung bình một lượng nhỏ kinh nghiệm, và nó chưa hội tụ về trung bình đúng.
In the limit, doesn't matter how you select actions, as long as these things are satisfied. So let's look at a demo to remind us of how this works, we have.
Về giới hạn, cách chọn hành động không quan trọng, miễn là các điều kiện này được thỏa. Giờ xem một bản demo để nhớ lại cách nó hoạt động. mà chúng ta đang có.
So here we're going to watch a [INAUDIBLE] agent, the presence of which you can see with a blue dot. And it's going to run on its own.
Ở đây ta sẽ xem một tác tử [KHÔNG NGHE RÕ], vị trí của nó là chấm xanh. Nó sẽ tự chạy.
So I'm not moving it around to let it run faster, it's going to run on its own.
Tôi không điều khiển nó để nó chạy nhanh hơn, nó sẽ tự chạy.
And it's running in this red world, which happens to have a bunch of terminal states at the bottom. Also terminal state all the way up the right, that's actually a good one.
Và nó chạy trong thế giới màu đỏ này, có một loạt trạng thái kết thúc ở phía dưới. Cũng có một trạng thái kết thúc ở góc trên bên phải, và đó là trạng thái tốt.
The bottom line is actually pretty bad to be at, I believe it's negative 100 reward when you end up exiting from there.
Hàng dưới cùng thì khá tệ, tôi nhớ là phần thưởng âm 100 khi bạn thoát ra từ đó.
And the policy we see run here is non-optimal policy, often jumps off of the cliff.
Chính sách đang chạy ở đây là chính sách không tối ưu, thường nhảy xuống vách đá.
And the things to pay attention to here is that, if you look on the optimal path, indeed it's converging onto a value of roughly 10, which is the optimal value if the discount factor is 1.
Điều cần chú ý ở đây là nếu nhìn trên đường đi tối ưu, nó đang hội tụ về giá trị khoảng 10, là giá trị tối ưu khi hệ số chiết khấu bằng 1.
You can also see that even when it jumps off the cliff, it retains the optimal values, because it knows that that was not the optimal action.
Bạn cũng thấy dù nó nhảy xuống vách đá, nó vẫn giữ các giá trị tối ưu, vì nó biết đó không phải hành động tối ưu.
The update happens based on the max of Q values, not based on the action you actually took.
Cập nhật dựa trên max của các giá trị Q, không dựa trên hành động bạn thực sự đã chọn.
And so jumping off the cliff does not affect the values that get propagated back, except of course for the auction from where you actually do the jumping off the cliff, from which it's irreversible, where it has to affected it, all the downward actions from the middle row.
Nên việc nhảy xuống vách đá không ảnh hưởng tới các giá trị được lan truyền ngược, trừ tất nhiên là hành động tại chỗ bạn thực sự nhảy xuống vách, không thể quay lại, nơi nó bị ảnh hưởng, tất cả các hành động đi xuống từ hàng giữa.
There are some places it's barely ever been, that's something we'll address, But in principle, there might be something really good there that it hasn't found out about yet, because it hasn't explored very fully.
Có vài chỗ nó hầu như chưa từng tới, ta sẽ giải quyết sau, nhưng về nguyên tắc có thể có thứ rất tốt ở đó mà nó chưa phát hiện, vì nó chưa khám phá đầy đủ.
But overall, after a while, it converges to roughly the right values in the places, at least in the middle and the bottom, and this is happening despite acting fairly randomly.
Nhưng nhìn chung, sau một lúc, nó hội tụ về các giá trị gần đúng ở những nơi, ít nhất là ở giữa và phía dưới, và điều này xảy ra dù hành động khá ngẫu nhiên.
So the notion of needing to visit every state action pair sufficiently often is actually a tricky one.
Vậy yêu cầu ghé thăm mọi cặp trạng thái-hành động đủ thường xuyên thực ra khá khó.
Because it requires that you somehow understand where you've been, and where you've not been, and somehow make sure that you are there in all places often enough.
Vì nó đòi hỏi bạn phải biết mình đã đến đâu, chưa đến đâu, và bằng cách nào đó đảm bảo mình có mặt ở mọi nơi đủ thường xuyên.
Simple example would be, in real world, let's say you have your usual place you go for lunch, and it's pretty good, so you're pretty happy every time you go there.
Ví dụ đơn giản ngoài đời thực, giả sử bạn có quán ăn trưa quen thuộc, khá ngon, nên lần nào đến bạn cũng hài lòng. bạn đi đến đó.
But then a new place has its grand opening, and now you have to make a decision. Are you going to try it out? It's risky.
Rồi một quán mới khai trương, và bạn phải quyết định. Bạn có thử không? Rủi ro đấy.
It's probably worse, because you're so happy with your usual lunch place. But if you don't try it, you'll never know.
Có lẽ nó tệ hơn, vì bạn rất hài lòng với quán quen. Nhưng nếu không thử, bạn sẽ không bao giờ biết.
And so, if you want to make sure you have the optimal policy, you have to go try this new place. If it's bad, you might never go back.
Nên nếu muốn chắc chắn có chính sách tối ưu, bạn phải thử quán mới này. Nếu dở, có thể bạn sẽ không quay lại.
But then maybe it's a good place, and it's more optimal that you keep going there. But without trying you won't know.
Nhưng cũng có thể nó là quán ngon, và tối ưu hơn là cứ đến đó. Nhưng không thử thì bạn không biết.
And that's the critical aspect of exploration — you'll have to try things, and many of them that you'll try will actually not be good for you.
Đó là khía cạnh then chốt của khám phá: bạn phải thử, và nhiều thứ bạn thử thực ra sẽ không tốt cho bạn.
But you didn't know ahead of time, you had to try it to find out. So what's a very simple scheme for exploration? Something called epsilon-greedy.
Nhưng bạn không biết trước, phải thử mới biết. Vậy cách khám phá rất đơn giản là gì? Gọi là epsilon-greedy.
It's very simple, and actually used surprisingly often. Every time step, your agent will flip a coin.
Rất đơn giản, và thực ra được dùng thường xuyên đến bất ngờ. Ở mỗi bước thời gian, tác tử sẽ tung một đồng xu.
And with some small probability epsilon, so the coin is biased, and with a small probability epsilon comes up one way, probability 1 minus epsilon comes up the other way.
Với một xác suất epsilon nhỏ nào đó, đồng xu bị lệch, với xác suất epsilon nhỏ thì ra mặt này, xác suất 1 trừ epsilon thì ra mặt kia.
Probability epsilon, it'll act randomly — probably 1 minus epsilon, it will look at the current Q values, look at which action is optimal based on the current estimates of the Q values, take that action.
Với xác suất epsilon, nó hành động ngẫu nhiên, với xác suất 1 trừ epsilon, nó sẽ xem các giá trị Q hiện tại, xem hành động nào tối ưu dựa trên các ước lượng hiện tại của giá trị Q, rồi thực hiện hành động đó.
So this introduces randomness, while usually playing according to the strategy that you think is best. And so what does this do?
Như vậy nó đưa vào tính ngẫu nhiên, trong khi thường vẫn chơi theo chiến lược mà bạn nghĩ là tốt nhất. Vậy điều này giúp gì?
Well, it ensures that while you're learning, you usually do pretty good things — which you might want, so just always acting randomly. But it also ensures that you have randomness in there.
Nó đảm bảo trong lúc học, bạn thường làm những việc khá tốt, điều bạn có thể muốn, thay vì luôn hành động ngẫu nhiên. Nhưng nó cũng đảm bảo có tính ngẫu nhiên trong đó.
And if you run this long enough, every state action pair will be visited sufficiently often, and you will have your cue values converge to the optimal cue values.
Và nếu chạy đủ lâu, mọi cặp trạng thái-hành động sẽ được ghé thăm đủ thường xuyên, và các giá trị Q của bạn sẽ hội tụ về giá trị Q tối ưu.
Let's take a look at this in action on the crawler. So what we're going to watch here, we're going to have the crawler robot again.
Hãy xem nó hoạt động trên con crawler. Những gì ta sẽ xem ở đây, chúng ta sẽ có lại con robot crawler.
You're going to work with that robot in your project three. Now, this interface here will start making more sense.
Các em sẽ làm việc với con robot này trong project 3. Giao diện này bây giờ sẽ dễ hiểu hơn.
What do we have here? We have an explicit epsilon. It's right now at 0.8 — that's actually pretty high. That means that with probability, 0.8, actions are taken randomly.
Ở đây chúng ta có gì? Chúng ta có một epsilon tường minh. Hiện giờ nó là 0,8 — thực ra là khá cao. Nghĩa là với xác suất 0,8, hành động được chọn ngẫu nhiên.
Probability 0.2, the current Q function estimate is followed.
Với xác suất 0,2, ta làm theo ước lượng hàm Q hiện tại.
There's a discount factor, there is a learning rate, and then there is some things we can use to accelerate the learning — meaning, we can not watch everything live, but let it behind the scenes, collect a lot more experience.
Có hệ số chiết khấu, có tốc độ học, và có một số tùy chọn để tăng tốc việc học — nghĩa là ta không cần xem trực tiếp mọi thứ, mà để nó chạy ngầm, thu thập nhiều kinh nghiệm hơn nhiều.
So let's take a look at this up and running with epsilon equals 0.8. So this thing is acting mostly randomly at this point, so it's not really going anywhere.
Giờ hãy xem nó chạy với epsilon bằng 0,8. Lúc này nó hành động chủ yếu là ngẫu nhiên, nên nó không đi đâu được cả.
But we also know that's kind of OK — we know to learn good Q values, we don't need to act according to any optimal policy, as long as we get good coverage.
Nhưng thế cũng không sao — ta biết để học giá trị Q tốt, ta không cần hành động theo chính sách tối ưu nào, miễn là bao phủ được đủ tốt.
And so if we see this thing get good coverage, we can expect it to learn a good policy.
Và nếu thấy nó bao phủ tốt, ta có thể kỳ vọng nó học được chính sách tốt.
Now, we skip forward 30,000 steps — so it's collected even more experience — skip forward a million steps, now through these random actions, it's seen pretty much everything.
Giờ ta tua đi 30.000 bước — nó thu thập thêm nhiều kinh nghiệm — tua đi một triệu bước, qua các hành động ngẫu nhiên này, nó đã thấy gần như mọi thứ.
But if we look at it, it's still not acting that great. Why is that? It's actually learned the optimal Q values, but it's still using an epsilon that's 0.8.
Nhưng nhìn vào thì nó vẫn chưa hành động tốt lắm. Tại sao vậy? Thực ra nó đã học được giá trị Q tối ưu, nhưng vẫn đang dùng epsilon bằng 0,8.
And so most of the time, it's not using those Q values to decide what to do. And so it's still behaving fairly poorly. But it essentially learned things underneath.
Nên phần lớn thời gian, nó không dùng các giá trị Q đó để quyết định làm gì. Vì vậy nó vẫn cư xử khá tệ. Nhưng về cơ bản nó đã học được bên dưới.
We can't know from just what we've seen so far, but we can hope for that.
Chỉ từ những gì đã thấy thì ta chưa biết chắc, nhưng ta có thể hy vọng vậy.
And soon it will decay, make epsilon smaller, and see that indeed, when it starts listening to its Q values, it's going to do really, really well.
Sắp tới ta sẽ giảm dần epsilon, và sẽ thấy rằng khi nó bắt đầu nghe theo các giá trị Q, nó sẽ làm rất, rất tốt.
But as long as epsilon is large, it's never going to work all that well. But it's learning. It's doing a little better than initially, with this large epsilon.
Nhưng chừng nào epsilon còn lớn, nó sẽ không bao giờ chạy tốt lắm. Nhưng nó đang học. Nó khá hơn lúc đầu một chút, dù epsilon lớn.
But to really see what it's learned, we've got to start decaying epsilon.
Nhưng để thật sự thấy nó đã học được gì, ta phải bắt đầu giảm epsilon.
So let's decay epsilon, bring it down to maybe even 0 completely, pure exploitation, no randomness anymore, and it's steadily making progress.
Vậy hãy giảm epsilon, đưa nó xuống thậm chí bằng 0 hẳn, khai thác thuần túy, không còn ngẫu nhiên nữa, và nó tiến bộ đều đặn.
And now we can see what it learned. Now some of you can, in general, do with your Q-learning agent, periodically switch to an epsilon that is 0, to see what it's learned so far.
Và giờ ta thấy nó đã học được gì. Nói chung, với tác tử Q-learning của mình, các em có thể định kỳ chuyển sang epsilon bằng 0 để xem nó đã học được gì.
OK, so this worked. Eventually, after we skip forward many, many, many episodes, we had to lower epsilon over time to make sure we see better behavior.
Vậy là cách này hiệu quả. Cuối cùng, sau khi tua qua rất nhiều episode, ta phải hạ epsilon theo thời gian để thấy hành vi tốt hơn.
So that's something we need to keep in mind if we want to get good behavior out. But we didn't have anything automatic.
Đó là điều cần nhớ nếu ta muốn có hành vi tốt. Nhưng ta chưa có gì tự động.
And what we're going to look at now is something called exploration functions that will help us decay the exploration automatically, based on how much you have already learned.
Và điều ta sắp xem là cái gọi là hàm khám phá (exploration function), giúp giảm khám phá một cách tự động, dựa trên lượng ta đã học được.
Once you've learned a lot, should maybe explore less.
Khi đã học nhiều, có lẽ nên khám phá ít đi.
OK, so we want to explore random actions that are good in some sense, but they explore a fixed amount.
Ta muốn khám phá các hành động ngẫu nhiên tốt theo nghĩa nào đó, nhưng chúng khám phá một lượng cố định.
A better idea is to pay attention to the parts of the space, where you don't know much yet. If you don't know much yet, you should try things you haven't seen yet.
Ý tưởng tốt hơn là chú ý đến những phần của không gian mà ta chưa biết nhiều. Nếu chưa biết nhiều, ta nên thử những thứ chưa thấy.
But if you already know how things work, there's no reason to, again, do random things. OK, so initially, you don't know, you need to go check it out.
Nhưng nếu đã biết mọi thứ vận hành thế nào, thì không có lý do gì phải làm việc ngẫu nhiên nữa. Vậy ban đầu, ta chưa biết, nên cần đến xem thử.
But then once you've been there, you don't want to keep randomly checking it out. What we're going to use is something called an exploration function. Let me say something about that.
Nhưng khi đã đến đó rồi, ta không muốn cứ ngẫu nhiên kiểm tra mãi. Cái ta sẽ dùng là một hàm khám phá (exploration function). Để tôi nói đôi điều về nó.
F here is a function that combines two things — an estimate of what will be a utility, u, and then takes in also account.
F ở đây là hàm kết hợp hai thứ — một ước lượng độ hữu dụng, u, và còn tính đến một số đếm.
So for each state action combination, we'll keep track of a utility and account.
Với mỗi cặp trạng thái-hành động, ta sẽ theo dõi một độ hữu dụng và một số đếm.
And rather than just choosing an action, based on its expected utility, we'll choose an action based on expected utility, plus this correction.
Thay vì chỉ chọn hành động dựa trên độ hữu dụng kỳ vọng, ta sẽ chọn hành động dựa trên độ hữu dụng kỳ vọng cộng thêm phần hiệu chỉnh này.
This correction, k, is a constant — let's see, maybe it's 10, who knows — some number. N is how often we've seen that state action pair.
Phần hiệu chỉnh này, k, là một hằng số — chẳng hạn là 10, tùy — một con số nào đó. N là số lần ta đã thấy cặp trạng thái-hành động đó.
Maybe we'll want an n plus 1 here, just to make sure that when we're at 0 it doesn't divide up to infinity.
Có thể ta muốn dùng n cộng 1 ở đây, để khi n bằng 0 thì phép chia không ra vô cùng.
But so what happens here is, when you've been somewhere only 0 times, this will be k. Once you've been somewhere two times, it'll be k over 2.
Điều xảy ra ở đây là, khi ta mới đến một nơi 0 lần, giá trị này sẽ là k. Khi đã đến hai lần, nó sẽ là k chia 2.
Once you've been somewhere 100 times, it'll be k over 100.
Khi đã đến 100 lần, nó sẽ là k chia 100.
And so the more often you've been somewhere, the lower the second quantity becomes, and so the less you add to how you perceive the utility of exercising that state action pair.
Vậy càng đến một nơi nhiều lần, đại lượng thứ hai càng nhỏ, và ta càng cộng ít hơn vào cách ta nhìn nhận độ hữu dụng của việc thực hiện cặp trạng thái-hành động đó.
So what would it mean? Regular Q updates look like this, and this is a shorthand notation for a weighted update. We already have an estimate of Q.
Vậy điều này nghĩa là gì? Cập nhật Q thông thường trông như thế này, và đây là ký hiệu viết tắt cho một cập nhật có trọng số. Ta đã có một ước lượng của Q.
We're going to have a new sample estimate of Q, and we're going to combine it, 1 minus alpha, the old thing, plus alpha the new thing, that's what this means.
Ta sẽ có một ước lượng mẫu mới của Q, và ta kết hợp chúng: 1 trừ alpha nhân cái cũ, cộng alpha nhân cái mới, đó là ý nghĩa của nó.
We're going to replace this now, instead of using this over here, we're going to correct it. So we're going to look for all actions that are available, and state s prime.
Giờ ta sẽ thay phần này, thay vì dùng cái ở đây, ta sẽ hiệu chỉnh nó. Ta sẽ xét tất cả các hành động khả dụng ở trạng thái s phẩy.
We're going to look at the Q values associated with action a prime, and state s prime. But also look at how often have we been in state s prime and taken action a prime.
Chúng ta sẽ xét các giá trị Q gắn với hành động a phẩy và trạng thái s phẩy. Nhưng đồng thời xét xem ta đã ở trạng thái s phẩy bao nhiêu lần và đã thực hiện hành động a phẩy bao nhiêu lần.
And this thing here will be computed, which will give a bonus to actions that haven't been taken very often yet in that state.
Phần này sẽ được tính ra, và nó cho điểm thưởng thêm cho những hành động chưa được thực hiện nhiều ở trạng thái đó.
So now, we're going to be favoring actions we haven't taken very often yet. What does it actually mean to favor these actions?
Như vậy, giờ ta sẽ ưu tiên những hành động mà ta chưa thực hiện nhiều. Ưu tiên các hành động này thực sự nghĩa là gì?
What it means is that when we compute the sample estimate in this calculation over here, we'll end up with higher values.
Nghĩa là khi ta tính ước lượng mẫu trong phép tính ở đây, ta sẽ ra các giá trị cao hơn.
So what that really means is that, if we're looking at the value of state s and action a, and we wonder how much is this really worth it to take action a and state s, it'll say, well, that depends on whether in state s prime there are high Q values.
Vậy thực chất là, nếu ta đang xét giá trị của trạng thái s và hành động a, và tự hỏi thực hiện hành động a ở trạng thái s thì đáng giá bao nhiêu, thì câu trả lời là: còn tùy ở trạng thái s phẩy có các giá trị Q cao hay không.
But also in state s prime, are there actions available we haven't taken very often yet?
Nhưng cũng tùy ở s phẩy có hành động nào mà ta chưa thực hiện nhiều hay không?
And if there are actions available in s prime that you haven't taken very often yet, and you can reach s prime from taking action a and state s, then that will start favoring that action a and state s.
Và nếu ở s phẩy có những hành động mà bạn chưa thực hiện nhiều, và bạn đến được s phẩy bằng hành động a ở trạng thái s, thì điều đó sẽ bắt đầu ưu tiên hành động a ở trạng thái s.
So you're kind of thinking ahead here with this update — you're saying, how good is my action, not just in terms of reward I'm going to get, but in terms of landing in a state s prime, where there are actions available I have not explored much yet.
Vậy là bạn đang nhìn xa hơn với bản cập nhật này: bạn hỏi hành động của mình tốt đến đâu, không chỉ xét theo phần thưởng nhận được, mà còn xét theo việc đến được trạng thái s phẩy, nơi có những hành động mà ta chưa khám phá nhiều.
And this will, of course, propagate back to the next one, next one, next one.
Và dĩ nhiên điều này sẽ lan truyền ngược về trạng thái kế, rồi kế nữa, kế nữa.
And what we'll build up over time is Q values — they're not the actual Q values, initially, but that estimate whether a certain action gives you exploration potential.
Theo thời gian, ta xây dựng các giá trị Q, ban đầu chưa phải giá trị Q thực sự, mà ước lượng xem một hành động có mang lại tiềm năng khám phá hay không.
And if an action is high exploration potential, you're more likely to take it.
Và nếu một hành động có tiềm năng khám phá cao, bạn càng dễ chọn nó.
And so what that means is if you have a complicated environment, or maybe need to run down a very long hallway, and behind that hallway there's a huge room with a lot of things to explore, then this thing will encourage you to go down that hallway until you've explored everything in that room.
Nghĩa là nếu bạn có một môi trường phức tạp, hoặc phải chạy qua một hành lang rất dài, và sau hành lang là một căn phòng rộng lớn có rất nhiều thứ để khám phá, thì cách này sẽ khuyến khích bạn đi hết hành lang đó cho đến khi khám phá xong mọi thứ trong phòng.
And once you have explored everything in that room sufficiently often, then these bonuses will start to decay — because the council will be high — and the bonus is based on 1 over the count.
Và khi bạn đã khám phá mọi thứ trong phòng đủ nhiều lần, các điểm thưởng này sẽ bắt đầu giảm, vì số đếm sẽ lớn, và điểm thưởng dựa trên 1 chia cho số đếm.
These bonuses will start to decay, you'll stop visiting that room.
Các điểm thưởng này sẽ bắt đầu giảm, và bạn sẽ thôi ghé căn phòng đó.
Or maybe, if there's actually a real value in that room, thanks to high Q values there, you'll still keep going there and go collect rewards.
Hoặc nếu căn phòng đó thực sự có giá trị, nhờ các giá trị Q cao ở đó, bạn vẫn tiếp tục đến và thu thập phần thưởng.
So it's a much more structured way of doing exploration, than just in the moment, picking something random. Any questions about this? Yes?
Đây là cách khám phá có cấu trúc hơn nhiều so với việc cứ tại chỗ chọn ngẫu nhiên một hành động. Có câu hỏi nào về phần này không? Em nói đi?
STUDENT
If you went down a hallway, wouldn't your n updates keep track of the fact that you've been down the hallway multiple times, and no longer treat it as a place to explore, even though you might not have seen everything in [INAUDIBLE]??
Nếu đi xuống hành lang đó, thì các cập nhật n chẳng phải sẽ ghi nhận việc ta đã đi qua hành lang nhiều lần, và không còn coi đó là nơi để khám phá nữa, dù có thể ta chưa thấy hết mọi thứ trong [KHÔNG NGHE RÕ]?
PROFESSOR
So let's say we have a hallway, bunch of states. And then here we have a massive room. And maybe here we have a hallway going another way, but only a small room.
Giả sử ta có một hành lang, gồm một loạt trạng thái. Và ở đây là một căn phòng rất lớn. Còn ở đây có một hành lang đi hướng khác, nhưng chỉ có một căn phòng nhỏ.
If you run standard epsilon-greedy based exploration, and let's say we start out here, we'll end up spending less than half of our time in this room, and more than half our time on this side.
Nếu chạy khám phá epsilon-greedy tiêu chuẩn, và giả sử ta xuất phát từ đây, ta sẽ dành chưa đến một nửa thời gian ở căn phòng này, và hơn một nửa thời gian ở phía bên này.
That's not good. We don't get a whole lot. Now, your question is, why do we do better with this approach? Is it really true that we're doing better with this approach?
Như vậy không tốt. Ta không thu được bao nhiêu. Câu hỏi của em là: sao cách này lại tốt hơn? Có thật là cách này tốt hơn không?
Let's think about this. So let's say we go down this hallway.
Ta cùng nghĩ thử. Giả sử ta đi xuống hành lang này.
First time we go down, what will happen is, based on novelty, there will be updates to the states before, because we had actions available in the next state that make that state look good.
Lần đầu đi xuống, do tính mới lạ, sẽ có các cập nhật cho các trạng thái phía trước, vì ở trạng thái kế tiếp có những hành động khiến trạng thái đó trông tốt. làm cho trạng thái đó trông tốt.
These updates, based on high exploration bonus, because n is still low, will initially favor all states here. Then your question is, after you've been down that hallway many, many times, what will happen?
Các cập nhật này, dựa trên điểm thưởng khám phá cao vì n vẫn còn thấp, ban đầu sẽ ưu tiên mọi trạng thái ở đây. Câu hỏi của em là, sau khi đã đi xuống hành lang đó rất nhiều lần thì chuyện gì xảy ra?
What will happen is they will still be high, because you will still experience new things somewhere in this room, and they will back-propagate through these updates into the states in the hallway.
Chúng vẫn sẽ cao, vì bạn vẫn gặp điều mới ở đâu đó trong căn phòng này, và chúng sẽ lan truyền ngược qua các cập nhật về các trạng thái trong hành lang.
Until at some point, there is no bonus any more to be collected from this big room, at which point, these Q values will start dropping down, because there will be no contributions anymore from the exploration bonus.
Cho đến một lúc nào đó, không còn điểm thưởng nào để thu từ căn phòng lớn này, khi đó các giá trị Q sẽ bắt đầu giảm xuống, vì không còn đóng góp nào nữa từ điểm thưởng khám phá.
So the main point here is that, even if exploration bonuses might not be that high anymore intrinsically in the moment, if you just think of them as rewards, because they propagate into Q values, you'll still continue to favor going down that hallway.
Điểm chính ở đây là, dù điểm thưởng khám phá có thể không còn cao nữa xét riêng tại thời điểm đó, nếu coi chúng như phần thưởng, thì vì chúng lan truyền vào các giá trị Q, bạn vẫn tiếp tục ưu tiên đi xuống hành lang đó.
Any other questions about this?
Còn câu hỏi nào khác không?
OK, then let's take a look at crawler with an exploration function.
Được rồi, giờ ta xem crawler với một hàm khám phá.
So this same setup before, epsilon is still 0.1 to ensure that there is at least initially a little bit of randomness, because if epsilon is 0 initially, then you already have a deterministic policy and you're not going to see multiple things to see that there are exploration bonuses.
Thiết lập vẫn như trước, epsilon vẫn là 0,1 để đảm bảo ít nhất ban đầu có một chút ngẫu nhiên, vì nếu epsilon ban đầu bằng 0 thì bạn đã có một chính sách tất định và sẽ không thấy được nhiều thứ để nhận ra các điểm thưởng khám phá.
So your epsilon is non-zero, but pretty small. So your behavior will be dominated by the Q function.
Vậy epsilon khác 0 nhưng khá nhỏ. Nên hành vi sẽ bị chi phối bởi hàm Q.
With an exploration function, what that means, it'll be dominated by a combination of how novel are the things available to me after I take this action, and how much reward is available to me after I take this action?
Với hàm khám phá, điều đó có nghĩa là hành vi bị chi phối bởi sự kết hợp giữa mức độ mới lạ của những thứ có sẵn sau khi tôi thực hiện hành động này, và lượng phần thưởng có sẵn sau khi tôi thực hiện hành động này?
Let's run this. This time, we're not going to jump forward by skipping 30,000 steps, or 1 million steps, we're just letting it run live.
Chạy thử nào. Lần này, ta sẽ không tua nhanh bằng cách bỏ qua 30.000 bước, hay 1 triệu bước, mà chỉ để nó chạy trực tiếp.
And so we're going to just, in about 10, 20 seconds, see this thing learn to do things. Right now there's still a lot of exploration, still a lot of things it hasn't tried.
Và chỉ trong khoảng 10, 20 giây nữa, chúng ta sẽ thấy nó học cách làm mọi thứ. Lúc này nó vẫn còn khám phá rất nhiều, vẫn còn rất nhiều thứ nó chưa thử.
And so, it's doing a lot of things to learn more. But then at some point, the exploration bonus starts to decay, because you've seen things before, you've tried them before.
Nên nó làm rất nhiều việc để học thêm. Nhưng đến một lúc nào đó, phần thưởng khuyến khích khám phá bắt đầu giảm dần, vì bạn đã thấy những thứ này rồi, đã thử chúng rồi.
Then that propagates into Q values, which then become dominated by actual reward, and it starts exploiting.
Khi đó điều này lan truyền vào các giá trị Q, và chúng bị chi phối bởi phần thưởng thực sự, rồi nó bắt đầu khai thác.
And so here, we've got something in just order of a few hundred or 1,000 steps, rather than needing to skip forward a million steps before we get good behavior.
Vậy là ở đây, chỉ sau khoảng vài trăm hoặc 1.000 bước, chúng ta đã có kết quả, thay vì phải tua tới cả triệu bước mới có hành vi tốt.
OK, so that's Q-learning with exploration. There is some other concept that's good to be aware of, it's called regret.
Được rồi, đó là Q-learning với khám phá. Có một khái niệm khác cũng nên biết, gọi là regret (sự hối tiếc).
It's a term that you know in real life — it's when you do something and you wish you hadn't done it. Maybe some people are thinking about that right now in Washington, not sure.
Đây là từ bạn biết trong đời thực: khi bạn làm một việc rồi ước gì mình đã không làm. Có lẽ một số người đang nghĩ về điều đó ngay lúc này ở Washington, không chắc nữa.
So there is a notion in AI also about regret, and it's actually quite related to the real life notion, at least the one of wishing you hadn't done something you did.
Trong AI cũng có khái niệm regret, và nó khá liên quan đến khái niệm ngoài đời, ít nhất là việc ước gì mình đã không làm điều đã làm.
More formally, when we have an algorithm, we could try to compare them just based on did it get to an optimal policy, or we could compare it based on how quickly did it achieve an optimal policy.
Chính thức hơn, khi có một thuật toán, ta có thể so sánh chúng chỉ dựa trên việc nó có đạt chính sách tối ưu không, hoặc dựa trên việc nó đạt được chính sách tối ưu nhanh đến đâu.
For example, we know epsilon-greedy Q-learning, and exploration function Q-learning both ultimately achieve optimal policies.
Ví dụ, ta biết Q-learning epsilon-greedy và Q-learning với hàm khám phá đều cuối cùng đạt chính sách tối ưu.
So how can we quantify that notion that we believe one of them is slightly better than another one?
Vậy làm sao định lượng niềm tin rằng một cái tốt hơn cái kia đôi chút?
Well, one way to do it is to say, let's see during the learning how much reward is accumulated.
Một cách là xem trong lúc học tích lũy được bao nhiêu phần thưởng.
Let's have this thing run, let's say, for 10 million steps, and see over the entire duration how much reward was accumulated. Not just how good is at the end, but in the entire process.
Cho nó chạy, giả sử 10 triệu bước, và xem trên toàn bộ quá trình tích lũy được bao nhiêu phần thưởng. Không chỉ xem cuối cùng tốt đến đâu, mà cả quá trình.
Then all of a sudden you're measuring how fast the learning is, not just how good the learning is when it's done. So regret measures the difference in that sense.
Khi đó bạn đang đo việc học nhanh đến mức nào, chứ không chỉ học tốt đến mức nào khi xong. Regret đo sự chênh lệch theo nghĩa đó.
If you had an optimal learner, that learned as quickly as possible, versus your learner, what's the difference?
Nếu có một bộ học tối ưu, học nhanh nhất có thể, so với bộ học của bạn, thì chênh lệch là bao nhiêu?
And so random exploration will have much higher regret than an exploration function-based learner.
Vì vậy khám phá ngẫu nhiên sẽ có regret cao hơn nhiều so với bộ học dùng hàm khám phá.
Now, you're never going to have zero regret, by the way, in reinforced learning, because if you don't know how in the world works, you still have to try things out and find out whether they're good or bad.
Nhân tiện, bạn sẽ không bao giờ có regret bằng không trong học tăng cường, vì nếu bạn không biết thế giới vận hành ra sao, bạn vẫn phải thử để biết việc đó tốt hay xấu.
But different approaches will have less regret if they're better.
Nhưng các cách tiếp cận khác nhau sẽ có ít regret hơn nếu chúng tốt hơn.
OK, so far we've looked at exact methods — that is methods that give us the exact solution we need if we run it long enough.
Được rồi, đến giờ ta đã xem các phương pháp chính xác, tức là các phương pháp cho ra lời giải chính xác nếu chạy đủ lâu.
Now we're going to look at ways of approximating the solution. It's the first type of approximation we'll do, and we'll see a lot more approximation the later half of the course.
Giờ ta sẽ xem các cách xấp xỉ lời giải. Đây là kiểu xấp xỉ đầu tiên, và ta sẽ còn gặp nhiều xấp xỉ hơn ở nửa sau của môn học.
But we'll see already one pretty basic machine learning idea today. So what we're interested in is generalizing across states.
Nhưng hôm nay ta đã thấy một ý tưởng machine learning khá cơ bản. Điều ta quan tâm là khái quát hóa qua các trạng thái.
When we look at basically Q-learning, it's nice, it keeps track of a table of all Q values. And that's good if you can fit all your Q values in a small table.
Q-learning thì hay ở chỗ nó lưu một bảng tất cả các giá trị Q. Điều đó tốt nếu bạn nhét được mọi giá trị Q vào một bảng nhỏ.
But in realistic situations, the number of states to visit is very, very large, and you will not be able to store a table with a Q value for every state action pair.
Nhưng trong thực tế, số trạng thái cần ghé qua rất rất lớn, và bạn sẽ không thể lưu bảng có giá trị Q cho mọi cặp trạng thái-hành động. .
So if you can't do that, how are you going to run Q-learning? Well, maybe you say just I buy a bigger computer to store everything.
Nếu không làm được thì chạy Q-learning thế nào? Có thể bạn nói: mua máy tính lớn hơn để lưu hết.
But let's say that even that will not do the job for you — the space is too large, you can not store a Q value for every state action pair.
Nhưng giả sử ngay cả vậy cũng không đủ: không gian quá lớn, bạn không thể lưu giá trị Q cho mọi cặp trạng thái-hành động.
OK, well the key idea is going to be that we want to generalize — we want to learn about a small number of training states from experience, and then generalize that experience to do well in new situations we've not been in before, but that are related.
Ý tưởng chính là ta muốn khái quát hóa: ta muốn học từ một số ít trạng thái huấn luyện qua kinh nghiệm, rồi khái quát kinh nghiệm đó để làm tốt trong các tình huống mới chưa từng gặp, nhưng có liên quan.
A simple example would be, maybe you've never been in some new building before — but you've been in other buildings.
Một ví dụ đơn giản: có thể bạn chưa từng vào một tòa nhà mới nào đó, nhưng bạn đã vào các tòa nhà khác.
And from having been in other buildings, you know that trying a door is a good idea to try to get into a building.
Và từ việc đã vào các tòa nhà khác, bạn biết thử mở cửa là ý hay để vào được tòa nhà.
Even though you never tried that door before, you've never been in that specific state before, you knew it from other experience. Can we get the same thing here?
Dù bạn chưa từng thử cánh cửa đó, chưa từng ở đúng trạng thái cụ thể đó, bạn vẫn biết nhờ kinh nghiệm khác. Ở đây ta làm được như vậy không?
So you don't need to relearn everything in a new state, especially not if it's related to things you've seen in the past. Let's take a look at Pac-Man in action.
Bạn không cần học lại mọi thứ ở trạng thái mới, nhất là khi nó liên quan đến những thứ bạn từng thấy trước đây. Hãy xem Pac-Man hoạt động.
So first, we will look at Pac-Man running Q-learning in a very small world. And we'll just see Pac-Man learning from scratch.
Đầu tiên, ta xem Pac-Man chạy Q-learning trong một thế giới rất nhỏ. Ta sẽ thấy Pac-Man học từ con số không.
A lot of losses, because initially the Q values aren't all that good. In fact, mostly losses.
Thua rất nhiều, vì ban đầu các giá trị Q chưa tốt lắm. Thực ra gần như toàn thua.
But sometimes a win gets him some better reward, and might learn from that how to do better in the future. But doesn't learn too quickly. OK, this is taking a long time.
Nhưng thỉnh thoảng thắng giúp nó có phần thưởng tốt hơn, và có thể học từ đó để làm tốt hơn sau này. Nhưng nó học không nhanh lắm. Được rồi, cái này mất nhiều thời gian.
Often in Q-learning, you don't want to watch everything in detail, and we try to close this.
Trong Q-learning, thường bạn không muốn xem chi tiết mọi thứ, nên ta sẽ đóng cái này.
Let's now have it silently train for 2,000 episodes, and then after that, we'll watch it again.
Giờ cho nó huấn luyện âm thầm 2.000 episode, rồi sau đó ta sẽ xem lại.
So it's trained silently, or it is training silently for 2,000 episodes. It's becoming better. And now that she has Q function, that prescribes a pretty good policy, and it seems to usually win.
Vậy là nó đã huấn luyện âm thầm, trong 2.000 episode. Nó đang tốt dần lên. Và giờ khi đã có hàm Q, cái cho ra một chính sách khá tốt, và nó thường thắng.
So let's think about 2,000 episodes.
Hãy nghĩ về 2.000 episode này.
It's actually a very small world — there is only six positions for Pac-Man, six positions for the ghost, there's one food pellet, but it took 2,000 episodes to learn.
Thực ra đây là một thế giới rất nhỏ: Pac-Man chỉ có sáu vị trí, con ma cũng sáu vị trí, và có một viên thức ăn, vậy mà phải mất 2.000 episode để học.
Very long time.
Rất lâu.
Let's look at a slightly bigger one. Let's look at still very small, but just slightly bigger.
Hãy xem một thế giới lớn hơn một chút. Vẫn rất nhỏ thôi, chỉ lớn hơn một chút.
Well, north action was interesting to try at first. Here's trying some other things.
Lúc đầu, hành động đi lên phía bắc khá thú vị để thử. Đây là nó thử vài thứ khác.
You look at it, it seems like it's pretty dumb, why is it not doing the right thing? Well, actually, it's in new states. Experiencing things it's never experienced before.
Nhìn vào thì thấy nó có vẻ khá ngốc, sao nó không làm đúng? Thực ra là vì nó đang ở những trạng thái mới. Trải nghiệm những thứ nó chưa từng gặp.
To us, they look similar, because being eaten by a ghost, doesn't matter which square you're on, you're eaten.
Với chúng ta, chúng trông giống nhau, vì bị ma ăn thì đứng ở ô nào cũng vậy, đều bị ăn.
But for Pac-Man, being eaten in at square, 2-2 might be very different from being eaten at square 2-3, because it's a different state.
Nhưng với Pac-Man, bị ăn ở ô 2-2 có thể rất khác với bị ăn ở ô 2-3, vì đó là một trạng thái khác.
And so it needs to learn a different value for that, if you run standard Q-learning.
Nên nó cần học một giá trị khác cho trường hợp đó, nếu bạn chạy Q-learning chuẩn.
And so you want to get away from that — we don't want to have to re-learn that getting eaten by a ghost, what it means in every single square.
Và ta muốn thoát khỏi điều đó: ta không muốn phải học lại việc bị ma ăn có ý nghĩa gì ở từng ô một.
Same thing for eating a food pellet, and so forth. We want to somehow generalize experience. And that should lead to much faster learning.
Ăn viên thức ăn cũng vậy, v.v. Ta muốn bằng cách nào đó khái quát hóa kinh nghiệm. Và điều đó sẽ giúp học nhanh hơn nhiều.
OK, so to make this even more explicit, imagine you run Q-learning, and you have discovered that this state is a bad state. It seems a good thing to have learned.
Để làm rõ hơn nữa, hãy tưởng tượng bạn chạy Q-learning và phát hiện ra trạng thái này là trạng thái xấu. Đó có vẻ là điều tốt khi học được.
Now, what if you're in this state? That's almost the same state.
Vậy nếu bạn ở trạng thái này thì sao? Nó gần như là cùng một trạng thái.
But actually, it's just a different entry in the Q table, and it doesn't — if you do standard Q-learning, you know nothing about this. How about this one?
Nhưng thực ra nó chỉ là một mục khác trong bảng Q, và nó không... nếu dùng Q-learning chuẩn, bạn không biết gì về nó. Còn cái này thì sao?
I mean, this is extremely similar to that first one, spot the differences up here — small difference. One food pellet is not there, but in the Q table, it's just a different entry.
Cái này cực kỳ giống cái đầu tiên, hãy tìm điểm khác ở phía trên này, khác biệt rất nhỏ. Một viên thức ăn không còn, nhưng trong bảng Q nó chỉ là một mục khác.
And you have learned nothing about that new entry from your past experience, if you use regular tabular Q-learning.
Và bạn chưa học được gì về mục mới đó từ kinh nghiệm trước đây, nếu dùng Q-learning dạng bảng thông thường.
We've seen those in action. So what can we do? You've actually seen this before in lecture five, I believe.
Chúng ta đã thấy chúng hoạt động rồi. Vậy ta có thể làm gì? Thực ra bạn đã thấy điều này trước đây, tôi nghĩ là ở bài giảng năm.
Let's see, maybe — in games, lecture seven, lectures seven in games. We looked at evaluation functions.
Để xem nào, có lẽ là phần trò chơi, bài giảng bảy, bài giảng bảy về trò chơi. Chúng ta đã xem các hàm đánh giá.
Evaluation functions was this thing where you said to decide how good a situation is, I can't run all the way till the end of the game to evaluate it, because the min and max calculation is just too much.
Hàm đánh giá là thứ mà ta nói rằng để quyết định một tình huống tốt đến đâu, tôi không thể chạy đến tận cuối ván để đánh giá, vì tính toán min và max quá nhiều.
What I'm going to do is just have an estimate. And that estimate is some weighted sum of different contributing factors.
Thay vào đó tôi sẽ chỉ dùng một ước lượng. Và ước lượng đó là một tổng có trọng số của các yếu tố đóng góp khác nhau.
So for example, distance to closest ghost — that might be important in evaluating how good your current situation is. Distance to closest dot, number of ghosts, maybe one over the distance to dots squared.
Ví dụ, khoảng cách đến con ma gần nhất, có thể quan trọng khi đánh giá tình huống hiện tại tốt đến đâu. Khoảng cách đến chấm gần nhất, số con ma, có thể là một trên bình phương khoảng cách đến các chấm.
Is Pac-Man in a tunnel or not? If you're in a tunnel, you might get cornered more easily, so maybe that's not as good a place to be. And many more.
Pac-Man có đang ở trong đường hầm không? Ở trong đường hầm thì dễ bị dồn vào góc hơn, nên có lẽ đó không phải chỗ tốt để đứng. Và còn nhiều nữa.
And so what you do there is you design a set of features, and these features evaluate some aspects of the current situation that you think contribute to how good that situation is.
Vậy ở đây bạn thiết kế một tập các đặc trưng (feature), và các đặc trưng này đánh giá một số khía cạnh của tình huống hiện tại mà bạn nghĩ góp phần vào việc tình huống đó tốt đến đâu.
And then actually in your project two, you played with those features and how to sum them together in a weighted fashion that this might come out well.
Và trong project hai, bạn đã thử với các đặc trưng đó và cách cộng chúng lại theo trọng số sao cho cho kết quả tốt.
What we're going to get new now in Q-learning is that you we'll learn how to combine these features in the right way.
Điều mới bây giờ trong Q-learning là ta sẽ học cách kết hợp các đặc trưng này một cách đúng đắn.
So more concretely, we could either do this for value learning or for Q-learning — let's focus on the Q-learning one — we'll now see our Q function is a weighted sum of feature values.
Cụ thể hơn, ta có thể làm điều này cho học giá trị hoặc cho Q-learning; hãy tập trung vào Q-learning nhé. Giờ hàm Q của ta là tổng có trọng số của các giá trị đặc trưng. các giá trị.
And the weights here, rather than setting them by hand and us saying, oh, I think this ghost is so much more important than this is the food pellet, maybe 10 here, one there.
Còn các trọng số ở đây, thay vì tự đặt bằng tay kiểu, ồ, tôi nghĩ con ma này quan trọng hơn nhiều so với viên thức ăn, có thể 10 ở đây, một ở kia.
Rather than doing that, we're going to run Q-learning, and we're going to expect from Q-learning to learn these weights.
Thay vì làm vậy, ta sẽ chạy Q-learning, và ta kỳ vọng Q-learning học ra các trọng số này.
Such that, once you've learned them, these Q values computed, using those weights, are hopefully fairly precise Q values. Will they be perfect? Probably not.
Để khi đã học xong, các giá trị Q tính bằng những trọng số đó hy vọng là khá chính xác. Chúng có hoàn hảo không? Có lẽ không.
Because it's unlikely that with your weighted sum of features that you can represent the exact optimal Q function.
Vì khó mà với tổng có trọng số của các đặc trưng bạn biểu diễn được chính xác hàm Q tối ưu.
But hopefully you can get pretty close with your weighted sum of features, and learn something that's very useful as a consequence to act in a new environment.
Nhưng hy vọng bạn có thể xấp xỉ khá sát bằng tổng có trọng số của các đặc trưng, và học được thứ rất hữu ích để hành động trong một môi trường mới.
And also, you can learn a lot more quickly, because thanks to these features, if you're in new states, where similar features trigger, you already know something about those states before you've ever been there.
Và bạn cũng học nhanh hơn nhiều, vì nhờ các đặc trưng này, nếu bạn ở trạng thái mới mà các đặc trưng tương tự được kích hoạt, bạn đã biết điều gì đó về các trạng thái ấy trước khi từng đến đó.
Disadvantage to keep in mind is that, if you don't have enough features, it could be that two states, as far as the features are concerned, are identical.
Nhược điểm cần nhớ là nếu bạn không có đủ đặc trưng, có thể hai trạng thái, xét theo các đặc trưng, là giống hệt nhau.
And that means you can not distinguish them anymore with your Q function. So you look at your features, and if you find two states that you think are really, really different.
Và điều đó nghĩa là hàm Q của bạn không còn phân biệt được chúng nữa. Bạn nhìn vào các đặc trưng, và nếu bạn thấy hai trạng thái mà bạn cho là rất khác nhau.
And one is really good, the other one is really bad, but they have the exact same feature values, there's no way your Q-learning agent, your approximate Q-learning agent, can distinguish them anymore, because the only thing it can do is interpret the state through the feature values.
Một cái rất tốt, cái kia rất tệ, nhưng chúng có giá trị đặc trưng y hệt nhau, thì tác tử Q-learning của bạn, tác tử approximate Q-learning, không thể phân biệt chúng được nữa, vì thứ duy nhất nó làm được là diễn giải trạng thái thông qua các giá trị đặc trưng.
OK, let's see. Actually let's take our small break here, and then look at how this works after the break.
OK, để xem nào. Thực ra mình nghỉ giải lao một chút ở đây, rồi sau giờ nghỉ ta sẽ xem cách nó hoạt động.
All right, any questions about the first half of lecture?
Được rồi, có câu hỏi nào về nửa đầu bài giảng không?
Yes?
Bạn nào?
STUDENT
[INAUDIBLE] PROFESSOR: So the question is, why do we use this specific form factor to approximate our Q values?
[KHÔNG NGHE RÕ] GIÁO SƯ: Câu hỏi là, tại sao ta dùng dạng cụ thể này để xấp xỉ các giá trị Q?
There are many choices that can be made there.
Ở đây có nhiều lựa chọn khác nhau.
One nice thing about having a linear combination of features is that the learning updates we'll see are simpler to understand.
Một điểm hay của tổ hợp tuyến tính các đặc trưng là các bản cập nhật học mà ta sắp thấy dễ hiểu hơn.
There are ways to make this non-linear, and we will look at that at the very end of the course.
Có cách để làm nó phi tuyến, và ta sẽ xem phần đó ở cuối khóa.
But for now, we're going to assume that we have a set of features, and that the Q function that we want to fit is a weighted combination of those features.
Nhưng bây giờ, ta sẽ giả sử rằng ta có một tập đặc trưng, và hàm Q mà ta muốn khớp là một tổ hợp có trọng số của các đặc trưng đó.
But we'll revisit that assumption maybe in lecture 20, or something, or 22.
Nhưng ta sẽ xem lại giả thiết đó có lẽ ở bài 20, hoặc 22 gì đó.
OK, so we wanted to approximate Q-learning now, so we want to learn these weights from experiences. Let's take a look at how this works.
OK, vậy ta muốn xấp xỉ Q-learning, tức là học các trọng số này từ kinh nghiệm. Cùng xem nó hoạt động thế nào.
We have a transition, and based on this transition we want to get a better estimate of these weights.
Ta có một chuyển tiếp, và dựa trên chuyển tiếp này ta muốn ước lượng các trọng số tốt hơn.
Well, just like before, we can look at the difference between the sample estimate of the Q function for state s and action a, with our current approximation so far.
Giống như trước, ta xét hiệu giữa ước lượng mẫu của hàm Q cho trạng thái s và hành động a, với xấp xỉ hiện tại của ta.
So this is the current sample, and this is the approximation so far.
Đây là mẫu hiện tại, còn đây là xấp xỉ cho đến lúc này.
Then, in traditional Q-learning, what we would do is we would say, OK, we have our estimate, and we're going to corrected by some scale factor alpha times the difference.
Trong Q-learning truyền thống, việc ta làm là lấy ước lượng hiện có, rồi hiệu chỉnh nó bằng hệ số alpha nhân với hiệu đó. Về cơ bản là đẩy nó về phía mẫu vừa thấy.
And nudge it in the direction of the sample we just saw, effectively. But not necessarily all the way there, that's why alpha is going to be smaller than one, because it's just a sample.
Nhưng không nhất thiết đi hết đường, vì vậy alpha nhỏ hơn một, bởi đó chỉ là một mẫu.
And we need to average many samples to know what it really should be. So we just nudge it in that direction. But now we don't have a table in which to store such updates.
Ta cần lấy trung bình nhiều mẫu để biết giá trị thật sự phải là bao nhiêu. Nên ta chỉ đẩy nó về hướng đó. Nhưng giờ ta không có bảng để lưu các cập nhật như vậy.
We can definitely retrieve QSA for the state action that we just experienced, we just need to run this evaluation here, weighted some of the features for that state action pair, but we don't have a table to store this update into.
Ta vẫn lấy được Q(s,a) cho cặp trạng thái-hành động vừa trải qua, chỉ cần tính tổng có trọng số các đặc trưng của cặp đó, nhưng ta không có bảng để lưu cập nhật này vào.
And we also don't want to have such a table — we want to, instead, update the weights, rather than table with Q values.
Và ta cũng không muốn có bảng như vậy — thay vào đó ta muốn cập nhật các trọng số, thay vì bảng giá trị Q.
Turns out that this is the update you end up with, in case you want to update the weights.
Hóa ra đây là cập nhật bạn nhận được, nếu muốn cập nhật các trọng số.
It's not derived on this slide — we'll see some intuition behind the derivation on some later slides, but for now, let's interpret this update. What does this say?
Slide này không suy ra nó — ta sẽ thấy trực giác của phép suy ra ở các slide sau, nhưng bây giờ hãy diễn giải cập nhật này. Nó nói lên điều gì?
It's saying that the weight for feature i, is whatever the weight for feature i was, plus some learning rate, times the difference, times the feature value.
Nó nói rằng trọng số của đặc trưng i bằng trọng số cũ của đặc trưng i, cộng tốc độ học, nhân hiệu, nhân giá trị đặc trưng. Ta nghĩ thử nhé — giả sử hiệu là dương.
Let's think about this — let's say the difference is positive. And for now, let's assume that the feature values are either zero or one.
Và tạm giả sử giá trị đặc trưng là không hoặc một. Nếu giá trị đặc trưng bằng không thì trọng số không đổi.
Then if the feature value is zero, nothing changes to the weights.
Đây là cặp trạng thái-hành động mà giá trị đặc trưng bằng không — nó không hoạt động, và trọng số không thay đổi, vì đó là trạng thái không có đặc trưng ấy.
So this was a state action pair where the feature value was zero — it was not active, and nothing changes about the weight, because it's a state where that feature isn't present.
Còn nếu giá trị đặc trưng bằng một thì sao? Giá trị đặc trưng là một, hiệu dương, nghĩa là mẫu cao hơn ước lượng hiện có của ta.
Now, what if the feature value is one, what happens? Well the feature value is one, and the difference is positive, meaning that the sample was higher than our estimate that we have.
Khi đó trọng số được cập nhật tăng. Kết quả là gì?
Then we get a positive update on the weight. What's the result of that?
Ta làm trọng số dương hơn, trọng số dương hơn đó nhân với giá trị đặc trưng, là một theo giả thiết hiện tại, sẽ làm tăng giá trị Q tại trạng thái s, hành động a.
We make the weight more positive, that more positive weight would get multiplied with this feature value, which is one in our current assumption, which would increase the Q value at state SA.
Vậy ta thấy hướng thay đổi là đúng. Khi giá trị đặc trưng là một, hiệu dương, trọng số tăng, nên ước lượng Q cũng tăng, đúng như ta muốn.
So we see we have the right behavior, in terms of direction that it goes.
Nó được đẩy đúng hướng. Còn nếu hiệu âm thì sao?
When feature value is one, difference is positive, weight goes up, which results in our Q estimate also going up, which is what we want. Gets nudged in the right direction.
Nghĩa là trải nghiệm ta có từ mẫu thấp hơn dự đoán, dựa trên xấp xỉ hàm Q hiện tại.
Now, what if the difference is negative? Meaning that the experience we got through the sample was lower than we had anticipated, based on our current Q function approximation.
Khi đó nó sẽ bị đẩy xuống, và đó cũng là điều ta muốn. Vì nếu trọng số bị đẩy xuống, thì khi tính lại giá trị Q cho (s,a), nó sẽ thấp hơn trước, vì trọng số thấp hơn nhân với một, cho tổng các đặc trưng có trọng số thấp hơn.
Well, then the way it will be nudged down, and that's also what we want.
Because if the weight gets nudged down, then that means if we reevaluate the Q value for SA, it's now going to be lower than it was before, because a lower weight was multiplied with one, resulting in a lower sum of these weighted features.
Vậy với trường hợp không-một, ta có hành vi rất hợp lý. Giờ để tổng quát hóa cách diễn giải này, hãy hình dung một đặc trưng liên tục hơn về miền giá trị — có thể từ âm 10 đến dương 10 — thì chuyện gì xảy ra?
So for the zero-one case, we get a behavior that makes a lot of sense.
Trước hết xét trường hợp nó bằng dương 10 — cao nhất có thể.
Now, to generalize this interpretation, imagine you have a feature that is more continuous in range — maybe it can go from negative 10 to plus 10 — then what's going to happen?
Giả sử trải nghiệm của ta khiến hiệu dương — mẫu cho ta nhiều hơn mong đợi. Nếu giá trị đặc trưng là 10, rất cao, và hiệu ở đây dương, thì trọng số sẽ tăng.
Let's first think about it being plus 10 — so as high as it can possibly get.
And let's say our experience is such that the difference is positive — we got more than we expected from our sample.
Nếu một đặc trưng khác chỉ bằng một, hiệu vẫn như vậy. Nó dương. Thì trọng số chỉ tăng một lượng bằng một.
Well, if our feature value is 10, very high, and we've got a positive difference here, then the weight will go up. If another feature was only one, the difference is still the same.
Vậy ta thấy rằng, nếu đặc trưng hoạt động mạnh hơn, trọng số sẽ tăng nhiều hơn. thì trọng số sẽ tăng lên. Nếu một đặc trưng khác chỉ bằng một, thì độ chênh lệch vẫn như cũ.
It's positive. Then it'll go up that way by only one. So what we see here is that, if your feature was more active, the weight will go up by more.
Nó dương. Khi đó trọng số cũng chỉ tăng lên một. Vậy ở đây ta thấy rằng, nếu đặc trưng của bạn hoạt động mạnh hơn, thì trọng số sẽ tăng nhiều hơn.
So whenever something is very active, there'll be a big correction — how big depends, of course, on the difference. And which direction depends on the difference.
Nên bất cứ khi nào một đặc trưng hoạt động mạnh, sẽ có một sự hiệu chỉnh lớn — lớn đến đâu thì tất nhiên phụ thuộc vào độ chênh lệch. Và hướng nào cũng phụ thuộc vào độ chênh lệch.
If the difference is positively a correction, the positive direction, the difference is negative in the negative direction. But we see that the correction is scaled by how big our feature was.
Nếu chênh lệch dương thì hiệu chỉnh theo hướng dương, còn nếu chênh lệch âm thì hiệu chỉnh theo hướng âm. Nhưng ta thấy hiệu chỉnh được nhân tỉ lệ với độ lớn của đặc trưng.
And that makes sense. Like if a feature takes on a higher value, it's a feature that's dominating how we think about that particular state.
Và điều đó hợp lý. Nếu một đặc trưng có giá trị cao hơn, thì đó là đặc trưng chi phối cách ta nghĩ về trạng thái cụ thể đó.
And so if there's a correction to be made for that state, the weights associated with those features should be updated the most.
Vì vậy nếu cần hiệu chỉnh cho trạng thái đó, các trọng số gắn với những đặc trưng ấy nên được cập nhật nhiều nhất.
Whereas, if a feature is very close to zero, then actually, it doesn't play much of a role in that state.
Ngược lại, nếu một đặc trưng rất gần 0 thì thực ra nó không đóng vai trò mấy trong trạng thái đó.
And so when we do an update, even when the difference might be relatively high, it gets multiplied with this low number, and it won't update very much for those weights.
Nên khi cập nhật, dù độ chênh lệch có thể khá cao, nó bị nhân với con số nhỏ này, và các trọng số đó sẽ không bị cập nhật nhiều.
OK, so now we know how to interpret this. And if things are negative, then things will work out, too, and there will be double negatives that cancel out the right way.
Vậy là ta đã biết cách diễn giải điều này. Nếu các giá trị âm thì mọi thứ vẫn ổn, sẽ có hai dấu âm triệt tiêu nhau đúng cách.
So what's happening on the underneath is weights get adjusted, and more adjustment — when there's a bigger difference, and when your features take on bigger values in absolute sense.
Vậy điều xảy ra bên dưới là các trọng số được điều chỉnh, và điều chỉnh nhiều hơn khi độ chênh lệch lớn hơn, và khi các đặc trưng có giá trị tuyệt đối lớn hơn.
We'll see a formal verification in a couple of slides. But let's first take a look at this in action.
Ta sẽ thấy phần kiểm chứng hình thức sau vài slide nữa. Nhưng trước hết hãy xem nó chạy thế nào.
Imagine you are in a Pac-Man world, and you have two features — one related to distance to the closest dot, and the other one related to distance to the closest ghost, maybe.
Hãy tưởng tượng bạn ở thế giới Pac-Man, và có hai đặc trưng — một liên quan đến khoảng cách tới chấm gần nhất, và một liên quan đến khoảng cách tới con ma gần nhất chẳng hạn.
And so maybe you initialize it, and you say, well, I think being close to a ghost is not good.
Có thể bạn khởi tạo và nói, tôi nghĩ ở gần ma là không tốt.
So maybe I should have something where somehow it contributes in the opposite way where distance is actually good. So this is actually not a good initialization. We wouldn't like this negative 1.
Nên có thể tôi đặt sao đó để nó đóng góp theo chiều ngược lại, tức là khoảng cách thực ra là tốt. Đây thực ra là khởi tạo không tốt. Ta không muốn con số -1 này.
You really would want ghosts to be far away, so large distance should be positive. But there's just how you initialized it. OK, let's see what happens. We have a world.
Ta thật sự muốn ma ở xa, nên khoảng cách lớn phải là dương. Nhưng đó chỉ là cách ta khởi tạo. Được, xem chuyện gì xảy ra. Ta có một thế giới.
We have a current experience. We take the action north. We get from that a next state and a reward. It was a pretty bad action, we got eaten by the ghost.
Ta có một trải nghiệm hiện tại. Ta thực hiện hành động đi lên phía bắc. Từ đó ta nhận được trạng thái kế tiếp và phần thưởng. Đó là hành động khá tệ, ta bị ma ăn mất.
Reward is minus 500. And the Q-value of s prime — no action's available, the game's over — is 0. No reward anymore when the game is over. OK.
Phần thưởng là -500. Và giá trị Q của s phẩy — không còn hành động nào, trò chơi kết thúc — là 0. Hết trò chơi thì không còn phần thưởng nữa. Được.
So that gives us a sample estimate. Our sample estimate is minus 500. What was our actual estimate? Well, that's based on this equation over here.
Vậy ta có một ước lượng mẫu. Ước lượng mẫu của ta là -500. Còn ước lượng hiện tại của ta là bao nhiêu? Nó dựa trên phương trình này ở đây.
It's 4 times F dot, which is 0.5, so that contributes 2 here. And then negative 1 times 1, which is a negative 1. Sum that together, it gives us plus 1.
Là 4 nhân F chấm, bằng 0,5, nên đóng góp 2 ở đây. Rồi -1 nhân 1, được -1. Cộng lại ta được +1.
So our estimate used to be plus 1 for the state-action pair. Our sample says negative 500. So we need to revise this down. What will the update do?
Vậy ước lượng cho cặp trạng thái-hành động này trước đây là +1. Mẫu của ta nói là -500. Nên ta cần điều chỉnh giảm xuống. Bước cập nhật sẽ làm gì?
It will say, OK, for each weight we update it by a little nudge in the direction — the difference says in which direction — and then multiply it with the feature vector.
Với mỗi trọng số, ta cập nhật bằng một bước nhích nhỏ theo hướng — độ chênh lệch cho biết hướng nào — rồi nhân với vectơ đặc trưng.
And so here, the first one, the feature value was 0.5. Second one, 1. After the update, we get this approximation for our Q-value. Of course, just one update is not enough.
Ở đây, đặc trưng thứ nhất có giá trị 0,5. Đặc trưng thứ hai là 1. Sau cập nhật, ta có xấp xỉ này cho giá trị Q. Tất nhiên chỉ một lần cập nhật là chưa đủ.
We'll need to keep doing this to get better Q-values over time. But that's mechanically what happens underneath. Now, let's justify this. So actually, let's watch it in action first, before we justify it.
Ta phải tiếp tục để có giá trị Q tốt hơn theo thời gian. Nhưng về mặt cơ chế thì bên dưới diễn ra như vậy. Giờ hãy biện minh cho điều này. Nhưng thực ra hãy xem nó chạy trước, rồi hẵng biện minh.
We'll run approximate Q-learning in a pretty big grid.
Ta sẽ chạy Q-learning xấp xỉ trên một lưới khá lớn.
No success in the first one. It didn't realize the ghosts are bad. But now it's done an update, and hopefully it realizes being close to ghosts is bad.
Lần đầu không thành công. Nó chưa nhận ra ma là xấu. Nhưng giờ nó đã cập nhật, và hy vọng nó nhận ra ở gần ma là xấu.
But it still didn't anticipate it well enough. Definitely those food pellets are good. There's a lot of reward in those.
Nhưng nó vẫn chưa lường trước đủ tốt. Chắc chắn những viên thức ăn kia là tốt. Có rất nhiều phần thưởng ở đó.
And now it seems to have learned that staying away from ghosts is a good thing. It hasn't explored the power pellets, so it doesn't know anything about those.
Và giờ có vẻ nó đã học được rằng tránh xa ma là điều tốt. Nó chưa khám phá các viên năng lượng, nên không biết gì về chúng.
It's possible that the random initialization of the weights in front of the power pellet feature made it a negative thing.
Có thể việc khởi tạo ngẫu nhiên các trọng số của đặc trưng viên năng lượng đã làm nó thành thứ tiêu cực.
And so maybe that's why it's staying away from it, if we don't explore enough.
Và có lẽ đó là lý do nó tránh xa viên đó, nếu ta khám phá chưa đủ.
We see that actually this is all the episodes it's had — about 10 episodes so far maybe — and it's already playing pretty well.
Ta thấy đây là toàn bộ các episode nó đã chơi — khoảng 10 episode cho đến giờ — mà nó đã chơi khá tốt rồi.
Compare this with a really tiny world, where we needed hundreds if not thousands of episodes before we learned anything about using tabular Q-learning. Why can it learn so quickly here?
So sánh với một thế giới rất nhỏ, nơi ta cần hàng trăm, nếu không muốn nói hàng nghìn episode mới học được gì đó khi dùng Q-learning dạng bảng. Tại sao ở đây nó học nhanh vậy?
It's approximate Q-learning with a small number of features. It's not much to be learned.
Đó là Q-learning xấp xỉ với số đặc trưng nhỏ. Không có nhiều thứ phải học.
If your features are just how close you get to the next food pellet and how close are you to a ghost, then it's only two numbers to be learned.
Nếu các đặc trưng chỉ là bạn gần viên thức ăn kế tiếp đến mức nào và gần ma đến mức nào, thì chỉ có hai con số cần học.
It's how to trade those off. Once you learn those numbers, you're good to go. And that's why from a relatively small amount of experience, it's possible to learn a Q-function that's pretty good.
Đó là cách cân bằng giữa hai thứ ấy. Học xong các con số đó là bạn ổn. Và đó là lý do từ một lượng trải nghiệm khá nhỏ, ta vẫn có thể học được hàm Q khá tốt.
So how do we justify this a little more formally? So we'll refer to something called least squares here. Hopefully, many of you have seen that before.
Vậy làm sao biện minh việc này hình thức hơn một chút? Ta sẽ nhắc đến thứ gọi là bình phương tối thiểu (least squares). Hy vọng nhiều bạn đã thấy nó trước đây.
The notion of least squares is that you have a bunch of points, and you'd like to fit a line through those points, at least in the simplest version of least squares.
Ý tưởng của bình phương tối thiểu là bạn một loạt điểm, và bạn muốn khớp một đường thẳng qua các điểm đó, ít nhất là trong phiên bản đơn giản nhất của bình phương tối thiểu.
So how does that work? So we have a feature value, F1, just one feature. We have a y, the value we want to predict.
Vậy nó hoạt động thế nào? Ta có một giá trị đặc trưng F1, chỉ một đặc trưng. Ta có y, giá trị ta muốn dự đoán.
And we have a bunch of red dots, which shows experiences, samples, of what we should have predicted for those specific feature values.
Và ta có một loạt chấm đỏ, biểu diễn các trải nghiệm, các mẫu, về những gì lẽ ra ta phải dự đoán cho những giá trị đặc trưng đó.
And the way we're going to predict in the future is by fitting a line to those points.
Và cách ta sẽ dự đoán trong tương lai là khớp một đường thẳng qua các điểm đó.
We're going to say, well, I'm going to put it as some offset plus a slope times feature value. And one line is shown there.
Ta sẽ nói rằng, ta sẽ viết nó dưới dạng một độ lệch cộng với hệ số góc nhân giá trị đặc trưng. Ở đây có vẽ một đường.
The question is, what would be a good line to choose? You'd probably say a line that's close to all the points. But what does it mean to be close to all the points?
Câu hỏi là, chọn đường nào thì tốt? Có lẽ bạn sẽ nói là đường gần tất cả các điểm. Nhưng gần tất cả các điểm nghĩa là gì?
What does that mean? How do we know which w0, w1 make this line closest to all the points? Can we make this mathematically formal?
Điều đó nghĩa là gì? Làm sao biết w0, w1 nào làm đường này gần nhất với tất cả các điểm? Ta có thể hình thức hóa điều này bằng toán học không?
Then ideally, our Q-values would be mathematically, in some formal way, closer to the optimal Q-values. And also, you can do this in higher dimensions, of course.
Khi đó, lý tưởng là các giá trị Q của ta sẽ gần hơn, theo nghĩa hình thức, với các giá trị Q tối ưu. Và tất nhiên bạn cũng có thể làm điều này ở chiều cao hơn.
When we estimate the Q-values, it's not going to be just one feature. It's going to be many, many features.
Khi ước lượng các giá trị Q, sẽ không chỉ có một đặc trưng. Sẽ có rất nhiều đặc trưng.
Now there's two features here, but in practice it might be three, four, even hundreds or thousands of features.
Ở đây có hai đặc trưng, nhưng trong thực tế có thể là ba, bốn, thậm chí hàng trăm hoặc hàng nghìn đặc trưng.
Generalization for two features then would be fitting a plane through a set of points in a three-dimensional space. And then beyond that, we can't visualize it.
Khái quát cho hai đặc trưng là khớp một mặt phẳng qua một tập điểm trong không gian ba chiều. Còn xa hơn nữa thì ta không thể hình dung được.
Actually, one thing I want to note — on the slides when we have one of these, it means that this is something we think is really useful for you to know, but that we're not going to quiz you on on an exam.
Thực ra, có một điều tôi muốn lưu ý: trên các slide khi có dấu này, nghĩa là đây là thứ chúng tôi thấy thật sự hữu ích để các bạn biết, nhưng chúng tôi sẽ không hỏi trong kỳ thi.
That's what the star means here. So it's really good for you to know this.
Dấu sao ở đây có nghĩa như vậy. Nên rất tốt nếu các bạn biết điều này.
But we also know that we don't require maybe in our pre-reqs the background that makes this maximally easy to follow along. And some of you might not have that background.
Nhưng chúng tôi cũng biết là các môn tiên quyết có thể chưa đòi hỏi nền tảng giúp việc theo dõi dễ nhất. Và một số bạn có thể chưa có nền tảng đó.
And so we're not going to require you to now go study that background to understand these few slides.
Vì vậy chúng tôi không yêu cầu các bạn phải đi học nền tảng đó để hiểu vài slide này.
But we think most of you do have the background and will benefit a lot from seeing where this comes from. So least squares, what does it do?
Nhưng chúng tôi nghĩ phần lớn các bạn có nền tảng đó và sẽ được lợi nhiều khi thấy điều này đến từ đâu. Vậy bình phương tối thiểu làm gì?
It says, I'm going to measure vertical distance of my line to each of the points. And I want the sum of the squares of the vertical distances to be as small as possible.
Nó nói rằng, tôi sẽ đo khoảng cách theo phương đứng từ đường thẳng đến từng điểm. Và tôi muốn tổng bình phương của các khoảng cách đứng này nhỏ nhất có thể.
That's how I'm going to measure how good my line is. So that would be this. Y i-hat is my prediction. There is y i, which is given.
Đó là cách tôi đo đường thẳng của mình tốt đến đâu. Vậy nó là cái này. y i-hat là dự đoán của tôi. Còn y i là giá trị cho trước.
And then, I want to see the difference squared, y-squared. Because if we just average the differences, that's not a good measure, because then positives and negatives will cancel out.
Và tôi muốn xem hiệu số bình phương. Vì nếu chỉ lấy trung bình các hiệu số thì không phải thước đo tốt, vì khi đó số dương và số âm sẽ triệt tiêu nhau.
We need to make sure the positive and negative errors don't cancel out, because both positive and negative errors are abound. So we square them, sum it all together, and that's our objective.
Ta cần đảm bảo các sai số dương và âm không triệt tiêu nhau, vì cả sai số dương và âm đều có mặt. Nên ta bình phương chúng, cộng lại, và đó là hàm mục tiêu của ta.
Our predictions are in the form of a weighted sum of feature values, so that's what it looks like.
Dự đoán của ta có dạng tổng có trọng số của các giá trị đặc trưng, nên nó trông như thế này.
So what we really want to find then is a set of weights — w1, 2, 3, and so forth — such that this thing is minimized.
Vậy điều ta thật sự muốn tìm là một tập trọng số w1, 2, 3, v.v. sao cho đại lượng này được cực tiểu hóa.
In principle, you could try all possible settings of weights, see which one achieves the lowest, and that's the one you want. But these are continuous variables.
Về nguyên tắc, bạn có thể thử mọi cách đặt trọng số, xem cách nào cho kết quả thấp nhất, và đó là cách bạn cần. Nhưng đây là các biến liên tục.
So trying all possible settings of the weights is not practical. There's infinitely many choices. So we need a better way to find the best setting of the weights.
Nên thử mọi cách đặt trọng số là không khả thi. Có vô hạn lựa chọn. Vì vậy ta cần cách tốt hơn để tìm cách đặt trọng số tốt nhất.
So what we're going to do is something a lot like the local search you've seen in the CSP lectures. So let's say we had just one point, one term in that objective.
Điều ta sẽ làm khá giống tìm kiếm cục bộ mà các bạn đã thấy trong các bài giảng về CSP. Giả sử ta chỉ có một điểm, tức một số hạng trong hàm mục tiêu đó.
And this will generalize to if we had many points. And we have this thing over here. Can we do something close at the local search? What did we do in local search?
Và điều này sẽ khái quát được cho trường hợp nhiều điểm. Và ta có đại lượng này ở đây. Ta có thể làm gì đó gần giống tìm kiếm cục bộ không? Ở tìm kiếm cục bộ ta đã làm gì?
We had a current choice of our variables. In this case, our variables are w0, 1, 2, and so forth. And can we maybe change that choice to make it better?
Ta có một lựa chọn hiện tại cho các biến. Trong trường hợp này, các biến là w0, 1, 2, v.v. Và liệu ta có thể thay đổi lựa chọn đó để tốt hơn không?
And then repeat, repeat, repeat, and hopefully end up at something good. Can we do the same thing here? Well, the question is, can we do something maybe even smarter?
Rồi lặp đi lặp lại, và hy vọng cuối cùng đến được kết quả tốt. Ta có thể làm điều tương tự ở đây không? Câu hỏi là, liệu ta có thể làm điều gì đó thông minh hơn nữa không?
Instead of just changing it and hope that it might get better and otherwise reverted, can we know in which direction we should change each weight? Should weight 1 go up or down?
Thay vì chỉ thay đổi rồi hy vọng nó tốt lên, nếu không thì hoàn lại, ta có thể biết nên thay đổi mỗi trọng số theo hướng nào không? Trọng số 1 nên tăng hay giảm?
If we can decide that, then we can, in a much more informed way, get to a good low error. How do we know whether we should move a weight up or down?
Nếu quyết định được điều đó, ta có thể đạt sai số thấp tốt một cách có cơ sở hơn nhiều. Làm sao biết nên dịch trọng số lên hay xuống?
Well, we should say, well, if we change the weight up or down, does the error go up or down?
Ta nên xét: nếu đổi trọng số lên hoặc xuống, sai số tăng hay giảm?
And we want the error to go down and nudge the weight in the according direction. Mathematically, what that means is we compute a derivative.
Ta muốn sai số giảm và đẩy nhẹ trọng số theo hướng tương ứng. Về mặt toán học, điều đó nghĩa là ta tính đạo hàm.
So you would say, what is my error, which is my function I'm trying to minimize, as a function of wm, one of the weights? And I want to see the slope.
Bạn sẽ hỏi, sai số của tôi, tức hàm tôi đang cố cực tiểu hóa, theo wm, một trong các trọng số, là gì? Và tôi muốn xem hệ số góc.
I want to say, if I change wm, how much does my error go up or down? That's what this thing is saying.
Tôi muốn biết, nếu đổi wm thì sai số tăng hay giảm bao nhiêu? Đó là điều đại lượng này nói.
It's saying, if I change wm and I do plus 1 for wm, then this is how much my error will change.
Nó nói rằng, nếu tôi đổi wm và cộng 1 vào wm, thì sai số của tôi sẽ thay đổi chừng này.
OK. If we can do that, then we can do an update to the weights.
OK. Nếu làm được vậy, ta có thể cập nhật các trọng số.
We can say, OK, well, if the slope is zero, no update needs to happen, because that weight does not affect the error.
Ta có thể nói, nếu hệ số góc bằng không, thì không cần cập nhật, vì trọng số đó không ảnh hưởng đến sai số.
But if the slope is non-zero — let's say this is a positive slope — if I make wm go up, the error will go up.
Nhưng nếu độ dốc khác không — giả sử đây là độ dốc dương — nếu tôi tăng wm thì sai số sẽ tăng.
Then, I just step in the opposite direction, step in a negative direction, and that's exactly what's happening here. There's a negative sign. That negative sign has disappeared.
Vậy thì tôi chỉ cần bước theo hướng ngược lại, bước theo hướng âm, và đó chính xác là điều đang xảy ra ở đây. Có một dấu trừ. Dấu trừ đó đã biến mất.
We step in the opposite direction of the slope, because we want to go downhill. So that's our update here for least squares for that weight.
Ta bước ngược hướng với độ dốc, vì ta muốn đi xuống dốc. Đó là bước cập nhật bình phương tối thiểu cho trọng số đó.
We can do that for all weights, and that's exactly what's happening in the Q-learning just as well. In Q-learning, we formulate an error function, a squared error function for the current sample.
Ta làm vậy cho mọi trọng số, và điều này cũng chính xác là những gì xảy ra trong Q-learning. Trong Q-learning, ta lập một hàm sai số, một hàm sai số bình phương cho mẫu hiện tại.
What is our sample estimate? What is our Q-function?
Ước lượng từ mẫu của ta là gì? Hàm Q của ta là gì?
We can look at the squared error, take the derivative with respect to a weight, and then based on that derivative, that will be corresponding to this thing over here.
Ta có thể xét sai số bình phương, lấy đạo hàm theo một trọng số, rồi dựa trên đạo hàm đó, nó sẽ tương ứng với phần này ở đây.
This here corresponds to this over here. And that tells us in which direction to step. And then we'll step scaled by alpha.
Phần này ở đây tương ứng với phần này ở kia. Và nó cho ta biết nên bước theo hướng nào. Rồi ta bước với độ lớn nhân với alpha.
We didn't fully derive on the slides. It's just meant to give you some intuition behind why what we're doing in approximate Q-learning is actually well-justified.
Trên slide ta không suy ra đầy đủ. Chỉ nhằm cho các em chút trực giác về lý do những gì ta làm trong approximate Q-learning thực sự có cơ sở vững chắc.
Any questions about this?
Có câu hỏi nào không?
Yes?
Em nói đi?
STUDENT
[INAUDIBLE] PROFESSOR: OK. The question was about the negative. So let's look at this again.
[KHÔNG NGHE RÕ] GIÁO SƯ: Được. Câu hỏi là về dấu trừ. Ta xem lại chỗ này nhé.
So what we're trying to do, we're trying to make the error as a function of our weights as small as possible.
Điều ta đang cố làm, là làm sai số, như hàm của các trọng số, nhỏ nhất có thể.
What this derivative is saying, it's saying, if I change wm by increasing it by one unit, how much will my error go up?
Đạo hàm này cho biết, nếu tôi thay đổi wm bằng cách tăng nó một đơn vị, thì sai số sẽ tăng bao nhiêu?
But I want to move in the direction where the error goes down. So this quantity here will be positive if moving w up makes the error go up.
Nhưng tôi muốn đi theo hướng mà sai số giảm. Vậy đại lượng này sẽ dương nếu tăng w làm sai số tăng.
But if that's the case, you actually want to move in the negative direction.
Nhưng nếu thế thì thực ra ta muốn đi theo hướng âm.
And so that's why the negative that ends up — if we take derivative, we end up with a negative over here. That negative disappears when we look at the update.
Và đó là lý do dấu trừ xuất hiện — khi lấy đạo hàm, ta được một dấu trừ ở đây. Dấu trừ đó biến mất khi ta xét bước cập nhật.
Because we want to move in the opposite direction of the up direction on the error.
Vì ta muốn đi ngược hướng với hướng làm sai số tăng lên.
OK? One thing to think about — and we'll look at this more in the machine learning at the end of the course — is that you don't necessarily want the more features the better.
Được chứ? Một điều cần nghĩ tới — và ta sẽ xem kỹ hơn trong phần học máy ở cuối khóa — là không hẳn càng nhiều đặc trưng thì càng tốt.
You can have too many features if you have a finite amount of data. For example, imagine you are fitting a function to this set of points. You might say, well, let's fit a line.
Bạn có thể có quá nhiều đặc trưng nếu dữ liệu chỉ có hạn. Ví dụ, hãy tưởng tượng bạn đang khớp một hàm với tập điểm này. Bạn có thể nói, thử khớp một đường thẳng.
And you say, OK, that's my line. You find the least squares error line, and you're like OK. But it's still a measure of error.
Và bạn nói, được, đây là đường của tôi. Bạn tìm đường thẳng có sai số bình phương tối thiểu, và thấy cũng ổn. Nhưng vẫn còn một mức sai số.
So you might then say, well, not so much a fan of a line, how about a parabola? Parabola, OK, let's fit a parabola. Maybe now you're a little happier.
Nên bạn có thể nói, không thích đường thẳng lắm, còn parabol thì sao? Parabol, được, khớp một parabol. Có lẽ giờ bạn hài lòng hơn một chút.
What does it mean to fit a line? A line means that you say y is w0 plus w1x.
Khớp một đường thẳng nghĩa là gì? Nghĩa là bạn nói y bằng w0 cộng w1x.
A parabola means that you say, y is w0 plus w1x plus w2x squared.
Một parabol nghĩa là bạn nói y bằng w0 cộng w1x cộng w2x bình phương.
If you want a third-order polynomial, same thing — plus w3x 3. So as we want a higher order polynomial, what that means is we introduce more features.
Muốn đa thức bậc ba thì cũng vậy — cộng w3x mũ 3. Vậy khi ta muốn đa thức bậc cao hơn, nghĩa là ta đưa thêm đặc trưng vào.
A new power of x is a new feature. And so as you introduce more features, you can start fitting this more and more closely, because you have more flexibility.
Mỗi lũy thừa mới của x là một đặc trưng mới. Và khi bạn đưa thêm đặc trưng, bạn có thể khớp ngày càng sát hơn, vì bạn có nhiều linh hoạt hơn.
The set of functions you represent by a third-order polynomial is strictly more than you can represent by a first-order polynomial.
Tập hàm mà đa thức bậc ba biểu diễn được thực sự nhiều hơn so với đa thức bậc một.
Because in fact, they're all included in the third-order polynomial by just setting some coefficient equal to zero. But you can set those coefficients to non-zero, expanding the things you can represent.
Vì thực ra, chúng đều nằm trong đa thức bậc ba, chỉ cần đặt một số hệ số bằng không. Nhưng bạn có thể đặt các hệ số đó khác không, mở rộng những gì có thể biểu diễn.
So you might wonder, well, what if we fit, let's say, a 15th-order polynomial to this. Wouldn't that be nice? Well, maybe, but this is what you'd get.
Vậy bạn có thể tự hỏi, nếu ta khớp, giả sử, một đa thức bậc 15 thì sao. Chẳng phải sẽ tuyệt sao? Cũng có thể, nhưng đây là thứ bạn sẽ nhận được.
Well, what you see here is that, if you just look at the points that we're trying to fit, it does really well.
Các em thấy, nếu chỉ nhìn vào các điểm ta cố khớp, nó làm rất tốt.
But then in some other places, it does something that we likely don't want it to do. That's called overfitting.
Nhưng ở một số chỗ khác, nó làm điều mà nhiều khả năng ta không muốn. Đó gọi là quá khớp (overfitting).
It's trying to get all the points correct, but as a consequence, it ends up doing some crazy things in other places.
Nó cố làm đúng mọi điểm, nhưng hệ quả là nó làm ra những thứ kỳ quặc ở những chỗ khác.
And so in practice — and we'll see a lot about this in the late lectures — you need to guard against this kind of overfitting.
Vì vậy trong thực tế — và ta sẽ học nhiều về điều này ở các bài sau — bạn cần đề phòng kiểu quá khớp này.
For now, the best way to think of it is that you don't always want just more and more features, because you'll have these weird things come up and then crazy things happen.
Tạm thời, cách nghĩ tốt nhất là không phải lúc nào cũng muốn càng nhiều đặc trưng càng tốt, vì sẽ xuất hiện những thứ kỳ lạ và những chuyện điên rồ xảy ra.
And you might as well have anybody draw some line through the points and call it done. OK. So that's Q-learning.
Và có khi ai đó cứ vẽ một đường thẳng qua các điểm rồi xong cũng được. Được rồi. Vậy đó là Q-learning.
Now, we're going to see a different approach to learning good policies to act in worlds. So we've seen value learning, we've seen Q-learning, now we're going to see policy search.
Giờ ta sẽ xem một cách tiếp cận khác để học các chính sách tốt để hành động trong thế giới. Ta đã thấy học giá trị, đã thấy Q-learning, giờ ta sẽ thấy tìm kiếm chính sách (policy search).
In policy search, you kind of just say, hey, there's many policies to choose from. Ultimately, I want to end up with a policy. Let's forget about learning Q-values, V-values.
Trong policy search, bạn chỉ cần nói, có nhiều chính sách để chọn. Cuối cùng, tôi muốn có một chính sách. Hãy quên việc học giá trị Q, giá trị V đi.
Let's just try different policies and see which one is the best. And then we'll call it done, because we found the best policy.
Cứ thử các chính sách khác nhau và xem cái nào tốt nhất. Rồi xong, vì ta đã tìm được chính sách tốt nhất.
So the reason you might want this is because when you have approximate Q-values, even though it might work well, if they're approximate, what they're approximating is trying to get this least square error down on this Bellman equation.
Lý do bạn có thể muốn làm vậy là khi có các giá trị Q xấp xỉ, dù chúng có thể hoạt động tốt, thì chúng xấp xỉ nhằm cố gắng giảm sai số bình phương tối thiểu trên phương trình Bellman này.
And we know that's related to good performance, but it's not directly tied to good performance. It's approximating something that is related to good performance. Can we do something else?
Ta biết điều đó liên quan đến hiệu năng tốt, nhưng không gắn trực tiếp với hiệu năng tốt. Nó xấp xỉ một thứ có liên quan đến hiệu năng tốt. Ta có làm được gì khác không?
Well, for example, if you look at Q-values, it could be that some Q-values are much better than other ones.
Ví dụ, nếu nhìn vào các giá trị Q, có thể một số giá trị Q tốt hơn hẳn các giá trị khác.
But the way they differentiate between actions, one of them picks the right action, the other one picks the wrong action.
Nhưng cách chúng phân biệt giữa các hành động, một bộ chọn đúng hành động, bộ kia chọn sai hành động.
The priority in Q-learning is learning Q-values that are close, not making sure that the action that's the best is favored over the action that's not the best. OK.
Ưu tiên của Q-learning là học các giá trị Q gần đúng, chứ không đảm bảo hành động tốt nhất được ưu tiên hơn hành động không tốt nhất. OK.
So what if we directly pay attention to the actions? Policy learning. One way to do this, we could say, we start with an OK solution, so we have the Q-values.
Vậy nếu ta chú ý trực tiếp đến các hành động thì sao? Học chính sách. Một cách làm là, ta bắt đầu với một lời giải tạm ổn, tức là có các giá trị Q.
And then we're going to fine tune by hill climbing on the feature weights. What does that mean?
Rồi ta tinh chỉnh bằng cách leo đồi trên các trọng số đặc trưng. Nghĩa là gì?
We have some Q-values, and then we can nudge the feature weights up or down, see what happens, just like we did in local search for CSPs. If it's better, we keep the change.
Ta có một số giá trị Q, rồi ta nhích các trọng số đặc trưng lên hoặc xuống, xem chuyện gì xảy ra, giống như tìm kiếm cục bộ cho CSP. Nếu tốt hơn thì giữ thay đổi.
If it's worse, we discard it, and we repeat. And over time, we might find the process better and better and better.
Nếu tệ hơn thì bỏ đi, rồi lặp lại. Theo thời gian, ta có thể thấy chính sách ngày càng tốt hơn.
Now, what does it mean if a set of weights is better or worse? Well, you need to execute the policy and see how well it does.
Vậy một bộ trọng số tốt hay tệ hơn nghĩa là gì? Bạn cần thực thi chính sách và xem nó làm tốt đến đâu.
Now, you might have to do this many, many times, because the world is stochastic. And so sometimes maybe you're lucky, sometimes not. So it can be somewhat expensive.
Bạn có thể phải làm điều này rất nhiều lần, vì thế giới có tính ngẫu nhiên. Nên có lúc bạn may mắn, có lúc không. Vì vậy nó có thể khá tốn kém.
And in general, policy search tends to be less sample-efficient, which means you need to collect more experience to learn to do well with policy search than you need with Q-learning.
Nói chung, tìm kiếm chính sách thường kém hiệu quả về mẫu hơn, nghĩa là bạn cần thu thập nhiều kinh nghiệm hơn để học tốt bằng tìm kiếm chính sách so với Q-learning.
But it's often a little easier to understand what's going on. You have this policy. You nudge it. If it's better, you keep it.
Nhưng thường dễ hiểu hơn chuyện gì đang diễn ra. Bạn có chính sách này. Bạn nhích nó. Nếu tốt hơn thì giữ.
If it's worse, you discard it. And you go again.
Nếu tệ hơn thì bỏ. Rồi làm lại.
OK, so often people will use a combination, where maybe you start Q-learning, fine tune with policy searches. There's even other ways to combine them, which we're not going to get into here.
OK, người ta thường dùng kết hợp, có thể bắt đầu bằng Q-learning, rồi tinh chỉnh bằng tìm kiếm chính sách. Còn có những cách kết hợp khác nữa, nhưng ta sẽ không đi sâu ở đây.
Let's look at some example success stories. So here is a helicopter. Helicopters are very difficult to control. You might wonder why.
Hãy xem vài câu chuyện thành công. Đây là một chiếc trực thăng. Trực thăng rất khó điều khiển. Có thể bạn thắc mắc tại sao.
You've flown in a plane many times, and you've heard people say, well, if the pilot goes to sleep, the plane will still fly.
Bạn đã đi máy bay nhiều lần, và nghe người ta nói rằng nếu phi công ngủ thì máy bay vẫn bay.
Because even if you make a paper plane, you just throw it and it flies. It naturally flies. With a helicopter, actually, it's not like that.
Vì ngay cả máy bay giấy, bạn chỉ cần ném là nó bay. Nó tự nhiên bay được. Với trực thăng thì thực ra không như vậy.
It's more like a rock in the sky that wants to drop, and you need to put effort into keeping it in the sky at all times.
Nó giống một tảng đá trên trời muốn rơi xuống, và bạn phải nỗ lực để giữ nó trên không mọi lúc.
To think about it a little more carefully, what's really going on with a helicopter is closer to — let's say you have a very flat surface, maybe something like this.
Nghĩ kỹ hơn một chút, điều xảy ra với trực thăng gần giống như — giả sử bạn có một mặt phẳng, có thể như thế này.
But a tray that you can hold, but with no boundaries to it — just flat. And it ends at some point, but there's nothing coming up on the side.
Một cái khay bạn cầm được, nhưng không có thành — chỉ phẳng. Nó có điểm kết thúc, nhưng không có gì nhô lên ở mép.
You have a marble on it. And now you need to walk somewhere, and you need to make sure this marble doesn't roll off your tray.
Trên đó có một viên bi. Và giờ bạn cần đi đâu đó, và phải đảm bảo viên bi không lăn khỏi khay.
That's effectively what pilots are doing when they're controlling helicopters. So it's really hard.
Về cơ bản đó là điều phi công làm khi điều khiển trực thăng. Nên nó thực sự khó.
If you don't adjust for what's happening right now, a wind gust that comes in or some other perturbation that comes in, then you might be on your way down.
Nếu bạn không điều chỉnh theo những gì đang xảy ra, như một cơn gió giật hay nhiễu loạn nào đó ập tới, thì bạn có thể đang rơi xuống.
So you need to pay a lot of attention as the pilot to make sure to keep it in the air.
Nên phi công cần tập trung rất cao để giữ nó trên không.
So it's also hard to design controllers for this. But with reinforcement learning, a controller was designed for this helicopter. And let's take a look at this helicopter in action.
Vì vậy cũng khó thiết kế bộ điều khiển cho nó. Nhưng bằng học tăng cường, một bộ điều khiển đã được thiết kế cho chiếc trực thăng này. Hãy xem chiếc trực thăng này hoạt động.
[ENGINE ROARING] OK.
[ĐỘNG CƠ GẦM RÚ] OK.
So this is an extremely stable helicopter flight. The helicopter is pretty much not moving. Very hard to do, even for the best human pilots. It's also upside down.
Đây là một chuyến bay trực thăng cực kỳ ổn định. Chiếc trực thăng gần như không di chuyển. Rất khó làm, kể cả với phi công giỏi nhất. Nó còn đang bay ngược nữa.
So what's going on there? You might not have flown a helicopter upside down or seen it fly upside down. How come this works? Let's think about this.
Vậy chuyện gì đang xảy ra? Có thể bạn chưa từng lái trực thăng ngược hay thấy nó bay ngược. Sao điều này lại được? Hãy nghĩ thử xem.
How do you control a helicopter? You have four control channels. Channel one is the average angle of attack of the blades.
Bạn điều khiển trực thăng thế nào? Có bốn kênh điều khiển. Kênh một là góc tới trung bình của các cánh quạt.
And the steeper you make that, the more air you push down, the more thrust you have. You can actually also make that negative.
Càng làm nó dốc, bạn đẩy xuống càng nhiều không khí, thì lực đẩy càng lớn. Bạn cũng có thể làm nó âm.
You make it negative, you would go down very quickly, except if you are upside down, in which case, the negative angle would keep you up.
Nếu làm âm, bạn sẽ đi xuống rất nhanh, trừ khi đang bay ngược, khi đó góc âm sẽ giữ bạn ở trên cao.
And it actually turns out it's more efficient to fly this way. Any thoughts why? It's definitely not more comfortable, but — [LAUGHTER] STUDENT: [INAUDIBLE] PROFESSOR: Sorry, say it again.
Và thực ra bay kiểu này hiệu quả hơn. Các em nghĩ tại sao? Chắc chắn là không thoải mái hơn rồi, nhưng — [CƯỜI] SINH VIÊN: [KHÔNG NGHE RÕ] GIÁO SƯ: Xin lỗi, em nói lại nhé.
STUDENT
All the thrust is used [INAUDIBLE]..
Toàn bộ lực đẩy được dùng để [KHÔNG NGHE RÕ]..
PROFESSOR
So the proposed answer is, all the thrust that you generate is used to lift the weight of the helicopter here. Whereas, maybe if you fly the normal way, you're not using all the thrust.
Vậy câu trả lời được đề xuất là toàn bộ lực đẩy mà mình tạo ra được dùng để nâng trọng lượng của trực thăng. Còn nếu bay theo cách bình thường, thì mình không dùng hết lực đẩy.
And that's exactly — that's the right direction, but I'm going to refine that answer just a little bit.
Đúng rồi, em đi đúng hướng, nhưng tôi sẽ tinh chỉnh câu trả lời đó một chút.
If you think about what happens when you keep a helicopter up in the air, you're pushing air down. Force for the air down, the helicopter gives the counterforce to stay up.
Hãy nghĩ xem điều gì xảy ra khi giữ trực thăng lơ lửng trên không: mình đang đẩy không khí xuống. Mình tạo lực đẩy không khí xuống, và trực thăng nhận phản lực để giữ nó ở trên.
When you push that air down, it's much faster than it was before. It's going down quickly. If it's going down quickly over the body of the helicopter, it's dragging that body down.
Khi đẩy luồng khí đó xuống, nó nhanh hơn nhiều so với trước. Nó đi xuống rất nhanh. Nếu nó đi xuống nhanh qua thân trực thăng, nó sẽ kéo thân máy bay xuống.
And so what you have is kind of a double effect of pushing air down.
Vì vậy ta có một dạng hiệu ứng kép của việc đẩy không khí xuống.
You get a counterforce keeping you up, but also then, you generate drag over the body of the helicopter, dragging you down or trying to drag you down.
Ta có phản lực giữ mình ở trên, nhưng đồng thời cũng tạo ra lực cản trên thân trực thăng, kéo mình xuống, hoặc cố kéo mình xuống.
When you flip it upside down, that's not happening. There's still air coming over the body of the helicopter, but it's coming in from a wider intake.
Khi lật ngược lại, điều đó không xảy ra. Vẫn có không khí đi qua thân trực thăng, nhưng nó vào từ một cửa hút rộng hơn.
And it only goes at half the speed compared to the air that's coming out.
Và nó chỉ đi với tốc độ bằng một nửa so với luồng khí thoát ra.
And because drag is squared in the velocity of the air, you get four times less drag flying this way than flying the other way.
Vì lực cản tỉ lệ với bình phương vận tốc không khí, nên bay kiểu này lực cản nhỏ hơn bốn lần so với bay kiểu kia.
Now, I wonder, how do you control this tray that you're kind of balancing your marble on? One thing is the angle of the blades.
Giờ, ta điều khiển cái khay mà mình đang giữ thăng bằng viên bi này như thế nào? Một cách là góc của các cánh quạt.
The other thing you control is differential angle of the blades throughout the cycle. So for a helicopter to move forward, you can't just ask, let's move forward.
Cách còn lại là điều khiển sự chênh lệch góc của các cánh quạt trong suốt chu kỳ quay. Để trực thăng tiến về phía trước, không thể chỉ bảo là tiến lên.
You actually have to tilt the nose down, and then the thrust will be such that some of your thrust is getting it to go forward once combined with gravity.
Thực ra phải chúi mũi xuống, và khi đó một phần lực đẩy kết hợp với trọng lực sẽ đẩy nó về phía trước.
How do you get your nose to go down? Differential amount of air pushed down from back, left, right, allows you to rotate the body of the helicopter. So that's the cyclic control.
Làm sao để chúi mũi xuống? Lượng không khí đẩy xuống khác nhau ở phía sau, trái, phải cho phép xoay thân trực thăng. Đó là điều khiển chu kỳ.
And so there's something in there called a swash plate that ensures that you go through cycles of different angles of attack as your blades rotate at something like maybe 30 times per second.
Bên trong có một bộ phận gọi là đĩa swash đảm bảo các góc tấn khác nhau theo chu kỳ khi cánh quạt quay với tốc độ cỡ 30 vòng mỗi giây.
You have a fourth control, which is to make sure that you're facing the direction you need to be facing.
Còn điều khiển thứ tư là để đảm bảo mình hướng đúng hướng cần hướng.
If you don't have the tail rotor, what would happen is your helicopter body would spin counter to your blades. But the tail rotor compensates for that by also having a differential angle of attack.
Nếu không có cánh quạt đuôi, thì thân trực thăng sẽ quay ngược chiều với cánh quạt. Cánh quạt đuôi bù lại điều đó cũng bằng cách có góc tấn chênh lệch.
And you can control that to then also decide which way you want to look.
Và ta có thể điều khiển nó để quyết định mình muốn nhìn về hướng nào.
OK, that's helicopters. You might also wonder, why don't people fly upside down? I've wondered that, too.
Được rồi, đó là trực thăng. Các em cũng có thể thắc mắc, sao người ta không bay ngược? Tôi cũng từng thắc mắc.
Probably it's just not that easy to build helicopters that humans sit in in a way that is comfortable to fly them yet. Then, a sustainable flight upside down would, in principle, be more efficient.
Có lẽ chỉ là chưa dễ chế tạo trực thăng cho người ngồi lái theo cách thoải mái khi bay như vậy. Còn về nguyên tắc, bay ngược bền vững sẽ hiệu quả hơn.
Here's another example. So here we're going to watch reinforced learning in action for a legged robot. What do you expect to happen here? Well, we know how reinforced learning works.
Đây là một ví dụ khác. Ở đây ta sẽ xem học tăng cường hoạt động trên một robot có chân. Các em mong đợi điều gì xảy ra? Ta biết học tăng cường hoạt động thế nào.
Initially, it doesn't know what to do. It's exploring. But then hopefully over time, it becomes better and better and better and figures out what it should be doing.
Ban đầu nó không biết phải làm gì. Nó đang khám phá. Nhưng rồi hy vọng theo thời gian, nó ngày càng tốt hơn và tìm ra điều nó nên làm.
So it's just falling over. It's falling over again, but it's falling over a little later. And it's better to fall over later than earlier. And it knows that.
Giờ nó chỉ ngã. Nó lại ngã, nhưng ngã muộn hơn một chút. Và ngã muộn thì tốt hơn ngã sớm. Nó biết điều đó.
It's getting higher reward now. And now it's getting very high reward.
Giờ nó nhận phần thưởng cao hơn. Và giờ nó nhận phần thưởng rất cao.
Now, the beauty of reinforcement learning is that you don't have to write new code for a new robot. You just swap in a new robot, run the same code, it can learn to run.
Cái hay của học tăng cường là không phải viết code mới cho robot mới. Chỉ cần thay robot mới, chạy cùng code, nó có thể học chạy.
Here, the robot starts on the ground. It has some extra learning to do — it wasn't on the ground before.
Ở đây, robot bắt đầu từ dưới đất. Nó phải học thêm một chút, vì trước đó nó không nằm dưới đất.
It gets rewarded for getting the head as close as possible to standing head height. The closer the better. And it figures it out.
Nó được thưởng khi đưa đầu càng gần càng tốt đến độ cao đầu khi đứng. Càng gần càng tốt. Và nó tự tìm ra cách.
Here, two of these robots are learning together, and they're practicing soccer.
Ở đây, hai robot này đang cùng học, và chúng đang tập đá bóng.
[LAUGHTER] One of the beauties here, aside from how they run, is they can train each other.
[CƯỜI] Một điểm hay ở đây, ngoài cách chúng chạy, là chúng có thể huấn luyện lẫn nhau.
So they can gradually both improve in what they're able to do. As the goalie gets better, the penalty kicker needs to get better to get reward.
Nhờ vậy cả hai dần dần cải thiện những gì chúng làm được. Khi thủ môn giỏi lên, người sút phạt đền phải giỏi lên để nhận phần thưởng.
And they can gradually get better and better together. You can do this with real robots. Let me pause this for a moment.
Và chúng có thể cùng nhau tiến bộ dần. Có thể làm điều này với robot thật. Để tôi tạm dừng một chút.
This is BRETT — the Berkeley Robot for the Elimination of Tedious Tasks. BRETT lives on the seventh floor of Sutadja Dai Hall, and in this video is learning to play with a children's toy.
Đây là BRETT, Berkeley Robot for the Elimination of Tedious Tasks. BRETT sống ở tầng bảy của Sutardja Dai Hall, và trong video này đang học chơi một món đồ chơi trẻ em.
This video is sped up a little bit. This takes about one hour in real time. But it is reinforcement learning to do something it's never done before.
Video này được tua nhanh một chút. Thực tế mất khoảng một giờ. Nhưng đó là học tăng cường để làm một việc mà nó chưa từng làm.
You might say an hour is a long time, because you could do this the first time. At least I hope y'all could do this the first time.
Các em có thể nói một giờ là lâu, vì các em làm được việc này ngay lần đầu. Ít nhất là tôi hy vọng các bạn làm được ngay lần đầu.
But it's not really true you could do this the first time. Because the first time you did this was maybe when you were a one-year-old.
Nhưng thật ra không đúng là các bạn làm được ngay lần đầu. Vì lần đầu các bạn chơi trò này có lẽ là khi mới một tuổi.
And you might not have succeeded the first time around when you were a one-year-old. And so you need to think of this reinforcement learning agent as really a zero-year-old.
Và có thể lần đầu các bạn cũng không thành công khi mới một tuổi. Nên bạn cần coi tác tử học tăng cường này thực chất như một đứa trẻ không tuổi.
He hasn't done anything yet, is born in this world not having done anything but getting rewarded for putting that red block into the matching opening.
Nó chưa làm gì cả, vừa sinh ra trong thế giới này chưa từng làm gì, nhưng được thưởng khi đặt khối màu đỏ đó vào đúng lỗ khớp với nó.
And it just goes at it till it optimizes how to get it in there.
Và nó cứ thử mãi cho đến khi tối ưu được cách đặt nó vào đó.
Here's another example. Let me pause this before we run this. This is NASA's Super Ball. It's a research collaboration we've had with NASA on this robot.
Đây là một ví dụ khác. Để tôi tạm dừng trước khi chạy. Đây là Super Ball của NASA. Đây là hợp tác nghiên cứu giữa chúng tôi và NASA về robot này.
You might wonder, why would they make a robot this way? And especially, this one is for planetary exploration.
Bạn có thể thắc mắc, sao lại làm robot như vậy? Đặc biệt, robot này dùng để thám hiểm hành tinh.
So it'll go visit planets that maybe humans it's hard to send to, but maybe a robot can go explore it for us.
Nó sẽ đến những hành tinh mà con người khó đến được, nhưng robot có thể thám hiểm thay chúng ta.
Well, what's beautiful about this robot is that it's a sphere, in some sense. And so what you really get is wheels in every possible direction. And wheels is what you need to get places.
Điều tuyệt vời ở robot này là nó theo nghĩa nào đó là một hình cầu. Nên thực chất bạn có bánh xe ở mọi hướng có thể. Và bánh xe là thứ cần để di chuyển.
The other thing you get is if you lengthen the cables enough, this thing can be completely flat. If it's completely flat, then it fits in a rocket very nicely — very small volume.
Điều nữa là nếu kéo dài các dây cáp đủ mức, nó có thể xẹp hoàn toàn. Khi xẹp hoàn toàn thì nó nằm gọn trong tên lửa, thể tích rất nhỏ.
If you then expand it again, it can land with some damping. So you need smaller air box this way than with a standard rover that you might land.
Rồi mở rộng lại, nó có thể hạ cánh với độ giảm chấn nào đó. Nên cần túi khí nhỏ hơn so với xe tự hành thông thường khi hạ cánh.
The only tricky part now is that this is very non-intuitive to program how it should do something. But reinforcement learning was able to solve that problem.
Phần khó duy nhất là rất phản trực giác khi lập trình cách nó thực hiện một việc. Nhưng học tăng cường đã giải được bài toán đó.
And here, in this case, we had reinforcement learning run in a simulated environment that simulates this robot, learning simulation after many, many trials, how to control the simulated robot.
Ở đây, chúng tôi cho học tăng cường chạy trong môi trường mô phỏng của robot này, học sau rất, rất nhiều lần thử trong mô phỏng, cách điều khiển robot mô phỏng.
And that was then deployed on the real robot. And this is tested here at NASA in Mountain View.
Sau đó nó được triển khai trên robot thật. Và nó được thử nghiệm ở NASA tại Mountain View.
How about a hand? We use our hands a lot. Clearly, there's control involved. Can we have reinforcement learning learn to control a hand?
Còn bàn tay thì sao? Chúng ta dùng tay rất nhiều. Rõ ràng có liên quan đến điều khiển. Liệu học tăng cường có thể học điều khiển một bàn tay không?
In robotics, hands have really proven challenging. And the reason they've proven so challenging is because there's a lot of actions to be taken at any given time. There's a lot of degrees of freedom.
Trong robot học, bàn tay thực sự rất khó. Lý do nó khó đến vậy là có rất nhiều hành động có thể thực hiện tại mỗi thời điểm. Có rất nhiều bậc tự do.
And you need to control them all the right way to get a good outcome. Most outcomes will be bad.
Và bạn phải điều khiển tất cả đúng cách để có kết quả tốt. Đa số kết quả sẽ xấu.
Most outcomes of controlling this thing will be the cube drops on the ground, and that's it. There's only a very small set of ways of controlling this that actually lead to a good result.
Đa số kết quả khi điều khiển thứ này là khối lập phương rơi xuống đất, và hết. Chỉ có một tập rất nhỏ các cách điều khiển thực sự dẫn đến kết quả tốt.
And how do you find that and zone in on that?
Vậy làm sao tìm ra và tập trung vào chúng?
Here, we're not going to watch the training, we're just going to watch the final capability.
Ở đây chúng ta sẽ không xem quá trình huấn luyện, mà chỉ xem khả năng cuối cùng.
This is a result done at OpenAI. And what we see here at the bottom-right is what it's supposed to achieve.
Đây là kết quả thực hiện tại OpenAI. Và những gì ta thấy ở góc dưới bên phải là mục tiêu nó cần đạt được.
And we see that, indeed, it's capable of reorienting the object it's holding to match up with what's in the bottom-right. One interesting thing here is that this one also was trained only in simulation.
Và đúng là nó có thể xoay lại vật đang cầm cho khớp với hình ở góc dưới bên phải. Một điều thú vị là cái này cũng chỉ được huấn luyện trong mô phỏng.
But it turns out, building simulators for something like this that are accurate is not practical.
Nhưng hóa ra, xây bộ mô phỏng chính xác cho thứ như thế này là không thực tế.
But the agent was trained in many, many, many simulators and was trained in a way that it could do well in all of these simulators.
Nhưng tác tử được huấn luyện trong rất, rất nhiều bộ mô phỏng và được huấn luyện sao cho nó làm tốt trong tất cả các bộ mô phỏng đó.
And it turned out that if it was good enough to do well in all of these simulators, even though all of them were inaccurate, something that was good for all inaccurate simulators was also good for the real world.
Và hóa ra nếu nó đủ tốt để làm tốt trong tất cả các bộ mô phỏng này, dù tất cả đều không chính xác, thì thứ tốt cho mọi bộ mô phỏng không chính xác cũng tốt cho thế giới thực.
So it's a strategy to get something to work in the real world is get it working on many, many different simulators. [MUSIC PLAYING] Go robot.
Vậy một chiến lược để làm cho thứ gì đó chạy được ngoài đời thật là cho nó chạy được trên rất nhiều bộ mô phỏng khác nhau. [NHẠC] Cố lên robot.
There it is. So at this point, we're not just concluding this lecture, we're actually concluding the first stretch of the course.
Đấy. Đến đây, chúng ta không chỉ kết thúc bài giảng này, mà còn kết thúc chặng đầu của môn học.
What we've seen in the first stretch of the course is search, CSPs, games, MDPs, and RL. That's about search and planning with a bit of learning.
Những gì ta đã thấy trong chặng đầu là tìm kiếm, CSP, trò chơi, MDP và RL. Đó là tìm kiếm và lập kế hoạch kèm một chút học.
What we're going to see in the second part starting Tuesday is probabilistic reasoning to deal with uncertainty and a lot more learning to learn from data rather than having a simulator ahead of time available to you.
Phần hai, bắt đầu từ thứ Ba, chúng ta sẽ thấy suy luận xác suất để xử lý sự bất định và học nhiều hơn từ dữ liệu thay vì có sẵn một bộ mô phỏng từ trước.
OK. That's it for today.
Được rồi. Hôm nay đến đây thôi.
Đăng nhập để đánh giá học liệu này.
Đăng nhập để bình luận — chưa ai bình luận về học liệu này.
Không có khóa học liên quan.