Video
Đăng bởi Ban biên tập OpenER ·
Tác giả giữ toàn bộ bản quyền (All Rights Reserved) — không phải giấy phép mở. Bạn vẫn xem và học miễn phí trên OpenER; muốn tái sử dụng cần xin phép tác giả.
PROFESSOR
Hi, everyone. Welcome to lecture, the 24th lecture of 188, before last one. Let's take a look at what's left.
Chào các em. Chào mừng đến với bài giảng thứ 24 của CS 188, bài kế cuối. Ta xem còn lại những gì.
So we have the final contest, which is due tonight.
Có cuộc thi cuối kỳ, hạn nộp là tối nay.
In the final contest, you get to design an agent that plays together with another agent to try to collect food pellets while not getting eaten by ghosts.
Trong cuộc thi cuối kỳ, các em thiết kế một tác tử chơi cùng với một tác tử khác để thu thập các viên thức ăn mà không bị ma ăn mất.
And there's a few staff agents to compete with, as well as a leader board, against other students. So submissions for that, your last chance to submit are tonight at midnight.
Có vài tác tử của ban giảng huấn để thi đấu, và có cả bảng xếp hạng với các sinh viên khác. Lần nộp bài cuối cùng là nửa đêm tối nay.
And on Thursday in lecture, we'll discuss the results. What else is left?
Và thứ Năm trên lớp, ta sẽ thảo luận kết quả. Còn gì nữa?
I think there is a project due next week. There is still a section this week.
Tôi nghĩ có một project đến hạn vào tuần sau. Tuần này vẫn còn buổi section.
And I think that homework is all wrapped up, but you would still have a self-assessment of your last homework that will be due next week.
Bài tập về nhà thì tôi nghĩ đã xong hết, nhưng các em vẫn còn phần tự đánh giá của bài tập cuối, hạn nộp vào tuần sau.
And then there's a final exam the week after that. Any questions about logistics?
Rồi tuần sau nữa là thi cuối kỳ. Có câu hỏi nào về các vấn đề hành chính không?
STUDENT
[INAUDIBLE] PROFESSOR: You will be graded only on your last submission. So yeah, don't ruin it in your last submission.
[KHÔNG NGHE RÕ] GIÁO SƯ: Em chỉ bị chấm điểm theo lần nộp cuối cùng. Nên đừng làm hỏng ở lần nộp cuối nhé.
Any other questions?
Còn câu hỏi nào khác không?
OK, let's dive into technical materials for today. So today's lecture, as well as Thursday's lecture, will be mostly on advanced applications.
Được rồi, ta vào phần kỹ thuật hôm nay. Bài hôm nay, cũng như bài thứ Năm, chủ yếu nói về các ứng dụng nâng cao.
The idea behind these two lectures is to look at advanced applications, where we have covered a good amount of the material in the ideas behind those applications, but not necessarily everything.
Ý tưởng của hai bài này là xem các ứng dụng nâng cao, mà ở đó ta đã học khá nhiều kiến thức nền tảng của các ứng dụng đó, nhưng chưa hẳn là tất cả.
But enough to get an idea of how these systems might work. We will not quiz you on these application lectures, on the final exam, or anything like that.
Nhưng đủ để hình dung các hệ thống này có thể hoạt động ra sao. Chúng tôi sẽ không kiểm tra các bài ứng dụng này trong bài thi cuối kỳ hay đâu cả.
It's more meant to give you more perspective rather than extra study materials for the final.
Mục đích là cho các em thêm góc nhìn, chứ không phải thêm tài liệu để ôn thi cuối kỳ.
So far, I've looked at foundational methods for search, for acting adversarial environments, for learning to do new things, and for dealing with uncertainty, noisy information.
Đến giờ ta đã học các phương pháp nền tảng cho tìm kiếm, cho hành động trong môi trường đối kháng, cho việc học làm những điều mới, và cho việc xử lý sự bất định, thông tin nhiễu.
We've seen it all in the context of Pac-Man trying to solve a wide range of problems. Let's take a look at some counterparts in real world applications.
Ta đã thấy tất cả trong bối cảnh Pac-Man cố giải nhiều loại bài toán khác nhau. Giờ ta xem các đối tác của chúng trong ứng dụng thực tế.
So Search is very prevalent in language processing, and we'll cover some of that on Thursday. Adversarial games.
Tìm kiếm rất phổ biến trong xử lý ngôn ngữ, và ta sẽ nói một phần vào thứ Năm. Trò chơi đối kháng.
We'll look a bit more at AlphaGo, arguably the most prominent result in gameplay in the past few years. Learning to acquire behaviors.
Ta sẽ xem thêm về AlphaGo, có thể nói là kết quả nổi bật nhất về chơi game trong vài năm qua. Học để có được các hành vi.
We'll look at some real robot behaviors in flight and in legged locomotion. And dealing with uncertainty. We'll look a bit at the current state of self-driving cars.
Ta sẽ xem vài hành vi của robot thật khi bay và khi di chuyển bằng chân. Và xử lý sự bất định. Ta sẽ xem qua tình hình hiện nay của xe tự lái.
So AlphaGo. Today's state-of-the-art in Go is that there are computer players better than the best human players.
Vậy, AlphaGo. Hiện nay trong cờ vây, có các chương trình máy tính chơi giỏi hơn những người chơi giỏi nhất.
But actually, if you went back to March 2016, that was not the case yet. There's a headline from first week of March 2016, a little over two years ago.
Nhưng nếu quay lại tháng 3 năm 2016, thì chưa phải như vậy. Có một dòng tiêu đề từ tuần đầu tháng 3 năm 2016, cách đây hơn hai năm một chút.
"Google is trying to make artificial intelligence history and it could happen this week." This was alluding to the match AlphaGo was going to play against Lee Sedol later that week.
"Google đang cố tạo nên lịch sử trí tuệ nhân tạo và điều đó có thể xảy ra trong tuần này." Câu này nói đến trận đấu mà AlphaGo sắp chơi với Lee Sedol cuối tuần đó.
What happened is AlphaGo actually won the majority of those matches, and, in some sense, became new world champion.
Kết quả là AlphaGo thực sự thắng đa số các ván, và theo một nghĩa nào đó trở thành nhà vô địch thế giới mới.
And in what it did, we had to update this graph that you see at the very beginning of the course, where we had already checkers fully solved, which means we understand who can guarantee a win.
Và vì thế ta phải cập nhật biểu đồ này, mà các em thấy ngay đầu khóa học, nơi cờ đam đã được giải hoàn toàn, nghĩa là ta biết ai có thể đảm bảo thắng.
Chess, computers play beyond human level, and Go, now also the case. So how do you make an AI for Go?
Cờ vua thì máy tính chơi vượt người, và cờ vây giờ cũng vậy. Vậy làm sao tạo AI cho cờ vây?
Let's go back to what we were looking at in lecture on games, MiniMax. MiniMax is about solving games in adversarial environments. You have your own player, but then there's the opponent, plays against you.
Ta quay lại bài giảng về trò chơi, minimax. Minimax là để giải các trò chơi trong môi trường đối kháng. Có người chơi là mình, và có đối thủ chơi chống lại mình.
And you reason about what you will do, what they can do, what you can do, all possible ways the game can play out.
Ta suy luận xem mình sẽ làm gì, họ có thể làm gì, mình làm gì, mọi cách ván chơi có thể diễn ra.
For a game like Tic-Tac-Toe, you will find out that you can force a draw, and that means fully solving the game.
Với trò như Tic-Tac-Toe, ta sẽ thấy mình có thể ép hòa, và như vậy là giải hoàn toàn trò chơi.
But for a game like Go, this is actually pretty hard to do, and it's even much harder than chess. And why? Let's take a look at chess.
Nhưng với cờ vây, việc này thực sự rất khó, thậm chí khó hơn cờ vua nhiều. Vì sao? Ta xem cờ vua.
This is an animation made by DeepMind, showcasing the branching factor in chess. It's large. It's much bigger than Tic-Tac-Toe. You're not going to easily compute all possible scenarios in chess.
Đây là hoạt ảnh do DeepMind làm, minh họa hệ số nhánh của cờ vua. Nó lớn. Lớn hơn Tic-Tac-Toe nhiều. Ta không dễ gì tính hết mọi tình huống trong cờ vua.
Hasn't been done yet. But it's still somewhat reasonable. For Go, here's what it looks like. The brushing factor is much larger.
Chưa ai làm được. Nhưng vẫn còn tạm chấp nhận được. Còn cờ vây thì trông như thế này. Hệ số nhánh lớn hơn nhiều.
It's a 19 by 19 board, so there's 19 times 19 positions to choose from in the first move. And then one less, of course, next move. But the branching factor is enormous.
Bàn cờ 19 nhân 19, nên nước đi đầu có 19 nhân 19 vị trí để chọn. Rồi nước sau thì ít hơn một, dĩ nhiên. Nhưng hệ số nhánh vẫn khổng lồ.
So if you tried to run an exhaustive search through this kind of game tree, it's not going to work. We also saw the alpha beta pruning.
Nên nếu cố tìm kiếm vét cạn trên cây trò chơi như vậy thì không được. Ta cũng đã học cắt tỉa alpha-beta.
And the ideal expansion scenario can reduce the size of the tree by square rooting it, making it half as deep. Still too much.
Và trường hợp mở rộng lý tưởng có thể giảm kích thước cây bằng cách lấy căn bậc hai, tức là sâu một nửa. Vẫn quá nhiều.
You can't work through this, even if you had the perfect ordering in alpha beta pruning. So what else can we do?
Không thể xử lý nổi, ngay cả khi có thứ tự hoàn hảo trong cắt tỉa alpha-beta. Vậy ta còn làm được gì?
What we saw is that maybe you can decide not [? this ?] search has deeply by having an evaluation function.
Điều ta đã thấy là có thể không tìm kiếm quá sâu bằng cách dùng hàm đánh giá. hàm.
Now, evaluation functions can be difficult to design, and what's so special about AlphaGo that the evaluation function was learned.
Hàm đánh giá có thể khó thiết kế, và điều đặc biệt ở AlphaGo là là hàm đánh giá này được học ra.
A deep neural network was trained to provide a good evaluation function at various stages of the game.
Một mạng nơ-ron sâu được huấn luyện để cho ra một hàm đánh giá tốt ở nhiều giai đoạn khác nhau của ván cờ.
And so when you think about your move, maybe you only have to think two deep instead of all the way till the end of the game.
Vậy khi bạn nghĩ nước đi, có thể bạn chỉ cần nghĩ sâu hai bước thay vì đi hết đến cuối ván cờ.
Because after two deep, you look at the evaluation function and it might be good enough. We know neural networks are universal function approximators. In principle, they could represent the exact evaluation function.
Vì sau hai bước, bạn nhìn vào hàm đánh giá và nó có thể đã đủ tốt. Ta biết mạng nơ-ron là bộ xấp xỉ hàm vạn năng. Về nguyên tắc, chúng có thể biểu diễn chính xác hàm đánh giá.
Of course, that would require a lot of data, and, in fact, data of optimal players, which we don't have.
Tất nhiên điều đó cần rất nhiều dữ liệu, mà lại là dữ liệu của người chơi tối ưu, thứ ta không có.
But maybe if you have enough data from pretty good players, you can train a neural network to evaluate the value of a position.
Nhưng nếu có đủ dữ liệu từ những người chơi khá giỏi, bạn có thể huấn luyện mạng nơ-ron để đánh giá giá trị của một thế cờ.
Let's say a score between 0 and 1, according to a win probability of y, let's say.
Giả sử là điểm từ 0 đến 1, theo xác suất thắng là y chẳng hạn.
But even then, because the branching factor is so large, the evaluation function, sure, if you want to look one step ahead, no problem.
Nhưng dù vậy, vì hệ số rẽ nhánh quá lớn, với hàm đánh giá, đúng là nếu bạn muốn nhìn trước một bước thì không vấn đề.
But if you want to look a little more than one step ahead, the large branching factor is still a bit of an issue. But many of the moves are not that useful.
Nhưng nếu muốn nhìn xa hơn một bước một chút, hệ số rẽ nhánh lớn vẫn là một trở ngại. Nhưng nhiều nước đi không hữu ích lắm.
And so the question you can ask, can we learn another neural network that can tell us how to reduce which moves to consider when we do our depth-limited search?
Vậy câu hỏi là, ta có thể học một mạng nơ-ron khác cho biết nên giảm bớt những nước đi nào cần xét khi thực hiện tìm kiếm giới hạn độ sâu không?
And so policy network can be trained, which assigns probabilities to all possible moves.
Và ta có thể huấn luyện một policy network, gán xác suất cho mọi nước đi có thể.
And then you might only consider the moves with high probability when running your search, or you might just sample from that distribution to run your search.
Rồi bạn có thể chỉ xét các nước đi có xác suất cao khi chạy tìm kiếm, hoặc bạn có thể lấy mẫu từ phân phối đó để chạy tìm kiếm.
So it learned two networks, of value network, which learns the evaluation function, and a policy network, which reduces the branching factor. So let's look at the whole pipeline.
Vậy nó học hai mạng: value network, học hàm đánh giá, và policy network, giảm hệ số rẽ nhánh. Ta hãy xem toàn bộ quy trình.
For AlphaGo, there was a bunch of data collected from human play.
Với AlphaGo, người ta thu thập một lượng dữ liệu từ các ván cờ của con người.
Then a supervised learning was run, so a deep neural network was trained to predict who will win from a certain situation.
Sau đó chạy học có giám sát, tức là huấn luyện một mạng nơ-ron sâu để dự đoán ai sẽ thắng từ một thế cờ nhất định.
So we've seen examples of predicting what digit. This would now be predicting who wins when this game is over.
Ta đã thấy ví dụ dự đoán chữ số nào. Giờ đây là dự đoán ai thắng khi ván cờ kết thúc.
There's two things being learned from that. The first thing being learned is the policy network, which is deciding which moves somebody makes.
Có hai thứ được học từ đó. Thứ đầu tiên là policy network, quyết định người chơi sẽ đi nước nào.
Once you have that, you can use that pulse network to play against yourself, and you can keep improving your policy from playing against yourself. This gives you a lot of data.
Có nó rồi, bạn dùng mạng chính sách đó để tự chơi với chính mình, và liên tục cải thiện chính sách nhờ tự chơi. Việc này cho bạn rất nhiều dữ liệu.
That lot of data can then be used to decide who is likely to win from a given situation, which is the value network, that value network.
Lượng dữ liệu lớn đó rồi được dùng để quyết định ai có khả năng thắng từ một thế cờ cho trước, và đó là value network.
Also, big neural network can then be used with your look ahead.
Mạng nơ-ron lớn này cũng được dùng với việc nhìn trước.
And so when you're testing, that is, you're actually playing with these networks, you will sample from your policy network, likely branches you might go down and your opponent might go down.
Và khi kiểm tra, tức là khi thực sự chơi với các mạng này, bạn sẽ lấy mẫu từ policy network, các nhánh có khả năng bạn sẽ đi và đối thủ sẽ đi.
And then you'll cut it off at a certain depth, use the value network there to propagate the value of [INAUDIBLE] One little additional thing that is pretty interesting about Go, and what a lot of the previous Go systems build upon pretty heavily, and AlphaGo build upon, too, for supervision, is that Monte Carlo rollouts end up
Rồi bạn cắt ở một độ sâu nhất định, dùng value network ở đó để lan truyền giá trị của [KHÔNG NGHE RÕ] Một điều nhỏ nữa khá thú vị về cờ vây, và là điều nhiều hệ thống cờ vây trước đó dựa vào rất nhiều, AlphaGo cũng dựa vào, cho phần giám sát, là các Monte Carlo rollout dự đoán khá tốt
being reasonably good at predicting who's going to win. What do I mean with that? Let's say, in a given board situation, and from that situation, you just randomly play.
việc ai sẽ thắng. Ý tôi là gì? Giả sử có một thế cờ nào đó, và từ thế đó bạn cứ chơi ngẫu nhiên.
If you do random play, it is likely that whoever is in the better position to win will also win in the random playouts.
Nếu chơi ngẫu nhiên, nhiều khả năng bên có thế thắng tốt hơn cũng sẽ thắng trong các ván ngẫu nhiên đó.
It's not guaranteed, of course, but they'll typically have a higher win probability. So that means you can self-supervise with pretty poor play.
Tất nhiên không đảm bảo, nhưng thường họ có xác suất thắng cao hơn. Nghĩa là bạn có thể tự giám sát bằng lối chơi khá tệ.
In fact, you can self-supervise with random play to learn who is likely to win from a given situation.
Thực tế, bạn có thể tự giám sát bằng chơi ngẫu nhiên để học xem ai có khả năng thắng từ một thế cờ cho trước.
These things, combined, led to mastery of the game of Go with deep neural networks and tree search, combined, to bring together two topics we've covered in this class.
Những thứ này kết hợp lại đã giúp làm chủ cờ vây, nhờ mạng nơ-ron sâu và tìm kiếm trên cây kết hợp, gộp hai chủ đề ta đã học trong lớp này.
A year later, just about one year ago, another paper came out of DeepMind. This is October 2017. "Mastering the game of Go without human knowledge."
Một năm sau, cách đây khoảng một năm, một bài báo khác ra mắt từ DeepMind. Đó là tháng 10 năm 2017. "Làm chủ cờ vây mà không cần tri thức con người."
This one is called AlphaGo Zero. And what they did there is they skipped the training on human play.
Hệ thống này gọi là AlphaGo Zero. Họ đã bỏ qua bước huấn luyện trên các ván cờ của con người.
So when we go back to the training pipeline, instead of training on human expert positions, from the beginning, it was just playing itself.
Quay lại quy trình huấn luyện, thay vì huấn luyện trên các thế cờ của chuyên gia, ngay từ đầu nó chỉ tự chơi với chính mình.
And since we know that random rollouts tend to favor who is in a better position from the beginning, you already get some signal about what the right or wrong moves might be, even if your policy is still pretty poor.
Và vì ta biết các rollout ngẫu nhiên có xu hướng nghiêng về bên có thế tốt hơn ngay từ đầu, nên bạn đã có chút tín hiệu về đâu là nước đi đúng hay sai, dù chính sách của bạn vẫn còn khá tệ.
And then you can do this whole process from scratch without any human input, in terms of what are good or bad positions.
Rồi bạn làm toàn bộ quy trình này từ đầu mà không cần con người cung cấp gì về việc thế cờ nào tốt hay xấu.
And in fact, AlphaGo Zero was then generalized to Alpha Zero, which was used to also learn to play chess and, I believe, Shogi, or some other board game that's strategically similar to chess, but a little more complicated.
Và thực ra AlphaGo Zero sau đó được tổng quát hóa thành Alpha Zero, dùng để học chơi cả cờ vua và, tôi tin là, Shogi, hoặc một loại cờ bàn khác có chiến lược tương tự cờ vua, nhưng phức tạp hơn một chút.
So this shows that the combination of what we've covered at the very beginning, in terms of MiniMax, alpha beta pruning, and so forth, with deep known networks to help guide the sampling process through the tree and to guide what the valuations are when you cut off the search, can get you really good performance
Điều này cho thấy sự kết hợp những gì ta học từ đầu môn, như minimax, cắt tỉa alpha-beta, v.v., với mạng nơ-ron sâu để dẫn hướng quá trình lấy mẫu qua cây và dẫn hướng các giá trị đánh giá khi cắt tìm kiếm, có thể cho hiệu năng rất tốt trong các trò chơi.
in games. Any questions about this? We'll cover a sequence of different applications one after the other, and this is the part for Go.
Có ai thắc mắc gì về phần này không? Ta sẽ đi qua một loạt ứng dụng khác nhau lần lượt, và đây là phần về cờ vây. Có ai thắc mắc gì về phần này không?
So quick question. What happens when there is no human input? It's trained by just playing against itself.
Một câu hỏi nhanh. Điều gì xảy ra khi không có đầu vào từ con người? Nó được huấn luyện chỉ bằng cách tự chơi với chính mình.
And so when you play against yourself, initially, you're playing pretty poorly, of course, because you don't know how to play it. It's a random neural network, or a network that's randomly initialized, making decisions.
Và khi bạn chơi với chính mình, ban đầu dĩ nhiên bạn chơi khá tệ, vì bạn chưa biết cách chơi. Đó là một mạng nơ-ron ngẫu nhiên, hay một mạng được khởi tạo ngẫu nhiên, đang đưa ra quyết định.
But what happens is that half the time you win, half the time you lose.
Nhưng điều xảy ra là một nửa số lần bạn thắng, một nửa số lần bạn thua.
And so it turns out that in terms of reinforcement learning problem, problems you can phrase as you play against a version of yourself, and that kind of problem is much easier to learn than most other things.
Và hóa ra, xét theo bài toán học tăng cường, những bài toán mà bạn có thể diễn đạt thành việc chơi với một phiên bản của chính mình, thì loại bài toán đó dễ học hơn nhiều so với hầu hết những thứ khác.
Because half the time you win, half the time you lose. That's maximizing the amount of signal you get from data you collect.
Vì một nửa số lần bạn thắng, một nửa số lần bạn thua. Như vậy là tối đa hóa lượng tín hiệu mà bạn nhận được từ dữ liệu thu thập.
Oh, the final level achieved is beyond human level, way beyond. So there's some elo scales where they look at for Go.
À, trình độ cuối cùng đạt được vượt xa trình độ con người. Có một số thang elo mà người ta dùng cho cờ vây.
And AlphaGo Zero, which learns from just playing itself, goes at a level beyond where AlphaGo was. Strongest player in existence so far.
Và AlphaGo Zero, học chỉ bằng cách tự chơi với chính nó, đạt trình độ cao hơn AlphaGo trước đó. Là kỳ thủ mạnh nhất từng có cho đến nay.
And the longer it keeps playing itself, the better it keeps getting.
Và nó càng tự chơi lâu thì càng giỏi hơn.
There are often a few tricks you need to take into account when you do this self-play kind of thing, which is you don't want to just play exactly yourself, necessarily, because you might overfit to your exact current way of playing.
Thường có vài mẹo bạn cần lưu ý khi làm kiểu tự chơi này, đó là bạn không nên chỉ chơi y hệt chính mình, vì có thể bị quá khớp với cách chơi hiện tại của mình.
So usually, you might keep around some past versions of yourself and play against a set of past players, and make sure you're good against all of them rather than just good against whatever your current strategy is.
Nên thường bạn giữ lại một số phiên bản cũ của mình và chơi với một tập các đối thủ cũ, và đảm bảo bạn giỏi trước tất cả chúng, chứ không chỉ giỏi trước chiến lược hiện tại của mình.
And sometimes the human knowledge put into it is looking at past games of humans, and training a value network and a pulse network to predict what happened in there.
Và đôi khi tri thức con người được đưa vào là xem các ván cờ trước đây của con người, rồi huấn luyện một mạng giá trị và một mạng chính sách để dự đoán những gì đã xảy ra trong đó.
That gives you a better initialization of the neural network than random initialization.
Cách đó cho bạn khởi tạo tốt hơn cho mạng nơ-ron so với khởi tạo ngẫu nhiên.
And so the question you're asking, effectively, is, OK, is it possible that that better initialization maybe steers you in the wrong direction and maybe you're going to get stuck in a local optimum that is a lot like humans?
Vậy câu hỏi của bạn thực chất là: liệu khởi tạo tốt hơn đó có thể dẫn bạn đi sai hướng, và có thể bạn sẽ mắc kẹt ở một cực trị cục bộ giống hệt con người?
But maybe if you learn from scratch, you can find something even way better? I don't know the answer to that.
Trong khi nếu học từ đầu, có thể bạn tìm được thứ còn tốt hơn nhiều? Tôi không biết câu trả lời.
But empirically, it seems that learning from scratch reaches levels beyond the levels reached with the previous methods. But yeah, who knows? There is no final answer yet.
Nhưng theo thực nghiệm, có vẻ học từ đầu đạt trình độ vượt qua các trình độ của những phương pháp trước. Nhưng ai mà biết được? Chưa có câu trả lời cuối cùng.
STUDENT
Is there any way of knowing if Go [INAUDIBLE] optimal search, or could it be at a local optimum [? moment, ?] another [INAUDIBLE] PROFESSOR: There is something called fictitious play.
Có cách nào biết cờ vây [KHÔNG NGHE RÕ] tìm kiếm tối ưu, hay nó có thể ở cực trị cục bộ [KHÔNG NGHE RÕ] [KHÔNG NGHE RÕ] GIÁO SƯ: Có một thứ gọi là fictitious play.
In fictitious play, you kind of play against yourself in a slightly more complicated setting than this. So I believe it includes this, the result.
Trong fictitious play, bạn cũng tự chơi với chính mình nhưng trong bối cảnh phức tạp hơn một chút. Tôi tin là nó bao hàm kết quả này.
By playing yourself, you're guaranteed to reach an equilibrium. But it's a subtle way of reaching an equilibrium. Actually, what reaches the equilibrium is the average version of all your past selves.
Bằng cách tự chơi, bạn được đảm bảo đạt đến một điểm cân bằng. Nhưng đó là cách đạt cân bằng khá tinh tế. Thật ra, thứ đạt đến cân bằng là phiên bản trung bình của tất cả các bản thân trước đây của bạn.
So rather than your actual current network being the equilibrium solution, it's the average of all past.
Nên không phải mạng hiện tại của bạn là nghiệm cân bằng, mà là trung bình của tất cả quá khứ.
Then there's something called neural fictitious play, which is where you train a neural network to match up with the average version of all your past selves.
Rồi có thứ gọi là neural fictitious play, tức là bạn huấn luyện một mạng nơ-ron để khớp với phiên bản trung bình của tất cả các bản thân trước đây.
Because that way, you can do it more efficiently, because you need to keep around all your past selves.
Vì như vậy bạn làm hiệu quả hơn, do bạn không cần giữ lại tất cả các bản thân trước đây.
That's a lot to keep around, and that's not very convenient to use, especially if you need, let's say, thousands or millions of updates.
Giữ lại nhiều như vậy thì rất nhiều, và không tiện dùng, nhất là nếu bạn cần, chẳng hạn, hàng nghìn hay hàng triệu lần cập nhật.
But if you then train a network to match up with the average of your past selves, then you effectively get the same thing, and that will reach an equilibrium which tends to be local.
Nhưng nếu bạn huấn luyện một mạng để khớp với trung bình của các bản thân trước đây, thì thực chất bạn có cùng kết quả, và nó sẽ đạt một điểm cân bằng thường là cục bộ.
It doesn't need to be globally optimal.
Nó không nhất thiết tối ưu toàn cục.
Yes?
Bạn nào?
STUDENT
[INAUDIBLE] PROFESSOR: So AlphaGo Zero — well, let me maybe see if I can pull this up easily, because I have a slide on that, just not in this deck, and then you can see it.
[KHÔNG NGHE RÕ] GIÁO SƯ: Vậy AlphaGo Zero — để tôi xem có mở nhanh được không, vì tôi có một slide về chuyện này, chỉ là không nằm trong bộ này, rồi các bạn có thể xem.
It was still climbing, but let me see if I can pull something up that might showcase it.
Nó vẫn còn đang tăng, nhưng để tôi xem có mở được thứ gì minh họa được không.
OK, so here's AlphaGo Zero.
Đây là AlphaGo Zero.
The cursor's somewhere here, yep. So AlphaGo Zero is compared with AlphaGo Lee, which is the version that played Lee Sedol.
Con trỏ ở đâu đây, đúng rồi. AlphaGo Zero được so sánh với AlphaGo Lee, là phiên bản đã đấu với Lee Sedol.
And then AlphaGo Master. So what happened is there was AlphaGo that played Lee Sedol.
Và AlphaGo Master. Diễn biến là có AlphaGo đã đấu với Lee Sedol.
Then there was AlphaGo Master, which was released online play, and was pretty much, essentially, beating everyone in somewhat faster games that are played online. And then there was AlphaGo Zero, which was more recent.
Rồi có AlphaGo Master, được tung ra chơi trực tuyến, và về cơ bản gần như đánh bại tất cả mọi người trong các ván nhanh hơn chơi trực tuyến. Và sau đó là AlphaGo Zero, mới hơn.
So if you look at elo rating on the vertical axis and then number of days of training on the horizontal axis, this is what happens. So AlphaGo Zero has no prior knowledge.
Nếu nhìn điểm elo trên trục tung và số ngày huấn luyện trên trục hoành, thì diễn biến như thế này. AlphaGo Zero không có tri thức trước.
It starts at a pretty, actually, negative elo rating. Loses all the time initially. It's playing itself, but then gets tested against a set of players to calibrate its elo rating.
Nó bắt đầu ở điểm elo khá thấp, thậm chí là âm. Ban đầu thua suốt. Nó tự chơi với chính mình, nhưng sau đó được kiểm tra với một tập đối thủ để hiệu chỉnh điểm elo.
And the green line is we're AlphaGo Lee Sedol was. That blue dotted line, after 21 days, it goes past where AlphaGo Master, was which was an improved version of AlphaGo Lee Sedol.
Đường màu xanh lá là mức của AlphaGo Lee Sedol. Đường chấm xanh dương kia, sau 21 ngày, nó vượt qua mức của AlphaGo Master, một phiên bản cải tiến của AlphaGo Lee Sedol.
And then it was still creeping up after 40 days.
Và nó vẫn còn nhích lên sau 40 ngày.
Now, I think what you're asking is like — I mean, there's some sense, at some point, if you keep going, you will be limited that you will, in some sense, solve the game.
Tôi nghĩ điều bạn đang hỏi là — có nghĩa là, đến một lúc nào đó, nếu cứ tiếp tục, bạn sẽ bị giới hạn, theo nghĩa nào đó, là bạn đã giải xong trò chơi.
Go, even though it's a master game, in principle, has a solution.
Cờ vây, dù là một trò chơi rất khó, về nguyên tắc vẫn có một lời giải.
And so in principle, if you have training working out perfectly, you reach a point where your neural network essentially knows, from every situation, who's guaranteed to win or whether it's guaranteed to be a draw, and then knows how to play that.
Nên về nguyên tắc, nếu quá trình huấn luyện diễn ra hoàn hảo, bạn sẽ đến lúc mạng nơ-ron của mình về cơ bản biết với mọi tình huống, bên nào chắc chắn thắng hoặc ván đó chắc chắn hòa, và biết cách chơi theo đó.
I don't think this would be getting at that level yet. But at some point, you can reach that level.
Tôi không nghĩ hệ thống này đã đạt đến mức đó. Nhưng đến một lúc nào đó, bạn có thể đạt tới mức ấy.
Once you reach that level, essentially, there's no further to go, because you solved the game. And I don't know what elo rating would correspond to that.
Khi đạt tới mức đó, về cơ bản không còn gì để đi xa hơn, vì bạn đã giải xong trò chơi. Và tôi không biết điểm elo tương ứng với mức đó là bao nhiêu.
Any other questions about Go? Yes?
Còn câu hỏi nào khác về cờ vây không? Bạn nào?
STUDENT
[INAUDIBLE] PROFESSOR: Well, that's a good question. So the question was, do we think we can solve the game with enough compute power?
[KHÔNG NGHE RÕ] GIÁO SƯ: Câu hỏi hay đấy. Câu hỏi là: liệu ta có nghĩ có thể giải xong trò chơi nếu có đủ sức mạnh tính toán không?
Now, with infinite compute power, for sure. But that's a given. Then you can definitely solve it.
Với sức mạnh tính toán vô hạn thì chắc chắn được. Nhưng đó là điều hiển nhiên. Khi đó chắc chắn giải được.
With reasonable compute power, it traverses the whole tree, even with alpha beta pruning, I don't think that'll happen anytime soon. It's a really big tree.
Với sức mạnh tính toán hợp lý, duyệt toàn bộ cây, kể cả có cắt tỉa alpha-beta, tôi không nghĩ điều đó sẽ xảy ra sớm. Cây đó thực sự rất lớn.
It's essentially 19 times 19 times 19 times 19 minus 1 times 19 times 19 minus 2, and so forth. And that'll add up to a very large number.
Về cơ bản là 19 nhân 19 nhân 19 nhân (19 trừ 1) nhân 19 nhân (19 trừ 2), và cứ thế. Và nó sẽ cộng lại thành một số cực kỳ lớn.
In fact, before deep learning became so successful, when people were speculating about how long it would take to get human level performance on the game of Go, a lot of people were thinking in that direction and were thinking, OK, how long will it take us before we can really traverse a very large part of that tree?
Thực tế, trước khi học sâu thành công như vậy, khi mọi người dự đoán sẽ mất bao lâu để đạt trình độ con người ở cờ vây, nhiều người nghĩ theo hướng đó và tự hỏi: bao lâu nữa ta mới có thể duyệt một phần rất lớn của cây đó?
And that's maybe when we reach human level play. And when people made guesses based on that, they would say, well, maybe 100 years from now, maybe 50 years from now, maybe 20.
Và có lẽ đó là lúc ta đạt trình độ con người. Khi mọi người đoán dựa trên cách đó, họ nói có lẽ 100 năm nữa, có lẽ 50 năm nữa, có lẽ 20.
But pretty much no one would say less than 20, and most people would say 50 or more. If you do a more kind of brute force style approach — not 100% brute force.
Nhưng hầu như không ai nói dưới 20, và đa số nói từ 50 trở lên. Nếu dùng cách tiếp cận kiểu vét cạn hơn — không phải vét cạn 100%.
It might be even longer.
Có thể còn lâu hơn nữa.
But the more brute force style approach, where you don't have good value functions, you don't have good policy functions, was expected to take decades before we reached compute levels that can do that.
Nhưng cách tiếp cận thiên về vét cạn, khi bạn không có hàm giá trị tốt, không có hàm chính sách tốt, được dự đoán sẽ mất hàng thập kỷ trước khi ta đạt được mức tính toán đủ để làm điều đó.
Yes?
Bạn nào?
STUDENT
[INAUDIBLE] PROFESSOR: That's a good question. What is the advantage of not using the new human knowledge?
[KHÔNG NGHE RÕ] GIÁO SƯ: Câu hỏi hay. Lợi thế của việc không dùng kiến thức mới của con người là gì?
So one possible advantage ties into the earlier question.
Một lợi thế có thể liên quan đến câu hỏi trước.
It could be that, because you only find local [? optim ?] when training neural networks, it could be that by using human knowledge, you're in some kind of based enough attraction.
Có thể vì khi huấn luyện mạng nơ-ron ta chỉ tìm được cực trị địa phương, nên khi dùng kiến thức của con người, bạn có thể rơi vào một vùng hút nào đó của một cực trị địa phương mà có lẽ không tốt bằng một cực trị khác ngoài kia.
For a local [? optim, ?] that maybe not as good as another one that might be out there. I don't know if that would be the case or not, but that's a possibility.
Tôi không biết có đúng vậy không, nhưng đó là một khả năng.
It also depends on how much randomness you have in your exploration. So if you have enough randomness, then initialization will have much less effect than if you have limited randomness in your exploration.
Điều đó cũng phụ thuộc vào mức ngẫu nhiên trong quá trình khám phá của bạn. Nếu có đủ tính ngẫu nhiên, thì khởi tạo sẽ ảnh hưởng ít hơn nhiều so với khi tính ngẫu nhiên trong khám phá bị hạn chế.
Generally, if you want to solve a problem, usually you want to bring everything to bear you have. So you'll bring to bear any data from humans, any human demonstrations you can get.
Nói chung, nếu muốn giải một bài toán, thường bạn muốn dùng mọi thứ mình có. Bạn sẽ dùng mọi dữ liệu từ con người, mọi minh họa của con người mà bạn có được.
Then we'll see some examples in a few other problems settings soon. And then the reinforced learning on top of that to further improve. That's kind of the standard way to solve a problem.
Chúng ta sẽ thấy vài ví dụ ở một số bối cảnh khác sắp tới. Rồi dùng học tăng cường bên trên đó để cải thiện thêm. Đó là cách chuẩn để giải một bài toán.
From a research point of view, it's very interesting to see where you can get from scratch. So from a research point of view, it's a very clear question.
Từ góc độ nghiên cứu, việc xem có thể đi được bao xa từ con số không rất thú vị. Nên từ góc độ nghiên cứu, đó là một câu hỏi rất rõ ràng.
OK, what can we do if we don't have any prior knowledge? How good can this system get? Is it even possible to learn good Go players by just playing against yourself?
Ta làm được gì nếu không có kiến thức trước nào? Hệ thống này có thể giỏi đến đâu? Liệu có thể học ra người chơi cờ vây giỏi chỉ bằng cách tự chơi với chính mình không?
That's something people did not have an answer to until this experiment was run.
Đó là điều người ta chưa có câu trả lời cho đến khi thí nghiệm này được chạy.
OK, switching gears to helicopters. Here's a motivating example.
Được rồi, chuyển sang trực thăng. Đây là một ví dụ tạo động lực.
Imagine you want your helicopter to do something like this.
Hãy tưởng tượng bạn muốn trực thăng làm được thế này.
It's called a tick tock, after how old school clocks would have something that swings back and forth. This is a very hard maneuver to do. Only extremely capable pilots can do this.
Nó gọi là tick tock, theo kiểu những chiếc đồng hồ ngày xưa có bộ phận đung đưa qua lại. Đây là một động tác rất khó. Chỉ những phi công cực kỳ giỏi mới làm được.
I don't think they do it with helicopters you sit in. This is an RC helicopter. How do you get a helicopter to do this autonomously?
Tôi không nghĩ họ làm trên trực thăng có người ngồi. Đây là trực thăng điều khiển từ xa RC. Làm sao để trực thăng tự động làm được điều này?
And by the way, this is done autonomously here, but how do we get to something like this? Well, what does it mean to fly a helicopter? What are the challenges?
Và nhân tiện, ở đây nó được làm hoàn toàn tự động, nhưng làm sao ta đạt được như vậy? Vậy lái một chiếc trực thăng nghĩa là gì? Những thách thức là gì?
There's two key challenges. One is tracking where the helicopter is at any given time, because if you don't know where it is, you'll not be able to control it very reliably.
Có hai thách thức chính. Một là theo dõi vị trí của trực thăng tại mọi thời điểm, vì nếu không biết nó ở đâu, bạn sẽ không điều khiển nó đáng tin cậy được.
That ties into things we saw with HMMs. And then the other thing is to decide what to do, what controls is sent to the helicopter.
Điều này liên quan đến những gì ta đã thấy với HMM. Hai là quyết định phải làm gì, gửi lệnh điều khiển nào đến trực thăng.
So what do you get to send to the helicopter? Typically, have a remote control, which has two joysticks. You send controls from that to the helicopter.
Vậy bạn gửi được gì đến trực thăng? Thường có một bộ điều khiển từ xa với hai cần điều khiển. Bạn gửi lệnh từ đó đến trực thăng.
Then helicopter might listen to those, but you need to decide what to sense, or you might have a computer that has some kind of calculation that feeds into the back of this remote control to send things out.
Trực thăng có thể nghe các lệnh đó, nhưng bạn cần quyết định cần cảm biến gì, hoặc có thể có một máy tính thực hiện một phép tính nào đó rồi đưa vào phía sau bộ điều khiển từ xa này để gửi tín hiệu đi.
Then the helicopter often onboard has some sensing, maybe inertial measurements unit, which measures the acceleration of the helicopter. So it's a three axis measurement, x, y, z.
Rồi trực thăng thường có sẵn trên thân một số cảm biến, có thể là đo quán tính một bộ đo gia tốc của trực thăng. Đó là phép đo ba trục: x, y, z.
How much is helicopter accelerating relative to gravity? Free falling is measured as zero.
Tức là trực thăng đang tăng tốc bao nhiêu so với trọng lực. Rơi tự do thì được đo là không.
Then usually, there is a three axis gyroscope, which measures around three axes — your angular rate of your helicopter, and often, there's a magnetic compass which measures which way the helicopter is facing relative to the direction of the Earth's magnetic field.
Sau đó thường có một con quay hồi chuyển ba trục, đo quanh ba trục, tức tốc độ góc của trực thăng, và thường có một la bàn từ đo xem trực thăng đang hướng về phía nào so với hướng từ trường của Trái Đất.
So those are all measurements you get on board.
Đó là tất cả các phép đo ta có trên máy bay.
Actually, you might have a GPS, but it might not be that reliable when you fly in such aggressive maneuvers, and they tend to be somewhat imprecise.
Thật ra có thể có GPS, nhưng nó có thể không đáng tin khi bay những động tác mạnh như vậy, và nó thường khá thiếu chính xác.
So it's hard to stabilize a helicopter when you only know where you are up to a couple meters. It's much easier if you have more precise measurements.
Rất khó ổn định trực thăng khi ta chỉ biết vị trí với sai số vài mét. Sẽ dễ hơn nhiều nếu có phép đo chính xác hơn.
So for example, we might put cameras on the ground that can position the helicopter reliably. So how do we track the helicopter? None of these measurements are super precise.
Ví dụ, ta có thể đặt các camera trên mặt đất để định vị trực thăng một cách đáng tin cậy. Vậy làm sao theo dõi trực thăng? Không phép đo nào trong số này thật chính xác.
So we set up a hidden Markov model, where we considered the state unknown. The state is x, y, z, then the three angles, the velocity, and the angle rates.
Nên ta dựng một mô hình Markov ẩn, trong đó trạng thái là chưa biết. Trạng thái gồm x, y, z, ba góc, vận tốc, và các tốc độ góc.
And the measurements are the measurements I just described.
Còn các quan sát là những phép đo tôi vừa mô tả.
So by running inference over time through this atrium forward algorithm, we can, at any given time, know, with some reasonable level of accuracy, what the state is of this helicopter.
Bằng cách chạy suy luận theo thời gian qua thuật toán tiến này, tại bất kỳ thời điểm nào ta cũng biết, với độ chính xác khá hợp lý, trạng thái của trực thăng là gì.
We also need that transition model for that, which goes from S0 to S1. So there will be some function that says, given current state in action, what's the next state?
Để làm vậy ta cũng cần mô hình chuyển đi từ S0 sang S1. Tức là sẽ có một hàm cho biết, với trạng thái hiện tại và hành động, trạng thái kế tiếp là gì?
But only up to some noise. It will not be perfect. So how about, then, solving the MDP itself? What are our controls?
Nhưng chỉ chính xác tới mức nhiễu nào đó. Nó sẽ không hoàn hảo. Vậy còn việc giải chính MDP thì sao? Các điều khiển của ta là gì?
We have four control channels, two in each joystick. Let's start with the collective. A collective is the action for the main rotor collective page.
Ta có bốn kênh điều khiển, mỗi cần điều khiển có hai. Bắt đầu với collective. Collective là hành động điều khiển bước cánh của rotor chính.
It's the average angle of attack as the blade goes through the air, which modulates how much vertical thrust you generate.
Đó là góc tới trung bình khi cánh quạt đi qua không khí, quyết định lực đẩy theo phương thẳng đứng mà bạn tạo ra.
There is cyclic controls, longitudinal and latitude cyclic controls, which determine the difference in angle from back and left right as the blade goes around.
Còn có các điều khiển cyclic, cyclic dọc và ngang, quyết định độ chênh góc giữa trước-sau và trái-phải khi cánh quạt quay.
So that way, you can generate a torque that allows your helicopter to roll or pitch based on how much differential thrust you have from back, left to right.
Nhờ vậy bạn tạo ra mô-men để trực thăng nghiêng hoặc chúi, tùy độ chênh lực đẩy giữa trước, sau, trái và phải.
Then the tail rotor has a variable pitch also, and that pitch allows you to modulate how much thrust you get from the tail rotor. So that's how you control a helicopter.
Rotor đuôi cũng có bước cánh thay đổi được, và nó cho phép bạn điều chỉnh lực đẩy từ rotor đuôi. Đó là cách điều khiển một chiếc trực thăng.
You cannot directly ask it to fly forward or sideways. If you want to fly forward, you've got to rotate nose-down and then you can accelerate vertically in a helicopter frame.
Bạn không thể trực tiếp bảo nó bay tới hay bay ngang. Muốn bay tới, bạn phải chúi mũi xuống rồi mới tăng tốc theo phương thẳng đứng trong hệ quy chiếu của trực thăng.
But vertically, the helicopter frame will now be partially forward and partially up, and up compensates for gravity and the forward is what lets you fly forward.
Nhưng phương thẳng đứng của trực thăng giờ một phần hướng tới và một phần hướng lên, phần hướng lên bù lại trọng lực còn phần hướng tới giúp bạn bay về phía trước.
So you can build a model for this from collecting data from your helicopter, let's say, and learning a bunch of parameters that predict the next state, given current state and action.
Vậy ta có thể xây dựng mô hình cho việc này bằng cách thu thập dữ liệu từ trực thăng, chẳng hạn, rồi học một loạt tham số dự đoán trạng thái kế tiếp, cho trạng thái hiện tại và hành động.
Can we solve it at this point, the MDP? Actually, we need one more thing. We need a reward function that describes what we want the helicopter to do.
Đến đây ta giải được MDP chưa? Thật ra còn cần thêm một thứ. Ta cần một hàm phần thưởng mô tả điều ta muốn trực thăng làm.
For hover, we saw this. You can have a reward based on distance to target location, x star, y star, z star. And maybe penalizing for non-zero velocity, so you want it to hold still.
Với bay lơ lửng, ta đã thấy rồi. Có thể đặt phần thưởng dựa trên khoảng cách đến vị trí mục tiêu, x sao, y sao, z sao. Và có thể phạt khi vận tốc khác không, vì ta muốn nó đứng yên.
Actually, we saw this example, in the RL lecture, of a helicopter reliably hovering, which is a very hard problem. But reliably solved through reinforced learning, and, in fact, reliably solved for flying upside down.
Thật ra ta đã thấy ví dụ này trong bài giảng RL, một trực thăng bay lơ lửng ổn định, vốn là bài toán rất khó. Nhưng được giải ổn định bằng học tăng cường, và thực ra còn giải ổn định cho cả bay lộn ngược.
Upside down is harder. How do you keep yourself upside down? Well, that main rotor can have a negative angle of attack, and a negative angle of attack flying the normal way brings you lower.
Bay ngược khó hơn. Làm sao giữ mình ở tư thế ngược? Rotor chính có thể có góc tới âm, mà góc tới âm khi bay bình thường sẽ làm bạn hạ thấp xuống.
But if you're flying upside down, it keeps you up in the air. And it's actually more efficient because when you pull in air, you're accelerated.
Nhưng nếu bay ngược, nó giữ bạn ở trên không. Và nó còn hiệu quả hơn vì khi hút không khí vào, không khí được tăng tốc.
And when you are flying normally, that accelerated air goes over the helicopter body, pulling it down, whereas if you're upside down, that accelerated air does not drag your helicopter body down.
Khi bay bình thường, luồng khí được tăng tốc đó đi qua thân trực thăng, kéo nó xuống, còn nếu bay ngược, luồng khí đó không kéo thân trực thăng xuống.
Now, what if you want to do something more complicated, though, like tick tocks, and so forth? What are you going to do? Or maybe you want to flip.
Vậy nếu muốn làm điều gì phức tạp hơn, như tick tock chẳng hạn thì sao? Bạn sẽ làm gì? Hoặc có thể bạn muốn lộn vòng.
In the video we watched, the helicopter had already been flipped. The pilot flipped the helicopter, toggled autonomous control for inverted flight, and that's what we saw in the video, autonomous control and inverted.
Trong video ta đã xem, trực thăng đã được lật sẵn rồi. Phi công lật trực thăng, bật điều khiển tự động cho bay ngược, và đó là điều ta thấy trong video: điều khiển tự động khi bay ngược.
Flight we did not see autonomous flipping. Maybe you could say, well, let's write down a reward function by hand, because we get to choose what the helicopter should do.
Ta không thấy việc tự động lộn vòng. Có thể bạn nói: cứ viết tay một hàm phần thưởng, vì ta được chọn trực thăng nên làm gì.
Let's just ride down maybe a path the helicopter should follow. And think about, what should a helicopter do when flipping? Well, it should be spinning.
Cứ viết ra có thể là một quỹ đạo mà trực thăng nên đi theo. Và nghĩ xem trực thăng nên làm gì khi lộn vòng? Nó nên quay tròn.
But if we just pay attention to spinning, it's going to be dropping, so it should also stay in place.
Nhưng nếu ta chỉ chú ý đến việc quay, nó sẽ rơi xuống, nên nó cũng phải giữ nguyên vị trí.
But staying in play is actually not possible because when you are spinning and you're not able to generate direct vertical thrust, if you generate that vertical thrust in your helicopter frame, you move forward or backwards in some way.
Nhưng giữ nguyên vị trí thật ra là không thể vì khi đang quay thì bạn không thể tạo lực đẩy thẳng đứng trực tiếp, nếu bạn tạo lực đẩy đó theo hệ quy chiếu của trực thăng, bạn sẽ bị dịch về trước hoặc về sau.
So you got to be a little careful about what you do there.
Nên mình phải cẩn thận một chút với những gì làm ở đó.
So then maybe you watch a human fly, say, well, what I seen them do is when they're horizontal, they kind of give a big push so the helicopter accelerates up.
Rồi có thể bạn xem một người lái và nói, tôi thấy họ làm thế này: khi trực thăng nằm ngang, họ đẩy mạnh một cái để trực thăng tăng tốc đi lên.
Then they start the half flip. Then it's falling down. They're inverted. They give it another push, accelerating it up, and do another half flip and repeat.
Sau đó họ bắt đầu lộn nửa vòng. Rồi nó rơi xuống. Lúc đó nó bị lộn ngược. Họ lại đẩy thêm một cái, cho nó tăng tốc đi lên, rồi lộn nửa vòng nữa và cứ thế lặp lại.
So maybe we decide as a target, for this helicopter, to do this kind of maneuver. But exactly what will be the details? It's not easy. Exactly how much do you push up?
Vậy có thể ta chọn mục tiêu cho chiếc trực thăng này là thực hiện kiểu động tác này. Nhưng chi tiết chính xác sẽ ra sao? Không dễ đâu. Đẩy lên chính xác bao nhiêu?
How fast do you spin? Difficult things to decide. A few years ago as a PhD student, I tried to design this kind of thing. And so we designed a trajectory.
Xoay nhanh cỡ nào? Những thứ khó quyết định. Vài năm trước, khi còn là nghiên cứu sinh tiến sĩ, tôi đã thử thiết kế kiểu động tác này. Chúng tôi thiết kế một quỹ đạo.
This is me, together with Adam Coates and Morgan Quigley. And then had reinforcement learning, learn a controller to follow the trajectory that we design. We ran many, many simulations, looking pretty good.
Đây là tôi cùng với Adam Coates và Morgan Quigley. Sau đó dùng học tăng cường để học một bộ điều khiển bám theo quỹ đạo đã thiết kế. Chúng tôi chạy rất nhiều mô phỏng, trông khá tốt.
And then we run it on our helicopter. So this is our helicopter, indeed, flipping, which is great.
Rồi chúng tôi chạy trên trực thăng thật. Đây là trực thăng của chúng tôi, đúng là đang lộn, tuyệt vời.
It's moving more than we want it to move, a lot more than we want it to move.
Nhưng nó di chuyển nhiều hơn mức ta muốn, nhiều hơn hẳn mức ta muốn.
And it went into the trees. So let's think about what happened here. So assimilation, this all worked out perfectly. But in the real world, turned out it didn't work.
Và nó lao vào đám cây. Hãy nghĩ xem chuyện gì đã xảy ra. Trong mô phỏng thì mọi thứ chạy hoàn hảo. Nhưng ngoài đời thực thì hóa ra không được.
What happened in the real world is we're trying to follow this path that we design where the maximal reward is, and it had learned a control policy that's [? installation ?] is really good at following this path.
Ngoài đời thực, chuyện là chúng tôi cố bám theo đường đi đã thiết kế, nơi phần thưởng lớn nhất, và nó đã học được một chính sách điều khiển trong mô phỏng thì thực sự bám đường này rất tốt.
But in the real world, this path was not dynamically feasible, because a helicopter cannot fly any path. Only some paths are possible.
Nhưng ngoài đời, đường này không khả thi về mặt động lực học, vì trực thăng không thể bay theo đường bất kỳ. Chỉ một số đường là có thể.
And so we had asked it to fly a path that's not flyable. So it starts deviating from that path.
Vậy là chúng tôi đã yêu cầu nó bay một đường không bay được. Nên nó bắt đầu lệch khỏi đường đó.
As it deviates from that path, what it learned in the simulator becomes less and less relevant to the real world. It learned to control around the path, but now it's on this different path.
Khi lệch khỏi đường đó, những gì nó học trong trình mô phỏng ngày càng ít liên quan đến thế giới thực. Nó học cách điều khiển quanh đường đi ban đầu, nhưng giờ nó đang ở một đường khác.
It doesn't know how to control around that path. It started overcompensating. That's why you saw it making these wild motions, overcompensating. It pushed the controls so hard that the engine died.
Nó không biết điều khiển quanh đường đó. Nó bắt đầu bù quá mức. Đó là lý do bạn thấy nó chuyển động loạn xạ, do bù quá mức. Nó đẩy cần điều khiển mạnh đến mức động cơ chết máy.
It applied so much control. The engine just couldn't push it, died. At that moment, the blades stopped spinning, or they slowed down. You lose control over your helicopter, more or less, at that point.
Nó dùng quá nhiều lực điều khiển. Động cơ không đẩy nổi nữa, chết máy. Lúc đó cánh quạt ngừng quay, hoặc quay chậm lại. Gần như bạn mất kiểm soát trực thăng ở thời điểm đó.
Then what happened is our human pilot took back control to try to save the helicopter. And believe it or not, they actually saved this. Helicopter incredible.
Sau đó phi công người của chúng tôi giành lại quyền điều khiển để cố cứu chiếc trực thăng. Tin hay không tùy bạn, họ thực sự đã cứu được nó. Thật đáng kinh ngạc.
So the human pilot saw the engine died, took control. The blades were still spinning. As long as you have inertia in the blades, you have a little bit of control.
Phi công thấy động cơ chết máy nên giành quyền điều khiển. Cánh quạt vẫn đang quay. Chừng nào cánh quạt còn quán tính, bạn vẫn còn một chút khả năng điều khiển.
Got the helicopter right-side up with the power still left in the blades, the inertia left in the blades.
Anh ấy đưa trực thăng về tư thế thẳng, nhờ năng lượng còn lại trong cánh quạt, tức quán tính còn lại trong cánh quạt.
Then got into something called autorotation mode, which is where you use the airflow as you're falling, the airflow going through the blades, to spin up the blades again.
Rồi chuyển sang chế độ gọi là autorotation, tức là dùng luồng khí khi đang rơi, luồng khí đi qua cánh quạt, để làm cánh quạt quay lại.
So you get new inertia in your blades. Then it went behind the trees. You couldn't see it anymore. But he knew from past experience.
Nhờ vậy cánh quạt có quán tính mới. Sau đó nó khuất sau đám cây. Không còn nhìn thấy nó nữa. Nhưng anh ấy biết từ kinh nghiệm trước đây.
He could predict. His dynamics model was pretty good, I guess, in 188 language. His dynamics model was just phenomenal. It's behind the trees.
Anh ấy dự đoán được. Mô hình động lực học của anh ấy khá tốt, theo ngôn ngữ môn 188. Mô hình động lực học của anh ấy quá xuất sắc. Nó ở sau đám cây.
He doesn't see it. He knows kind of what's happening. And right before he lands, he changes the collective control to not absorb energy into blades anymore, but to push it all back out.
Anh ấy không nhìn thấy. Nhưng anh ấy biết đại khái chuyện gì đang xảy ra. Và ngay trước khi hạ cánh, anh đổi điều khiển collective để không hấp thụ năng lượng vào cánh quạt nữa, mà đẩy tất cả ra ngoài.
That kinetic energy that's in the spinning blades now goes into pushing air down to slow down the helicopter and have it land on its feet.
Động năng trong cánh quạt đang quay giờ dùng để đẩy không khí xuống, làm trực thăng chậm lại và hạ xuống bằng càng đáp.
It landed a little harder than you want to land, but it landed on its feet and it could be recovered from that, which was pretty crazy.
Nó hạ cánh hơi mạnh hơn mức mong muốn, nhưng vẫn đáp trên càng và có thể sửa chữa được, thật điên rồ.
So clearly, human level control, at that point, was much better than our autonomous controller. There's the same video. So we started looking at some human pilots.
Rõ ràng, lúc đó khả năng điều khiển của con người tốt hơn nhiều so với bộ điều khiển tự động của chúng tôi. Đây là cùng video đó. Vậy nên chúng tôi bắt đầu xem các phi công người.
There's a picture of Alan Szabo, considered one of the world's best human pilots. He has a video out there called Sunday at the Lake.
Đây là ảnh Alan Szabo, được coi là một trong những phi công giỏi nhất thế giới. Anh ấy có một video tên là Sunday at the Lake.
And Sunday at the Lake is a video where he is at this lake and he's flying a helicopter in ways that you could not imagine a helicopter could be flown, and it just works, unlike what you saw with our autonomous flight there.
Sunday at the Lake là video anh ấy ở bên hồ và lái trực thăng theo những cách mà bạn không thể tưởng tượng trực thăng bay được, vậy mà nó chạy tốt, không như chuyến bay tự động của chúng tôi lúc nãy.
We said, well, clearly, the issue was that we asked the helicopter to follow a path that's not flyable.
Chúng tôi nói, rõ ràng vấn đề là ta đã yêu cầu trực thăng bám theo một đường không bay được.
So what if we collect paths from a human pilot and then ask the helicopter to fly those paths?
Vậy nếu ta thu thập các đường bay từ phi công người rồi yêu cầu trực thăng bay theo những đường đó thì sao?
But it turns out, when we collect paths from a human pilot, they tend to be noisy. They don't do exactly what they want it to do.
Nhưng hóa ra khi thu thập đường bay từ phi công người, chúng thường bị nhiễu. Họ không làm chính xác điều họ muốn.
And also, our tracking of the helicopter is imperfect. So our recollection in the computer of those paths is still often not flyable paths. So we said, let's collect many demonstrations.
Và việc theo dõi trực thăng của ta cũng không hoàn hảo. Nên bản tái tạo các đường bay đó trong máy tính vẫn thường là những đường không bay được. Vì vậy chúng tôi nói, hãy thu thập nhiều lần trình diễn.
So we've collected many demonstrations. And for these many demonstrations, we figured, then, this set of demonstrations captures the essence of what it means, what we want the helicopter to do.
Thế là chúng tôi thu thập rất nhiều lần trình diễn. Và với nhiều lần trình diễn này, chúng tôi nghĩ tập các trình diễn này nắm bắt được bản chất của việc những gì ta muốn trực thăng thực hiện.
But not any single one of them is precise enough or is exactly what we want.
Nhưng không có demo nào đủ chính xác hay đúng hoàn toàn như ta muốn.
And just averaging them is not going to work, either, because their time differently and they're oriented differently and averaging is not going to lead to a good path.
Và lấy trung bình cũng không hiệu quả, vì chúng có thời gian khác nhau và hướng cũng khác nhau, nên trung bình sẽ không cho ra đường bay tốt.
So how do we, from, this get a specification of what we should be flying? Well, we could learn the trajectory from these as noisy observations. What methodology do we have for that?
Vậy làm sao từ đây có được đặc tả về thứ ta nên bay theo? Ta có thể học quỹ đạo từ chúng như những quan sát có nhiễu. Ta có phương pháp nào cho việc đó?
Hidden Markov models. If we have something we don't know that evolves over time, but we have some noisy measurements of it, we can run an HMM to recover what we actually want.
Mô hình Markov ẩn. Nếu có thứ ta không biết và nó thay đổi theo thời gian, nhưng ta có các phép đo có nhiễu của nó, ta có thể chạy HMM để khôi phục thứ ta thực sự muốn.
So we want an HMM model that captures this. We have the hidden sequence of states and we have multiple demos, typically five to 10, only two shown on the slides here.
Vậy ta cần một mô hình HMM nắm bắt điều này. Ta có chuỗi trạng thái ẩn và có nhiều demo, thường từ năm đến 10, trên slide chỉ hiển thị hai.
Now, one little catch here is that they're not timed the same.
Có một vướng mắc nhỏ là chúng không có cùng thời điểm.
So you can just hook them all up one by one and expect that this will work out because they're in different phases of this airshow. So what do we do?
Nên ta không thể nối chúng lại từng cái một rồi mong là nó sẽ hiệu quả, vì chúng ở các pha khác nhau của màn trình diễn bay này. Vậy ta làm gì?
We use something called dynamic time warping. So what does that do? You can align two trajectories. So let's say you have many demonstrations.
Ta dùng một kỹ thuật gọi là dynamic time warping. Nó làm gì? Nó có thể căn chỉnh hai quỹ đạo. Giả sử bạn có nhiều demo.
Then you have a hit injectory, which is just initialized with one of them.
Rồi bạn có một quỹ đạo ẩn, được khởi tạo bằng một trong số chúng.
Then you run dynamic time warping, which aligns each trajectory with the hidden one — which was just a guess — but in the process, also aligns all the demonstrations, because they're all aligned with this one reference.
Sau đó bạn chạy dynamic time warping, nó căn chỉnh từng quỹ đạo với quỹ đạo ẩn, vốn chỉ là một phỏng đoán, nhưng qua đó cũng căn chỉnh tất cả các demo, vì tất cả đều được căn chỉnh theo một tham chiếu này.
After you do that, then you can run the inference and hidden Markov model, just standard based net inference, which, in this case, is an extended common filter/smoother, which is a forward/backward path, similar to what we covered, but done for continuous variables rather than for discrete variables.
Sau đó, bạn có thể chạy suy luận trên mô hình Markov ẩn, tức suy luận mạng Bayes chuẩn, mà trong trường hợp này là bộ lọc/làm mượt Kalman mở rộng, là một lượt xuôi/ngược, tương tự những gì ta đã học, nhưng làm cho biến liên tục thay vì biến rời rạc.
You run that. You might get this out. But remember, our alignment was kind of noisy because we aligned over time based on some random initialization.
Bạn chạy nó. Có thể bạn được kết quả này. Nhưng nhớ rằng việc căn chỉnh khá nhiễu vì ta căn chỉnh theo thời gian dựa trên một khởi tạo ngẫu nhiên.
So now that we have something a little better, let's actually realign each demo to what we found. Let's then re-infer, through probabilistic inference, what the hidden state might be.
Giờ ta có thứ tốt hơn một chút, hãy căn chỉnh lại từng demo theo thứ vừa tìm được. Rồi suy luận lại, bằng suy luận xác suất, xem trạng thái ẩn có thể là gì.
Keep repeating this till we reach some fixed point, and that will be our target for our helicopter to fly. What does this look like?
Cứ lặp lại đến khi đạt một điểm cố định, và đó sẽ là mục tiêu để trực thăng bay theo. Trông nó thế nào?
Here is, in white, the target found through the hidden Markov model inference, and in color, still the demonstrations. The demonstrations are now time-aligned because that's a side effect of running this inference.
Màu trắng là mục tiêu tìm được qua suy luận mô hình Markov ẩn, còn màu khác vẫn là các demo. Các demo giờ đã được căn chỉnh thời gian vì đó là hệ quả phụ của việc chạy suy luận này.
We see here is something that's better than any single one of the demonstrations. We want to take a closer look. In black here is the inferred target trajectory, and in color are the others.
Ta thấy đây là thứ tốt hơn bất kỳ demo đơn lẻ nào. của các lần trình diễn. Ta xem kỹ hơn. Màu đen là quỹ đạo mục tiêu được suy luận, còn các màu khác là những demo.
The color ones are not that great, but the black one kind of summarizes the essence into something that we want. OK, so now we're set.
Các quỹ đạo màu không tốt lắm, nhưng quỹ đạo đen tóm gọn được bản chất thành thứ ta muốn. Được rồi, giờ ta đã sẵn sàng.
We have collected data to learn a dynamics model for the helicopter. We have collected data to collect target trajectory. We can now penalize our award, penalized for deviating from the target.
Ta đã thu thập dữ liệu để học mô hình động lực học cho trực thăng. Ta đã thu thập dữ liệu để có quỹ đạo mục tiêu. Giờ ta có thể phạt phần thưởng khi lệch khỏi mục tiêu.
And then we can run reinforcement learning in simulation, let's say, in this learn simulator to find a good controller and run it on the real helicopter.
Rồi chạy học tăng cường trong mô phỏng, chẳng hạn trong trình mô phỏng đã học này, để tìm bộ điều khiển tốt và chạy nó trên trực thăng thật.
Now, it turns out we need to do a little more than that. The controller we learn in simulation is still a little optimistic about really following that path.
Thực ra ta cần làm thêm một chút. Bộ điều khiển học trong mô phỏng vẫn hơi lạc quan về việc thực sự bám theo đường bay đó.
So while we fly the helicopter, we'll do depth-limited search to improve what we have.
Nên khi bay trực thăng, ta sẽ dùng tìm kiếm giới hạn độ sâu để cải thiện.
So as we're flying, we'll run a search over 40 time steps, the next 40 times steps, to see what is the best sequence of controls. And you might say, why only 40 steps?
Khi đang bay, ta chạy một tìm kiếm qua 40 bước thời gian tiếp theo, để xem chuỗi điều khiển nào tốt nhất. Bạn có thể hỏi, sao chỉ 40 bước?
We control 20 Hertz. That's looking two seconds into the future. Really, you want to look further into the future. So what do we do?
Ta điều khiển ở 20 Hertz. Tức là nhìn trước hai giây. Thực ra bạn muốn nhìn xa hơn vào tương lai. Vậy ta làm gì?
We have a value function. So really, what we get from running reinforcement learning assimilation is a value function that evaluates how good each situation is at any given time.
Ta có hàm giá trị. Thực ra, thứ ta nhận được từ việc chạy học tăng cường trong mô phỏng là một hàm giá trị đánh giá mỗi tình huống tốt đến đâu tại mỗi thời điểm.
And we use that value function to be able to look ahead only two seconds, rather than needing to look ahead much further.
Và ta dùng hàm giá trị đó để chỉ cần nhìn trước hai giây, thay vì phải nhìn xa hơn nhiều.
And that value function tells us, OK, how good is it to end up here? We also have a reward at each time tick.
Hàm giá trị đó cho ta biết kết thúc ở đây thì tốt đến mức nào. Ta cũng có phần thưởng ở mỗi nhịp thời gian.
And our search over those two seconds, capped off with the value of function, is what results in the control we apply.
Và tìm kiếm trong hai giây đó, cộng thêm hàm giá trị ở cuối, cho ra điều khiển mà ta áp dụng.
So let's bring it together, a bunch of different ideas, a single engine search, learning value functions, and learning models and reward functions through inference. Here's what we get.
Vậy ta kết hợp nhiều ý tưởng khác nhau: tìm kiếm, học hàm giá trị, và học mô hình cùng hàm phần thưởng qua suy luận. Đây là kết quả.
So fully autonomous. Takeoff, flipping over during takeoff. Hover. So this method can also learn to hover, no problem.
Hoàn toàn tự động. Cất cánh, lật vòng khi cất cánh. Bay lơ lửng. Phương pháp này cũng học được cách bay lơ lửng, không vấn đề.
Then it goes into forward flight and it's going to do something called split [? us, ?] where you do a half roll, half loop.
Rồi nó chuyển sang bay tiến và thực hiện động tác gọi là split [? us, ?] gồm nửa vòng lăn, nửa vòng loop.
It's a way to change direction without burning all your energy to friction.
Đó là cách đổi hướng mà không tiêu hao hết năng lượng vào ma sát.
A stall turn is a climb, and then a 180 and come back down — another way to change direction without burning your energy to friction. A loop.
Stall turn là leo lên, rồi quay 180 độ và lao xuống, một cách khác để đổi hướng mà không tiêu hao năng lượng vào ma sát. Một vòng loop.
I think they only use is to show off your control capabilities. If you want to show if off more, you can pirouette around at the top. Stall turn again, coming out tail first.
Tôi nghĩ chúng chỉ dùng để khoe khả năng điều khiển. Nếu muốn khoe nhiều hơn, bạn có thể xoay tròn ở trên đỉnh. Lại là stall turn, đi xuống bằng đuôi trước.
Hurricanes are fast backward flying circles. The fastest we flew this helicopter was close to 55 miles per hour, so almost highway speeds.
Hurricane là những vòng tròn bay lùi tốc độ cao. Tốc độ nhanh nhất mà chúng tôi bay chiếc trực thăng này là gần 55 dặm một giờ, gần bằng tốc độ trên đường cao tốc.
The algorithm's only this big, so it's pretty fast for something of this size. Inverted flight. We know how that works. Knife edge fall.
Thuật toán chỉ nhỏ chừng này thôi, nên như vậy là khá nhanh với kích thước này. Bay ngửa. Chúng ta biết nó hoạt động thế nào. Knife edge fall.
And then now are actually some of the hardest maneuvers. Why are these the hardest maneuvers to execute on, stationary rolls and flips? Why is flying 55 miles an hour not harder than this?
Và sau đây là một số động tác khó nhất. Tại sao đây là những động tác khó thực hiện nhất, như lăn và lộn tại chỗ? Tại sao bay 55 dặm một giờ lại không khó bằng?
Well, when you do something like this and hear the tick tock, the hardest maneuver in this air show, the reason this is so hard, when you do things in places, is that you're maneuvering in airflow.
Khi bạn làm động tác như thế này và nghe tiếng tích tắc, động tác khó nhất trong buổi trình diễn này, lý do nó khó là khi bạn làm những việc tại chỗ, bạn đang điều khiển trong luồng khí.
You just generate it yourself, which is very complicated airflow compared to when you fly 55 miles an hour.
Chính bạn tạo ra luồng khí đó, và nó phức tạp hơn nhiều so với khi bạn bay 55 dặm một giờ.
You're just going into new, clean air, which is much easier to predict what's going to happen. And ending an inverted hover.
Khi đó bạn chỉ lao vào không khí mới, sạch, nên dễ dự đoán điều sẽ xảy ra hơn nhiều. Và kết thúc bằng một lần hover ngửa.
So with this methodology, it was possible to fly this helicopter at the level of the best human pilots, assuming you had demonstrations from those pilots to kind of piggyback on to get to this behavior.
Với phương pháp này, chúng tôi có thể bay chiếc trực thăng ở trình độ của những phi công giỏi nhất, với điều kiện có các minh họa từ những phi công đó để dựa vào đó mà đạt được hành vi này.
OK, that's for helicopters. Any questions about helicopters before I move to legged robots?
Được rồi, đó là phần trực thăng. Có câu hỏi nào về trực thăng trước khi tôi sang robot có chân không?
Yes?
Bạn nói đi?
STUDENT
[INAUDIBLE] PROFESSOR: So then after this project at Berkeley, PhD student Woody Hoburg took charge in seeing how far we can get without human experts for some simpler things, not for all the maneuvers here.
[KHÔNG NGHE RÕ] GIÁO SƯ: Sau dự án này ở Berkeley, nghiên cứu sinh tiến sĩ Woody Hoburg đảm nhận việc xem có thể đi được bao xa mà không cần chuyên gia con người, với một số việc đơn giản hơn, không phải mọi động tác ở đây.
So what Woody did, he essentially set up the helicopter to learn from scratch.
Woody về cơ bản đã cho trực thăng học từ đầu.
So he set it up on the ground and it was supposed to reinforce one from scratch with a little bit of guidance.
Anh đặt nó trên mặt đất và nó phải học tăng cường từ đầu với một chút hướng dẫn.
So a little bit of guidance meant that he would be there, shutting it off if it started doing something weird.
Một chút hướng dẫn nghĩa là anh ấy đứng đó, tắt nó đi nếu nó bắt đầu làm điều gì lạ.
So essentially, he would shut it off whenever it starts tilting itself, so it lands on some pretty wide landing gear so it's more stable. But that was the only human input required.
Về cơ bản, anh tắt nó mỗi khi nó bắt đầu nghiêng, vì nó hạ cánh trên bộ càng rộng nên ổn định hơn. Nhưng đó là sự can thiệp duy nhất của con người.
He was able to have it learn to hover reliably with the only human input being shut it off when it looks like it might start doing something dangerous.
Anh ấy làm nó học cách hover ổn định với sự can thiệp duy nhất là tắt nó khi có vẻ nó sắp làm điều nguy hiểm.
We did not push that further to flying those maneuvers. There is some work. If you look at Woody, Woody was shutting things off.
Chúng tôi không đẩy xa hơn đến việc bay các động tác đó. Có một số công trình. Với Woody, anh ấy là người tắt máy.
Then recently at OpenEye, there's been some work on robots learning to do back flips. And that was kind of one step further. It wasn't just shutting it off.
Gần đây ở OpenAI có công trình về robot học nhào lộn ngửa. Đó là một bước tiến xa hơn. Không chỉ là tắt máy.
You would watch your robot try things. And human input would be not specifying a reward function, which is very hard to do for things like back flips, just like it was hard here.
Bạn xem robot thử các việc. Và con người không phải chỉ định hàm phần thưởng, điều rất khó với những việc như nhào lộn ngửa, cũng như khó ở đây.
But what they did is they said, the human watches it and says, which one is better or worse among a set of them? And then from that, it learns a reward function.
Thay vào đó, con người xem và nói cái nào tốt hơn hay tệ hơn trong một tập các lần thử. Từ đó, nó học ra một hàm phần thưởng.
So we'll look at here, too, in a moment. It learns the reward function and then optimize it against that reward function, does a few more. The human, again, says, which one's better or worse?
Lát nữa chúng ta cũng sẽ xem ở đây. Nó học hàm phần thưởng rồi tối ưu theo hàm đó, làm thêm vài lần. Con người lại nói cái nào tốt hơn hay tệ hơn.
Updates its learned reward function. Goes again. And so gradually, over time, it acquires a reward function. And so the human input there was somehow guiding what reward function it learns.
Nó cập nhật hàm phần thưởng đã học. Rồi lại chạy tiếp. Dần dần theo thời gian, nó có được hàm phần thưởng. Như vậy sự can thiệp của con người định hướng hàm phần thưởng mà nó học.
And we'll see some examples of that here, too. They did it for back flips.
Chúng ta cũng sẽ thấy vài ví dụ về điều đó ở đây. Họ đã làm điều này cho nhào lộn ngửa.
I think the other way to get minimal human input for the helicopter case, if you put the helicopter very high in the sky where it has more time, and if it already has a recovery controller, then you can imagine that, at first, you learn a recovery controller with a little bit of human input.
Tôi nghĩ một cách khác để giảm tối đa sự can thiệp của con người trong trường hợp trực thăng là đặt nó rất cao trên trời để có nhiều thời gian hơn, và nếu nó đã có bộ điều khiển phục hồi, thì bạn có thể hình dung là ban đầu bạn học bộ điều khiển phục hồi với chút can thiệp của con người.
And then once you've recovered control, you just let it learn on its own and let it switch to recovery mode.
Và khi đã lấy lại được kiểm soát, bạn để nó tự học và cho nó chuyển sang chế độ phục hồi.
And Claire Tomlin's group here at Berkeley has done some work in that direction, where they have a safe controller and a learned controller.
Nhóm của Claire Tomlin ở Berkeley đã có một số công trình theo hướng này, với một bộ điều khiển an toàn và một bộ điều khiển học.
And the learning controller is learning on its own while the safe controller keeps things in check so the helicopter doesn't crash. Yes?
Bộ điều khiển học tự học trong khi bộ điều khiển an toàn giữ mọi thứ trong tầm kiểm soát để trực thăng không rơi. Bạn nói đi?
STUDENT
Imagine the helicopter [INAUDIBLE] PROFESSOR: Yes.
Hãy tưởng tượng trực thăng [KHÔNG NGHE RÕ] GIÁO SƯ: Vâng.
STUDENT
[INAUDIBLE] Can that [INAUDIBLE] PROFESSOR: Yeah. Actually, it happens to work the other way around. So it uses roughly a fixed amount of fuel, anyway, per time.
[KHÔNG NGHE RÕ] Điều đó có thể [KHÔNG NGHE RÕ] GIÁO SƯ: Vâng. Thực ra nó lại diễn ra theo chiều ngược lại. Nó dùng lượng nhiên liệu gần như cố định theo thời gian.
So it's more that it has less weight to carry as it has used more fuel. So it actually more power, until the very end, of course, when it has no power left.
Nên dùng càng nhiều nhiên liệu thì nó càng nhẹ để mang. Vậy là nó có nhiều công suất hơn, cho đến cuối cùng, tất nhiên là khi hết sạch công suất.
Yeah, the mass properties change a little bit. The fuel tank is pretty central. So it's close to center of mass, so it's not like the inertia changes in weird ways.
Đúng, đặc tính khối lượng có thay đổi chút ít. Bình nhiên liệu nằm khá ở giữa. Nên gần khối tâm, vì vậy quán tính không thay đổi theo cách kỳ lạ.
It just gets a little more power. Maybe a question related to that is, how much power does this thing actually have? This helicopter had inverted slide, where it has more power, 3 Gs.
Nó chỉ có thêm chút công suất. Có thể một câu hỏi liên quan là chiếc này thực sự có bao nhiêu công suất? Chiếc trực thăng này khi bay ngửa có nhiều công suất hơn, 3 G.
So it can generate three times the power of gravity.
Tức là nó tạo ra lực gấp ba lần trọng lực.
Of course, you need to generate one of them to even stay up in the air, but it still had two G's left to do other things with.
Tất nhiên, bạn cần dùng một phần để cân bằng trọng lực. chỉ để giữ nó lơ lửng trên không, nhưng nó vẫn còn dư 2 G để làm những việc khác.
And regular flight had about 2.5 G's maximum acceleration.
Còn chuyến bay bình thường có gia tốc tối đa khoảng 2,5 G.
OK, let's take a short break here. And after the break, let's do legged locomotion and manipulation.
OK, mình nghỉ giải lao một chút. Sau giờ nghỉ, ta sẽ học về chuyển động bằng chân và thao tác bằng tay.
All right, let's restart. Any questions about the first half?
Được rồi, ta bắt đầu lại nhé. Có câu hỏi nào về nửa đầu không?
Yes?
Bạn nào?
STUDENT
Which method was used for [INAUDIBLE] PROFESSOR: So the question is, which reinforcement learning method was used underneath what I showed you for the helicopter?
Phương pháp nào đã được dùng cho [KHÔNG NGHE RÕ] GIÁO SƯ: Câu hỏi là phương pháp học tăng cường nào đã được dùng đằng sau những gì thầy cho các em xem về trực thăng?
So what we used there is a model-based reinforcement learning method. So we learned a dynamics models for simulator from data that was collected.
Ở đó thầy dùng phương pháp học tăng cường dựa trên mô hình (model-based). Tức là ta học một mô hình động lực học cho bộ mô phỏng từ dữ liệu đã thu thập.
To learn a good controller in the simulator, we used something called iterative LQR.
Để học một bộ điều khiển tốt trong bộ mô phỏng, ta dùng một thuật toán gọi là iterative LQR.
Iterative LQR, what it says, it essentially looks at a trajectory and tries to find a linear feedback controller at each time slice.
Iterative LQR về cơ bản là nhìn vào một quỹ đạo và cố tìm một bộ điều khiển phản hồi tuyến tính cho mỗi lát thời gian.
So the parameterization of a controller is a separate linear feedback controller for each time slice.
Vậy tham số hóa của bộ điều khiển là một bộ điều khiển phản hồi tuyến tính riêng cho mỗi lát thời gian.
And the way you learn that feedback controller for each time slice is by doing a forward pass to see what your current sequence of controllers achieves, and then you can do a backward pass, which is, essentially, a value attrition pass over that same trajectory to find the optimal sequence of feedback controllers.
Cách học bộ điều khiển phản hồi đó cho mỗi lát thời gian là chạy một lượt xuôi để xem chuỗi bộ điều khiển hiện tại đạt được gì, rồi chạy một lượt ngược, về cơ bản là một lượt lặp giá trị trên cùng quỹ đạo đó để tìm chuỗi tối ưu các bộ điều khiển phản hồi.
So essentially, value iteration, but in a continuous space. And a continuous space is always harder to represent things, and so that's why you make a simplifying assumption.
Về cơ bản là lặp giá trị, nhưng trong không gian liên tục. Không gian liên tục thì luôn khó biểu diễn hơn, nên ta đưa ra một giả định đơn giản hóa.
We assume that we are just going to use a sequence of linear controllers. And actually, we approximate the dynamics with linear dynamics locally, because a lot of functions are locally linear.
Ta giả sử chỉ dùng một chuỗi các bộ điều khiển tuyến tính. Thực ra ta xấp xỉ động lực học bằng động lực học tuyến tính cục bộ, vì nhiều hàm là tuyến tính cục bộ.
So as long as we're locally enough, linear can be fine. And we use a quadratic reward function.
Miễn là đủ cục bộ thì tuyến tính là ổn. Và ta dùng hàm phần thưởng bậc hai.
If you have a locally linear dynamics and quadratic reward function, it turns out that's the one continuous state action space scenario where you can run exact value iteration, even though everything's continuous.
Nếu có động lực học tuyến tính cục bộ và hàm phần thưởng bậc hai, thì đó là trường hợp duy nhất với không gian trạng thái-hành động liên tục mà ta chạy được lặp giá trị chính xác, dù mọi thứ đều liên tục.
And it gives you a sequence of linear feedback controllers. And then we repeat. We run that sequence of linear feedback controllers and that will follow a new path.
Và nó cho ra một chuỗi bộ điều khiển phản hồi tuyến tính. Sau đó ta lặp lại. Ta chạy chuỗi bộ điều khiển phản hồi tuyến tính đó và nó sẽ đi theo một đường mới.
Along that new path, we linear the dynamics, because dynamics' not really linear. We approximate it linearly. We do another backward pass along that, and keep repeating this until it's converged.
Dọc theo đường mới đó, ta tuyến tính hóa động lực học, vì động lực học không thực sự tuyến tính. Ta xấp xỉ nó bằng hàm tuyến tính. Ta lại chạy một lượt ngược dọc theo đó, và cứ lặp lại cho đến khi hội tụ.
Once we've done that, we have value functions everywhere and we have linear feedback controllers everywhere. If there is no wind, you can actually just run the linear feedback control.
Xong rồi, ta có hàm giá trị ở khắp nơi và các bộ điều khiển phản hồi tuyến tính ở khắp nơi. Nếu không có gió, thực ra chỉ cần chạy điều khiển phản hồi tuyến tính.
It will be fine.
Vậy là ổn.
But if there's some wind gusts that could throw you off, instead of using the linear feedback controllers, you want to use the value functions and the two second look ahead against those value functions to do the controls.
Nhưng nếu có những cơn gió giật làm lệch hướng, thay vì dùng các bộ điều khiển phản hồi tuyến tính, ta muốn dùng các hàm giá trị và nhìn trước hai giây dựa trên các hàm giá trị đó để điều khiển.
STUDENT
Something like [INAUDIBLE] PROFESSOR: Yeah. Training a unified policy across the entire space might work. At the time that, was not something that — we did this experiment in 2008.
Kiểu như [KHÔNG NGHE RÕ] GIÁO SƯ: Ừ. Huấn luyện một chính sách thống nhất trên toàn bộ không gian có thể hiệu quả. Hồi đó thì chưa phải là thứ mà — thầy làm thí nghiệm này năm 2008.
At that time, that was not something that anybody got to work on anything.
Lúc đó chưa ai làm cho cách đó chạy được trên bất kỳ bài toán nào.
So definitely not on such a hard problem it could be interesting to revisit that now and see what the current understanding of how to train these networks.
Nhất là với bài toán khó như vậy. Giờ xem lại thì cũng thú vị, xem hiểu biết hiện nay về cách huấn luyện các mạng này ra sao.
Can it be done with one unified network? Likely, it can. It might take some work, exactly, figuring out how to do it.
Liệu làm được bằng một mạng thống nhất không? Nhiều khả năng là được. Có thể cần chút công sức để tìm ra chính xác cách làm.
OK, legged locomotion. Maybe a little bit of perspective. When you think about robotics, it's often easy to think about, also, what humans do.
OK, chuyển động bằng chân. Trước hết nói đôi chút về góc nhìn. Khi nghĩ về robot học, ta thường dễ nghĩ tới những gì con người làm.
So if you think about what humans do, you might say, OK, we can run. We can grab stuff. But we cannot fly.
Nếu nghĩ về con người, ta có thể nói, OK, ta chạy được. Ta nắm đồ vật được. Nhưng ta không bay được.
And so you might think, OK well, flying must be the hardest because we can't even do it.
Và ta có thể nghĩ, bay chắc là khó nhất vì ta còn không làm được.
But the truth is that while flying is hard and, definitely, helicopter control is not an easy problem, it's in, some sense, easier than walking.
Nhưng thực ra, tuy bay là khó và điều khiển trực thăng chắc chắn không dễ, theo một nghĩa nào đó nó vẫn dễ hơn đi bộ.
And the reason it's easier is because if you're flying, you're up in the air. Everything is the same. The air here, the air there.
Lý do là khi bay, bạn ở trên không. Mọi chỗ đều như nhau. Không khí chỗ này, không khí chỗ kia.
Unless there's some weird air flows, that's the only thing that really changes, whereas when you're walking, the surface could change all the time. You need to react to that, understand what's happening there.
Trừ khi có luồng khí lạ, đó là thứ duy nhất thay đổi, còn khi đi bộ, bề mặt có thể thay đổi liên tục. Bạn phải phản ứng với điều đó, hiểu chuyện gì đang xảy ra.
A lot more change in your environment. And so walking tends to be harder than flying for robotic control. Here's an example of how hard this can be. This is a video from 2015.
Môi trường thay đổi nhiều hơn hẳn. Vì vậy với điều khiển robot, đi bộ thường khó hơn bay. để chống lại trọng lực, nên phần còn lại dùng để điều khiển robot. Đây là ví dụ cho thấy việc này có thể khó đến mức nào. Đây là video từ năm 2015.
2015, there was the Doppler Robotics Challenge, which was held in Pomona, just east of Los Angeles. People had two years to work on this. And what did the robot have to do?
Năm 2015 có cuộc thi DARPA Robotics Challenge, tổ chức ở Pomona, ngay phía đông Los Angeles. Các đội có hai năm để chuẩn bị. Robot phải làm gì?
It had to, essentially, drive a car or walk, but driving the car was recommended.
Về cơ bản là lái xe hoặc đi bộ, nhưng khuyến khích lái xe.
Then get out of the car, walk a little bit, open a door, grab a drill, drill a hole, walk some more, and that was essentially it. So doesn't sound that complicated.
Rồi ra khỏi xe, đi bộ một đoạn, mở cửa, cầm máy khoan, khoan một lỗ, đi thêm một đoạn nữa, và về cơ bản là hết. Nghe không có vẻ phức tạp lắm.
But actually, it turned it's very complex to get a robot to do that. And here's some footage from the competition.
Nhưng thực ra hóa ra rất phức tạp để làm robot thực hiện được những việc đó. Và đây là một số cảnh quay từ cuộc thi.
And keep in mind, these are people who worked — I mean, those worked on for two years, typically.
Và hãy nhớ, đây là những người đã làm việc — ý thầy là, thường họ đã làm việc này suốt hai năm.
It's indicative of how hard it is to do walking with robots.
Điều này cho thấy việc làm robot đi bộ khó đến mức nào.
So a lot of falling here. And you might wonder, why is all this falling happening, even on flat surface?
Ở đây robot ngã rất nhiều. Và bạn có thể thắc mắc, tại sao lại ngã nhiều thế, ngay cả trên mặt phẳng?
Often, the robot is thinking it's going to grab something, but then it doesn't grab it. And it's generating a force to pull it or rotate it, but there's no counterforce.
Thường thì robot nghĩ rằng nó sắp nắm được một thứ gì đó, nhưng rồi nó lại không nắm được. Nó tạo ra một lực để kéo hoặc xoay, nhưng không có phản lực.
And so it did not sense correctly what is going on in the world and so did not react correctly to the world.
Như vậy là nó đã cảm nhận sai những gì đang diễn ra trong thế giới và nên phản ứng sai với thế giới.
Now, I was there for the competition. And it's very funny to watch the video, but it turns out at the competition, everybody was really sad for the robots when the robot fell.
Tôi đã có mặt ở cuộc thi đó. Xem video thì rất buồn cười, nhưng thực tế ở cuộc thi, mọi người đều thấy thương cho các robot mỗi khi robot ngã.
Nobody was laughing. It was like, oh no, poor robot. Very different. It was very interesting to see how people really connected with these robots and really felt for them and wanted them to succeed.
Không ai cười cả. Kiểu như, ôi không, tội robot quá. Rất khác. Thật thú vị khi thấy mọi người gắn bó đến thế với những robot này, thực sự đồng cảm với chúng và muốn chúng thành công.
Now, this is indicative of how hard this can be. And why is this so hard? Why did this not just work?
Điều này cho thấy việc này có thể khó đến mức nào. Vậy tại sao lại khó như vậy? Tại sao nó không chạy được ngay?
Well, if you look underneath of a lot of what was going on in these approaches is they would build a model of the world. They would have sensors.
Nếu nhìn vào bên dưới những gì diễn ra trong các cách tiếp cận này, thì họ xây dựng một mô hình của thế giới. Họ có các cảm biến.
Those sensors would suppose to build a model of the world. Based on that model, you could simulate the world, predict what you should do, not unlike what we did with the helicopter.
Các cảm biến đó được cho là để xây dựng mô hình thế giới. Dựa trên mô hình đó, bạn có thể mô phỏng thế giới, dự đoán nên làm gì, không khác gì những gì ta đã làm với trực thăng.
We learned models of how helicopter dynamics works.
Ta đã học mô hình về động lực học của trực thăng.
Think about what will happen as a function of which actions we take, and maybe have a value function, and then take the actions that lead to the good outcome.
Nghĩ xem điều gì sẽ xảy ra tùy theo hành động nào ta chọn, có thể có cả hàm giá trị, rồi chọn các hành động dẫn đến kết quả tốt.
The thing is modeling these situations proved even harder than modeling helicopters, because your sensing needs to understand whether or not you're already making contact, and making contact or not.
Vấn đề là việc mô hình hóa những tình huống này còn khó hơn mô hình hóa trực thăng, vì cảm biến cần hiểu được là robot đã tiếp xúc hay chưa.
You can be very close, but not have contact. It's a very subtle thing. You don't have contact, you don't get to apply any forces, don't get any forces back.
Có thể rất gần mà vẫn không tiếp xúc. Đó là một điều rất tinh tế. Không tiếp xúc thì không tác dụng được lực nào, cũng không nhận lại lực nào.
So it's very hard to do this.
Nên việc này rất khó.
Now, what's changed recently in the past few years is that through advances in deep learning, it's been possible to better map from raw sensory information to controls you might want to apply.
Điều đã thay đổi trong vài năm gần đây là nhờ những tiến bộ của deep learning, ta đã có thể ánh xạ tốt hơn từ thông tin cảm biến thô sang các lệnh điều khiển mà ta muốn áp dụng.
And so actually, you've seen this video before. This is from a little later that same year. It's in simulation, but this robot is, over time, learning to control itself to do walking.
Thật ra các bạn đã xem video này rồi. Nó từ muộn hơn một chút trong cùng năm đó. Đây là trong mô phỏng, nhưng con robot này dần dần học cách tự điều khiển mình để đi bộ.
And ultimately, it learns to walk. Now, of course, never believe it's as [INAUDIBLE] when it's in simulation than when it's in the real world, so it's definitely always harder in the real world.
Và cuối cùng nó học được cách đi. Tất nhiên, đừng bao giờ tin rằng trong mô phỏng cũng dễ như [KHÔNG NGHE RÕ] ngoài đời thực, nên chắc chắn ngoài đời thực luôn khó hơn.
But what you see here is a direction that enables the system to just learn on its own, to go from sensory inputs.
Nhưng điều bạn thấy ở đây là một hướng đi cho phép hệ thống tự học, đi từ đầu vào cảm biến.
And this given sensory inputs are just joint angles, joint philosophies, [? accordance ?] of center of mass, but to go from those measurements to controlling the robot reliably.
Và các đầu vào cảm biến này chỉ là góc khớp, vận tốc khớp, tọa độ khối tâm, nhưng từ những phép đo đó mà điều khiển robot một cách đáng tin cậy.
And the beauty, of course, with reinforcement learning — which is behind this, rather than a more model-based approach, as we saw in the videos — the reinforcement learning algorithm can be reused directly onto other robots and can learn to control these other robots.
Và cái hay của học tăng cường, tất nhiên, là đứng sau việc này, thay vì cách tiếp cận dựa trên mô hình như ta thấy trong các video trước, thuật toán học tăng cường có thể dùng lại trực tiếp cho các robot khác và học cách điều khiển những robot đó.
Now with this in mind, of course, if you look at the number of the amount of data collected, that's still a little tricky.
Tuy nhiên, tất nhiên, nếu nhìn vào lượng dữ liệu thu thập thì việc này vẫn còn hơi khó.
It takes a good amount of data collection before this robot has learned. If it's a physical robot you're trying to train, it gets tricky because you might break it before it has learned enough.
Cần thu thập khá nhiều dữ liệu trước khi robot này học được. Nếu là robot thật mà bạn muốn huấn luyện, thì sẽ rắc rối vì có thể làm hỏng nó trước khi nó học đủ.
And even if it doesn't break, it could take just unmanageably long to get the amount of data you need.
Và dù không hỏng, có thể mất quá nhiều thời gian để có được lượng dữ liệu cần thiết.
But it shows, in simulation, at least, a lot of progress towards learning intelligent locomotion behaviors. Here, the reward function is the closer your head is to standing head height, the better.
Nhưng ít nhất trong mô phỏng, nó cho thấy nhiều tiến bộ trong việc học các hành vi di chuyển thông minh. Ở đây, hàm phần thưởng là đầu càng gần độ cao đầu khi đứng thì càng tốt.
So sitting is better than lying on the ground and standing is even better. So how about other motions? At this point, it is possible.
Nên ngồi tốt hơn nằm trên đất, còn đứng thì còn tốt hơn nữa. Vậy còn các chuyển động khác thì sao? Đến thời điểm này thì có thể làm được.
You run enough simulation to train up a very wide range of skills. So these are results from Jason Pang. He's a student here at Berkeley.
Chạy đủ mô phỏng là có thể huấn luyện một loạt kỹ năng rất rộng. Đây là kết quả của Jason Pang. Bạn ấy là sinh viên ở Berkeley.
And at this point, if you have a motion you want a robot to master, Jason's methodology can pretty much make it happen. So this can work directly for building video games.
Và hiện nay, nếu có một chuyển động bạn muốn robot thành thạo, phương pháp của Jason gần như có thể làm được. Cái này áp dụng trực tiếp để làm trò chơi điện tử.
You build video games, you want your main character to move in a realistic way.
Khi làm game, bạn muốn nhân vật chính di chuyển một cách chân thực.
You can have it sequence together motions like these and dynamically simulate how they interact with the world, rather than key frame every little detail. Same for animated movies.
Bạn có thể nối chuỗi các chuyển động như thế này và mô phỏng động cách chúng tương tác với thế giới, thay vì đặt key frame cho từng chi tiết nhỏ. Phim hoạt hình cũng vậy.
How about real robots? Let's say you want to get this robot across this terrain. Well, if you think about it, there's really two problems here.
Còn robot thật thì sao? Giả sử bạn muốn đưa robot này băng qua địa hình này. Nếu nghĩ kỹ, thì thật ra có hai bài toán ở đây.
You could think of it naively, just as low level control and applying torques at the motors.
Bạn có thể nghĩ đơn giản đó chỉ là điều khiển mức thấp và đặt mô-men xoắn lên các động cơ.
But then it's a very long problem, and when you solve it that way, you don't have much perspective over what you're trying to do.
Nhưng khi đó bài toán rất dài, và giải theo cách đó thì bạn không có cái nhìn tổng quát về việc mình đang cố làm.
It could make more sense to think of it as, well, I want to find a path across these rocks.
Hợp lý hơn là nghĩ rằng, tôi muốn tìm một đường đi qua những tảng đá này.
And once I find a good path, I want to control the robot to follow that path. So it is a low level control, which is about placing your feet in the right next position.
Và khi đã tìm được đường tốt, tôi muốn điều khiển robot đi theo đường đó. Vậy đó là điều khiển mức thấp, tức là đặt chân vào đúng vị trí kế tiếp.
And there is a high level control problem of, what's a good path to follow? High level control problem, that's actually a star search.
Và có một bài toán điều khiển mức cao: đường đi nào tốt để đi theo? Bài toán điều khiển mức cao này thực chất là tìm kiếm A*.
If you have a cost function for this terrain, what would the cost function be? Well, what could it be? Where do you want to be? Where do you want to place your feet?
Nếu bạn có một hàm chi phí cho địa hình này, hàm chi phí đó sẽ là gì? Nó có thể là gì nhỉ? Bạn muốn đứng ở đâu? Bạn muốn đặt chân ở đâu?
Well, you maybe don't want to be next to a big cliff. Because if you're right next to it, then you slip a little bit, you'll slide your foot down and that's not good.
Có lẽ bạn không muốn đứng sát một vách đá lớn. Vì nếu đứng ngay sát mép, chỉ cần trượt một chút, chân sẽ trượt xuống và như vậy là không tốt.
Maybe you don't want your feet at very different heights because then you're tilted. It might be less stable. Maybe you look at the three feet on the ground and the fourth one that's moving.
Có lẽ bạn cũng không muốn các chân ở độ cao chênh lệch nhiều vì khi đó thân bị nghiêng. Như vậy có thể kém ổn định hơn. Có thể bạn xét ba chân đang chạm đất và chân thứ tư đang di chuyển.
The three on the ground — the support triangle of that — if you project down the center of mass of the robot, she'll maybe fall within that support triangle, because then it won't fall over.
Ba chân trên mặt đất tạo thành một tam giác đỡ. Nếu chiếu khối tâm của robot xuống, thì nó nên rơi vào trong tam giác đỡ đó, vì như vậy robot sẽ không ngã.
So there's a bunch of considerations you might have.
Vậy có cả loạt yếu tố bạn có thể cân nhắc.
When we thought about this problem, we had 25 features we came up with that we thought matter for the reward function, or the cost function, when you run the search, or the value iteration, which is, more or less, equivalent to find a path across this terrain.
Khi nghĩ về bài toán này, chúng tôi nghĩ ra 25 đặc trưng mà chúng tôi cho là quan trọng đối với hàm phần thưởng, hay hàm chi phí, khi bạn chạy tìm kiếm, hoặc lặp giá trị, hai cách này gần như tương đương, để tìm một đường đi qua địa hình này.
But if you choose the trade-off between the features differently, you'll find different paths. So how do we set that trade-off? We tried by hand. So maybe a little more weight on support triangle margin.
Nhưng nếu bạn chọn sự đánh đổi giữa các đặc trưng khác đi, bạn sẽ ra những đường đi khác. Vậy làm sao đặt sự đánh đổi đó? Chúng tôi đã thử chỉnh bằng tay. Ví dụ tăng trọng số cho biên của tam giác đỡ một chút.
Maybe a little more weight on height difference, and so forth. Very hard to do. Instead, what you can do is you can actually learn the weights and the features.
Tăng trọng số cho chênh lệch độ cao một chút, và cứ thế. Rất khó làm. Thay vào đó, bạn có thể học các trọng số và các đặc trưng.
So reward learning. How you do reward learning, you demonstrate a path across this train. Demonstrating doesn't mean just drawing a line.
Đó là học phần thưởng. Cách học phần thưởng là bạn trình diễn một đường đi qua địa hình này. Trình diễn không chỉ là vẽ một đường.
It actually means choosing a sequence of footsteps that it executes on, and assuming it does well. It assumes you have a low level controller, but that's well understood how to do that.
Mà là chọn một chuỗi các bước chân để robot thực hiện, và giả sử nó làm tốt. Nó giả định bạn có bộ điều khiển mức thấp, nhưng cách làm việc đó đã được hiểu rõ.
Low level control can be done by just running search in a relatively small space. So you choose the next footstep, next footstep, next footstep.
Điều khiển mức thấp có thể làm bằng cách chạy tìm kiếm trong một không gian tương đối nhỏ. Bạn chọn bước chân kế tiếp, rồi bước kế tiếp nữa, và cứ thế.
Then you learn a reward function that is such that if you were to run value iteration — or if you call it a cost function — if you were to run a star search, that the path you demonstrated is the result of running value iteration or a star search.
Sau đó bạn học một hàm phần thưởng sao cho nếu chạy lặp giá trị, hoặc gọi nó là hàm chi phí, nếu chạy tìm kiếm A*, thì đường đi mà bạn đã trình diễn chính là kết quả của việc chạy lặp giá trị hoặc tìm kiếm A*.
If you can find that reward function, that reward function is a good explanation of what you want this robot to do, including in new situations, new terrains, where it can then also calculate the reward on new terrains.
Nếu tìm được hàm phần thưởng đó, thì nó là lời giải thích tốt cho điều bạn muốn robot làm, kể cả trong tình huống mới, địa hình mới, nơi nó cũng có thể tính phần thưởng trên các địa hình mới.
We use that reward function on a new terrain and then plan on that new terrain with that reward function. And let's see how well it works.
Ta dùng hàm phần thưởng đó trên địa hình mới rồi lập kế hoạch trên địa hình mới với hàm phần thưởng đó. Hãy xem nó hoạt động tốt đến đâu.
So he will watch first his without reward learning. So we said everything is equal reward. It's just about making progress, just as if you're on flat terrain.
Đầu tiên ta xem con robot không có học phần thưởng. Ta coi mọi thứ có phần thưởng như nhau. Chỉ cần tiến lên phía trước, giống như đang đi trên địa hình phẳng.
So it's going to kind of steadily march forward. Let's see what happens.
Nên nó sẽ đều đặn bước tới. Hãy xem chuyện gì xảy ra.
So pretty good so far, but now it's on the rocky terrain. And one of its feet slipped down. Another one is slipping down.
Đến giờ khá tốt, nhưng giờ nó đang ở địa hình đá. Và một chân bị trượt xuống. Một chân khác cũng đang trượt.
One foot got stuck between the rocks. The low level planner is trying to find a way out, make that foot go to the next spot, but that doesn't work.
Một chân bị kẹt giữa các tảng đá. Bộ lập kế hoạch mức thấp cố tìm đường thoát, đưa chân đó tới vị trí kế tiếp, nhưng không được.
So it just had a bad choice of footsteps, which led to this result. What if we use the learned reward function, the reward function that, if used on terrains where we demonstrated, it would result in our demonstrated paths.
Nó chọn bước chân tệ, dẫn tới kết quả này. Còn nếu dùng hàm phần thưởng đã học, hàm phần thưởng mà khi dùng trên các địa hình ta đã trình diễn, sẽ cho ra đúng các đường đi ta đã trình diễn.
Well, let's take a look with reward learning robot in action.
Hãy xem con robot có học phần thưởng hoạt động ra sao.
The feet will still slip, but they're placed cleverly such that a little bit of slippage does not result in the robot getting stuck, and actually gets across very quickly.
Chân vẫn sẽ trượt, nhưng được đặt khéo đến mức trượt một chút cũng không làm robot bị kẹt, và nó vượt qua rất nhanh.
Any questions about legged locomotion before I go to autonomous driving?
Có câu hỏi nào về chuyển động bằng chân không trước khi tôi sang lái xe tự động?
OK, let's switch to driving.
Được rồi, ta chuyển sang lái xe.
So the big push, recent push, in autonomous driving started around 2005. Since 2005, DARPA organized a competition.
Làn sóng thúc đẩy lớn gần đây của xe tự lái bắt đầu quanh năm 2005. Từ 2005, DARPA tổ chức một cuộc thi.
In that competition, you're supposed to have your autonomous car drive a desert race. It's a time trial type race.
Trong cuộc thi đó, bạn phải cho xe tự lái chạy đua trên sa mạc. Đó là kiểu đua tính giờ.
There's no other cars that you have to overtake, but you're kind of on your own and try to do it as fast as possible, 150 mils off road.
Không có xe khác để bạn phải vượt, mà bạn tự chạy một mình và cố chạy nhanh nhất có thể, 150 dặm đường off-road.
Well, it's on a road, but it's this kind of road that is not like a regular road.
Thì nó là đường, nhưng là loại đường không giống đường bình thường.
So it's pretty hard to distinguish road from non-road, and if you steer off the road, you might lose your car if you go down some kind of ravine or something.
Nên rất khó phân biệt đường với không phải đường, và nếu lái chệch khỏi đường, bạn có thể mất xe nếu rơi xuống một khe núi hay đại loại thế.
So a bunch of teams participated. In fact, there was a race the year before where nobody got more than three miles, or something.
Nhiều đội đã tham gia. Thực ra năm trước đó đã có một cuộc đua mà không ai đi quá khoảng ba dặm.
But then they did a second iteration of the race, hoping somebody might get further with their car than just three miles.
Rồi họ tổ chức lần thứ hai, hy vọng ai đó sẽ đi xa hơn với chiếc xe của mình, hơn ba dặm.
Now, this video actually has sound. I'm not sure if sound works here. I'm not hearing anything. Let's see if this can be made to come out.
Video này thực ra có tiếng. Tôi không chắc ở đây có tiếng không. Tôi không nghe thấy gì. Xem có làm cho nó phát ra tiếng được không.
Headphone. It should work. I'm not hearing anything.
Tai nghe. Đáng lẽ phải được. Tôi vẫn không nghe thấy gì.
[VIDEO PLAYBACK] - The first time it's ever been done, autonomous vehicles.
[PHÁT VIDEO] - Lần đầu tiên điều này được thực hiện: xe tự lái.
PROFESSOR
Does this work? - As dawn breaks over the desert, robots prepare to boldly go where no robot has ever gone before.
Cái này chạy được không? - Khi bình minh ló dạng trên sa mạc, các robot chuẩn bị mạnh dạn đi đến nơi chưa robot nào từng đặt chân tới.
- And we have Luke from Stanley, ladies and gentlemen, the start of the Dartmouth Grand Challenge.
- Và đây là Luke từ Stanley, thưa quý vị, khởi đầu của Dartmouth Grand Challenge.
- After months of tireless effort, there's a lot at stake. - And now Sandstorm. - A vision they all share will now be put to the test.
- Sau nhiều tháng nỗ lực không ngừng, có rất nhiều thứ đang bị đặt cược. - Và bây giờ là Sandstorm. - Tầm nhìn mà tất cả cùng chia sẻ giờ sẽ được đem ra thử thách.
Each one leaves the chute with confidence, a far cry from the first Grand Challenge, where many faltered within sight of the start, and no robot went beyond seven miles.
Mỗi xe rời vạch xuất phát đầy tự tin, khác xa cuộc Grand Challenge đầu tiên, khi nhiều xe đã chùn bước ngay gần điểm xuất phát, và không robot nào đi quá bảy dặm.
During the first eight miles of the race, Highlander gains two minutes on Stanley.
Trong tám dặm đầu của cuộc đua, Highlander bỏ xa Stanley hai phút.
PROFESSOR
It's the rival school.
Đó là trường đối thủ.
- Behind Stanley, Sandstorm is closing the gap and may pass the Stanford robot.
- Phía sau Stanley, Sandstorm đang rút ngắn khoảng cách và có thể vượt qua robot của Stanford.
At mile 26, Team [? Dad's ?] laser comes unbolted from the roof.
Ở dặm thứ 26, laser của đội [? Dad's ?] bị tuột bu-lông khỏi nóc xe.
Behind him, Stanley is rapidly approaching.
Phía sau, Stanley đang nhanh chóng áp sát.
PROFESSOR
So the front car is the autonomous car. The one behind it is a follow car with human drivers that can stop the front car, just in case something goes wrong.
Xe phía trước là xe tự lái. Xe phía sau là xe theo sau với người lái, có thể dừng xe phía trước, phòng khi có sự cố.
At that point, you're out of the race, though. Once you're stopped, that's it. So you don't want to have to press down Stop.
Nhưng lúc đó thì bạn bị loại khỏi cuộc đua. Đã dừng là hết. Nên bạn không muốn phải bấm Stop.
- Five hours after leaving the starting line, Stanley now leads the pack, and just five robots remain on the course. To finish, they must wind through a treacherous mountain pass.
- Năm giờ sau khi rời vạch xuất phát, Stanley giờ dẫn đầu, và chỉ còn năm robot trên đường đua. Để về đích, chúng phải len qua một đèo núi hiểm trở.
A blue dot appears in the distance.
Một chấm xanh xuất hiện ở phía xa.
After driving six hours and 53 minutes at an average speed of 90 miles an hour, Stanley is about to become the first vehicle in history to drive 132 miles by itself.
Sau sáu giờ 53 phút lái xe với tốc độ trung bình 90 dặm một giờ, Stanley sắp trở thành phương tiện đầu tiên trong lịch sử tự lái 132 dặm.
[CHEERING] [END PLAYBACK] PROFESSOR: So that was 2005. Not everything went so well.
[REO HÒ] [KẾT THÚC PHÁT VIDEO] GIÁO SƯ: Đó là năm 2005. Không phải mọi thứ đều suôn sẻ.
There was other participants doing other things. Here is a bit of the blooper reel.
Có những đội khác làm những việc khác. Đây là một đoạn trong những cảnh hỏng việc.
This was a really hard problem at the time, to get this to work, and was very impressive that, in fact, four cars finished the 150 miles. That's a Berkeley entry.
Đây là bài toán rất khó vào thời đó, để làm cho nó chạy được, và rất ấn tượng khi thực tế có bốn xe hoàn thành 150 dặm. Đó là xe của Berkeley.
Only motorcycle in the race.
Mô tô duy nhất trong cuộc đua.
Yeah, you were [? not to take ?] a seat in the autonomous cars of 2005. Now, what goes onto those cars? There's a few different things.
Vâng, bạn đã [? không thể ?] ngồi trên xe tự lái năm 2005. Vậy những xe đó gồm những gì? Có vài thứ khác nhau.
There is IMU, like right on a helicopter, a lot of computers. The GPS compass. If you have multiple GPS and they're very precise, you can know which way you're facing.
Có IMU, như trên trực thăng, và nhiều máy tính. La bàn GPS. Nếu có nhiều GPS và chúng rất chính xác, bạn biết được mình đang hướng về đâu.
Regular GPS to get position. [INAUDIBLE] stop. Lasers, where you shoot out laser beams.
GPS thường để lấy vị trí. [KHÔNG NGHE RÕ] dừng. Laser, tức là bạn bắn ra các tia laser.
And based on how long it takes them to get back, you know how far away the nearest obstacle is in that direction, assuming it's an obstacle that reflects back to where the laser came from.
Và dựa vào thời gian chúng quay lại, bạn biết chướng ngại vật gần nhất theo hướng đó cách bao xa, giả sử đó là vật cản phản xạ ngược về nơi tia laser phát ra.
Cameras, radar, control screen, steering motor. The steering control, usually, you would have a high level planner choosing a path and then a low level controller that is good at following that path.
Camera, radar, màn hình điều khiển, động cơ lái. Về điều khiển lái, thường bạn có một bộ lập kế hoạch cấp cao chọn đường đi, rồi một bộ điều khiển cấp thấp giỏi bám theo đường đó.
How do you decide with path to follow? Often, your sensor readings will tell you if there might be obstacles or not. So your laser would see how far away things are.
Làm sao quyết định đi theo đường nào? Thường các số đọc cảm biến sẽ cho bạn biết có thể có chướng ngại vật hay không. Laser sẽ thấy các vật cách bao xa.
Now here, there is an obstacle. It would see that the readings are different and decide it needs to steer around that, hopefully. If you're an urban environment, there'll be a lot more obstacles.
Ở đây có một chướng ngại vật. Nó sẽ thấy các số đọc khác đi và quyết định cần lái vòng qua đó, hy vọng vậy. Nếu ở môi trường đô thị, sẽ có nhiều chướng ngại vật hơn nhiều.
A lot of readings will be noisy.
Nhiều số đọc sẽ bị nhiễu.
And so it's typical to run something like an HMM to de-noise those readings into a more reliable — GPS, [? IMU, ?] laser readings into a more reliable estimate of the geometry of the world around you.
Vì vậy thường chạy một thứ như HMM để khử nhiễu các số đọc đó thành một ước lượng đáng tin hơn — các số đọc GPS, [? IMU, ?] laser thành ước lượng đáng tin hơn về hình học của thế giới xung quanh bạn.
So raw measurements might give you 12% false positives. With HMM, you get 0.02% false positives of where there might be obstacles. Cameras are important, too, of course.
Số đo thô có thể cho bạn 12% dương tính giả. Với HMM, bạn chỉ còn 0,02% dương tính giả về chỗ có thể có chướng ngại vật. Tất nhiên camera cũng quan trọng.
With a camera, you can often look further ahead. So you might wonder, why do we need cameras if we have already have LIDAR.
Với camera, bạn thường nhìn xa hơn được. Bạn có thể thắc mắc, sao cần camera khi đã có LIDAR.
LIDAR sends out a laser beam, measures how long it takes to get back. But usually, it doesn't work beyond 50 meters. You don't get enough signal back.
LIDAR phát ra một tia laser, đo thời gian nó quay lại. Nhưng thường nó không hoạt động quá 50 mét. Tín hiệu phản hồi không đủ.
Also, sometimes if you have a very dark object, it might not reflect back. Or if you have a mirror, it will reflect back in a way that doesn't come back to you.
Ngoài ra, đôi khi nếu vật rất tối màu, nó có thể không phản xạ lại. Hoặc nếu là gương, nó sẽ phản xạ theo hướng không quay về phía bạn.
So many reasons to still want cameras. Here's specifically about looking further. You want to look far ahead. A camera will be better at that than a LIDAR.
Vậy là còn nhiều lý do để vẫn cần camera. Đây là nói riêng về việc nhìn xa hơn. Bạn muốn nhìn xa phía trước. Camera làm việc đó tốt hơn LIDAR.
OK, now how do you avoid running up a tree if you use your cameras? Well, you need labels. Somebody needs to tell you what is road, what is not road.
Được rồi, vậy làm sao tránh đâm vào cây nếu dùng camera? Bạn cần nhãn. Ai đó cần cho bạn biết đâu là đường, đâu không phải đường.
Well, the way it could build vision for a car, because labeling is expensive, you could decide that you drive your car and wherever you ended up, the LIDAR can tell you what is road, not road, because it's nearby.
Cách xây dựng thị giác cho xe, vì gán nhãn tốn kém, là bạn có thể lái xe và bất cứ chỗ nào xe đã đi qua, LIDAR cho biết đâu là đường, đâu không phải, vì nó ở gần.
And you can, after the fact, back trace what it looked like two seconds before that, five seconds before that, in your video stream what that point looked like, and then automatically label it as road or not road.
Rồi sau đó, bạn truy ngược lại xem hai giây trước đó trông ra sao, năm giây trước đó, trong luồng video, điểm đó trông thế nào, rồi tự động gán nhãn là đường hay không phải đường.
And that way, your camera system can be trained to look further ahead. It's called self-supervision. And self-supervision is a trick that's very widely used to reduce labeling efforts.
Và như vậy, hệ thống camera có thể được huấn luyện để nhìn xa hơn. Cái này gọi là self-supervision. Và self-supervision là một mẹo được dùng rất rộng rãi để giảm công sức gán nhãn.
So the camera now knows all the red here is road. In urban environments, there's even more need to recognize, not just road versus not road.
Vậy là camera giờ biết toàn bộ vùng đỏ này là đường. Trong môi trường đô thị, nhu cầu nhận biết còn lớn hơn, không chỉ là đường hay không phải đường.
A lot of progress has been made this is video from 2013. So after 2005, 2005 was a desert race, where Stanley won. 2006, '07 was Urban Challenge.
Đã có nhiều tiến bộ, đây là video từ năm 2013. Sau 2005, năm 2005 là cuộc đua sa mạc, nơi Stanley chiến thắng. Năm 2006, 2007 là Urban Challenge.
After that, secretly, Google started a project on self-driving cars with many people from the winning teams. That project, that came out a few years later.
Sau đó, Google bí mật bắt đầu một dự án về xe tự lái với nhiều người từ các đội thắng cuộc. Dự án đó ra mắt vài năm sau.
And here is a video from 2013, the Google Self-driving Car Project. The encoding is a little messed up at the very beginning, but this is a video from the viewpoint of the driver.
Và đây là video năm 2013 về Dự án Xe tự lái của Google. Phần đầu video bị lỗi mã hóa một chút, nhưng đây là video từ góc nhìn của người lái.
But it's an autonomous driver here of the Google car in 2013, so very impressive. It can already do a lot of things.
Nhưng ở đây là người lái tự động của xe Google năm 2013, rất ấn tượng. Nó đã làm được rất nhiều việc.
This is only getting better. This was before deep neural networks were heavily used for this kind of thing. It's only getting better to recognize what's in scenes, thanks to deep neural networks.
Và nó chỉ ngày càng tốt hơn. Đây là trước khi mạng nơ-ron sâu được dùng nhiều cho loại việc này. Việc nhận ra những gì trong khung cảnh ngày càng tốt hơn, nhờ mạng nơ-ron sâu.
Instead of classifying into which categories in the image, you would classify each pixel, as to what's in each pixel. That way, you get a semantic segmentation of what's in front of your car.
Thay vì phân loại ảnh vào các loại nào đó, bạn phân loại từng pixel xem trong pixel đó là gì. Như vậy bạn có phân vùng ngữ nghĩa của những gì phía trước xe.
Now, that video was from 2013, already very impressive. Didn't use any of this, as far as I know, definitely the latest advances in this. So what does it tell us?
Video đó là từ 2013, đã rất ấn tượng. Theo tôi biết thì nó không dùng những thứ này, chắc chắn không dùng các tiến bộ mới nhất. Vậy điều này cho ta biết gì?
Well, the devil is really in the details, in the long tail of special events that can happen when you're driving. In fact, when you're driving, typically you wouldn't get an accent.
Vấn đề thật sự nằm ở chi tiết, ở cái đuôi dài của các sự kiện đặc biệt có thể xảy ra khi lái xe. Thực tế, khi lái xe, thường thì bạn sẽ không gặp tai nạn.
But periodically, you get in an accident, or some humans get into accidents.
Nhưng thỉnh thoảng bạn gặp tai nạn, hay có người gặp tai nạn.
And it's because something very special might happen unexpected, a lapse of attention, or something really weird, and all of a sudden, you don't react quickly enough. Same for self-driving cars.
Vì có điều gì đó rất đặc biệt xảy ra bất ngờ, mất tập trung, hoặc chuyện gì đó thật kỳ lạ, và đột nhiên bạn phản ứng không đủ nhanh. Xe tự lái cũng vậy.
You can measure progress by just demo videos, which is one way, and it gives you some kind of feel for what's going on. But the 2013 video is already very impressive.
Bạn có thể đo tiến bộ bằng video demo, đó là một cách, và nó cho bạn cảm nhận nào đó về tình hình. Video năm 2013 đã rất ấn tượng rồi.
So another way to measure progress is to see how are these cars doing relative to human drivers.
Một cách khác để đo tiến bộ là xem những xe này làm tốt thế nào so với người lái.
So left and right are the same plots, but the ride is on a log scale so you can see more detail.
Hình trái và phải là cùng một đồ thị, nhưng hình phải dùng thang log để thấy rõ chi tiết hơn.
It's a number of events per 1,000 miles driven, 10 to the negative 5 events per 1,000 miles driven for humans. Red there is human fatalities.
Đó là số sự kiện trên 1.000 dặm lái, 10 mũ âm 5 sự kiện trên 1.000 dặm với con người. Màu đỏ là tử vong do người lái.
So 1 in 100,000 times when a human drives 1,000 miles, they get into a deadly accident.
Tức là cứ 100.000 lần người lái 1.000 dặm, có 1 lần gặp tai nạn chết người.
Then yellow is human injuries, which is about 10 to the negative 3 per 1,000 miles.
Màu vàng là người bị thương, khoảng 10 mũ âm 3 trên 1.000 dặm.
Then human crashes, which is between 10 and negative 2 and 10 negative 3 per 1,000 miles of human driving. And then in green is the Google slash [? wave ?] mode disengagement.
Rồi đến va chạm do người lái, nằm giữa 10 mũ âm 2 và 10 mũ âm 3 trên 1.000 dặm. Và màu xanh lá là số lần Google [? wave ?] mode phải ngắt chế độ tự lái.
It's when the driver decides they want to take control because they don't trust the autonomous system right now to avoid an accident.
Đó là khi người lái quyết định tự điều khiển vì lúc đó họ không tin hệ thống tự động có thể tránh được tai nạn.
And we see that it's going down how often that needs to happen, but still a bit removed from where humans are at. Where does this data come from?
Ta thấy tần suất cần làm vậy đang giảm, nhưng vẫn còn cách mức của con người một khoảng. Dữ liệu này đến từ đâu?
If you test in California, you have to report this data to the DMV. Google's not the only one doing this.
Nếu bạn thử nghiệm ở California, bạn phải báo cáo dữ liệu này cho DMV. Google không phải là bên duy nhất làm việc này.
Early on, they were the only ones, as far as I know, but there's more companies now.
Thuở đầu, theo tôi biết họ là bên duy nhất, nhưng giờ có nhiều công ty hơn.
And you can look at them on these plots and see which companies, how far along, in terms of how many disengagements they need per 1,000 miles driven.
Bạn có thể xem họ trên các đồ thị này và thấy công ty nào đi được bao xa, xét theo số lần phải ngắt chế độ tự lái trên 1.000 dặm.
Still, so far, quite far removed from human accident rate levels. Another thing people have been pushing, as a consequence of all this, is lower power neural networks.
Cho đến nay vẫn còn khá xa so với tỷ lệ tai nạn của con người. Một điều nữa mà người ta đang thúc đẩy, do tất cả những điều này, là mạng nơ-ron tiêu thụ ít năng lượng.
So for example, Kurt Kuetzer at Berkeley has projects on this called SqueezeNet, where you say when I have neural nets, I need to make so many decisions.
Ví dụ, Kurt Kuetzer ở Berkeley có các dự án về việc này gọi là SqueezeNet, nơi bạn nói rằng khi có mạng nơ-ron, tôi phải đưa ra rất nhiều quyết định.
If they're gigantic, use a lot of power. That's a problem. Let's see what we can do to build smaller networks to make decisions.
Nếu chúng khổng lồ thì tốn rất nhiều năng lượng. Đó là một vấn đề. Hãy xem ta có thể xây mạng nhỏ hơn thế nào để đưa ra quyết định.
What else did we not cover yet? Personal robotics. I want to spend a little more than two minutes on that, so let's keep that for Thursday. That's it for today.
Còn gì nữa mà ta chưa đề cập? Robot cá nhân. Tôi muốn dành hơn hai phút một chút cho phần đó, nên để dành đến thứ Năm. Hôm nay đến đây thôi.
Bye. [SIDE CONVERSATIONS]
Tạm biệt. [CÁC CUỘC TRÒ CHUYỆN RIÊNG]
Đăng nhập để đánh giá học liệu này.
Đăng nhập để bình luận — chưa ai bình luận về học liệu này.
Không có khóa học liên quan.