Video
Đăng bởi Ban biên tập OpenER ·
Tác giả giữ toàn bộ bản quyền (All Rights Reserved) — không phải giấy phép mở. Bạn vẫn xem và học miễn phí trên OpenER; muốn tái sử dụng cần xin phép tác giả.
[INTERPOSING VOICES] PROFESSOR: All right.
[NHIỀU NGƯỜI NÓI CÙNG LÚC] GIÁO SƯ: Được rồi.
OK, so hi, everyone. I'm really excited about this lecture today because today the two pieces of what we've been doing in this course come together.
Chào cả lớp. Tôi thực sự rất hào hứng với bài giảng hôm nay, vì hôm nay hai phần của những gì ta đã học trong môn này sẽ gặp nhau.
So in the first part of the course, we basically talked about, if you remember, all the way back search and planning and all of that. We basically talked about actions and utilities.
Trong phần đầu của môn học, nếu còn nhớ, ta đã nói từ rất lâu về tìm kiếm và lập kế hoạch, v.v. Về cơ bản ta nói về hành động và độ hữu dụng.
What are the sequence of things I should do, actions I should take to maximize my expected utility. Right? It was all about the maximization and the utility and all that.
Chuỗi việc nào tôi nên làm, những hành động nào để tối đa hóa độ hữu dụng kỳ vọng. Đúng không? Tất cả xoay quanh việc tối đa hóa và độ hữu dụng.
For this recent third or so of the course, we've been talking about reasoning over uncertain variables. And today, those things are going to come together.
Còn khoảng một phần ba gần đây của môn học, ta nói về suy luận trên các biến không chắc chắn. Và hôm nay, hai thứ đó sẽ kết hợp lại.
Because often, when we have to decide what action to take, remember we're maximizing our expected utility, which means there are expectations, we need to reason about what's going to happen and with what probability so that we can make the rational or optimal decision.
Vì thường khi phải quyết định hành động nào, nhớ rằng ta tối đa hóa độ hữu dụng kỳ vọng, nghĩa là có các kỳ vọng, ta cần suy luận xem điều gì sẽ xảy ra và với xác suất bao nhiêu để đưa ra quyết định hợp lý hay tối ưu.
So today, this whole machinery of actions and utilities connects to the whole machinery of Bayes nets and graphical models and reasoning under uncertainty.
Vậy hôm nay, toàn bộ bộ máy về hành động và độ hữu dụng được nối với bộ máy về mạng Bayes và mô hình đồ thị, suy luận trong điều kiện không chắc chắn.
So the first topic we're going to talk about today is what's called decision networks, which are a way of graphically connecting Bayes nets, which represented variables as nodes, with actions and utilities.
Chủ đề đầu tiên hôm nay là mạng quyết định (decision network), một cách nối mạng Bayes bằng đồ thị, vốn biểu diễn biến bằng nút, với hành động và độ hữu dụng.
And what this will open up is one step further is to start to think about information and learning information, observing evidence in a network.
Điều này mở ra một bước xa hơn, là bắt đầu nghĩ về thông tin và việc thu thập thông tin, quan sát bằng chứng trong mạng.
To start to think about that as something that itself has a utility. And we can finally formalize this very powerful and important notion of the value of information.
Ta bắt đầu coi đó là thứ tự nó có độ hữu dụng. Và cuối cùng ta có thể hình thức hóa khái niệm rất mạnh và quan trọng là giá trị của thông tin.
Because when you get information — you know the saying knowledge is power? Well, information is utility.
Vì khi bạn có thông tin... bạn biết câu "tri thức là sức mạnh" chứ? Còn thông tin thì là độ hữu dụng.
And today we're going to figure out how information and utility connect up in a formal way that's going to pull all of these threads together. So I'm excited.
Hôm nay ta sẽ tìm hiểu thông tin và độ hữu dụng liên hệ với nhau một cách hình thức để kết nối tất cả các mạch này lại với nhau. Tôi rất hào hứng.
Let's talk about decision networks. OK? These are basically going to be taking these Bayes nets that we build and augmenting them with new kinds of nodes that represent utility and represent action.
Hãy nói về mạng quyết định. Nhé? Về cơ bản ta lấy các mạng Bayes mà ta xây dựng và bổ sung các loại nút mới biểu diễn độ hữu dụng và hành động.
So here's an example of a decision network. OK? In this decision network, we have the part at the bottom, which looks sort of like a Bayes net. So let's zoom in there.
Đây là một ví dụ về mạng quyết định. Nhé? Trong mạng quyết định này, ta có phần ở dưới, trông giống một mạng Bayes. Hãy phóng to vào đó.
Let's look at this part at the bottom that looks like a Bayes net. This is a Bayes net. It has variables like what is the weather. And here that might be sunny or rainy.
Hãy nhìn phần ở dưới trông giống mạng Bayes này. Đây là một mạng Bayes. Nó có các biến như thời tiết. Ở đây có thể là nắng hoặc mưa.
We're going to have super simple examples here so we can fit them on the slide. The weather could be sunny or rainy. And then there's going to be a forecast, which is another variable.
Ta dùng ví dụ rất đơn giản để vừa với slide. Thời tiết có thể nắng hoặc mưa. Rồi có dự báo, là một biến khác.
And the forecast could say, we expect sun or we expect rain. And of course, the forecast isn't the weather, but it's a noisy indicator.
Dự báo có thể nói là trời nắng hoặc trời mưa. Tất nhiên dự báo không phải là thời tiết, mà là một chỉ báo có nhiễu.
When the true weather is going to rain, the forecast has some probability of actually forecasting it correctly. And there's another noisy forecast if it's sun. And that's all specified in the Bayes net.
Khi thời tiết thực sự là mưa, dự báo có một xác suất nào đó là dự báo đúng. Và cũng có một dự báo nhiễu khác nếu trời nắng. Tất cả điều đó được chỉ định trong mạng Bayes.
The Bayes net here is going to specify how likely each weather outcome is and how likely each forecast outcome is given the weather. All right. But this stuff up here is new.
Mạng Bayes này chỉ định mỗi kết quả thời tiết có khả năng bao nhiêu và mỗi kết quả dự báo có khả năng bao nhiêu khi biết thời tiết. Được rồi. Nhưng phần ở trên này là mới.
And in our running problem, there's going to be a choice.
Và trong bài toán xuyên suốt của ta, sẽ có một lựa chọn.
In addition to having weather, sunny or rainy, and a forecast, forecast sun or forecast rain, there's going to be a choice of about whether or not to take your umbrella.
Ngoài thời tiết nắng hoặc mưa và dự báo nắng hoặc dự báo mưa, còn có lựa chọn về việc có mang ô hay không.
And so this is a robot that has to make a choice. The choice is going to be take the umbrella or leave the umbrella at home. And then there's going to be an outcome.
Đây là một robot phải đưa ra lựa chọn. Lựa chọn là mang ô hoặc để ô ở nhà. Rồi sẽ có một kết quả.
Right? And over here, you can see all the different ways that world can unfold. And so there's outcomes where it's sunny and you have the umbrella.
Đúng không? Và ở đây, bạn thấy tất cả các cách thế giới có thể diễn ra. Có kết quả là trời nắng và bạn có ô.
And where it's rainy and you have the umbrella. And sunny and rainy when you don't have the umbrella.
Hoặc trời mưa và bạn có ô. Nắng và mưa khi bạn không có ô.
And we'll get into the exact details of our model of this robot, which is just going to be sort of a toy example of how the actions you take and the probabilities that you predict can interact.
Ta sẽ đi vào chi tiết chính xác của mô hình robot này, chỉ là một ví dụ đơn giản về cách hành động bạn chọn và xác suất bạn dự đoán tương tác với nhau.
OK? So let's go back and figure out what a decision network is all about. Remember, we've been talking about the principle of MEU, maximum expected utility.
Nhé? Giờ quay lại xem mạng quyết định là gì. Nhớ rằng ta đã nói về nguyên lý MEU, độ hữu dụng kỳ vọng cực đại.
That means you should choose the action which maximizes your expected utility given your evidence. Right? And the more evidence you have, that's going to change the distribution of what you expect to happen.
Nghĩa là bạn nên chọn hành động tối đa hóa độ hữu dụng kỳ vọng khi biết bằng chứng. Đúng không? Và càng có nhiều bằng chứng, điều đó càng thay đổi phân phối của những gì ta kỳ vọng xảy ra.
And so as you get evidence, the best action to take might change. All right? So let's operationalize this with these decision networks.
Nên khi có thêm bằng chứng, hành động tốt nhất có thể thay đổi. Nhé? Hãy hiện thực hóa điều này bằng mạng quyết định.
The nodes that look like circles, ovals, those are going to be just like in Bayes nets. And the new nodes are going to have new semantics. So we have three kinds of node types.
Các nút hình tròn, hình oval, sẽ giống như trong mạng Bayes. Còn các nút mới sẽ có ngữ nghĩa mới. Vậy ta có ba loại nút.
Actually, only the second two — sorry, only the last two are actually new. These chance nodes, they have the exact same semantics as in a Bayes net.
Thật ra chỉ hai loại sau thôi — xin lỗi, chỉ có hai loại sau là mới. Các nút ngẫu nhiên (chance node) có ngữ nghĩa y hệt như trong mạng Bayes.
A node represents a variable, and the name on the node says what variable it is. And it can be observed or it can be unobserved.
Một nút biểu diễn một biến, và tên trên nút cho biết đó là biến nào. Nó có thể được quan sát hoặc không được quan sát.
If it's observed, that means we know which element of the domain of that variable is happening. And if it's unobserved, it's a random variable that we can compute distributions over.
Nếu được quan sát, nghĩa là ta biết phần tử nào trong miền giá trị của biến đó đang xảy ra. Còn nếu không được quan sát, nó là một biến ngẫu nhiên mà ta có thể tính phân phối xác suất trên đó.
When you see these round nodes, you can think about them like chance nodes. Remember, in expect to max, we drew the nodes where the probabilities come in as circles?
Khi thấy các nút tròn này, bạn có thể coi chúng như các nút ngẫu nhiên. Nhớ không, trong expectimax, ta vẽ các nút có xác suất thành hình tròn?
You can use that metaphor here too. One new kind of node is rectangles. So like here, the umbrella. Rectangles represent actions.
Ở đây bạn cũng dùng phép ẩn dụ đó được. Một loại nút mới là hình chữ nhật. Như ở đây, cái ô. Hình chữ nhật biểu diễn các hành động.
So they're like random variables in the sense that they have a domain. Right? And in this case, the actions for umbrella are take or leave.
Chúng giống biến ngẫu nhiên ở chỗ chúng có một miền giá trị. Đúng không? Ở đây, các hành động của cái ô là mang theo hoặc để lại.
They're unlike chance nodes or random variables in your Bayes net in that there's not a probability distribution over them. You control them.
Chúng khác nút ngẫu nhiên hay biến ngẫu nhiên trong mạng Bayes ở chỗ không có phân phối xác suất trên chúng. Bạn kiểm soát chúng.
Remember, you control your action, but you don't control the expectation over the world's response. That's the whole point of expect to max.
Nhớ nhé, bạn kiểm soát hành động của mình, nhưng không kiểm soát kỳ vọng về phản ứng của thế giới. Đó là toàn bộ ý nghĩa của expectimax.
You maximize over the actions and then you live with the consequences probabilistically. So these rectangular nodes represent actions. You have to assign them.
Bạn cực đại hóa trên các hành động rồi chấp nhận hậu quả theo xác suất. Vậy các nút hình chữ nhật này biểu diễn hành động. Bạn phải gán giá trị cho chúng.
That's good for you as an agent because you get to pick the best one. OK. And the last one that pulls everything together are these diamonds, these utility nodes.
Điều đó tốt cho bạn với tư cách tác tử vì bạn được chọn hành động tốt nhất. OK. Loại cuối cùng, gói gọn mọi thứ lại, là các hình thoi, tức nút độ hữu dụng.
And what are utility node is, it has parents. In general, its parents are going to include action nodes. Right? Because your utility is going to depend on the action you take.
Nút độ hữu dụng có các nút cha. Nói chung, các nút cha sẽ gồm các nút hành động. Đúng không? Vì độ hữu dụng phụ thuộc vào hành động bạn chọn.
And the parents are going to include other random variables.
Và các nút cha cũng gồm các biến ngẫu nhiên khác.
Because usually, the utility depends on not only the action you take, but on the outcome of some variable that's in general out of your complete control, and so we'll construct distributions over.
Vì thường độ hữu dụng không chỉ phụ thuộc vào hành động bạn chọn, mà còn vào kết quả của một biến nói chung nằm ngoài tầm kiểm soát hoàn toàn của bạn, nên ta sẽ xây dựng các phân phối trên đó.
So in this case, the utility you get as a going outdoors and having fun robot depends on whether or not you take your umbrella, which you have control over, and whether or not it rains, which you don't.
Ở đây, độ hữu dụng của robot đi chơi ngoài trời cho vui phụ thuộc vào việc bạn có mang ô hay không, cái này bạn kiểm soát được, và trời có mưa hay không, cái này thì không.
You don't have control over it, but of course you can reason over it. All right. So how can we use these networks?
Bạn không kiểm soát được nó, nhưng dĩ nhiên bạn có thể suy luận về nó. Được rồi. Vậy ta dùng các mạng này như thế nào?
Well, first of all, I'm going to speak in general because to know exactly what the right thing to do is in a given network, we need to know all the details.
Trước hết, tôi sẽ nói một cách tổng quát vì để biết chính xác việc đúng cần làm trong một mạng cụ thể, ta cần biết mọi chi tiết.
Right? We need to know what is the probability of rain. And if it's sunny, what's the probability that the forecast is going to say rain anyway.
Đúng không? Ta cần biết xác suất trời mưa là bao nhiêu. Và nếu trời nắng, xác suất dự báo vẫn báo mưa là bao nhiêu.
We also need to know details like what is the probability — sorry, what is the utility of taking your umbrella and then getting rained on.
Ta cũng cần biết những chi tiết như xác suất — xin lỗi, độ hữu dụng của việc mang ô mà vẫn bị mưa ướt là bao nhiêu.
So let's jump ahead for a second and talk about the details, just so that we have this in our heads.
Ta nhảy lên trước một chút để nói về các chi tiết, để có hình dung trong đầu.
So remember, the new thing in this network is going to be the utility node. And the utility node, just like any other node in a Bayes net, it has parents.
Nhớ rằng, thứ mới trong mạng này là nút độ hữu dụng. Và nút độ hữu dụng, như mọi nút khác trong mạng Bayes, có các nút cha.
And it specifies something for each combination of values for the parents. So the utility node is going to specify something for each combination of take or leave umbrella and sun or rain weather.
Nó quy định một giá trị cho mỗi tổ hợp giá trị của các nút cha. Vậy nút độ hữu dụng sẽ quy định một giá trị cho mỗi tổ hợp giữa mang hay để lại ô và thời tiết nắng hay mưa.
And the thing it's going to specify is a utility.
Và thứ nó quy định là một độ hữu dụng.
So if we peek inside this decision network here and we actually look at the actual values — we've gotten rid of the forecast here — we might say, well, the weather has probability of being sun of 0.7 and probability of rain of 0.3.
Nếu ta nhìn vào bên trong mạng quyết định này và xem các giá trị thực tế — ta đã bỏ nút dự báo ở đây — ta có thể nói thời tiết có xác suất nắng là 0.7 và xác suất mưa là 0.3.
OK. Now I know not only that there is a random variable called weather, I understand the exact probabilities that I'm assuming govern it. OK? Umbrella we know is take or leave.
OK. Giờ tôi không chỉ biết có một biến ngẫu nhiên gọi là thời tiết, mà còn hiểu chính xác các xác suất mà tôi giả định chi phối nó. OK? Cái ô thì ta biết là mang hoặc để lại.
And in this diamond node, I have to have a list not of probabilities anymore but of utilities.
Và ở nút hình thoi này, tôi cần một danh sách không còn là xác suất nữa mà là độ hữu dụng.
So I have to know what is the utility of leaving the umbrella at home and having a sunny day. And here that is 100 points, 100 utiles. That's the best possible outcome.
Tôi phải biết độ hữu dụng của việc để ô ở nhà và gặp ngày nắng là bao nhiêu. Ở đây là 100 điểm, 100 utile. Đó là kết quả tốt nhất có thể.
You go and you play robot ball all day and have a great time. Now we have to look at the rest, just so that we know this recurring example.
Bạn ra ngoài chơi bóng robot cả ngày và rất vui. Giờ ta xem nốt phần còn lại, để nắm được ví dụ lặp đi lặp lại này.
So if you leave the umbrella at home and it's sunny, that's your best possible day of robot sports. If you leave the umbrella at home and it rains, that's your worst possible day.
Nếu bạn để ô ở nhà và trời nắng, đó là ngày chơi thể thao robot tuyệt nhất. Nếu bạn để ô ở nhà và trời mưa, đó là ngày tệ nhất.
You get rained on, you rust, whatever it is. It's not good. That's 0 utiles. What happens if you take your umbrella?
Bạn bị mưa ướt, bị gỉ sét, gì cũng được. Không hay chút nào. Đó là 0 utile. Điều gì xảy ra nếu bạn mang ô?
Well, if you take your umbrella and it rains, you get 70 utiles. Imagine, it's not as good as that sunny day of playing ball, but you get to stand there happily dry.
Nếu bạn mang ô và trời mưa, bạn được 70 utile. Hình dung xem, không tốt bằng ngày nắng chơi bóng, nhưng bạn được đứng đó khô ráo, vui vẻ.
If you take your umbrella and it's sun, what's that? That means you see all these other robots happily playing robot soccer, but you are stuck dragging your umbrella around for no reason at all.
Nếu bạn mang ô mà trời nắng thì sao? Nghĩa là bạn thấy các robot khác vui vẻ chơi bóng đá robot, còn bạn thì cứ phải xách cái ô đi lòng vòng chẳng vì lý do gì.
That's pretty bad. it's not as bad as rusting, but it's 20. And so, these have an order to them. The best possible case is leave the umbrella on a sunny day.
Khá tệ. Không tệ bằng bị gỉ sét, nhưng chỉ được 20. Vậy các giá trị này có một thứ tự. Trường hợp tốt nhất là để ô ở nhà vào ngày nắng.
The worst possible case is leave the umbrella on a rainy day. And the others are in between. Now you might say, well, that's sort of a weird set of utilities to give the robot.
Trường hợp tệ nhất là để ô ở nhà vào ngày mưa. Các trường hợp còn lại nằm ở giữa. Có thể các em sẽ nói, đây là một bộ độ hữu dụng khá kỳ cho một con robot.
But remember, that's what we do. We give the robot utilities. And with respect to those utilities, we compute optimal actions.
Nhưng nhớ rằng, chúng ta làm như vậy. Ta gán độ hữu dụng cho robot. Và dựa trên những độ hữu dụng đó, ta tính ra các hành động tối ưu.
If you have a robot that wants to rust as fast as possible, this would be a whole different table. OK?
Nếu robot muốn bị gỉ càng nhanh càng tốt, thì sẽ có một bảng hoàn toàn khác. Được chứ?
So just like we come up with probabilities and we'd like them to reflect something reasonable. But for this example, this is what they are. OK? So let's go back here.
Cũng như khi ta đưa ra các xác suất và muốn chúng phản ánh điều hợp lý. Nhưng với ví dụ này, thì chúng là như vậy. Được chứ? Giờ quay lại đây.
What do we do with a decision network? Well, the main point of a Bayes net was we observed some nodes and we reason about probability distributions over others.
Ta làm gì với một mạng quyết định? Điểm chính của mạng Bayes là ta quan sát một số nút và suy luận về phân phối xác suất của các nút khác.
Remember, we do a query of what's the probability of weather given this forecast. So Bayes nets, the whole point was to compute a posterior distribution over a node of interest given our evidence.
Nhớ rằng ta truy vấn xem xác suất thời tiết là bao nhiêu khi biết dự báo. Vậy với mạng Bayes, toàn bộ mục đích là tính phân phối hậu nghiệm của một nút mình quan tâm, khi biết bằng chứng.
OK? That's what's going on down here. In a decision network, the whole point is to decide which action is best. So it's all really about picking an.
Được chứ? Đó là phần ở dưới này. Còn trong mạng quyết định, mục đích là quyết định hành động nào tốt nhất. Nên tất cả là để chọn một hành động, đúng không?
Action all right? So how does action selection work? How do you actually do reasoning in a Bayes net? Or sorry, in a decision network?
Vậy việc chọn hành động diễn ra thế nào? Làm sao suy luận trong một mạng Bayes? À xin lỗi, trong một mạng quyết định?
Well, first of all, you have to instantiate your evidence. Like maybe, you know, the forecast calls for rain. Secondly, you instantiate your actions. Because you control them.
Trước hết, ta phải gán giá trị cho bằng chứng. Ví dụ dự báo nói là có mưa. Thứ hai, ta gán giá trị cho các hành động. Vì ta kiểm soát được chúng.
OK? So you're going to have to say what action you're interested in. But unlike the evidence where, hey, it forecasts rain. You can't change that.
Được chứ? Nên ta phải nói rõ mình quan tâm đến hành động nào. Nhưng khác với bằng chứng, như dự báo có mưa, thì ta không thể thay đổi.
The actions you can change. So you're going to instantiate the evidence, the way it actually is, and you're going to instantiate the action nodes in every single way.
Còn hành động thì ta thay đổi được. Vậy ta gán bằng chứng đúng như thực tế, và gán các nút hành động theo mọi cách có thể.
That means the more actions available to you, the more times you're going to have to do this computation within the network. So you instantiate all your evidence the way it actually is.
Nghĩa là càng có nhiều hành động, ta càng phải thực hiện phép tính này nhiều lần trong mạng. Vậy ta gán toàn bộ bằng chứng đúng như thực tế.
You instantiate your actions every single way. You compute the posterior distribution over all of the nodes that are relevant to the decision. Which ones are relevant to the decision?
Gán các hành động theo mọi cách. Tính phân phối hậu nghiệm của mọi nút liên quan đến quyết định. Nút nào liên quan đến quyết định?
The ones that are relevant to the decision are the ones that are parents to the utility node. So if I want to know what is the best utility, what is the best decision?
Những nút liên quan đến quyết định là các nút cha của nút độ hữu dụng. Nếu tôi muốn biết độ hữu dụng tốt nhất là gì, quyết định tốt nhất là gì?
I need to know, I need to consider all the different actions and I need a distribution over weather so I can compute the expected utility of those actions.
Tôi cần xét mọi hành động khác nhau và cần một phân phối trên thời tiết để tính độ hữu dụng kỳ vọng của các hành động đó.
I don't know the expectation over weather until I do some computation in the Bayes net. All right, so were going to have to compute an appropriate conditional probability.
Tôi chưa biết kỳ vọng theo thời tiết cho đến khi tính toán trong mạng Bayes. Vậy ta sẽ phải tính một xác suất có điều kiện phù hợp.
We'll see some examples.
Ta sẽ xem vài ví dụ.
Once we have a conditional probability for all of the parents of the utility node, and we have all the different action instantiations, we can take each action and compute its expected utility given the evidence.
Khi đã có xác suất có điều kiện cho tất cả các nút cha của nút độ hữu dụng, và có mọi cách gán hành động, ta lấy từng hành động và tính độ hữu dụng kỳ vọng khi biết bằng chứng.
And then once we've done that for each action, we can choose to maximizing one.
Rồi sau khi làm vậy cho từng hành động, ta chọn hành động cực đại hóa nó.
So we'll see this in an example, but the basic flow here is you come to this network and this network both tells you here's my evidence, here's what that means for the variables that determine my utility.
Ta sẽ thấy qua ví dụ, nhưng luồng cơ bản ở đây là bạn có mạng này, và mạng này cho biết đây là bằng chứng của tôi, và đây là ý nghĩa của nó với các biến quyết định độ hữu dụng.
On the other hand, here are my actions and here's what they mean for the utility. And now we can do expected utility computations and figure out which action is the maximizing one.
Mặt khác, đây là các hành động của tôi và đây là ý nghĩa của chúng với độ hữu dụng. Rồi ta có thể tính độ hữu dụng kỳ vọng và tìm ra hành động nào là tối đa.
OK? Any questions before we do an example? Yep?
Được chứ? Có câu hỏi nào trước khi làm ví dụ không? Bạn nào?
STUDENT
Do we need to calculate the posterior — PROFESSOR: The calculate posterior — the question was can I explain — I can, I'll show you some examples. How about that?
Có cần tính hậu nghiệm không ạ — GIÁO SƯ: Tính hậu nghiệm — câu hỏi là em có thể giải thích — Được, tôi sẽ cho các em xem vài ví dụ. Thế nào nhỉ?
That's a great question. That's in fact, the perfect question. So thank you for leading into this next slide. So let's first do an example here, a very small example of a decision network.
Câu hỏi rất hay. Thật ra đó là câu hỏi hoàn hảo. Cảm ơn em đã dẫn vào slide tiếp theo. Trước hết làm một ví dụ rất nhỏ về mạng quyết định.
In this one, there won't be much calculating involved. So remember, weather, in this example, is 70% sun, 30% rain.
Ở ví dụ này sẽ không cần tính toán nhiều. Nhớ rằng thời tiết ở đây là 70% nắng, 30% mưa.
We have the utilities where the best thing is you leave the umbrella at home and it's sunny. And the worst thing is you leave the umbrella at home and you rust in the rain.
Về độ hữu dụng, tốt nhất là để ô ở nhà và trời nắng. Tệ nhất là để ô ở nhà và bị gỉ dưới mưa.
And everything else is somewhere in between. So now, we can start to do computations in this network. For now, there's not actually going to be any Bayes net inference.
Còn lại nằm ở khoảng giữa. Giờ ta có thể bắt đầu tính toán trong mạng này. Hiện giờ sẽ chưa có suy luận mạng Bayes nào.
OK? And that's because we're not going to have any evidence, and there's only one actual random variable here. But we do have an action here, which is take or leave the umbrella.
Được chứ? Vì ta không có bằng chứng nào, và chỉ có một biến ngẫu nhiên thật sự ở đây. Nhưng ta có một hành động, là mang hoặc để lại ô.
And remember, we get to maximize over the action. So we're going to set it but we're going to set it each way and then we're going to pick one.
Và nhớ rằng ta cực đại hóa theo hành động. Nên ta sẽ đặt từng cách một rồi chọn một.
So first let's imagine that we set the umbrella node, which is an action node, to leave the umbrella at home. What are we going to do? We're going to compute our utility.
Đầu tiên hãy hình dung ta đặt nút ô, là một nút hành động, thành để ô ở nhà. Ta sẽ làm gì? Ta sẽ tính độ hữu dụng.
How many points are we going to get if we leave the umbrella at home? Well, I leave it at home. That means we're either going to end up in this outcome or this outcome.
Ta sẽ được bao nhiêu điểm nếu ta nếu để ô ở nhà? Thì tôi để nó ở nhà. Nghĩa là ta sẽ rơi vào kết quả này hoặc kết quả này.
I've left my umbrella at home. We're either going to get 100 or 0. Which one? Depends on something out of our control, it depends on the weather.
Tôi đã để ô ở nhà. Ta sẽ được 100 hoặc 0. Là cái nào? Phụ thuộc vào thứ ta không kiểm soát được, tức là thời tiết.
So I can't compute my actual guaranteed utility. I can only compute an expected utility.
Nên tôi không thể tính độ hữu dụng chắc chắn. Tôi chỉ tính được độ hữu dụng kỳ vọng.
I can say how many points am I going to get with the leave action averaged over the variables I don't control, which here is weather.
Tôi có thể nói sẽ được bao nhiêu điểm với hành động leave, lấy trung bình theo các biến tôi không kiểm soát, ở đây là thời tiết.
So I do a computation, an expected utility computation, for the action leave. Notice the notation here is important. It's the expected utility of an action. OK?
Vậy tôi tính độ hữu dụng kỳ vọng cho hành động leave. Chú ý, ký hiệu ở đây rất quan trọng. Đó là độ hữu dụng kỳ vọng của một hành động. Rõ chưa?
Actions have expected utilities. Well, that's just the utility of the action for the outcome for weather averaged over the likelihood of that outcome. So we can do the math.
Hành động có độ hữu dụng kỳ vọng. Nó chính là độ hữu dụng của hành động ứng với kết quả thời tiết, lấy trung bình theo khả năng xảy ra của kết quả đó. Ta tính thử nhé.
And so we'd say, well, sometimes we get 100 points. That's when it's sunny. 70% of the time, that happens. OK?
Có lúc ta được 100 điểm. Đó là khi trời nắng. Điều này xảy ra 70% thời gian. Được chứ?
So here is the utility for leave comma sun times the probability that outcome actually occurs. Now sometimes we get 0 points.
Đây là độ hữu dụng của leave, sun nhân với xác suất kết quả đó thực sự xảy ra. Có lúc ta được 0 điểm.
And we get 0 points, that's because we've left the umbrella at home, but it's rained. And now we're here rusting in the rain. How often does this happen?
Ta được 0 điểm vì để ô ở nhà mà trời lại mưa. Giờ ta đứng đây dầm mưa. Điều này xảy ra bao lâu một lần?
0.3. OK? So we take this average. That gives us an expected utility of 70.
0,3. Được chứ? Ta lấy trung bình này. Ra độ hữu dụng kỳ vọng là 70.
Is that good? I don't know. Right? It's all with respect to the other actions and the other expected utilities we have available to us.
Vậy có tốt không? Tôi không biết. Đúng không? Tất cả là so với các hành động khác và các độ hữu dụng kỳ vọng khác mà ta có.
But the expected utility of the action leave involves averaging over the other parent of U, which is the weather. So we can do the same expected utility computation for the other action.
Nhưng độ hữu dụng kỳ vọng của hành động leave là lấy trung bình theo nút cha còn lại của U, tức là thời tiết. Ta có thể tính tương tự cho hành động còn lại.
We can say, you know what? Let's imagine instead that I take my umbrella. All right, well, if I take my umbrella, I can compute the expected utility of take.
Giả sử là tôi mang theo ô. Nếu tôi mang ô, tôi tính được độ hữu dụng kỳ vọng của take.
This is again an average of actual utilities, except now we're averaging these utilities on the bottom.
Đây lại là trung bình của các độ hữu dụng thực tế, nhưng giờ ta lấy trung bình các độ hữu dụng ở hàng dưới.
It's either going to be take my umbrella and I get rained on, or take my umbrella and it's sunny.
Hoặc là mang ô mà bị mưa, hoặc mang ô mà trời nắng.
So I can pull the numbers out of the network and I can compute the average. It's still 70% chance of sun, except now we only get 20 points when that happens.
Tôi lấy các số từ mạng ra và tính trung bình. Vẫn là 70% nắng, nhưng lúc này chỉ được 20 điểm.
30% chance of rain, we get 70 points when that happens. And now the expected utility we will get under this weather distribution for taking my umbrella is only 35.
30% mưa, khi đó ta được 70 điểm. Và độ hữu dụng kỳ vọng ta nhận được theo phân phối thời tiết này khi mang ô chỉ là 35.
So there's expected utility for leave and there's expected utility for take. I get to pick amongst them. What should I do?
Vậy có độ hữu dụng kỳ vọng cho leave và có cho take. Tôi được chọn một trong hai. Tôi nên làm gì?
I should leave my umbrella and score my 70 points instead of taking it and being stuck with an average of 35. OK? So the optimal decision here in this network is leave.
Tôi nên để ô lại và ăn 70 điểm thay vì mang ô và chỉ được trung bình 35. Được chứ? Vậy quyết định tối ưu trong mạng này là leave.
OK? And this computation we used to get to that didn't really have much of anything to do with a Bayes net. In fact, it was just really a tiny little expect to max computation.
Được chứ? Và phép tính ta dùng để ra kết quả đó thật ra không liên quan nhiều đến mạng Bayes. Thực ra nó chỉ là một phép tính expectimax rất nhỏ.
But hopefully, by now, this kind of computation feels very familiar from the early part of the course. OK? Does everybody follow the flow here?
Hy vọng giờ kiểu tính toán này đã quen thuộc từ phần đầu của khóa. Được chứ? Mọi người theo kịp mạch này chứ?
We check what's my expected utility for leave, what's my expected utility for take, and then I pick an action. That is action selection in a decision network. OK?
Ta kiểm tra độ hữu dụng kỳ vọng của leave, độ hữu dụng kỳ vọng của take, rồi chọn một hành động. Đó là chọn hành động trong mạng quyết định. Được chứ?
Now, this decision network was trivial. It was trivial in the sense that the probability I needed to compute my expected utility, remember, was the distribution over weather.
Mạng quyết định này khá tầm thường. Tầm thường theo nghĩa là xác suất cần để tính độ hữu dụng kỳ vọng, nhớ không, là phân phối của thời tiết.
And it was sitting right there in the network. Because this Bayes net is small and trivial. OK? All right.
Và nó có sẵn ngay trong mạng. Vì mạng Bayes này nhỏ và đơn giản. Được chứ? Rồi.
So the optimal decision is to choose the action leave.
Vậy quyết định tối ưu là chọn hành động leave.
That corresponds to an expected utility of 70 from this computation up here. And we write the following. OK?
Nó ứng với độ hữu dụng kỳ vọng 70 từ phép tính ở trên. Và ta viết như sau. Được chứ?
So this is important because this is maybe a little bit different than the notation you're used to.
Điều này quan trọng vì có thể hơi khác với ký hiệu các bạn quen dùng.
We write the maximum expected utility, MEU, maximum expected utility is the maximum over all the actions of the expected utility of that actions. So think expect to max.
Ta viết độ hữu dụng kỳ vọng cực đại, MEU, độ hữu dụng kỳ vọng cực đại là giá trị lớn nhất trên mọi hành động của độ hữu dụng kỳ vọng của hành động đó. Hãy nghĩ đến expectimax.
It's a maximum over actions, and then it's an expectation over outcomes. But here's the new part. The argument to an expected utility was an action. It's the expected utility of an action.
Là cực đại theo các hành động, rồi là kỳ vọng theo các kết quả. Nhưng đây là phần mới. Đối số của độ hữu dụng kỳ vọng là một hành động. Đó là độ hữu dụng kỳ vọng của một hành động.
The argument to the MEU here is my knowledge, it's my evidence. Because the right action is going to depend on the evidence I have.
Đối số của MEU ở đây là hiểu biết của ta, tức là bằng chứng. Vì hành động đúng sẽ phụ thuộc vào bằng chứng ta có.
And as I get new evidence, I might choose different actions. Right?
Và khi có bằng chứng mới, ta có thể chọn hành động khác. Đúng không?
Maybe, if there was a forecast for rain, maybe my actions would be different, my expected utilities would be different, my MEU would be different.
Ví dụ, nếu dự báo có mưa, thì có thể hành động của tôi sẽ khác, độ hữu dụng kỳ vọng của tôi sẽ khác, MEU của tôi cũng sẽ khác.
So I write the MEU given no evidence — that's that empty set there — is 70. OK? All right.
Vậy tôi viết MEU khi không có bằng chứng nào — đó là tập rỗng ở đây — là 70. OK? Được rồi.
We can take that computation and in a second, we're going to see that connect up to a Bayes net style query in a graphical model.
Ta có thể lấy phép tính này, và chỉ lát nữa thôi, ta sẽ thấy nó kết nối với một truy vấn kiểu mạng Bayes trong một mô hình đồ thị.
For now, let's unfold what I said in words and wrote in equations into a tree, and see if we recognize the tree. OK? So there's the tree. OK.
Còn bây giờ, hãy khai triển những gì tôi nói bằng lời và viết thành phương trình thành một cái cây, rồi xem ta có nhận ra cái cây đó không. OK? Đây là cái cây. OK.
How does this work? We say really even though somebody has drawn me this funny decision diagram, really I have an expect to max problem.
Nó hoạt động thế nào? Thực ra dù có người vẽ cho tôi sơ đồ quyết định kỳ lạ này, thì thật ra đây là một bài toán expectimax. thì thật ra đây là một bài toán expectimax.
My problem is I'm an agent with a choice, so I have a max node. I'm going to choose either the take or leave action.
Tôi là một tác tử có lựa chọn, nên có một nút max. Tôi sẽ chọn hành động mang hoặc để lại.
So remember, in expect to max, we have a max over actions. I can choose take, I can choose leave. Remember also that max nodes represent states. What is the state here?
Nhớ rằng trong expectimax, ta lấy max trên các hành động. Tôi có thể chọn mang, hoặc chọn để lại. Cũng nhớ rằng các nút max biểu diễn trạng thái. Trạng thái ở đây là gì?
Well, here the state is my knowledge, and here my knowledge is nothing. I don't know anything about the weather, I don't know anything about a forecast.
Ở đây trạng thái là kiến thức của tôi, và kiến thức của tôi lúc này là không có gì. Tôi không biết gì về thời tiết, không biết gì về dự báo.
So the set of evidence I have here is the empty set. So from the state where I have the empty set of evidence, I have two actions. Right?
Nên tập bằng chứng của tôi ở đây là tập rỗng. Vậy từ trạng thái có tập bằng chứng rỗng, tôi có hai hành động. Đúng không?
So these are the actions. I could think of this as the state if I wanted to use my old terminology. The state is I have no evidence.
Đây là các hành động. Tôi có thể coi đây là trạng thái, nếu dùng thuật ngữ cũ. Trạng thái là tôi không có bằng chứng.
The action is I can take or leave the umbrella.
Hành động là mang hoặc để lại cái ô.
The chance nodes here represent what the weather will do, and the probabilities that govern them are the conditional probability of the random variable weather given my evidence, which here is empty.
Các nút cơ hội ở đây biểu diễn thời tiết sẽ ra sao, và các xác suất chi phối chúng là xác suất có điều kiện của biến ngẫu nhiên thời tiết khi biết bằng chứng của tôi, ở đây là rỗng.
OK? And so here would be all of my outcomes. These are governed by the probabilities from the Bayes net. And then the game ends and I get a utility.
OK? Và đây là tất cả các kết quả của tôi. Chúng được chi phối bởi các xác suất từ mạng Bayes. Rồi trò chơi kết thúc và tôi nhận được độ hữu dụng.
Right? So the outcomes are either sun or rain, and then there's a utility. And the utilities are given by that utility nodes table.
Đúng không? Kết quả là nắng hoặc mưa, và sau đó có một độ hữu dụng. Các độ hữu dụng được cho bởi bảng của nút độ hữu dụng.
This is just like an expect to max or a tiny little MDP. There's one thing that's very important that's different.
Điều này giống expectimax hoặc một MDP nhỏ xíu. Có một điểm rất quan trọng khác biệt.
The thing that's different is when we did expect to max on some game or something like that earlier in the course, remember assumed that the probability fairy came and said, this node, you're rolling dice, even chance.
Điểm khác là khi ta làm expectimax cho một trò chơi nào đó ở phần đầu khóa học, ta đã giả sử có một bà tiên xác suất xuất hiện và nói: nút này, bạn tung xúc xắc, cơ hội đều nhau.
Or this node, here's the probability that governs the outcomes.
Hoặc nút này, đây là xác suất chi phối các kết quả.
Here, when we say, what is the probability of weather given the forecast, we actually have to do computation to figure out the probabilities from that expectation node.
Còn ở đây, khi hỏi xác suất của thời tiết khi biết dự báo là bao nhiêu, ta thực sự phải tính toán để tìm ra các xác suất cho nút kỳ vọng đó.
How do we do that? We're going to do that by running Bayes net inference. OK?
Làm thế nào? Ta sẽ làm bằng cách chạy suy luận mạng Bayes. OK?
But that's the main thing that's changed, is now we have to do computation at each node to compute the probability of the outcomes given our evidence.
Nhưng đó là thay đổi chính, giờ ta phải tính toán tại mỗi nút để tính xác suất của các kết quả khi biết bằng chứng của ta.
There's also been a little bit of a shift in perspective, which is that once we get into these decision-making problems, the state is usually the set of things we know.
Cũng có một chút thay đổi về góc nhìn, đó là khi bước vào các bài toán ra quyết định này, trạng thái thường là tập những gì ta biết.
And we'll see more of that today. All right. We're going do an example where some Bayes net inference is required. Any questions before we do that?
Hôm nay ta sẽ thấy thêm về điều đó. Được rồi. Ta sẽ làm một ví dụ cần có suy luận mạng Bayes. . Có câu hỏi nào trước khi làm không?
OK. So here again, we're going to make the same decision. I'm a robot, I wake up in the morning, I want to know whether to take my umbrella or not.
OK. Ở đây ta lại đưa ra cùng một quyết định. Tôi là robot, buổi sáng thức dậy, tôi muốn biết có nên mang ô hay không.
I have basically the same utilities. I have the same action node where I can choose to leave the umbrella or take the umbrella.
Tôi có các độ hữu dụng về cơ bản như cũ. Tôi có cùng nút hành động, có thể chọn để lại hoặc mang ô.
The only thing that's different is now I'm actually going to listen to the weather forecast before making my decision. That's intuitively probably a good thing, right?
Điểm khác duy nhất là giờ tôi sẽ nghe dự báo thời tiết trước khi quyết định. Theo trực giác thì đó có lẽ là điều tốt, đúng không?
Because if you listen to the weather forecast, you've got more information. Information is power, and here that means information as utilities. OK, so we do the same computations now.
Vì nếu nghe dự báo thời tiết, bạn có thêm thông tin. Thông tin là sức mạnh, và ở đây điều đó nghĩa là thông tin chính là độ hữu dụng. OK, giờ ta làm cùng các phép tính.
We say, well, I can leave the umbrella or I can take it. That's that top branch of the expect to max, where I have a max node with different actions underneath it.
Tôi có thể để lại ô hoặc mang theo. Đó là nhánh trên của expectimax, nơi có một nút max với các hành động khác nhau bên dưới.
So I take it or I leave it. Let's do the computation where I leave the umbrella. It's going to unfold the same way.
Vậy tôi mang hoặc để lại. Ta tính trường hợp để lại ô. Nó sẽ khai triển giống như trước.
If I leave the umbrella, I'm either going to get 100 points or I'm going to get 0 points.
Nếu để lại ô, tôi sẽ nhận 100 điểm hoặc 0 điểm.
What's different is the probability of 100 versus 0 is different now because I've listened to the forecast and let's imagine I now have the evidence forecast equals bad.
Khác ở chỗ xác suất của 100 so với 0 giờ đã khác vì tôi đã nghe dự báo, và hãy tưởng tượng giờ tôi có bằng chứng dự báo là xấu.
Now I also need to tell you what's the probability of the forecast being good or bad given the weather.
Giờ tôi cũng cần cho bạn biết xác suất dự báo tốt hay xấu khi biết thời tiết.
But here we've shortcut it a little bit, and I'm just going to spot you the information that in my Bayes net, conditioned on the evidence that the forecast is bad, rain is now 2/3 and sun is 1/3.
Nhưng ở đây ta đi tắt một chút, tôi sẽ cho sẵn thông tin rằng trong mạng Bayes, với bằng chứng dự báo xấu, mưa giờ là 2/3 và nắng là 1/3.
OK? Stare at this really closely. This thing I've given you for this slide, the probability of the weather given the forecast, is not the probability from the Bayes net.
OK? Hãy nhìn kỹ chỗ này. Cái tôi đưa cho bạn ở slide này, xác suất của thời tiết khi biết dự báo, không phải là xác suất từ mạng Bayes.
The Bayes net tells you p of w and p of f given w. This is p of w given f.
Mạng Bayes cho bạn p của w và p của f given w. Còn đây là p của w given f.
I can compute that, I can compute that with variable elimination, or in this case just Bayes rule would do it. OK? But let's imagine that I have pre-computed that quantity for you.
Tôi có thể tính nó, tôi có thể tính bằng khử biến, hoặc trong trường hợp này chỉ cần quy tắc Bayes là xong. OK? Nhưng hãy tưởng tượng là tôi đã tính trước đại lượng đó cho các bạn.
So I know the forecast is bad. And now instead of a 70% chance of sun, there's a 34% chance of sun. So I can do that same computation.
Vậy tôi biết dự báo là xấu. Và giờ thay vì 70% có nắng, chỉ còn 34% có nắng. Vậy tôi có thể làm lại phép tính đó.
What is the expected utility of leave? Well, now I'm computing the expected utility of leave given information, given that the forecast is bad.
Độ hữu dụng kỳ vọng của leave là bao nhiêu? Giờ tôi đang tính độ hữu dụng kỳ vọng của leave khi có thông tin, tức là khi dự báo là xấu.
It's those same utilities, 100 and 0, but now the probability of sun versus rain has changed.
Vẫn là các độ hữu dụng đó, 100 và 0, nhưng xác suất nắng so với mưa đã thay đổi.
So when I unroll that expectation, it's got the same terms but the weights are different because I have new evidence. And that means my distribution over weather given my evidence has changed.
Nên khi khai triển kỳ vọng, các số hạng vẫn vậy nhưng trọng số khác đi vì có bằng chứng mới. Nghĩa là phân phối của thời tiết có điều kiện theo bằng chứng đã thay đổi.
So now the expected utility of the action leave given the evidence forecast equals bad is now 34. I can do the same thing for take.
Vậy độ hữu dụng kỳ vọng của hành động leave khi biết dự báo là bad giờ là 34. Tôi làm tương tự cho take.
What's the expected utility of the action take given the forecast is bad? Well again, it's either going to be 20 or 70. So I have to average those together.
Độ hữu dụng kỳ vọng của hành động take khi dự báo là xấu là bao nhiêu? Lại nữa, kết quả sẽ là 20 hoặc 70. Nên tôi phải lấy trung bình hai giá trị đó.
This utility is the 20 and 70. These probabilities are the likelihood of sun versus rain given my evidence. So I unroll that computation again. It's the same 20 and 70.
Độ hữu dụng ở đây là 20 và 70. Các xác suất này là khả năng nắng so với mưa, cho trước bằng chứng của tôi. Tôi khai triển phép tính lần nữa. Vẫn là 20 và 70.
And now I compute my average and I get 53. OK. Same actions, same outcomes, different weights.
Rồi tính trung bình và được 53. OK. Cùng hành động, cùng kết quả, khác trọng số.
Now which one is the maximizing action? I look at this. In general, the numbers are lower because my evidence is bad. This is a bad day.
Giờ hành động nào là cực đại? Tôi nhìn vào đây. Nhìn chung các con số thấp hơn vì bằng chứng là xấu. Đây là một ngày tệ.
The days where the weather forecast is bad, on average are worse. So notice my utilities dropped. But which one is the maximizing utility has changed. Now the maximizing action is the take action.
Những ngày dự báo thời tiết xấu, trung bình là tệ hơn. Hãy để ý độ hữu dụng của tôi đã giảm. Nhưng hành động cho độ hữu dụng cực đại đã đổi. Giờ hành động cực đại là take.
I should take my umbrella. OK? So the optimal decision is take, and I write the following. Make sure this notation is clear.
Tôi nên mang ô. OK? Vậy quyết định tối ưu là take, và tôi viết như sau. Hãy chắc là ký hiệu này rõ ràng.
I write the maximum expected utility, that is the expected utility under optimal action selection, when the forecast is bad is 53.
Tôi viết độ hữu dụng kỳ vọng cực đại, tức là độ hữu dụng kỳ vọng khi chọn hành động tối ưu, lúc dự báo xấu, là 53.
Which action leads to that MEU is the action take. OK? This MEU is the expect to max value. And the argument to the MEU is my knowledge state.
Hành động dẫn đến MEU đó là take. OK? MEU này là giá trị expectimax. Và đối số của MEU là trạng thái hiểu biết của tôi.
My knowledge state here is I know there's a bad forecast. Before, my knowledge state was empty. I didn't know any variables. OK?
Trạng thái hiểu biết ở đây là tôi biết dự báo xấu. Trước đó, trạng thái hiểu biết của tôi là rỗng. Tôi không biết biến nào cả. OK?
All right. So we ran through this decision network once when we didn't have any evidence, once for forecast equals bad. We could go through it again, and I invite you to try.
Được rồi. Vậy ta đã chạy qua mạng quyết định này một lần khi chưa có bằng chứng, và một lần với dự báo là xấu. Ta có thể chạy lại, và tôi khuyến khích các bạn thử.
We could go through it again for forecast equals good. In order to do that, we'd actually have to look and see the exact distribution of forecast given weather.
Ta có thể chạy lại cho trường hợp dự báo là tốt. Để làm vậy, ta sẽ phải xem chính xác phân phối của dự báo cho trước thời tiết.
OK?
OK?
All right, let's look at that expect to max tree again. It was the same form of computation as before I had evidence. So I had a state. Right?
Được rồi, hãy xem lại cây expectimax đó. Nó có cùng dạng tính toán như trước khi có bằng chứng. Tôi có một trạng thái. Đúng không?
I had a state. And here my state is I know that the forecast calls bad. So my state, which is my list of observed variables, is different.
Tôi có một trạng thái. Và ở đây trạng thái là tôi biết dự báo là xấu. Vậy trạng thái của tôi, tức danh sách các biến đã quan sát, là khác.
I have the same actions, so I have the same actions, take or leave. I have the same outcomes, sun or rain, for my chance nodes.
Tôi có cùng các hành động, take hoặc leave. Tôi có cùng các kết quả, nắng hoặc mưa, cho các nút ngẫu nhiên.
Except now the probability that governs sun versus rain is the probability of that variable weather given my evidence. So now the probability's, instead of 0.7, 0.3, it's 0.34, 0.66.
Chỉ khác là giờ xác suất chi phối nắng so với mưa là xác suất của biến weather cho trước bằng chứng của tôi. Vậy giờ xác suất thay vì 0,7 và 0,3 thì là 0,34 và 0,66.
OK? But the structure of the computation is very similar.
OK? Nhưng cấu trúc tính toán thì rất giống nhau.
Different knowledge state.
Chỉ khác trạng thái hiểu biết.
Any questions before we see an example of this in Ghostbusters? All right, so let's first just see Ghostbusters happening.
Có câu hỏi nào trước khi ta xem một ví dụ về điều này trong Ghostbusters không? Được rồi, trước hết hãy xem Ghostbusters chạy.
All right. Let's remember the Ghostbusters game. So in this version of Ghostbusters, so far you've only seen the case where there's one ghost. We'll see some cases with more ghosts starting next week.
Được rồi. Hãy nhớ lại trò Ghostbusters. Trong phiên bản Ghostbusters này, cho đến giờ các bạn mới thấy trường hợp có một con ma. Ta sẽ thấy vài trường hợp nhiều ma hơn từ tuần sau.
OK? So there's one ghost in there somewhere. Right now, we have no evidence of where the ghost is. And so you're seeing a conditional probability represented as numbers in a grid.
OK? Vậy có một con ma ở đâu đó trong đó. Hiện giờ ta chưa có bằng chứng về vị trí con ma. Và các bạn thấy một phân phối có điều kiện được biểu diễn bằng các con số trong lưới.
OK? So each of those squares has probably 0.02 of being where the ghost is. Now, I can take sensing actions.
OK? Mỗi ô đó có xác suất khoảng 0,02 là nơi con ma đang ở. Giờ tôi có thể thực hiện các hành động cảm biến.
When I take sensing actions, I move from my current knowledge state, which is I don't know anything. I know the model but I don't know any random variables values.
Khi làm vậy, tôi chuyển từ trạng thái hiểu biết hiện tại, là tôi không biết gì cả. Tôi biết mô hình nhưng không biết giá trị của biến ngẫu nhiên nào.
But I can figure out what is the value of the sensor reading in the upper left corner. Boom. I'm now in the knowledge state sensor reading in upper left is green.
Nhưng tôi có thể biết giá trị đọc của cảm biến ở góc trên bên trái. Bùm. Giờ tôi ở trạng thái hiểu biết là cảm biến ở góc trên bên trái đọc là màu xanh lá.
In that state, I have a different posterior distribution over the variable of interest, which is where is that ghost. And I can gather more evidence, stab at my — OK.
Ở trạng thái đó, tôi có một phân phối hậu nghiệm khác trên biến mà ta quan tâm, tức là con ma đang ở đâu. Và tôi có thể thu thập thêm bằng chứng, thử — OK.
So given all of these sensor readings, what you can see here is the posterior distribution over the variable, where is the ghost. The ghost position variable.
Vậy với tất cả các số đọc cảm biến này, ở đây các bạn thấy phân phối hậu nghiệm trên biến, con ma đang ở đâu. Biến vị trí con ma.
And here the most likely single spot has probability 0.77. Now, I can bust. I'm going to bust at that 0.77 square.
Và ở đây ô khả dĩ nhất có xác suất 0.77. Giờ tôi có thể bust. Tôi sẽ bust ở ô 0.77 đó.
Am I going to hit the ghost? Maybe. What's the chance I'm going to hit the ghost? 0.77.
Tôi có trúng con ma không? Có thể. Xác suất tôi trúng con ma là bao nhiêu? 0.77.
Let's roll the dice.
Gieo xúc xắc nào.
We got it. OK. So 100 times I give this lecture, 77% time we end up here. The rest of the time, ghost is somewhere else.
Trúng rồi. OK. Vậy nếu tôi giảng bài này 100 lần, 77% số lần ta sẽ ra kết quả như ở đây. Những lần còn lại, con ma ở chỗ khác.
OK. So that's Ghostbusters. We're going to the Ghostbusters a whole bunch over the next few lectures. Let's see that as a decision network.
OK. Đó là Ghostbusters. Ta sẽ dùng Ghostbusters khá nhiều trong vài bài giảng tới. Hãy xem nó như một mạng quyết định.
Well, first there's sort of the top part. The top part says I can bust. And the bust action has some large number of actions.
Trước hết là phần phía trên. Phần trên nói rằng tôi có thể bust. Và hành động bust có rất nhiều lựa chọn.
You can actually take a step back and say, wait a minute. Instead of busting, couldn't you sense? Couldn't you do another probe? Yes, we'll get to that.
Thật ra bạn có thể lùi lại và hỏi: khoan đã. Thay vì bust, sao không cảm biến? Sao không dò thêm một lần nữa? Vâng, ta sẽ nói tới điều đó.
For now, let's just imagine it's time to bust. Bust now is an action where there is a value of that action for each square on the board. What's my utility?
Bây giờ cứ giả sử đã đến lúc bust. Bust bây giờ là một hành động mà mỗi ô trên bàn cờ có một giá trị của hành động đó. Độ hữu dụng của tôi là gì?
Well, the utility depends on whether or not the ghost is actually in the location I bust.
Độ hữu dụng phụ thuộc vào việc con ma có thật sự ở vị trí tôi bust hay không.
So in order to tell you the utility, I need to know where did you bust and where was that ghost.
Vậy để nói độ hữu dụng, tôi cần biết bạn bust ở đâu và con ma ở đâu.
So the top part represents the utilities, the actions you select, and the expectation that governs the outcomes for each action. What about all the rest of this stuff?
Phần trên biểu diễn các độ hữu dụng, các hành động bạn chọn, và kỳ vọng chi phối các kết quả của từng hành động. Còn phần còn lại thì sao?
What about all the sensors and so on? Well, you can imagine there being the whole rest of the Bayes net sort of from here down, which has a variable for each sensor reading.
Còn các cảm biến thì sao? Bạn có thể hình dung toàn bộ phần còn lại của mạng Bayes từ đây trở xuống, có một biến cho mỗi số đọc cảm biến.
Most of which I don't have, so they're unobserved. And a couple of which, remember, I did a reading on the upper left.
Phần lớn tôi không có, nên chưa được quan sát. Còn một vài cái thì, nhớ không, tôi đã đọc ở góc trên bên trái.
And then I did a reading over here and then I did a reading over here. And there's a couple of these that are filled in.
Rồi tôi đọc ở đây và rồi đọc ở đây. Vậy có một vài biến đã được điền.
Conditioned on that evidence, I can compute the distribution over ghost's location given the evidence. And then I can go through the competition at the top, which is actually pretty simple.
Có điều kiện trên bằng chứng đó, tôi tính được phân phối của vị trí con ma cho trước bằng chứng. Rồi tôi tính phần phía trên, thực ra khá đơn giản.
It boils down to bust in the most likely location. So that's Ghostbusters as a decision network.
Nó quy về việc bust ở vị trí khả dĩ nhất. Đó là Ghostbusters như một mạng quyết định.
We'll come back to the case where one of the actions you can take is to get more evidence by revealing a sensor. Right?
Ta sẽ quay lại trường hợp trong đó một trong các hành động có thể làm là lấy thêm bằng chứng bằng cách bật một cảm biến. Đúng không?
And that's actually an important case because that's the case where what you get for your action isn't a utility, it's more knowledge. Which in turn has expected utility associated with it.
Và đó là trường hợp quan trọng vì ở đó thứ bạn nhận được từ hành động không phải độ hữu dụng mà là thêm kiến thức. Và kiến thức đó lại có độ hữu dụng kỳ vọng đi kèm.
So we need a little more machinery before we can do that. All right. We're going to not do that.
Nên ta cần thêm một chút công cụ trước khi làm được điều đó. Được rồi. Ta sẽ chưa làm điều đó.
Any questions from that before we start getting into exactly that issue of value of information, which is the question of how many utility points is it worth if I reveal this variable to you?
Có câu hỏi nào về phần này không, trước khi ta bắt đầu đi vào chính vấn đề giá trị của thông tin, tức là câu hỏi nếu tôi tiết lộ biến này cho bạn thì nó đáng bao nhiêu điểm hữu dụng? Được rồi.
All, right. Value of information.
Giá trị của thông tin.
I also think this is really cool because this is the kind of concept that shows up — once you're sort of aware of it, it shows up every day and you're thinking about the world.
Tôi cũng thấy điều này rất hay vì đây là kiểu khái niệm mà — một khi đã nhận ra nó, ngày nào bạn cũng gặp khi nghĩ về thế giới. Đúng không?
Right? I can take actions, of course I can take actions. Many of the actions I take are gathering information. I gather information so I can make other decisions well.
Tôi có thể hành động, tất nhiên là vậy. Nhiều hành động tôi làm là để thu thập thông tin. Tôi thu thập thông tin để đưa ra các quyết định khác cho tốt. Nên bản thân thông tin đó có độ hữu dụng.
And so that information itself has utility. Today we're going to talk about the value of information, which is in terms of utility. Right?
Hôm nay ta sẽ nói về giá trị của thông tin, tính theo độ hữu dụng. Đúng không? Vì khi bằng chứng thay đổi, MEU của tôi lên xuống.
Because as I change my evidence, my MEUs go up and down. And so I can talk in a meaningful way about changing utility.
Và nhờ vậy tôi có thể nói một cách có ý nghĩa về sự thay đổi độ hữu dụng. Ý tưởng là thế này.
So here's the idea. We're going to take a decision network, which is going to have a Bayes net part, which connects all kinds of variables together, including ones that we don't yet know.
Ta lấy một mạng quyết định, gồm một phần mạng Bayes nối đủ loại biến với nhau, kể cả những biến ta chưa biết. Và nối chúng với các biến độ hữu dụng. Ta đã thấy điều đó ở phần đầu bài giảng.
And that connects them up to utility variables. So we've already seen that in the first part of this lecture.
Giờ ta sẽ dùng các mạng này để tính giá trị của việc thu thập bằng chứng.
What we're going to do is we're going to use these networks to compute the value of acquiring evidence. And we're going to do that directly in the decision network.
Và ta sẽ làm điều đó trực tiếp trong mạng quyết định. Nghĩa là sao? Nhớ rằng, nếu tôi đưa bạn một mạng quyết định và nói: được rồi, đến lúc quyết định. Bạn có mang ô hay không?
What's that mean? Well remember, if I put a decision network in front of you and say, all right, decision time. Are you taking the umbrella or not?
Bạn có thể nói: OK, đợi chút, tính, tính, tính. Tôi sẽ mang ô, và MEU của tôi là 34. OK?
You can say, OK, hold on a second, calculate, calculate, calculate. I'm going to take the umbrella, and my MEU is going to be 34. OK?
Sau đó ta có thể nói giả định về chuyện gì xảy ra nếu tôi cho bạn xem một biến. Đúng không? Bạn sẽ quyết định tốt hơn.
We can then talk hypothetically about what would happen if I showed you a variable. Right? You'd make better decisions. When you make better decisions, you get higher utilities.
Quyết định tốt hơn thì độ hữu dụng cao hơn. nếu tôi cho bạn xem một biến. Đúng không? Bạn sẽ đưa ra quyết định tốt hơn. Khi quyết định tốt hơn, bạn có độ hữu dụng cao hơn.
And so we can compute on average does your utility go up when I show you a variable? How much does it go up?
Và nhờ vậy ta có thể tính xem, trung bình, độ hữu dụng của bạn có tăng không khi tôi cho bạn thấy một biến? Nó tăng bao nhiêu?
And there's a whole bunch of different quantities we have to reason over in order to make that precise. But we can do that directly from the decision network.
Và có cả một loạt đại lượng khác nhau mà ta phải suy luận để làm cho điều này chính xác. Nhưng ta có thể làm trực tiếp từ mạng quyết định.
So here is a simple example.
Đây là một ví dụ đơn giản.
This example, I think, is really good at one thing, which is it's really good at focusing in on how value of information works and how evidence variables are sort of connected in a deep way to utility.
Theo tôi, ví dụ này rất tốt ở một điểm, đó là nó làm nổi bật cách giá trị của thông tin vận hành và các biến bằng chứng liên hệ với độ hữu dụng một cách sâu sắc.
What's not good about this example is it's such a small example, and there's symmetries in it.
Điều không tốt ở ví dụ này là nó quá nhỏ, và có tính đối xứng.
So you're going to look at this and think, wait, what does this have to do with Bayes nets?
Nên bạn sẽ nhìn vào đây và nghĩ, khoan, cái này thì liên quan gì đến mạng Bayes?
Because the numbers are all small enough you can sort of do them in your head from first principles. So we'll see other examples that are a little less small and symmetric as well.
Vì các con số đều đủ nhỏ nên bạn có thể nhẩm trong đầu từ các nguyên lý đầu tiên. Nên ta sẽ xem các ví dụ khác, ít nhỏ và ít đối xứng hơn.
All right. So we're going to compute the value of acquiring evidence. And let's imagine that we're going to drill for oil. Or substitute any isomorphic problem here.
Được rồi. Ta sẽ tính giá trị của việc thu thập bằng chứng. Hãy tưởng tượng ta sắp khoan dầu. Hoặc thay bằng bất kỳ bài toán đẳng cấu nào.
Here is a toy decision network here, which has three variables in it. The variables are the oil location. So that's your random variable.
Đây là một mạng quyết định đơn giản, có ba biến. Biến đầu tiên là vị trí dầu. Đó là biến ngẫu nhiên của bạn.
The oil location is either going to be in lot A or lot B. So we can imagine let's put A over here. Here's B. Right?
Vị trí dầu hoặc ở lô A hoặc ở lô B. Cứ cho A ở bên này. B ở đây. Đúng không?
We can either drill in lot A or lot B. And let's imagine that exactly one of them has oil. So oil location either takes on value A or B.
Ta có thể khoan ở lô A hoặc lô B. Và giả sử đúng một trong hai lô có dầu. Vậy vị trí dầu nhận giá trị A hoặc B.
But I don't know which. And it's 50-50. Drill location also is A or B. Right? I can control which.
Nhưng tôi không biết là cái nào. Và xác suất là 50-50. Vị trí khoan cũng là A hoặc B. Đúng không? Tôi kiểm soát được việc này.
I can pick to drill A or to drill B. And then there's a utility node. OK?
Tôi có thể chọn khoan A hoặc khoan B. Và còn có một nút độ hữu dụng. OK?
So there are two blocks, A and B. Exactly one has oil, and that oil is worth K in terms of utilities.
Có hai lô, A và B. Đúng một lô có dầu, và lượng dầu đó đáng giá K theo độ hữu dụng.
So utility says that if you drill where the oil is, you're going to get K. If you drill where the oil is not, you're going to get 0.
Độ hữu dụng nói rằng nếu bạn khoan đúng chỗ có dầu, bạn nhận K. Nếu khoan chỗ không có dầu, bạn nhận 0.
OK? You can drill in one location. The prior probabilities are 50-50, they're mutually exclusive. And here's all the numbers.
OK? Bạn chỉ khoan được một vị trí. Xác suất tiên nghiệm là 50-50, và chúng loại trừ lẫn nhau. Và đây là tất cả các con số.
Oil, A or B, 50-50. Drill location is A or B, but you get to choose so there's no probabilities on that.
Dầu ở A hoặc B, 50-50. Vị trí khoan là A hoặc B, nhưng bạn được chọn nên không có xác suất cho nó.
And then if you drill and the oil are in A or you drill and the oil are in B, you get K. Otherwise you get those 0's. OK?
Và nếu bạn khoan và dầu ở A, hoặc bạn khoan và dầu ở B, bạn nhận K. Còn lại bạn nhận các số 0. OK?
That's the setting. Now let's talk about how well you're going to do. Well, if I drill in A or I drill in B, it's a symmetric problem. And I get to pick.
Đó là bối cảnh. Giờ ta bàn xem bạn sẽ làm tốt đến đâu. Nếu tôi khoan A hay khoan B, bài toán là đối xứng. Và tôi được chọn.
But if I drill in A, what's the expected utility of drilling in A? Well, half the time, I get the prize, and it's K.
Nhưng nếu tôi khoan A, độ hữu dụng kỳ vọng của việc khoan A là bao nhiêu? Một nửa số lần tôi nhận được giải, và là K.
And half the time, I don't get the prize, and it's 0. So my expected utility of picking A is K over 2. My expected utility of picking B is also K over 2.
Một nửa số lần tôi không được giải, và là 0. Vậy độ hữu dụng kỳ vọng khi chọn A là K chia 2. Độ hữu dụng kỳ vọng khi chọn B cũng là K chia 2.
OK? So the MEU here, the maximum expected utility for the state where I don't know any of the variable's values is K over 2.
OK? Vậy MEU ở đây, độ hữu dụng kỳ vọng cực đại cho trạng thái mà tôi không biết giá trị của biến nào là K chia 2.
And it's achieved by either drilling in A or drilling in B. OK? That's the baseline. The question is this.
Và đạt được bằng cách khoan A hoặc khoan B. OK? Đó là mức cơ sở. Câu hỏi là thế này.
What is the value of information of this variable O, the oil location variable? OK, so we're posing a question about a random variable that is not currently observed.
Giá trị của thông tin về biến O, tức biến vị trí dầu, là bao nhiêu? Vậy ta đang đặt câu hỏi về một biến ngẫu nhiên hiện chưa được quan sát.
And I'm saying what is the value to you if I reveal this variable to you? So in this case, informally that's the value of knowing where the oil is.
Và tôi hỏi giá trị đối với bạn là bao nhiêu nếu tôi tiết lộ biến này cho bạn? Trong trường hợp này, nói không chính thức thì đó là giá trị của việc biết dầu ở đâu.
OK? Well, how should we think about the value? Well, this is a utility computation. So all values are in terms of utilities, and in particular, expected utilities.
OK? Vậy ta nên nghĩ về giá trị này thế nào? Đây là một phép tính độ hữu dụng. Nên mọi giá trị đều tính theo độ hữu dụng, cụ thể là độ hữu dụng kỳ vọng.
And so we can look at the gain in MEU from the new information that's revealed to me. It's going to turn out to be an expected gain.
Và ta có thể xem mức tăng của MEU nhờ thông tin mới được tiết lộ cho tôi. Hóa ra đó sẽ là một mức tăng kỳ vọng.
This is the part that's a little bit confusing. I'll work through this a couple of times for a couple of different examples.
Đây là phần hơi khó hiểu. Tôi sẽ làm vài lần với vài ví dụ khác nhau.
But we're going to compute how much better we do in an MEU sense if I reveal this variable to you. So it goes something like.
Nhưng ta sẽ tính xem ta làm tốt hơn bao nhiêu theo nghĩa MEU nếu tôi tiết lộ biến này cho bạn. Nó diễn ra đại khái thế này.
Let's say I can do a survey. The survey is not another — for right now, the survey isn't going to be another node in my network.
Giả sử tôi có thể làm một cuộc khảo sát. Khảo sát này không phải là một nút khác, ít nhất lúc này, nó sẽ không là một nút khác trong mạng của tôi.
This survey is just sort of language I'm using for reveal the value of oil location to you. So imagine it's a perfect survey here. OK.
Khảo sát này chỉ là cách nói tôi dùng cho việc tiết lộ giá trị vị trí dầu cho bạn. Cứ tưởng tượng đó là một khảo sát hoàn hảo. OK.
The survey can say the oil's in A or the oil's in B. Now, I don't actually know what's going to happen.
Khảo sát có thể nói dầu ở A hoặc dầu ở B. Nhưng thật ra tôi không biết điều gì sẽ xảy ra.
So when I talk about revealing oil location to you, I'm not talking about revealing to you that it's in A. I'm talking about revealing to you where it is, wherever it is.
Nên khi nói tiết lộ vị trí dầu cho bạn, tôi không nói là tiết lộ cho bạn rằng nó ở A. Tôi nói là tiết lộ cho bạn biết nó ở đâu, dù ở bất cứ đâu.
So when I reveal a variable, it's wrapped up in all — think about like value of information. If I give you a variable, it's a little present and you unwrap it.
Nên khi tôi tiết lộ một biến, nó được gói lại, hãy nghĩ như giá trị của thông tin. Nếu tôi đưa bạn một biến, nó như một món quà nhỏ và bạn mở nó ra.
And what's inside? You don't know. Right? It could be any value of that variable.
Và bên trong có gì? Bạn không biết. Đúng không? Nó có thể là bất kỳ giá trị nào của biến đó.
So you need to think about the uncertainty over that as well. All right.
Nên bạn cũng cần nghĩ đến sự bất định về điều đó. Được rồi.
So if I do this survey and it tells me where the oil is, now suddenly I'm in a different decision network. I'm in this decision network.
Vậy nếu tôi làm khảo sát này và nó cho tôi biết dầu ở đâu, thì bỗng nhiên tôi đang ở trong một mạng quyết định khác. Tôi đang ở trong mạng quyết định này.
I'm in the decision network where oil location is revealed to me. Well, what am I going to do? Well, I can drill where the oil is or I can drill in the other place.
Tôi đang ở trong mạng quyết định mà vị trí dầu đã được tiết lộ cho tôi. Vậy tôi sẽ làm gì? Tôi có thể khoan ở chỗ có dầu hoặc khoan ở chỗ còn lại.
What should I do? I should drill where the oil is. How well am I going to do on average? K.
Tôi nên làm gì? Tôi nên khoan ở chỗ có dầu. Trung bình tôi sẽ đạt được bao nhiêu? K.
So before I reveal this variable to you, you were going to get K over 2.
Vậy trước khi tiết lộ biến này cho bạn, bạn sẽ nhận được K/2.
After I reveal the variable to you, regardless of which way it falls, you're going to get K. So your gain in MEU is K over 2.
Sau khi tiết lộ biến, bất kể kết quả rơi vào bên nào, bạn sẽ nhận được K. Vậy mức tăng của MEU của bạn là K/2.
We write this as the value of information, VPI — say why P? I'll be back to that in a second.
Ta viết đây là giá trị thông tin, VPI. Tại sao lại là P? Lát nữa tôi sẽ quay lại chuyện đó.
The VPI, or the value of information for the variable oil location, given no other evidence, is K over 2.
VPI, hay giá trị thông tin của biến vị trí dầu, khi không có bằng chứng nào khác, là K/2.
That is the difference between the MEU of taking your best action without the variable and the MEU of taking your best action with the variable. OK?
Đó là hiệu giữa MEU khi bạn chọn hành động tốt nhất mà không có biến đó và MEU khi bạn chọn hành động tốt nhất có biến đó. OK?
Another way to say this is the fair price of information about that variable should be K over 2, assuming you're paying in utilities.
Nói cách khác, giá hợp lý cho thông tin về biến đó phải là K/2, giả sử bạn trả bằng độ hữu dụng.
Let's take our break now and then we'll do another example of value of information in a case where it's not sort of small and symmetric and every outcome does the same thing.
Giờ ta nghỉ giải lao, rồi ta sẽ làm một ví dụ khác về giá trị thông tin, trong trường hợp không nhỏ và đối xứng như vậy và mọi kết quả đều dẫn đến cùng một việc.
So take a couple minute break now. And then do more value of information.
Nghỉ vài phút nhé. Rồi ta làm thêm về giá trị thông tin.
OK. All right, let's get started again. So we're talking about value of information computations.
OK. Được rồi, ta bắt đầu lại. Ta đang nói về các phép tính giá trị thông tin.
And we're going to go back to the weather and umbrella example where I'm a robot and I have to decide whether to take my umbrella with me or leave it at home.
Ta sẽ quay lại ví dụ thời tiết và cái ô, trong đó tôi là một robot và phải quyết định mang ô theo hay để ở nhà.
And the utility of that depends on how the weather actually turns out.
Và độ hữu dụng của việc đó phụ thuộc vào thời tiết thực tế diễn ra thế nào.
Now, we already computed earlier in this lecture how well I'm going to do if I act optimally in the absence of any evidence about the weather.
Trước đó trong bài giảng ta đã tính tôi sẽ làm tốt đến đâu nếu hành động tối ưu khi không có bằng chứng nào về thời tiết.
And the answer there was there was a 70% chance of sun.
Và câu trả lời là có 70% khả năng trời nắng.
And if you work out the various utilities and their various expectations, the best thing to do was to leave your umbrella at home. And the expected utility of that action was 70.
Nếu bạn tính các độ hữu dụng khác nhau và các kỳ vọng tương ứng, việc tốt nhất là để ô ở nhà. Và độ hữu dụng kỳ vọng của hành động đó là 70.
So the MEU, that is your utility under optimal decision-making, when you have no evidence of any variables was 70. The MEU was 70 and it corresponded to leaving the umbrella at home.
Vậy MEU, tức độ hữu dụng khi ra quyết định tối ưu, khi không có bằng chứng về biến nào, là 70. MEU là 70 và nó tương ứng với việc để ô ở nhà.
Now, the question is, if I am a robot and I would like to have a good day and not rust in the rain and I don't want to needlessly take my umbrella with me, I have the option of listening to the weather forecast.
Giờ câu hỏi là, nếu tôi là một robot muốn có một ngày tốt lành, không bị gỉ dưới mưa và cũng không muốn mang ô theo một cách vô ích, tôi có lựa chọn nghe dự báo thời tiết.
And so I can ask the question, how much value does that have?
Vậy ta hỏi, điều đó có giá trị bao nhiêu?
That means how much, if at all, will my utility go up if I reveal the forecast variable, which I can do by, say, turning on the radio. Well, I don't know.
Nghĩa là độ hữu dụng của tôi sẽ tăng bao nhiêu, nếu có, khi tôi biết biến dự báo, chẳng hạn bằng cách bật radio. Tôi không biết.
I know my MEU is 70 if I take my best action, which was to leave the umbrella in the absence of any evidence.
Tôi biết MEU là 70 nếu chọn hành động tốt nhất, tức là để ô lại khi không có bằng chứng nào.
Now, I can do another computation, which we also already did, which is what's my MEU you the forecast says bad weather. And remember, we computed that all out.
Giờ tôi có thể làm một phép tính khác, cũng đã làm rồi, đó là MEU của tôi là bao nhiêu khi dự báo nói thời tiết xấu. Và nhớ là ta đã tính hết rồi. Hóa ra MEU thấp hơn, chỉ là 53 vì đây là ngày xấu.
It turned out the MEU was lower, it was only 53 because this is a bad day.
MEU là 53 và nó tương ứng với hành động hay được hậu thuẫn bởi hành động mang theo ô.
The MEU was 53 and it corresponded to the action or it was backed by the action taking my umbrella. So remember, when I listened to the forecast, it's possible it'll say, sorry, bad weather.
Hãy nhớ, khi nghe dự báo, có thể nó sẽ nói, tiếc quá, thời tiết xấu. Nhưng cũng có thể nó nói, hôm nay thời tiết đẹp.
But it's possible it'll say, weather looks good today. So I also need to do a computation to see what my MEU is if the forecast is good.
Nên tôi cũng cần tính MEU của mình khi dự báo là tốt.
And we didn't do that, but if you kind of write that down and you kind of plug and chug through, you end up with another MEU, which in this case is 95.
Ta chưa tính phần đó, nhưng nếu bạn viết ra và thay số tính toán, bạn sẽ được một MEU khác, trong trường hợp này là 95. Đây là một ngày tốt.
This is a good day. So this one is better than 70. And here the MEU is 95. It's backed by the decision to leave my umbrella at home.
Nên giá trị này tốt hơn 70. Và ở đây MEU là 95. Nó được hậu thuẫn bởi quyết định để ô ở nhà. Và thường thì trời nắng khi dự báo tốt.
And usually, it's sunny when you see a good forecast. And so the MEU ends up as 95.
Nên MEU kết thúc là 95.
So now we have to talk about how much is it worth to you if I reveal, from this initial state where you have no evidence, if I reveal the forecast to you?
Giờ ta phải bàn xem nó đáng giá bao nhiêu với bạn nếu từ trạng thái ban đầu này, khi bạn chưa có bằng chứng, tôi tiết lộ dự báo cho bạn? Bạn nhìn vào và nghĩ, ừm, điều đó còn tùy dự báo là gì.
And so you look at it, and you're like, well, that sort of depends on what the forecast is. If the forecast is bad weather, your MEU is going to drop.
Nếu dự báo thời tiết xấu, MEU của bạn sẽ giảm. Nếu dự báo thời tiết đẹp, MEU của bạn sẽ tăng.
If the forecast is good weather, your MEU is going to rise.
But the thing is, when I offer to tell you the forecast, I'm not offering to make the forecast good or to make it bad.
Nhưng vấn đề là, khi tôi đề nghị cho bạn biết dự báo, tôi không đề nghị làm cho dự báo tốt hay làm cho nó xấu.
I'm offering to unwrap the present, and you get to see what's inside.
Tôi đề nghị mở món quà ra, để bạn thấy bên trong có gì.
And so to figure out how much on average my MEU is going to go up from 70, I need to reason about how likely it is that I'm going to have a good forecast versus a bad forecast.
Và để tính trung bình MEU sẽ tăng bao nhiêu so với 70, tôi cần lập luận xem khả năng dự báo tốt so với dự báo xấu là bao nhiêu. Vậy ta cần đại lượng nào?
So what's the quantity I need?
I need, in order to compute the gain here, I need to compute the probability of a good forecast versus a bad forecast given my other evidence, which here is nothing.
Để tính mức tăng ở đây, ta cần tính xác suất dự báo tốt so với dự báo xấu cho bằng chứng khác của ta, mà ở đây là không có gì. OK? Vậy đó là gì?
OK? So what is that? That's the forecast distribution. That's the probability of this forecast variable given my evidence with no other evidence.
Đó là phân phối của dự báo. Đó là xác suất của biến dự báo này cho bằng chứng của ta, khi không có bằng chứng nào khác. Và ta có thể tính nó. Nó không có sẵn trong mạng Bayes. P của w mới có trong mạng Bayes.
And so I could compute that. It's not sitting in the Bayes net. p of w is sitting in the Bayes net. Right?
Đúng không? Trong nút thời tiết là P của w, và trong nút dự báo là P của f cho trước w.
In the weather notice is p of w, and in the forecast node is p of f given w.
Trong nút thời tiết là P của w, và trong nút dự báo là P của f cho trước w.
In this case, I want p of f because that will tell me when I get the forecast revealed to me, how likely is it to be good versus bad?
Trong trường hợp này, tôi cần p của f, vì nó sẽ cho tôi biết khi dự báo được tiết lộ cho tôi, khả năng dự báo tốt so với xấu là bao nhiêu?
Well, if I plug and chug in my Bayes net, it'll turn out that the marginal probability of a good forecast is 59% and a bad forecast is 0.41%.
Nếu tôi tính toán trong mạng Bayes, ta sẽ ra xác suất biên của dự báo tốt là 59% và dự báo xấu là 0,41%.
You need to know the probabilities in the Bayes net to compute this. All right, so now what can I do? I know my MEU with no evidence.
Bạn cần biết các xác suất trong mạng Bayes để tính được điều này. Được rồi, vậy giờ tôi làm được gì? Tôi biết MEU khi không có bằng chứng.
I know my MEU of the bad forecast, I know my MEU with a good forecast.
Tôi biết MEU khi dự báo xấu, và MEU khi dự báo tốt.
So when I come to you and I say, how would you like me to reveal the forecast, you can say, well, let's figure out how much my MEU goes up.
Vậy khi tôi hỏi bạn: bạn có muốn tôi tiết lộ dự báo không, bạn có thể nói: để xem MEU của tôi tăng bao nhiêu.
Well, 59% of the time, you're going to tell me the forecast is good and I'm going to get 95 points because when I make my optimal decision, I'm going to leave the umbrella at home.
Có 59% số lần, bạn sẽ nói dự báo tốt và tôi sẽ được 95 điểm, vì khi đưa ra quyết định tối ưu, tôi sẽ để ô ở nhà.
But 41% of the time, you're going to tell me the forecast is bad, I'm going to take my umbrella, and I'm going to get my 53 points.
Nhưng 41% số lần, bạn sẽ nói dự báo xấu, tôi sẽ mang ô, và tôi được 53 điểm.
This part here, the sort of weighted outcome of what will happen when you reveal the variable to me and then I make best possible decisions afterwards, that's that expectation.
Phần này, kết quả có trọng số của những gì sẽ xảy ra khi bạn tiết lộ biến cho tôi rồi sau đó tôi đưa ra quyết định tốt nhất có thể, đó chính là kỳ vọng ấy.
This term here, 70, that is what will happen if you don't reveal the variable to me and I just make my best decision about an action in the absence of evidence.
Số hạng này, 70, là những gì sẽ xảy ra nếu bạn không tiết lộ biến cho tôi và tôi chỉ chọn hành động tốt nhất khi không có bằng chứng.
So that difference is the value of information. So I can plug and chug on that, and I get 7.8. What does that mean?
Hiệu số đó là giá trị thông tin. Tính ra, tôi được 7,8. Điều đó nghĩa là gì?
That means that from an MEU of 70 with no evidence, if you say, hey, I'll reveal the forecast to you. You say, great, that's where a 7.8 utilities to me.
Nghĩa là từ MEU 70 khi không có bằng chứng, nếu bạn nói: tôi sẽ tiết lộ dự báo cho bạn, bạn sẽ nói: tuyệt, đó là 7,8 độ hữu dụng cho tôi.
Does that makes sense? I've got my MEU without the evidence, I've got my MEU with the evidence.
Hợp lý chứ? Tôi có MEU khi không có bằng chứng, và MEU khi có bằng chứng.
But my MEU with the evidence has to be an average of the different values which will be revealed to me when I open up the package. We can write this as follows.
Nhưng MEU khi có bằng chứng phải là trung bình của các giá trị khác nhau sẽ được tiết lộ khi tôi mở gói quà ra. Ta có thể viết điều này như sau.
And at this point, remember there is this point with Bellman equations where there are just like a bunch of variations of the same kinds of equations. This is that point with the VPI computations.
Đến đây, nhớ rằng có một lúc với các phương trình Bellman khi có hàng loạt biến thể của cùng một dạng phương trình. Đây là lúc đó với các tính toán VPI.
Here — let me change colors — here we have the maximum expected utility given my current evidence, which in this example is empty. OK. But there's the maximum expected utility of my current evidence.
Ở đây, tôi đổi màu nhé, ta có độ hữu dụng kỳ vọng cực đại với bằng chứng hiện tại, ở ví dụ này là rỗng. OK. Đó là độ hữu dụng kỳ vọng cực đại với bằng chứng hiện tại.
And I want to compute what is the value of learning information about e-prime. Meaning I'm going to reveal e-prime, it's a variable.
Và tôi muốn tính giá trị của việc biết thêm thông tin về e-prime. Nghĩa là tôi sẽ tiết lộ e-prime, một biến.
I'm going to reveal it to you on top of your existing evidence e. Well, right now you can achieve an MEU of whatever it is given evidence e.
Tôi tiết lộ nó cho bạn, thêm vào bằng chứng e sẵn có. Hiện giờ bạn đạt được MEU là một giá trị nào đó, với bằng chứng e.
You do your computations, you pick your best action. I'm offering on top of that to reveal e-prime to you. When I do that, you will get new MEUs.
Bạn tính toán và chọn hành động tốt nhất. Tôi đề nghị thêm là tiết lộ e-prime cho bạn. Khi đó, bạn sẽ có các MEU mới.
Your new MEUs will be optimal scores when you have evidence e and the new evidence e-prime that I've just revealed to you.
MEU mới là điểm số tối ưu khi bạn có bằng chứng e và bằng chứng mới e-prime mà tôi vừa tiết lộ.
Sometimes they'll be higher, because cause you like e-prime, and sometimes they'll be lower, because e-prime is unfortunate.
Đôi khi nó cao hơn, vì bạn thích e-prime, đôi khi thấp hơn, vì e-prime không may mắn.
Now, you don't know which outcome you're going to get but you can compute a distribution of what's inside the package e-prime.
Bạn không biết mình sẽ nhận kết quả nào, nhưng bạn có thể tính phân phối của những gì nằm trong gói e-prime.
That is the probability of the particular values e-prime given the evidence e you already know. So this is a predictive probability.
Đó là xác suất của các giá trị cụ thể của e-prime cho bằng chứng e bạn đã biết. Đây là một xác suất dự đoán.
What is the probability of this unknown variable that I'm threatening to reveal to you given all the evidence that you already have?
Xác suất của biến chưa biết này là bao nhiêu, biến mà tôi đang dọa sẽ tiết lộ cho bạn, cho toàn bộ bằng chứng bạn đang có?
When I take that expectation, this is an expected maximum expected utility that represents on average, after I reveal this unknown quantity to you, how many points will you get acting optimally.
Khi lấy kỳ vọng đó, ta có kỳ vọng của độ hữu dụng kỳ vọng cực đại, biểu diễn trung bình, sau khi tôi tiết lộ đại lượng chưa biết này, bạn được bao nhiêu điểm khi hành động tối ưu.
We can compare that to what I would do now. So this is then. Now I would get a MEU of little e. Then I will get an average of MEU e,e-prime.
Ta có thể so sánh với việc làm ngay bây giờ. Vậy là thế này. Bây giờ tôi được MEU của e thường. Sau đó tôi được trung bình của MEU e,e-prime.
That difference is the value of information of e-prime given e.
Hiệu số đó là giá trị thông tin của e-prime cho e.
All right. Any questions before we do some properties of value of information? Yep?
Được rồi. Có câu hỏi nào trước khi ta xét vài tính chất của giá trị thông tin không? Bạn?
STUDENT
Will the value of information always be 0 or greater? PROFESSOR: Question was, will the value always be non-negative. Yes. It will be.
Giá trị thông tin có luôn lớn hơn hoặc bằng 0 không ạ? GIÁO SƯ: Câu hỏi là giá trị có luôn không âm không. Có. Nó luôn không âm.
And that's coming very, very soon. It's a great question. Now, the actual outcomes, remember, can be positive or negative. Right?
Và phần đó sắp tới rất sớm. Câu hỏi hay. Còn các kết quả thực tế thì nhớ rằng có thể dương hoặc âm. Đúng không?
Because if I reveal to you that the forecast is bad, you will actually compute a lower MEU than if I hadn't revealed the variable to you. But that variable might have been good.
Vì nếu tôi tiết lộ dự báo là xấu, bạn sẽ tính ra MEU thấp hơn so với khi tôi không tiết lộ biến. Nhưng biến đó có thể đã là tốt.
And it's balanced off by a case where the MEU goes up. And that expectation is always going to be non-negative. And we'll see why in a second. All right.
Và nó được cân bằng bởi trường hợp MEU tăng lên. Và kỳ vọng đó luôn không âm. Ta sẽ thấy tại sao ngay sau đây. Được rồi.
So here's the value of information. Let me walk through the definition in equations first and then we'll talk about its properties.
Đây là giá trị thông tin. Tôi đi qua định nghĩa bằng phương trình trước rồi sẽ nói về các tính chất của nó.
So we assume we have evidence that capital E, which may be multiple variables, takes on value lower case e. If we act now, we achieve MEU of little e.
Giả sử ta có bằng chứng là E hoa, có thể gồm nhiều biến, nhận giá trị e thường. Nếu hành động ngay, ta đạt MEU của e thường.
That is, we maximize over actions A, we average over outcomes S, and we take a distribution over utilities. Standard expect to max.
Nghĩa là ta cực đại hóa theo các hành động A, lấy trung bình theo các kết quả S, và lấy một phân phối trên các độ hữu dụng. Expectimax chuẩn.
Let's imagine that we discover that when we unwrap E-prime, it takes on value little e. If we act then, we will achieve MEU not of just e, but of e comma E-prime.
Giả sử ta phát hiện ra rằng khi mở E-prime ra, nó nhận giá trị e thường. Nếu lúc đó mới hành động, ta sẽ đạt MEU không chỉ của e, mà của e phẩy E-prime.
That means it's still going to be a max over actions, it's still going to be an average over utilities.
Nghĩa là nó vẫn là max trên các hành động, vẫn là trung bình trên các độ hữu dụng.
Except now we're going to be instead of making our decision based on evidence e, the probabilities will be informed by E-prime as well. So that distribution over states s will be different.
Chỉ khác là bây giờ, thay vì quyết định dựa trên bằng chứng e, các xác suất sẽ được cập nhật thêm nhờ E-prime. Nên phân phối trên các trạng thái s sẽ khác đi.
So we might make a different decision. When we max over A here, and when we max over A here, we might make a different decision.
Vì vậy ta có thể quyết định khác. Khi lấy max theo A ở đây, và khi lấy max theo A ở đây, ta có thể đưa ra quyết định khác nhau.
We might suddenly take our umbrella with us because we heard a bad forecast. All right. If we act now, we get MEU of e.
Có thể bỗng nhiên ta mang theo ô vì đã nghe dự báo xấu. Được rồi. Nếu hành động ngay, ta có MEU của e.
If we act then, we get MEU of e comma E-prime. But E-prime is a random variable whose value is unknown. I am not offering to make the forecast good or forecast bad.
Nếu hành động sau đó, ta có MEU của e phẩy E-prime. Nhưng E-prime là một biến ngẫu nhiên có giá trị chưa biết. Tôi không đề nghị làm cho dự báo tốt hay xấu.
I'm offering to reveal it to you. So we need to have a prediction about what e-prime will be in order to compute how valuable that information is to us.
Tôi đề nghị tiết lộ nó cho bạn. Vậy ta cần dự đoán E-prime sẽ là gì để tính thông tin đó có giá trị bao nhiêu với ta.
So the expected value, if e-prime is revealed, and then we act regardless of what it is, we're going to do a different computation. That is the MEU.
Vậy giá trị kỳ vọng, nếu E-prime được tiết lộ rồi ta hành động dù nó là gì, sẽ là một phép tính khác. Đó là MEU.
That's the utility we will achieve on average acting optimally when we know e and have E-prime revealed to us. That's why it's still a capital.
Đó là độ hữu dụng ta đạt được trung bình khi hành động tối ưu, lúc đã biết e và được tiết lộ E-prime. Vì vậy nó vẫn viết hoa.
That's going to be this distribution over possible lower case e-primes that we'll see of the MEU of what we would do upon seeing lower e-prime. The value of information is the change.
Đó sẽ là phân phối trên các e-prime thường có thể thấy, của MEU của việc ta sẽ làm khi thấy e-prime thường. Giá trị của thông tin là sự chênh lệch.
The value of information is how much the MEU goes up by revealing E-prime and then acting, as opposed to acting now. OK.
Giá trị của thông tin là mức MEU tăng lên khi tiết lộ E-prime rồi mới hành động, so với hành động ngay. OK.
Let's talk about some mathematical properties, which I think are easier to see maybe thinking about this from sort of expect to max state.
Ta bàn một số tính chất toán học, mà tôi nghĩ dễ thấy hơn nếu nhìn theo kiểu expectimax.
So first let's look at the expect to max tree for MEU of just acting right now. We're in some state. The state we're in here — bad choice.
Trước hết xét cây expectimax cho MEU khi hành động ngay bây giờ. Ta đang ở một trạng thái nào đó. Trạng thái ta đang ở đây... chọn không hay.
So this is now. Let's just call this e. OK. We're in this state where we know e.
Vậy đây là bây giờ. Cứ gọi cái này là e. OK. Ta đang ở trạng thái mà ta biết e.
We have actions A available to us.
Ta có các hành động A để chọn.
And then the outcome we predict is underneath our — we do inference over S, which is whatever the parent of the utility is, given our evidence e, that's our computation.
Rồi kết quả ta dự đoán nằm bên dưới, ta suy luận trên S, tức là nút cha của độ hữu dụng, cho bằng chứng e, đó là phép tính của ta.
We think about augmenting our state, and therefore our evidence, and therefore these probability computations with another piece of evidence. We get a computation that looks the same.
Ta nghĩ đến việc bổ sung thêm vào trạng thái, và do đó vào bằng chứng, và do đó vào các phép tính xác suất này, một mẩu bằng chứng khác. Ta được phép tính trông giống hệt.
But of course, this here is this. And this. Because what I'm not really offering to do is not offering to give you E-prime plus E-prime or minus E-prime.
Nhưng tất nhiên, chỗ này là cái này. Và cái này. Vì điều tôi thực sự không đề nghị là đưa cho bạn E-prime cộng hay trừ E-prime.
I'm offering to put you into a chance state. I'm offering to put you into a state where E-prime will be revealed to you.
Tôi đề nghị đưa bạn vào một trạng thái ngẫu nhiên. Tôi đề nghị đưa bạn vào một trạng thái nơi E-prime sẽ được tiết lộ cho bạn.
And the first thing that's going to happen, the first branch here is, well, what is it. You told me you'd tell me the forecast. Is it good, is it bad?
Và điều đầu tiên xảy ra, nhánh đầu tiên ở đây, là: nó là gì. Bạn bảo sẽ cho tôi biết dự báo. Tốt hay xấu?
That's the first branch. And it has a probability associated with it. And that's this predictive probability we talked about. OK.
Đó là nhánh đầu tiên. Và nó có một xác suất gắn với nó. Đó là xác suất dự đoán mà ta đã nói tới. OK.
This piece here, what the heck is this chance node on the top? Why is it — That represents the revealing of the information.
Cái nút ngẫu nhiên trên cùng này là gì vậy? Nó biểu diễn việc tiết lộ thông tin.
And I think that's the part that's hardest to sort of get the details on. All right. So here are some properties.
Và tôi nghĩ đây là phần khó nhất để nắm chi tiết. Được rồi. Đây là một số tính chất.
All these properties can be derived either from the equations or from kind of thinking about expect to max quantities on the different trees that they correspond to. So here are some properties.
Tất cả đều có thể suy ra từ các phương trình hoặc từ việc nghĩ về các đại lượng expectimax trên những cây khác nhau tương ứng với chúng. Đây là các tính chất.
First property is non-negativity. So whatever evidence you have, if I walk up to you and say, here's a random variable you don't know, what's the value to you?
Tính chất đầu tiên là không âm. Dù bạn có bằng chứng gì, nếu tôi đến và nói, đây là một biến ngẫu nhiên bạn chưa biết, nó có giá trị gì với bạn?
Well, that value might be 0. But it's not going to be negative.
Giá trị đó có thể là 0. Nhưng sẽ không âm.
Next property. It's not additive. So if I walk up to you and say, OK, you've got evidence e, but here I have two variables that I could reveal to you.
Tính chất tiếp theo. Nó không có tính cộng. Giả sử bạn có bằng chứng e, và tôi có hai biến có thể tiết lộ cho bạn.
And I say, well, what's the value of revealing this variable? So you do some computation, you're like 7.3 utiles. How about this variable? You do some computation, you're like that one's 4.2 utiles.
Tôi hỏi, giá trị của việc tiết lộ biến này là bao nhiêu? Bạn tính ra, ví dụ 7,3 utile. Còn biến này? Bạn tính ra, biến đó là 4,2 utile.
If I observe both variables, you don't get to add the VPIs.
Nếu quan sát cả hai biến, bạn không được cộng các VPI.
So if I offer to reveal A and B, the value of that to you is not the value of A plus the value of B. Why?
Nếu tôi đề nghị tiết lộ cả A và B, giá trị với bạn không phải là giá trị của A cộng giá trị của B. Tại sao?
An easy way to see that is let's say actually in your probabilistic model, A and B are basically the same variable. What if I offer to reveal the weather forecast and the weather?
Một cách dễ thấy là giả sử thực ra trong mô hình xác suất của bạn, A và B về cơ bản là cùng một biến. Nếu tôi đề nghị tiết lộ dự báo thời tiết và cả thời tiết thực tế thì sao?
Well, they're both very useful to you. But they're basically the same thing. And so once you've observed one, the other one's a whole lot less useful.
Cả hai đều rất hữu ích với bạn. Nhưng về cơ bản chúng là một. Nên khi đã quan sát một cái, cái còn lại kém hữu ích đi nhiều.
So VPI is non-negative, but it's also not additive. It is, however, order independent.
Vậy VPI không âm, nhưng cũng không có tính cộng. Tuy nhiên, nó không phụ thuộc thứ tự.
So if I have A and B and I offer it to reveal them to you, if I reveal A and then B, or B and then A, you end up in the same situation.
Nếu tôi có A và B và đề nghị tiết lộ chúng cho bạn, dù tiết lộ A rồi B, hay B rồi A, thì bạn đều rơi vào cùng một tình huống.
So it shouldn't be too surprising that if you compute the value of information sequentially, what's the value of revealing B?
Vì vậy cũng không quá ngạc nhiên nếu bạn tính giá trị của thông tin theo thứ tự: giá trị của việc tiết lộ B là bao nhiêu?
And then once I've revealed A, add to that what's the value of revealing A, you get the same regardless of which order you do.
Rồi sau khi đã biết B, cộng thêm giá trị của việc tiết lộ A, thì bạn được kết quả như nhau, bất kể làm theo thứ tự nào.
All right. Let's ask some questions about VPI. Here's a quiz.
Được rồi. Hãy đặt vài câu hỏi về VPI. Đây là một câu đố.
You're in the cafeteria. There's a soup. The soup of the day is unknown, it's a mystery soup. They haven't opened the lid yet.
Bạn đang ở căng tin. Có một nồi súp. Món súp hôm nay chưa biết, là một món súp bí ẩn. Họ chưa mở nắp.
It's either clam chowder or split pea. OK? So it's a random variable here. But you're not going to order either one.
Nó là clam chowder hoặc split pea. Rõ chưa? Vậy đây là một biến ngẫu nhiên. Nhưng bạn sẽ không gọi món nào trong hai món đó.
What is the value of being told which soup it is?
Giá trị của việc được cho biết đó là súp gì là bao nhiêu?
Big value, little value, 0 value? Who says big value? Who says little value? Who says 0 value?
Giá trị lớn, nhỏ, hay bằng 0? Ai chọn giá trị lớn? Ai chọn giá trị nhỏ? Ai chọn giá trị bằng 0?
OK, 0 wins. Why is this? Right? Why is it that finding out this variable, all right, you have knowledge, right?
Được, đáp án 0 thắng. Tại sao vậy? Đúng không? Tại sao biết được biến này, được thôi, bạn có thêm kiến thức, đúng không?
But it doesn't change your utility because it's not going to change your action.
Nhưng nó không thay đổi độ hữu dụng của bạn vì nó không làm thay đổi hành động của bạn.
And any evidence that does not change your action, regardless of the outcome of that random variable's reveal, is going to have value of information 0.
Và bất kỳ bằng chứng nào không làm đổi hành động của bạn, dù kết quả tiết lộ của biến ngẫu nhiên đó là gì, thì giá trị thông tin đều bằng 0.
Information only has value if there is some outcome that can be revealed to you that will change your action. OK?
Thông tin chỉ có giá trị nếu có một kết quả nào đó có thể được tiết lộ cho bạn mà làm thay đổi hành động của bạn. Rõ chưa?
All right, so in this case, the value of information is 0 because it doesn't affect your decision. You're at a picnic. There are two kinds of plastic forks, slightly different.
Được rồi, vậy trong trường hợp này, giá trị thông tin bằng 0 vì nó không ảnh hưởng đến quyết định của bạn. Bạn đang đi picnic. Có hai loại nĩa nhựa, hơi khác nhau.
One of them is slightly sturdier. But we're not sure exactly which one.
Một loại chắc hơn một chút. Nhưng ta không chắc là loại nào.
I offered to reveal to you which is the slightly sturdier fork so that you can choose a fork in a more informed way. Is this information highly valuable, slightly valuable, or 0?
Tôi đề nghị cho bạn biết cái nĩa nào chắc hơn một chút để bạn chọn nĩa một cách có thông tin hơn. Thông tin này có giá trị cao, hơi có giá trị, hay bằng 0?
Who says highly valuable? Slightly valuable? 0? OK.
Ai chọn giá trị cao? Hơi có giá trị? Bằng 0? Được.
In this case, let's first check is this information going to change my decision? It might, right? I might as well take the sturdier fork because, you know, why not?
Trường hợp này, trước hết hãy kiểm tra xem thông tin này có làm thay đổi quyết định của tôi không? Có thể, đúng không? Tôi sẽ lấy cái nĩa chắc hơn vì, bạn biết đấy, sao lại không?
It's slightly better to have a sturdier fork. So here's a case where the value of information is probably not 0 because having that evidence will change my decision.
Có cái nĩa chắc hơn thì tốt hơn một chút. Vậy đây là trường hợp giá trị thông tin có lẽ không bằng 0, vì có bằng chứng đó sẽ làm thay đổi quyết định của tôi.
However, the utilities involved are all pretty much tied. So it's probably not going to make a big difference to my utility, not because it won't change my decision.
Tuy nhiên, các độ hữu dụng liên quan gần như ngang nhau. Nên có lẽ nó không tạo ra khác biệt lớn cho độ hữu dụng của tôi, chứ không phải vì nó không đổi quyết định.
Right? This evidence may be extremely likely to change my decision. But the utilities involved are all very close. So the value of information will be.
Đúng không? Bằng chứng này có thể rất dễ làm tôi đổi quyết định. Nhưng các độ hữu dụng liên quan đều rất gần nhau.
Low OK. We're playing the lottery.
Nên giá trị thông tin sẽ thấp. Được rồi. Ta chơi xổ số.
The prize will be 0 or $100 and you can play any number between 1 and 100. They're all equally likely to win. So the random variable is what will be the winning number.
Giải thưởng là 0 hoặc 100 đô la và bạn có thể chơi bất kỳ số nào từ 1 đến 100. Các số đều có khả năng trúng như nhau. Biến ngẫu nhiên ở đây là số trúng thưởng.
Your action is which number would you like to play, what ticket would you like to buy? What is the value of information of knowing the winning number?
Hành động của bạn là chọn chơi số nào, bạn muốn mua vé nào? Giá trị thông tin của việc biết số trúng thưởng là bao nhiêu?
So I'm going to reveal to you the number before you act rather than after.
Tôi sẽ cho bạn biết số đó trước khi bạn hành động, thay vì sau.
High value, low value, 0 value. Who says high value? I guess this is — OK. $100 million.
Giá trị cao, thấp, hay bằng 0. Ai chọn giá trị cao? Tôi đoán là... Được. 100 triệu đô la.
All right. So high value. Well, let's think about what it is.
Được rồi. Vậy là giá trị cao. Hãy nghĩ xem nó là bao nhiêu.
Right now if I play the lottery, what am I going to get? I'm going to get an expected utility of $1. So let's pretend my dollars are my utility here.
Bây giờ nếu tôi chơi xổ số, tôi sẽ nhận được gì? Độ hữu dụng kỳ vọng của tôi là 1 đô la. Hãy giả sử số đô la chính là độ hữu dụng của tôi.
Which, for small numbers, might be reasonable. OK. So my expected outcome here is going to be $1.
Với số nhỏ thì điều này có thể chấp nhận được. Được. Vậy kết quả kỳ vọng của tôi ở đây là 1 đô la.
If you reveal this information to me, regardless of what you reveal to me, I'm going to become incredibly good at this lottery and I'm going to get $100.
Nếu bạn tiết lộ thông tin này cho tôi, dù bạn tiết lộ số nào, tôi sẽ trở nên cực kỳ giỏi trò xổ số này và tôi sẽ nhận được 100 đô la.
So on average, I'm going to get $100 if you reveal the evidence to me.
Nên trung bình tôi sẽ nhận 100 đô la nếu bạn tiết lộ bằng chứng cho tôi.
And if you don't reveal the evidence to me and I just have to play without that evidence, I'm going to get $1. So the gain here should be 99.
Còn nếu bạn không tiết lộ bằng chứng và tôi phải chơi mà không có nó, tôi sẽ nhận 1 đô la. Vậy mức lợi ở đây phải là 99 triệu.
Million. Or $100 million minus $1. You say what about the cost of the ticket in the first place? That's separate.
Hay 100 triệu đô la trừ 1 đô la. Bạn hỏi còn chi phí mua vé ngay từ đầu thì sao? Đó là chuyện riêng.
That's just a cost against the utility regardless of what happens. OK.
Đó chỉ là chi phí trừ vào độ hữu dụng dù chuyện gì xảy ra. Được.
I've been saying value of information but I've been writing VPI. That's because classically this thing is called value of perfect information. What if somebody offers you some imperfect, slightly decayed information?
Tôi cứ nói là giá trị thông tin nhưng lại viết là VPI. Đó là vì theo cách gọi kinh điển, đại lượng này gọi là giá trị của thông tin hoàn hảo. Nếu ai đó đưa bạn thông tin không hoàn hảo, hơi bị suy giảm thì sao? Thì sao?
OK. People used to worry about this, but it's really simple for us. Which is that in our formulation, there is no imperfect information. All information is perfect.
Được. Người ta từng lo về điều này, nhưng với ta thì rất đơn giản. Đó là trong cách xây dựng của ta, không có thông tin không hoàn hảo. Mọi thông tin đều hoàn hảo.
What is information? Information is revealing the value of a random variable in your network. That's it. You either know the value of the random variable or you don't.
Thông tin là gì? Thông tin là việc tiết lộ giá trị của một biến ngẫu nhiên trong mạng của bạn. Chỉ vậy thôi. Bạn hoặc biết giá trị của biến ngẫu nhiên, hoặc không biết.
It's evidence or it's unobserved. What was the point of imperfect information? People used to think about things like, oh, I'm not going to reveal to you the weather.
Nó là bằng chứng, hoặc là chưa quan sát được. Vậy thông tin không hoàn hảo để làm gì? Người ta từng nghĩ kiểu như: tôi sẽ không tiết lộ thời tiết cho bạn.
I'm going to reveal to you a forecast of the weather, which is sort of a noisy form of that variable.
Tôi sẽ cho bạn biết dự báo thời tiết, tức là một dạng có nhiễu của biến đó.
The way we formulated things, revealing the weather forecast is not an imperfect reveal of the weather, it is a perfect reveal of the weather forecast, which is itself connected to weather in some probabilistic way.
Theo cách chúng ta mô hình hóa, việc tiết lộ dự báo thời tiết không phải là tiết lộ không hoàn hảo về thời tiết, mà là tiết lộ hoàn hảo về dự báo thời tiết, và dự báo này tự nó liên hệ với thời tiết theo một cách xác suất nào đó.
And so what we've done is we've taken any noisy variables that you might have, put them in as new variables in the network, and offered to completely reveal this variable to you, which may or may not actually be useful in your computation.
Vậy ta đã lấy mọi biến có nhiễu mà bạn có, đưa chúng vào như các biến mới trong mạng, và đề nghị tiết lộ hoàn toàn biến đó cho bạn, mà biến đó có thể hữu ích hoặc không cho phép tính của bạn.
But that variable itself is either revealed or unrevealed. So that's where the imperfect information went. It's gone.
Nhưng bản thân biến đó hoặc được tiết lộ, hoặc không. Đó là nơi thông tin không hoàn hảo biến mất. Nó không còn nữa.
Let's look at another example. Back to drilling. Remember, this is the case where you can have oil in A or B.
Ta xem một ví dụ khác. Quay lại bài khoan dầu. Nhớ rằng dầu có thể ở A hoặc B.
You can drill in A or B. And you get K if you find the oil and you get 0 if you don't find the oil.
Bạn có thể khoan ở A hoặc B. Tìm thấy dầu thì được K còn không thấy thì được 0.
In this version, your MEU without evidence was K over 2 because half the time you get the oil. And your MEU you with the evidence is always K.
Ở phiên bản này, MEU khi chưa có bằng chứng là K chia 2 vì một nửa số lần bạn tìm được dầu. Còn MEU khi có bằng chứng luôn là K.
And so the value of information here was K over 2 for revealing the location of the oil. OK? So that was the VPI of revealing oil location. It was k over 2.
Nên giá trị của thông tin ở đây là K chia 2 khi tiết lộ vị trí của dầu. OK? Đó là VPI của việc tiết lộ vị trí dầu. Nó là K chia 2.
We did that before. Let's add to our network. Let's add a scouting report. What's a scouting report?
Ta đã làm ở trước. Giờ thêm vào mạng của ta. Thêm một báo cáo thăm dò. Báo cáo thăm dò là gì?
A scouting report is you send this red robot out to do a probe in a location.
Bạn cử con robot đỏ này đi thăm dò một địa điểm.
And it says, I found this kind of rock in the core sample and I think this is the probability therefore you can compute of the oil.
Nó báo: tôi thấy loại đá này trong mẫu lõi và từ đó bạn có thể tính ra xác suất có dầu.
So it doesn't actually tell you whether the oil is there, but it gives you some strong evidence of whether or not the location that you scouted has oil.
Nó không thực sự cho bạn biết dầu có ở đó không, nhưng cho bạn bằng chứng khá mạnh về việc chỗ đã thăm dò có dầu hay không.
OK? So what is the value of information? So you don't know oil location. I offer to give you the scouting report.
OK? Vậy giá trị của thông tin là bao nhiêu? Bạn không biết vị trí dầu. Tôi đề nghị đưa bạn báo cáo thăm dò.
Should that have value to you?
Nó có giá trị với bạn không?
One check is will it change where you drill if the scout says I think I found oil in A. Yeah, it'll change where you drill. You could be wrong.
Một cách kiểm tra là nó có đổi chỗ bạn khoan không: nếu người thăm dò nói tôi nghĩ thấy dầu ở A, có, nó sẽ đổi chỗ bạn khoan. Nhưng vẫn có thể sai.
You probably would want to know the details of the probability here. In fact, you probably want to make sure it's not like a reverse scout. But even that has positive value.
Bạn có lẽ muốn biết chi tiết về xác suất ở đây. Thậm chí bạn muốn chắc rằng nó không phải kiểu người thăm dò nói ngược. Nhưng ngay cả vậy cũng có giá trị dương. Nên giá trị thông tin này sẽ không âm.
So this has value of information that is going to be non-negative. However, this one was K over 2. The value of this scouting report.
Tuy nhiên, cái kia là K chia 2.
Is it 0, between 0 and k over 2, K over 2, or more than K over 2? So who thinks it's 0? Value of [INAUDIBLE] 0? Who thinks it is still K over 2?
Còn giá trị của báo cáo thăm dò này là 0, giữa 0 và K chia 2, K chia 2, hay lớn hơn K chia 2? Ai nghĩ là 0? Giá trị bằng 0? Ai nghĩ vẫn là K chia 2? Lớn hơn K chia 2?
More than K over 2? Less than K over 2, but still greater than 0? All right. That seems like the majority one.
Nhỏ hơn K chia 2 nhưng vẫn lớn hơn 0? Được rồi. Có vẻ đa số chọn phương án này. Đúng rồi.
That's right. So here, this is still going to have value. And intuitively, that makes sense because it doesn't tell you where the oil is, but it gives you some information to that.
Ở đây nó vẫn có giá trị. Và trực giác cũng hợp lý vì nó không cho bạn biết dầu ở đâu, nhưng cho bạn một phần thông tin về điều đó.
And you could do the computation and figure out, based on the actual numbers, exactly what the gain in utility here is on average. OK.
Bạn có thể tính toán, dựa trên các con số cụ thể, để biết chính xác độ hữu dụng tăng bao nhiêu trung bình. OK. Nên nó nằm đâu đó giữa 0 và K chia 2.
So it's probably sort of between 0 and K over 2. It's sort of somewhere in the middle. All right. Let's add another variable.
Tức là ở khoảng giữa. Được rồi. Ta thêm một biến nữa.
So let's say the scout report of, you know, I found signs of oil in lot A. Let's say there are different scouts. Right?
Giả sử báo cáo thăm dò là tôi thấy dấu hiệu có dầu ở lô A. Giả sử có các người thăm dò khác nhau. Đúng không?
There's the good scouts that do a really thorough core sample, and I know actually nothing about the geology here. But there's a really good scout and a really bad scout.
Có người thăm dò giỏi lấy mẫu lõi rất kỹ, và tôi thực ra chẳng biết gì về địa chất ở đây. Nhưng có người rất giỏi và người rất tệ. Và biến ngẫu nhiên này là người nào được cử đi để đưa ra báo cáo đó?
And this random variable is which scout got sent out to give that report?
What is the value of knowing — we don't know oil location and we don't know scouting report.
Giá trị của việc biết là bao nhiêu, khi ta không biết vị trí dầu và không biết báo cáo thăm dò?
I'm only offering to tell you whether or not I sent the good scout or the bad scout out. Value of information. Between 0 and K over 2, K over 2 or more.
Tôi chỉ đề nghị cho bạn biết tôi đã cử người giỏi hay người tệ đi. Giá trị của thông tin. Giữa 0 và K chia 2, K chia 2 hoặc hơn. Ai nói 0?
Who says 0? OK, 0. It's not valuable. But why?
OK, 0. Nó không có giá trị. Nhưng tại sao? Tôi vừa nói đó là người thăm dò rất giỏi.
I just told you it was a really good scout.
Sao lại không có giá trị?
Why is it not valuable? Well, intuitively it's not valuable because who cares how good the scout is? You didn't tell me what it found. Right?
Về trực giác thì không có giá trị vì ai quan tâm người đó giỏi cỡ nào? Bạn đâu cho tôi biết họ tìm thấy gì. Đúng không? Nhưng ta hãy nghĩ theo mô hình đồ thị.
But let's think about this in terms of the graphical model. I've offered to reveal to you the scout variable. What are you going to do with that information?
Tôi đề nghị tiết lộ biến người thăm dò cho bạn. Bạn sẽ làm gì với thông tin đó?
All you do in order to make a decision about drill location is compute the probability of oil location given your evidence.
Để quyết định khoan ở đâu, bạn chỉ cần tính xác suất của vị trí dầu cho trước bằng chứng của bạn. bằng chứng của bạn.
So without any evidence, you would have said, all right, I'm going to compute p of oil lock.
Vậy khi chưa có bằng chứng nào, bạn sẽ nói: được rồi, tôi sẽ tính p của oil lock.
And then I'm going to make my decision. And now you say, all right, well, you're going to tell me scout and what am I going to do with that information?
Rồi tôi sẽ đưa ra quyết định. Còn bây giờ bạn nói: được rồi, anh sẽ cho tôi biết scout, vậy tôi sẽ làm gì với thông tin đó?
I'm going to compute p of oil lock, given I don't know, that it was scout one.
Tôi sẽ tính p của oil lock, biết rằng, giả sử, đó là scout một.
What is that? Well, let's eyeball this Bayes net and run D-separation in our head.
Giá trị đó là gì? Ta hãy nhìn mạng Bayes này và chạy D-separation ngay trong đầu.
One thing I can do looking at this network is I can conclude that the oil location variable and the scout variable are conditionally independent in the absence of other evidence.
Nhìn vào mạng này, một điều tôi có thể kết luận là biến oil location và biến scout độc lập có điều kiện khi không có bằng chứng nào khác.
So they're marginally independent here. And that means the probability of oil location is the same regardless of whether or not I tell you what the scout is.
Tức là ở đây chúng độc lập biên. Và điều đó nghĩa là xác suất của oil location là như nhau dù tôi có cho bạn biết scout hay không.
And if I have given you evidence, I can plug and chug in this network and actually compute this.
Và nếu tôi đã cho bạn bằng chứng, tôi có thể cứ thế thay số trong mạng này và tính ra.
But if I give you evidence that it's conditionally independent of the variable of interest given your other evidence, it's not going to change the computation that goes into the MEU.
Nhưng nếu tôi cho bạn bằng chứng mà độc lập có điều kiện với biến quan tâm, khi đã biết các bằng chứng khác của bạn, thì nó sẽ không thay đổi phép tính trong MEU.
And therefore it's not going to change your actions, and therefore it's not going to change the actual MEUs, and so that's going to have value of 0.
Do đó nó không làm thay đổi hành động của bạn, nên cũng không làm thay đổi MEU thực sự, và vì vậy giá trị của nó là 0.
However, let's say you already know the scouting report.
Tuy nhiên, giả sử bạn đã biết báo cáo của scout.
So I've told you the scouting report says, you know, oil likely in A. And now I offer, hey, that report you have, I'll tell you whether or not it was the terrible scout that gave it to you.
Tôi đã cho bạn biết báo cáo nói rằng, dầu nhiều khả năng ở A. Và giờ tôi đề nghị: này, về báo cáo bạn đang có, tôi sẽ cho bạn biết liệu có phải scout tệ hại đã đưa nó cho bạn hay không.
Does this have value now? This feels like it should have value. So this shows up in exactly the same way under a D-separation computation or a conditional independence analysis here.
Giờ thì nó có giá trị không? Cảm giác là nó nên có giá trị. Điều này cũng hiện ra y hệt như vậy khi tính D-separation hay phân tích độc lập có điều kiện ở đây.
That oil location and the scout quality are marginally independent. So discovering scout doesn't help me.
Oil location và chất lượng scout là độc lập biên. Nên biết scout không giúp được gì.
But if I know scout report, conditioned on scout report, scout and oil location are no longer conditionally independent. And therefore there may be some value associated to that.
Nhưng nếu tôi biết báo cáo scout, có điều kiện theo báo cáo scout, thì scout và oil location không còn độc lập có điều kiện nữa. Do đó có thể có một giá trị nào đó gắn với nó.
The general property here is that if the parents of your utility node are conditionally independent of the variable I'm offering to show you, then it has a value of information 0 given you current evidence.
Tính chất tổng quát ở đây là nếu các nút cha của nút độ hữu dụng độc lập có điều kiện với biến mà tôi đề nghị cho bạn xem, thì giá trị thông tin của nó bằng 0 với bằng chứng hiện có của bạn.
All right. And that should make intuitive sense and it should make sense from a D-separation analysis as well. Questions?
Được rồi. Điều đó nghe hợp trực giác và cũng hợp lý theo phân tích D-separation. Có câu hỏi nào không?
OK. Let's really talk about POMDPs. What are POMDPs? They're partially observable Markov decision processes.
OK. Giờ ta thực sự nói về POMDP. POMDP là gì? Là quá trình quyết định Markov quan sát được một phần.
What are these? Remember, Markov decision processes or Markov decision problems were like non-deterministic search. I was in a state.
Chúng là gì? Nhớ rằng quá trình quyết định Markov hay bài toán quyết định Markov giống như tìm kiếm không tất định. Tôi ở trong một trạng thái.
I knew what state I was in, I took an action, and I knew what actions were available to me. And the thing I didn't know is what state I would end up in.
Tôi biết mình ở trạng thái nào, tôi thực hiện một hành động, và tôi biết có những hành động nào khả dụng. Điều tôi không biết là mình sẽ kết thúc ở trạng thái nào.
So the thing that was non-deterministic or uncertain was the outcome of taking action A in state S. In a POMDP, I take that one step further.
Vậy điều không tất định hay không chắc chắn là kết quả của việc thực hiện hành động A ở trạng thái S. Trong POMDP, ta đi thêm một bước nữa.
And I say, not only am I'm not sure what my actions will do, because they have multiple outcomes, I'm also not sure what state I'm actually in. What could that mean?
Ta nói: không chỉ không chắc hành động của mình sẽ ra sao, vì chúng có nhiều kết quả, mà tôi cũng không chắc mình thực sự đang ở trạng thái nào. Điều đó nghĩa là gì?
Life is a POMDP, right? You're a robot and you're moving around and you have actions like drive left, drive right. But you're not really even entirely sure where you are.
Cuộc sống là một POMDP, đúng không? Bạn là một robot đang di chuyển và có các hành động như đi sang trái, đi sang phải. Nhưng bạn thậm chí không hoàn toàn chắc mình đang ở đâu.
You may have a belief distribution over where you are. But in general, you don't even know the state of the world for sure.
Bạn có thể có một phân phối niềm tin về vị trí của mình. Nhưng nói chung, bạn thậm chí không biết chắc trạng thái của thế giới.
The only thing you really know is your observations over that state. So POMDPs are designed for this. And we'll see them a few times in this course.
Điều duy nhất bạn thực sự biết là các quan sát về trạng thái đó. POMDP được thiết kế cho điều này. Và ta sẽ gặp chúng vài lần trong môn này.
But for now, let's take a first cut at them. A Markov decision process was, remember, states, you're in a state, you have actions available to you.
Nhưng bây giờ, ta hãy tiếp cận sơ bộ trước. Nhớ rằng quá trình quyết định Markov gồm các trạng thái, bạn ở trong một trạng thái, và có các hành động khả dụng.
There's a transition function which encapsulates the uncertainty over what will happen.
Có một hàm chuyển trạng thái gói gọn sự không chắc chắn về điều sẽ xảy ra.
Now, if you stare at this, you think, huh, actually, this probability distribution over the outcome given some evidence, we have better tools for computing that now.
Giờ nếu nhìn kỹ, bạn sẽ nghĩ: ừ nhỉ, phân phối xác suất trên kết quả khi biết một số bằng chứng, giờ ta có công cụ tốt hơn để tính nó.
So you can imagine MDPs that have little Bayes nets living in their transition functions. But let's set that aside for now. A POMDP adds something new. It adds observations O, and an observation function.
Bạn có thể hình dung các MDP có những mạng Bayes nhỏ nằm trong hàm chuyển trạng thái. Nhưng tạm gác chuyện đó lại. POMDP thêm vào một thứ mới. Nó thêm các quan sát O và một hàm quan sát.
So now, instead of actually knowing what state S you're in, all you're going to know is what states are possible and what observations you've made.
Vậy giờ, thay vì thực sự biết mình ở trạng thái S nào, bạn chỉ biết những trạng thái nào là có thể và bạn đã thực hiện những quan sát nào.
So instead of a robot knowing it's in a square in a grid world, you might just have laser readings from all the different angles around you.
Vậy thay vì một robot biết mình đang ở một ô trong thế giới lưới, bạn có thể chỉ có các số đo laser từ nhiều góc khác nhau quanh bạn.
And that lets you compute or track where you believe you are. We'll get into this with tracking problems with hidden Markov model starting next lecture. OK? So what's a POMDP?
Và điều đó cho phép bạn tính hoặc theo dõi nơi bạn tin là mình đang ở. Ta sẽ đi vào các bài toán theo dõi với mô hình Markov ẩn bắt đầu từ bài giảng sau. OK? Vậy POMDP là gì?
Well, one way of looking at POMDPs is exactly kind of along the lines of what we talked about with beliefs states corresponding to evidence.
Một cách nhìn POMDP chính là theo hướng ta đã nói về các trạng thái niềm tin tương ứng với bằng chứng.
And that is, I'm not actually in state S, I don't know what state I'm in. But I do know what evidence I have. In other words, I know what belief state I'm in .
Đó là, tôi không thực sự ở trạng thái S, tôi không biết mình ở trạng thái nào. Nhưng tôi biết mình có bằng chứng gì. Nói cách khác, tôi biết mình đang ở trạng thái niềm tin nào.
And so I can take actions, but then after I take an action, instead of being told, hey, we're in state five now, what comes back to me is not a state but an observation.
Và vậy tôi có thể thực hiện hành động, nhưng sau khi thực hiện, thay vì được báo rằng, này, "giờ bạn đang ở trạng thái năm", thứ trả về cho tôi không phải là một trạng thái mà là một quan sát.
OK, I went left, I'm sensing a wall. I don't know what state I am, but I'm sensing a wall.
Được rồi, tôi đi sang trái, tôi cảm nhận có một bức tường. Tôi không biết mình đang ở trạng thái nào, nhưng tôi cảm nhận có tường.
And so now it's up to us to track that information about the uncertainty over the states. POMDPs are actually just MDPs over beliefs states which are distributions over states.
Và giờ việc của chúng ta là theo dõi thông tin về sự bất định trên các trạng thái. POMDP thực ra chỉ là MDP trên các trạng thái niềm tin, tức là các phân phối trên các trạng thái.
But in practice for us, what that's going to mean, is you can start to think about the state not being what's actually happening in the world, but being what you know.
Nhưng trên thực tế, điều đó có nghĩa là bạn có thể bắt đầu nghĩ về trạng thái không phải là điều thực sự đang xảy ra trong thế giới, mà là điều bạn biết.
And when I take an action and an observation comes in, I know a little more and I can do computation over the state given what I've observed.
Khi tôi thực hiện một hành động và có một quan sát đến, tôi biết thêm một chút và có thể tính toán trên trạng thái dựa vào những gì đã quan sát được.
We're not going to get fully into this today. This is just our first slice of this.
Hôm nay chúng ta sẽ không đi sâu hoàn toàn vào phần này. Đây mới chỉ là lát cắt đầu tiên.
And the reason I'm going to do this first slice out is to conclude this lecture with the case I promised at the beginning, which is how we think about the Ghostbusters game.
Lý do tôi trình bày lát cắt đầu tiên này là để kết thúc bài giảng bằng trường hợp tôi đã hứa hồi đầu, đó là cách ta nghĩ về trò chơi Ghostbusters .
Where my actions include bust here, bust here, bust here, bust here. Or also, take a sensing action. Right? A sensing action doesn't end the game.
Các hành động của tôi gồm bắt ở đây, bắt ở đây, bắt ở đây, bắt ở đây. Hoặc cũng có thể thực hiện hành động cảm biến. Đúng không? Hành động cảm biến không kết thúc trò chơi.
What it does is it gathers an observation and puts me in a new state, where again, I can choose to sense more. Or I can choose to take a busting action.
Nó thu thập một quan sát và đưa tôi đến một trạng thái mới, nơi tôi lại có thể chọn cảm biến thêm. Hoặc tôi có thể chọn hành động bắt ma.
So in static Ghostbusters, we have a belief state, which is a distribution over actual states, which is determine by evidence to date. What's my belief state? It's my distribution over ghost location.
Vậy trong Ghostbusters tĩnh, ta có một trạng thái niềm tin, là một phân phối trên các trạng thái thực, và nó được xác định bởi bằng chứng cho đến nay. Trạng thái niềm tin của tôi là gì? Đó là phân phối của tôi trên vị trí con ma.
That is a function of all the sensor readings. So I can either talk about, oh, my state is this vector of probabilities. I can do that.
Nó là hàm của tất cả các số đọc cảm biến. Vậy tôi có thể nói trạng thái của tôi là vectơ các xác suất này. Tôi làm vậy được.
Or I can say my state is these six sensor readings from which I can compute the distribution over ghost locations if I want. OK.
Hoặc tôi có thể nói trạng thái của tôi là sáu số đọc cảm biến này, từ đó tôi có thể tính phân phối trên vị trí con ma nếu muốn. Được.
So I have a belief state which is determined by my evidence to date. I can think of there being a tree over evidence sets. I have a certain amount of evidence.
Vậy tôi có một trạng thái niềm tin được xác định bởi bằng chứng cho đến nay. Tôi có thể hình dung một cây trên các tập bằng chứng. Tôi có một lượng bằng chứng nhất định.
Initially none. I take some actions. Some of those actions are sensing actions. When I take a sensing action, what comes back is more evidence.
Ban đầu là không có. Tôi thực hiện một số hành động. Một số hành động đó là hành động cảm biến. Khi tôi thực hiện hành động cảm biến, thứ trả về là thêm bằng chứng.
Right? In sensing, I pick what variable you're going to reveal. And then what comes back is the evidence, the actual value of that variable.
Đúng không? Khi cảm biến, tôi chọn biến nào sẽ được tiết lộ. Và thứ trả về là bằng chứng, tức giá trị thực của biến đó.
Now, when I compute expect to max in these trees, I'm going to need to do Bayes net style computation to say, OK, given these seven sensors I've already done, if I go to the upper right corner and reveal that, what's going to happen?
Khi tính expectimax trên các cây này, tôi sẽ cần tính toán kiểu mạng Bayes để nói rằng, được rồi, với bảy cảm biến tôi đã dùng, nếu tôi đến góc trên bên phải và tiết lộ ô đó, chuyện gì sẽ xảy ra?
And the answer is red, yellow, green. But what are the probabilities given what I already know? I'm going to have to do computation in that Bayes net that we showed.
Đáp án là đỏ, vàng, xanh. Nhưng xác suất là bao nhiêu, dựa vào những gì tôi đã biết? Tôi sẽ phải tính toán trong mạng Bayes mà chúng ta đã trình bày.
OK. So how are we going to solve them POMDPs? There's a whole general issue of solving POMDPs. They're hard.
Được. Vậy ta giải các POMDP này thế nào? Có cả một vấn đề tổng quát về việc giải POMDP. Chúng khó.
POMDPs are really hard. Remember I always say this is AI, everything here is NP hard? POMDPs aren't. There PSPACE hard.
POMDP thực sự rất khó. Nhớ là tôi luôn nói trong AI cái gì cũng NP-khó chứ? POMDP thì không. Chúng là PSPACE-khó.
It's a lot worse, it's a lot worse. Instead of corresponding to, like, logical formulas, this is formulas with quantifiers. OK? It's a lot worse.
Tệ hơn nhiều, tệ hơn nhiều. Thay vì tương ứng với các công thức logic, đây là các công thức có lượng từ. Được chứ? Tệ hơn nhiều.
However, one way to solve POMDPs is to use expect to max over these evidence-specified beliefs states. So I can think, all right, I'm in a state where I know nothing.
Tuy nhiên, một cách giải POMDP là dùng expectimax trên các trạng thái niềm tin được xác định bằng bằng chứng này. Tôi có thể nghĩ thế này, tôi đang ở trạng thái mà tôi không biết gì.
And I can do the following things — I can bust, great. Or I can sense here, sense here, sense here. If I sense here, what's going to happen?
Và tôi có thể làm các việc sau: bắt ma, tuyệt. Hoặc cảm biến ở đây, ở đây, ở đây. Nếu cảm biến ở đây, chuyện gì sẽ xảy ra?
Red, yellow, green. With what probability? I can compute it with Bayes nets. OK, let's say it's green, I'll be in this state.
Đỏ, vàng, xanh. Với xác suất bao nhiêu? Tôi có thể tính bằng mạng Bayes. Được, giả sử là xanh, tôi sẽ ở trạng thái này.
I have all the evidence, I have a four plus, seven comma three is green. I can bust or I can sense more. And I could build out this whole tree.
Tôi có toàn bộ bằng chứng, tôi có một bốn cộng, bảy phẩy ba là xanh. Tôi có thể bắt ma hoặc cảm biến thêm. Và tôi có thể xây toàn bộ cây này.
This is exponential. Eventually, I'm going to have to truncate this thing. But I can solve that running lots and lots of Bayes net inference over this tree.
Cây này tăng theo hàm mũ. Cuối cùng tôi sẽ phải cắt cụt nó. Nhưng tôi có thể giải bằng cách chạy rất nhiều lần suy luận mạng Bayes trên cây này.
And that will let me solve this POMDP, or at least approximate a solution to it. So let's do that.
Và điều đó cho phép tôi giải POMDP này, hoặc ít nhất là xấp xỉ một lời giải. Vậy hãy làm thử.
Let's go to here. All right. What are you seeing now? It's the exact same Ghostbusters.
Ta chuyển sang đây. Được rồi. Bây giờ các bạn thấy gì? Vẫn là Ghostbusters y như cũ.
We are in the belief state shown here. Flat distribution. You can think of it as a vector. Our state is a big vector of real numbers.
Ta đang ở trạng thái niềm tin như hiển thị ở đây. Phân phối phẳng. Bạn có thể coi nó là một vectơ. Trạng thái của ta là một vectơ lớn các số thực.
Or you can think of it as we are in the empty set. The evidence we have is the empty set of evidence.
Hoặc bạn có thể coi là ta đang ở tập rỗng. Bằng chứng ta có là tập bằng chứng rỗng.
And so what's going to happen, I'm not going to click a square anymore, I'm just going to hit Go. And a computation is going to happen.
Và điều sắp xảy ra là, tôi sẽ không nhấp vào ô nào nữa, tôi chỉ bấm Go. Và một phép tính sẽ chạy.
It's going to be a value of information computation, it's also going to be a search in this POMDP tree. It's the same thing.
Đó sẽ là phép tính giá trị thông tin, đồng thời là một cuộc tìm kiếm trong cây POMDP này. Hai thứ là một.
And what's going to happen is the system is going to compute which variable should I reveal. Or alternately, I can just bust.
Và điều sẽ xảy ra là hệ thống sẽ tính xem nên tiết lộ biến nào. Hoặc cách khác, tôi có thể bust luôn.
And it's going to compute what is the highest value of information versus the actual utilities. Let's see what it does. OK, so it decided to sense right there.
Và nó sẽ tính xem đâu là giá trị thông tin cao nhất so với các độ hữu dụng thực tế. Xem nó làm gì nhé. Được rồi, nó quyết định cảm biến ngay đó.
And it got some value. And I'm in a new state now. I'm in the state where I know something.
Và nó nhận được một giá trị. Giờ tôi đang ở một trạng thái mới. Trạng thái mà tôi biết thêm một điều.
I know that one comma one is yellow, which also corresponds to this vector of probability shown here.
Tôi biết ô một phẩy một màu vàng, điều này cũng tương ứng với vectơ xác suất hiển thị ở đây.
I'm going to click again and it's going to either decide to bust, or it's going to decide to sense again. What is that computation?
Tôi sẽ bấm tiếp, và nó sẽ hoặc quyết định bust, hoặc quyết định cảm biến tiếp. Phép tính đó là gì?
That computation is, well, here's my MEU if I bust, here's my MEU if I sense and then bust. That's a value of information computation.
Phép tính đó là, đây là MEU nếu tôi bust, đây là MEU nếu tôi cảm biến rồi mới bust. Đó là phép tính giá trị thông tin.
The difference between acting now or revealing a variable and then acting. OK, that's value information. Let's see what it does. OK, it decided to sense.
Sự chênh lệch giữa hành động ngay bây giờ và tiết lộ một biến rồi mới hành động. Đó chính là giá trị thông tin. Xem nó làm gì nhé. Nó quyết định cảm biến.
Let's go again. It's going to sense. Let's go again. I think it's going to sense again.
Tiếp nào. Nó sẽ cảm biến. Tiếp nữa. Tôi nghĩ nó sẽ lại cảm biến.
It's going to sense. Now we get to this point where I could bust or I could take the cost of another sensor reading and sense again. What's best?
Nó cảm biến. Giờ đến lúc tôi có thể bust hoặc chịu chi phí của một lần đọc cảm biến nữa và cảm biến tiếp. Cách nào tốt nhất?
Well, that's a VPI computation, it's going to do it. And it senses.
Đó là phép tính VPI, và nó sẽ tính. Và nó cảm biến.
It senses again. Sense. It's very cheap to sense here, so it's being extra cautious here. All right.
Lại cảm biến. Cảm biến. Ở đây cảm biến rất rẻ, nên nó đặc biệt thận trọng. Được rồi.
It decided to bust and it hit. So what you can see here is you can see now that this action selection is not just a computation of where is the ghost.
Nó quyết định bust và trúng. Vậy bạn có thể thấy là việc chọn hành động này không chỉ là tính xem con ma ở đâu.
But how much uncertainty do I have? How much will that uncertainty on average be reduced? Notice it actually went up sometimes when I got confusing evidence.
Mà là tôi còn bất định đến mức nào? Trung bình sự bất định đó sẽ giảm bao nhiêu? Để ý là đôi lúc nó còn tăng lên khi tôi nhận được bằng chứng gây nhiễu.
On average, how much will it be reduced by a sensing action? How much more valuable is that in terms of ultimate utility? What should I do?
Trung bình, một hành động cảm biến sẽ làm nó giảm bao nhiêu? Điều đó có giá trị hơn bao nhiêu xét về độ hữu dụng cuối cùng? Tôi nên làm gì?
That here, this is a POMDP agent running expect to max over beliefs states in order to do Ghostbusters.
Đây là một tác tử POMDP chạy expectimax trên các trạng thái belief để chơi Ghostbusters.
Starting next time, we're going to look at an even more fancy version of Ghostbusters where the ghosts actually move around. That's going to be the basis of your next project.
Bắt đầu từ buổi sau, chúng ta sẽ xem một phiên bản Ghostbusters phức tạp hơn nữa trong đó các con ma thực sự di chuyển. Đó sẽ là nền tảng cho project tiếp theo của các bạn.
OK? So we'll talk about tracking invisible ghosts instead of just sensing them and trying to catch them. We'll do that next time. [INTERPOSING VOICES]
Được chứ? Chúng ta sẽ nói về theo dõi những con ma vô hình thay vì chỉ cảm biến chúng rồi cố bắt. Chúng ta sẽ làm điều đó vào buổi sau. [NHIỀU GIỌNG NÓI CHEN NHAU]
Đăng nhập để đánh giá học liệu này.
Đăng nhập để bình luận — chưa ai bình luận về học liệu này.
Không có khóa học liên quan.