Video
Đăng bởi Ban biên tập OpenER ·
Tác giả giữ toàn bộ bản quyền (All Rights Reserved) — không phải giấy phép mở. Bạn vẫn xem và học miễn phí trên OpenER; muốn tái sử dụng cần xin phép tác giả.
PROFESSOR
OK. All right, let's get started. How is everybody?
Được rồi. Nào, chúng ta bắt đầu thôi. Mọi người khỏe không?
STUDENT
Great.
Tuyệt ạ.
PROFESSOR
I'm glad. Today, we're going to talk about probability. Probability is going to be the basis for how we model and compute under uncertainty and artificial intelligence.
Thầy mừng. Hôm nay chúng ta sẽ nói về xác suất. Xác suất sẽ là nền tảng để chúng ta mô hình hóa và tính toán trong điều kiện không chắc chắn trong trí tuệ nhân tạo.
So if we take a step back — if we take a step back and think about what we've done so far in this class — we've thought a lot — mostly — there have been some exceptions [INAUDIBLE] there were probabilities.
Nếu lùi lại một bước — nếu lùi lại một bước và nghĩ về những gì chúng ta đã làm trong lớp này — chúng ta đã nghĩ rất nhiều — phần lớn là vậy, cũng có vài ngoại lệ [KHÔNG NGHE RÕ] có xuất hiện xác suất.
In reinforcement learning, there was some learning.
Trong học tăng cường thì có một chút việc học.
But mostly, what we've done in this class is we've thought about symbolic ways things can chain together and how to do reasoning using computation along those kinds of models.
Nhưng phần lớn những gì ta làm trong lớp này là nghĩ về những cách mang tính biểu tượng để các thứ nối chuỗi với nhau và cách suy luận bằng tính toán trên các loại mô hình như thế.
What we're going to start to talk about today is something we've mostly ignored to date, which is uncertainty.
Hôm nay chúng ta sẽ bắt đầu nói về một thứ mà đến giờ ta hầu như bỏ qua, đó là sự không chắc chắn.
There's a lot of things that happen in the real world where either you can't or you don't want to have a fully detailed model that explains every last thing to the point where what's left is deterministic.
Có rất nhiều điều xảy ra trong thế giới thực mà bạn không thể hoặc không muốn có một mô hình chi tiết đầy đủ giải thích từng thứ một đến mức phần còn lại là tất định.
Often, your model is incomplete or incompletable. And that shows up as uncertainty about what's going to happen. Things can be out of your control, or they can simply be things that you can't compute.
Thường thì mô hình của bạn là chưa đầy đủ, hoặc không thể làm cho đầy đủ. Và điều đó thể hiện ra là sự không chắc chắn về những gì sẽ xảy ra. Có những thứ nằm ngoài tầm kiểm soát của bạn, hoặc đơn giản là những thứ bạn không thể tính được.
So this middle part of the course, we're going to talk about probabilistic reasoning, which is our main formal mechanism for talking about and reasoning about uncertainty.
Vì vậy, ở phần giữa của môn học này, chúng ta sẽ nói về suy luận xác suất, đây là cơ chế hình thức chính để nói về và suy luận về sự không chắc chắn.
And then, in the last, part of the course, we're going to talk about machine learning, which is — you can think about that as how we learn the parameters that go into the probabilistic models or models in general that we'll be talking about now.
Rồi ở phần cuối của môn học, chúng ta sẽ nói về machine learning, tức là — bạn có thể xem đó là cách ta học các tham số đi vào các mô hình xác suất, hay các mô hình nói chung, mà bây giờ chúng ta sẽ bàn tới.
So probabilistic reasoning is used for a lot of things.
Suy luận xác suất được dùng cho rất nhiều việc.
If you remember back, the brief history of AI, the first — kind of in the first decades of AI, we tried to write down lots of rules and chain them together.
Nếu còn nhớ lược sử ngắn gọn của AI, thì trong những thập kỷ đầu của AI, ta cố viết ra thật nhiều luật rồi nối chuỗi chúng lại.
And that gave rise to interesting kinds of computations, particularly for things like games that actually do work according to those kinds of logical rules.
Điều đó tạo ra những kiểu tính toán thú vị, đặc biệt cho những thứ như trò chơi, vốn thực sự hoạt động theo các luật logic như vậy.
But then that didn't scale because of uncertainty, and we needed methods to cope with that uncertainty. That's what we're going to talk about now with probabilistic reasoning.
Nhưng cách đó không mở rộng được vì sự không chắc chắn, và ta cần những phương pháp để đối phó với nó. Đó là điều chúng ta sẽ nói bây giờ với suy luận xác suất.
And a lot of the recent advances in, say, the past decade in artificial intelligence have to do not just with reasoning about uncertainty, but about learning about how the world works through data, through experience.
Và nhiều tiến bộ gần đây, tức là trong thập kỷ vừa qua, của trí tuệ nhân tạo không chỉ liên quan đến suy luận về sự không chắc chắn, mà còn về việc học xem thế giới vận hành ra sao thông qua dữ liệu, thông qua kinh nghiệm. Đó sẽ là phần cuối của môn học.
And that will be the last part of the course.
So today, in some sense, is going to be a preview of all the things we're going to be seeing and working with and all of the techniques and ideas for the next several lectures.
Vì vậy, hôm nay theo một nghĩa nào đó là bản xem trước của tất cả những thứ chúng ta sẽ thấy và làm việc cùng, cùng mọi kỹ thuật và ý tưởng trong vài bài giảng tới. Một mặt, hôm nay ta sẽ thấy đủ thứ.
So on one hand, we're going to see all kinds of stuff today.
Mặt khác, một số phần sẽ nghe quen vì các bạn đều đã học xác suất hay thống kê ở các môn khác.
On the other hand, pieces of it are going to seem familiar because you've all seen some kinds of probability or statistics in other courses. And we're going to lay all that out today.
Và hôm nay ta sẽ trình bày tất cả những thứ đó. Nên theo một cách nào đó, hôm nay là bài giảng bao quát nhất. Còn theo cách khác, nó lại là bài chi tiết nhất, mang tính tính toán cấp thấp nhất trong lớp này.
So in some ways, today is going to be the most sweeping lecture. And in other ways, it's going to be the most nitty gritty kind of computational low-level lecture there is in this class.
Vì vậy hãy nhớ rằng những gì chúng ta dùng hôm nay, những gì sẽ thấy hôm nay, ta sẽ dùng đi dùng lại.
And so please keep in mind that the stuff we're going to use today — that we're going to see today, we're going to use over and over again.
Mục tiêu hôm nay là nắm thật vững mọi thứ ta nói hôm nay để khi gặp những thứ này, bạn hiểu chúng một cách trực giác.
So the goal for today is to really know all the stuff we talk about today cold so that when you see these things you just intuitively get what they are.
Vì thế cần đảm bảo rằng đến bài giảng sau, bất cứ điều gì mới hôm nay, bạn đều đã có dịp vật lộn với nó và thấm nhuần nó. Bạn sẽ gặp những thứ này rất nhiều trong vài tuần tới.
And so this is something that it's worth making sure that by next lecture, anything that's new today, you've really sort of gotten a chance to wrestle with it and internalize it.
Chúng ta sẽ nói về biến ngẫu nhiên, đây là phương pháp chính để mô hình hóa các kết quả không chắc chắn. Chúng ta sẽ nói về phân phối đồng thời và phân phối biên.
You're going to see this stuff a lot for the next few weeks. We're going to talk about random variables, which is our key method of modeling uncertain outcomes.
Chúng ta sẽ nói về cách tính phân phối có điều kiện, những đại lượng mà ta thực sự quan tâm — các giá trị không chắc chắn khi đã có bằng chứng.
We're going to talk about joint and marginal distributions. We're going to talk about how to compute conditional distributions, which are the quantities we actually care about — uncertain values given evidence.
Và chúng ta sẽ nói về nhiều cơ chế làm nền tảng cho hạ tầng mô hình đồ thị mà ta sẽ dùng trong vài bài giảng tới, cho cả mô hình không có yếu tố thời gian lẫn mô hình có, và sau này các bạn sẽ gặp mô hình Markov ẩn.
And we're going to talk about a lot of the mechanics that form the basis of the graphical model infrastructure that we'll use over the next few lectures, both for models that don't have time, and models that do, for which you will have hidden Markov models later.
Được rồi. Bắt đầu nào. Ta sẽ bắt đầu với Ghostbusters. Thầy sẽ chiếu một bản demo. Đây là Ghostbusters kiểu CS 188.
All right. So here we go. We'll begin with Ghostbusters. So I'm going to show you a demo.
Phần xác suất thì chuẩn. Còn lý thuyết về hồn ma thì hoàn toàn bịa. Được rồi. Để xem nào.
This is like CS 188 Ghostbusters. The probability is sound. The spectral theory is totally made up. OK.
Cả lớp sẽ cùng chơi Ghostbusters. Trò này sẽ minh họa việc tích lũy và quản lý bằng chứng và sự không chắc chắn, và cả việc khó chịu thế nào khi không có công cụ giúp tính xác suất hậu nghiệm của các biến mà ta quan tâm khi đã có bằng chứng.
Let's see. We're going to play Ghostbusters as a class.
And this is going to illustrate both what's involved in accumulating and managing evidence and uncertainty, and also how frustrating it is to not have something to help us compute posterior probabilities of variables we care about given evidence.
Trò chơi này hoạt động như sau: trên bàn cờ này, ở đâu đó có một con ma. Được rồi. Sau này trong các project bạn sẽ thấy các phiên bản có thể có nhiều ma hơn.
So the way this game works is, on this board somewhere, there is a ghost. OK. You'll see later versions of this in your projects for which there can be more ghosts.
Nhưng bây giờ, trên bàn cờ này chỉ có một con ma, Trò chơi này hoạt động như sau: ở đâu đó trên bàn cờ này, có một con ma. Được chưa. Sau này các em sẽ thấy những phiên bản của trò này trong các project, với nhiều con ma hơn.
But, for now, there's one ghost on this board, and it's somewhere. Our job is to figure out where it is. We get one shot.
Nhưng bây giờ, trên bàn cờ này chỉ có một con ma, và nó ở đâu đó. Nhiệm vụ của ta là tìm ra nó ở đâu. Ta chỉ có một lần bắn.
We click bust, and we're either right or wrong, and we get an appropriate utility. We can also take sensing actions.
Ta bấm bust, và hoặc đúng hoặc sai, rồi nhận độ hữu dụng tương ứng. Ta cũng có thể thực hiện hành động cảm biến.
So we can drop a little probe, and it will tell us about the density of spectral ammunitions or something like that. And we get a color back. What does the color mean?
Ta thả một đầu dò nhỏ xuống, và nó cho ta biết về mật độ của đạn ma quái hay gì đó đại loại vậy. Và ta nhận lại một màu. Màu đó có nghĩa là gì?
The color is going to be red. That means we're right on top of a ghost here, all the way down to green, meaning ghosts seem to be distant.
Màu sẽ là đỏ. Đỏ nghĩa là ta đang ở ngay trên con ma, và đi dần xuống màu xanh lá, nghĩa là con ma có vẻ ở xa.
But there's going to be noise. Before I do anything, I want to show you the noise model. The noise here is given by a bunch of probabilities.
Nhưng sẽ có nhiễu. Trước khi làm gì, tôi muốn cho các bạn xem mô hình nhiễu. Nhiễu ở đây được cho bởi một loạt xác suất.
You can see on the bottom, of color given distance. So, for example, if the ghost is three away, the probability that you get a red is 0.5. So everything is uncertain.
Các bạn thấy ở dưới cùng, xác suất của màu cho trước khoảng cách. Ví dụ, nếu con ma cách ba ô, xác suất nhận được màu đỏ là 0.5. Vậy nên mọi thứ đều không chắc chắn.
And sometimes you're right on top of the ghost and you get a green, and sometimes it's clear across the board and you get a red. And that's super frustrating.
Đôi khi ta ở ngay trên con ma mà lại nhận màu xanh lá, và đôi khi nó ở tận đầu kia bàn cờ mà ta lại nhận màu đỏ. Điều đó cực kỳ bực mình.
So let's play. All right. I will sense here. All right.
Nào, chơi thôi. Được rồi. Tôi sẽ cảm biến ở đây. Được rồi.
Ghost is sort of nearby. I'll sense here. You can see my score is dropping because it costs 1 point every time I sense. I'm going to sense here.
Con ma có vẻ ở gần đây. Tôi cảm biến ở đây. Các bạn thấy điểm của tôi đang giảm vì mỗi lần cảm biến mất 1 điểm. Tôi sẽ cảm biến ở đây.
OK. Maybe we're getting close. Let's dig around here. All right.
OK. Có thể ta đang đến gần. Ta thử dò quanh đây. Được rồi.
All right. OK. Is it there? Is it there?
Được rồi. OK. Có phải ở đó không? Hay ở đó?
Well, who knows, right? Maybe.
Ai mà biết, đúng không? Có thể.
All right. Apparently — you know what? I bet uncertainty is off. No.
Được rồi. Hình như... biết không? Tôi đoán là đang tắt hiển thị độ bất định. Không.
There we go. All right. So we got a bunch of sensor readings here. And at some point — OK, there's this trade, right?
Được rồi. Được rồi. Vậy là ta có một loạt kết quả đo từ cảm biến. Và đến một lúc nào đó... OK, có một sự đánh đổi ở đây, đúng không?
At what point should I stop paying for sensing moves and just bust? That's a value of information computation. It's a super cool concept, and we're not going to do it today.
Khi nào thì tôi nên ngừng trả tiền cho các nước đi cảm biến mà bust luôn? Đó là bài toán tính giá trị thông tin. Đó là một khái niệm rất hay, nhưng hôm nay ta sẽ không học.
Today, we're just going to stop. OK. So I've decided to stop. I'm going to bust.
Hôm nay ta cứ dừng thôi. OK. Tôi quyết định dừng. Tôi sẽ bust.
What should I do? Well, where do you think I should bust? CS 180, a guided search here. Should I bust here?
Tôi nên làm gì? Theo các bạn tôi nên bust ở đâu? CS 180, tìm kiếm có hướng dẫn đây. Tôi bust ở đây nhé?
No. How about here? No. I'm just trolling now.
Không. Ở đây thì sao? Không. Giờ tôi chỉ đang chọc các bạn thôi.
How about here? Yeah, OK. Let's do it. Ready?
Ở đây thì sao? Ừ, OK. Làm thôi. Sẵn sàng chưa?
We got him. OK. Good. All right.
Bắt được nó rồi. OK. Tốt. Được rồi.
So that is Ghostbusters. And we got 228 points because we got him, but we sensed a whole bunch of times. All right. So let's look at that one more time.
Đó là trò Ghostbusters. Ta được 228 điểm vì bắt được nó, nhưng ta đã cảm biến rất nhiều lần. Được rồi. Ta xem lại một lần nữa.
I just can't get enough. OK. All right, let's look at this one more time. Right now, if I asked you, hey, where's that ghost, what would you say?
Tôi chơi không biết chán. OK. Được rồi, ta xem lại lần nữa. Bây giờ, nếu tôi hỏi các bạn con ma đang ở đâu, các bạn sẽ nói gì?
Well, first of all, you don't know. You can't know. You don't have the — you don't have enough evidence to know. So you would say something like, I don't know where that ghost is.
Trước hết, các bạn không biết. Không thể biết được. Các bạn không có đủ bằng chứng để biết. Nên các bạn sẽ nói đại loại như: tôi không biết con ma ở đâu.
It's somewhere. Each location might be equally likely if that's how the game is set up. OK. So your prior distribution here says uniform probability.
Nó ở đâu đó. Mỗi vị trí có thể có khả năng như nhau nếu trò chơi được thiết lập như vậy. OK. Vậy phân phối tiên nghiệm ở đây là xác suất đều.
But then once I start getting some sensings, some sensor readings here — at this point, where do you think the ghost is?
Nhưng khi tôi bắt đầu có một số lần cảm biến, một số kết quả đo từ cảm biến... đến lúc này, các bạn nghĩ con ma ở đâu?
You know, maybe it is more likely to be kind of left or kind of top.
Có thể nó có khả năng cao hơn ở phía bên trái hay phía trên.
That sort of heat map in your mind, how likely each square is given the evidence you have, that's the posterior distribution.
Bản đồ nhiệt trong đầu các bạn đó, mỗi ô có khả năng thế nào với bằng chứng đang có, chính là phân phối hậu nghiệm.
That's what we'd like to be able to compute on the basis of the evidence. We don't have the tools to do it yet.
Đó là thứ ta muốn tính được dựa trên bằng chứng. Ta chưa có công cụ để làm điều đó.
We'll get a lot of those tools today and even more of them in the next couple of classes so that we can say precisely, exactly what probability is in each square.
Hôm nay ta sẽ có nhiều công cụ, và còn nhiều hơn nữa trong vài buổi tới, để ta có thể nói chính xác mỗi ô có xác suất là bao nhiêu.
And then, if I get enough of them, maybe — OK, I still have no idea. All right. So I'm going to bust. I'm going to go for it.
Và nếu tôi có đủ kết quả đo, có lẽ... OK, tôi vẫn không có ý tưởng gì. Được rồi. Tôi sẽ bust. Tôi liều thử.
Miss. Close. OK. There we go.
Trượt. Gần rồi. OK. Được rồi.
You don't always win at Ghostbusters. All right. So that's the basic idea. That's going be a running example through a lot of this — is that there is some quantity you don't know.
Không phải lúc nào chơi Ghostbusters cũng thắng. Được rồi. Đó là ý tưởng cơ bản. Đây sẽ là ví dụ xuyên suốt phần lớn bài học này: có một đại lượng mà bạn không biết.
In this case, that quantity is the position of the ghosts. And that will be represented by a random variable in your model.
Trong trường hợp này, đại lượng đó là vị trí của các con ma. Nó sẽ được biểu diễn bằng một biến ngẫu nhiên trong mô hình của bạn.
There are other quantities, like the results from the sensor probes, which you do know. In addition, you know how the things that you know are connected up probabilistically to the things you're curious about.
Còn có những đại lượng khác, như kết quả từ các lần dò bằng cảm biến, mà bạn biết. Ngoài ra, bạn biết những thứ mình đã biết liên hệ với những thứ bạn quan tâm như thế nào theo xác suất.
And then you do some computation in order to compute the probabilities you want. That's what probabilistic inference is about, and we're going to lay the groundwork for that now.
Rồi bạn thực hiện một số phép tính để tính ra các xác suất mình muốn. Đó chính là nội dung của suy luận xác suất, và bây giờ ta sẽ đặt nền móng cho nó.
So here's a general situation. You're going to have a model. What is a model here? A model is going to be a collection of variables.
Đây là tình huống tổng quát. Bạn sẽ có một mô hình. Mô hình ở đây là gì? Mô hình là một tập hợp các biến.
These are going to be random variables, because sometimes you know their value, but sometimes you don't. When you know the value of a random variable, that's evidence, right?
Đây là các biến ngẫu nhiên, vì đôi khi bạn biết giá trị của chúng, đôi khi thì không. Khi bạn biết giá trị của một biến ngẫu nhiên, đó là bằng chứng, đúng không?
It's not uncertain anymore. So there's going to be the observed variables. And you're going to know certain things about the state of your world. Here, that's sensor readings.
Nó không còn bất định nữa. Vậy sẽ có các biến quan sát được. Và bạn sẽ biết một số điều về trạng thái của thế giới. Ở đây, đó là các số đọc của cảm biến.
But if we were doing medical diagnosis, the random variables that you observed as evidence might be symptoms or lab tests or something like that. There are going to the unobserved variables.
Nhưng nếu là chẩn đoán y khoa, các biến ngẫu nhiên quan sát được làm bằng chứng có thể là triệu chứng hoặc kết quả xét nghiệm, đại loại vậy. Cũng có các biến không quan sát được.
And these are all the things you don't know the value of — for example, in this case, where the ghost is.
Đó là tất cả những thứ bạn không biết giá trị, ví dụ ở đây là vị trí của con ma.
But there are other items or variables like what reading you would get at a different location.
Nhưng còn có những biến khác như số đọc bạn sẽ nhận được ở một vị trí khác.
In a medical diagnosis case, there might the unobserved variables like other tests you didn't perform but still could. So there's the evidence. There's the query variables that you actually really care about right now.
Trong chẩn đoán y khoa, biến không quan sát được có thể là các xét nghiệm khác mà bạn chưa làm nhưng vẫn có thể làm. Vậy có bằng chứng. Có các biến truy vấn mà bạn thực sự quan tâm lúc này.
And then there are going to be other variables that may also be unobserved. And you need to figure out how to work with them as you do your probabilistic reasoning.
Và có những biến khác cũng có thể không quan sát được. Bạn cần tìm cách xử lý chúng khi thực hiện lập luận xác suất.
And then, finally, you've got this model. And what the model is here — that's a word we use a lot in AI.
Cuối cùng, bạn có mô hình này. Mô hình ở đây, đó là một từ ta dùng rất nhiều trong AI.
And what the model means here is it's a description about how the known variables relate to the unknown ones.
Mô hình ở đây có nghĩa là một mô tả về cách các biến đã biết liên hệ với các biến chưa biết.
Today, that's going to take the form of a giant joint distribution, which is a big look-up table of probabilities.
Hôm nay, nó sẽ có dạng một phân phối đồng thời khổng lồ, tức là một bảng tra cứu xác suất lớn.
And as we go further into this unit, we'll get more and more sophisticated ways of specifying compact models that let us do very complicated and powerful queries.
Càng đi sâu vào phần này, ta sẽ có những cách ngày càng tinh vi để xác định các mô hình gọn cho phép thực hiện các truy vấn rất phức tạp và mạnh.
Problematic reasoning is going to be a framework for managing our beliefs and knowledge.
Lập luận xác suất là một khung để quản lý niềm tin và tri thức của ta.
That means taking all those relationships you know about between the variables, taking the evidence you have, and then doing computations to produce quantities that you can use to make decisions.
Nghĩa là lấy tất cả các quan hệ bạn biết giữa các biến, lấy bằng chứng bạn có, rồi tính toán để ra những đại lượng dùng để ra quyết định.
For example, the decision of where is the ghost most likely to be, or what is the expected utility of doing a sensing action at a certain location.
Ví dụ, quyết định xem con ma nhiều khả năng ở đâu nhất, hay độ hữu dụng kỳ vọng của việc dò bằng cảm biến tại một vị trí nào đó là bao nhiêu.
Those are going to be things that we need to know probabilities conditioned on our evidence in order to do well-founded decisions. All right. Any questions before we start?
Để ra quyết định có cơ sở, ta cần biết các xác suất có điều kiện theo bằng chứng của mình. Được rồi. Có câu hỏi nào trước khi bắt đầu không?
Because we're about to do a tour of probability and probabilistic concepts that's going to serve you well for the rest of this course. Yep?
Vì ta sắp điểm qua xác suất và các khái niệm xác suất, những thứ sẽ giúp ích cho bạn trong phần còn lại của môn học. Bạn nào?
STUDENT
Will we also consider uncertainty on sensors and stuff like that?
Ta có xét cả độ bất định của cảm biến và những thứ tương tự không ạ?
PROFESSOR
Are we also going to consider uncertainty over sensors and things like that? So in the formulation here, that uncertainty will show up in the random variables that represent those sensors.
Ta có xét độ bất định của cảm biến và những thứ tương tự không? Trong cách mô hình hóa ở đây, độ bất định đó nằm trong các biến ngẫu nhiên biểu diễn các cảm biến ấy.
So if I had a deterministic ghost sensor, the probability of green, given the ghost is 6 squares away would be, maybe, 1. It would be deterministic. Probability 1 means deterministic.
Nếu tôi có cảm biến ma tất định, xác suất ra màu xanh, khi ma cách 6 ô, có thể là 1. Nó sẽ là tất định. Xác suất 1 nghĩa là tất định.
A noisy sensor might say, well, at that distance, you're 90% likely to get a green but 3% likely to get an orange. That's noise in the sensor.
Cảm biến có nhiễu có thể nói, ở khoảng cách đó, khả năng ra xanh là 90% nhưng ra cam là 3%. Đó là nhiễu của cảm biến.
Now, a lot of sensors are real valued kinds of things. Like, I take a laser measurement or something, and I get a distance back, and it might be slightly off.
Giờ, nhiều cảm biến cho giá trị thực. Ví dụ tôi đo bằng laser hay gì đó, và nhận về một khoảng cách, có thể lệch chút ít.
So the format of the noise in a sensor is going to vary based on what kind of distribution . And that's something we'll talk a little bit more as we go.
Dạng của nhiễu trong cảm biến sẽ thay đổi tùy loại phân phối. Ta sẽ nói thêm về điều này sau.
Yes?
Bạn nào?
STUDENT
[INAUDIBLE] PROFESSOR: Will this week's material be on the exam? I think so. We'll see. We'll tell you clearly where it's stopping.
[KHÔNG NGHE RÕ] GIÁO SƯ: Nội dung tuần này có thi không? Tôi nghĩ là có. Ta sẽ xem. Chúng tôi sẽ nói rõ phạm vi dừng ở đâu.
The exam doesn't exist yet. [LAUGHTER] OK.
Đề thi còn chưa có mà. [CƯỜI] Được rồi.
All right. Starting with probability and probabilistic concepts. First concept, random variables. These are actually a lot like something from CSPs, which were variables.
Nào. Bắt đầu với xác suất và các khái niệm xác suất. Khái niệm đầu tiên: biến ngẫu nhiên. Chúng khá giống thứ ta đã gặp trong CSP, tức là các biến.
A random variable is an aspect of the world which you care enough about to put in your model. You give it a name.
Biến ngẫu nhiên là một khía cạnh của thế giới mà bạn quan tâm đủ để đưa vào mô hình. Bạn đặt tên cho nó.
Like, for example, the variable R might represent whether or not it's raining. T — in this running example, we're going to have a — that might be whether it's hot or cold.
Ví dụ, biến R có thể biểu diễn việc trời có mưa hay không. T... trong ví dụ xuyên suốt này, chúng ta sẽ có... có thể là trời nóng hay lạnh.
D might be how long it takes to drive to work. L might be where's the ghost. And so we're going to put variables in our model.
D có thể là thời gian lái xe đi làm. L có thể là vị trí của con ma. Vậy là ta sẽ đặt các biến vào mô hình.
And these are things either that we can observe, or that we might want to infer about, or other variables that help us write down how the world works in a probabilistic way.
Đây là những thứ mà ta có thể quan sát, hoặc muốn suy luận về chúng, hoặc là các biến khác giúp ta mô tả cách thế giới vận hành theo cách xác suất.
We write these down with capital letters. They're just like variables in the CSP in the sense that they have domains.
Ta viết chúng bằng chữ cái in hoa. Chúng giống biến trong CSP ở chỗ chúng có miền giá trị.
So, for example, R — is it raining — might have the domain True or False. All right.
Ví dụ, R, tức là trời có mưa không, có thể có miền giá trị là True hoặc False. Được rồi.
You guys have been seeing true and false forever, but there's an important shorthand we have in Cs 188, which is that, when possible, when names aren't ambiguous, we have a shorthand where we write something like R equals true.
Các bạn đã thấy true và false từ lâu rồi, nhưng trong CS 188 có một cách viết tắt quan trọng: khi có thể, khi tên không gây nhầm lẫn, ta viết tắt thay cho R bằng true.
Instead of writing, R equals true, which takes a lot of space — and I can't spell — instead of writing, R equals true, we're just going to write plus R. OK.
Thay vì viết R bằng true, tốn khá nhiều chỗ, mà tôi cũng viết sai chính tả nữa, thay vì viết R bằng true, ta chỉ viết +r. OK.
So plus means true. Minus means false.
Dấu cộng nghĩa là true. Dấu trừ nghĩa là false.
And the lower case r means the variable we're talking about here is the capitol version of that letter, so capital R. So you can think of this as true and false with typing so that we can write things more compactly and more clearly.
Còn chữ r thường nghĩa là biến đang nói đến chính là chữ cái đó viết hoa, tức R. Bạn có thể xem đây là true và false có kiểu, để ta viết gọn hơn và rõ hơn.
So we might have a variable like T, hot or cold, that takes on values hot and cold. Now, it's binary but not Boolean. We might have variables that are continuous values.
Ta có thể có biến như T, nóng hoặc lạnh, nhận giá trị hot và cold. Biến này là nhị phân nhưng không phải Boolean. Ta cũng có thể có biến nhận giá trị liên tục.
So something like, how long will it take to drive to work, could be real value that could be a time.
Như thời gian lái xe đi làm, có thể là một số thực, một khoảng thời gian.
You could have things that are discrete valued but not binary, maybe even structured in their value.
Cũng có biến nhận giá trị rời rạc nhưng không nhị phân, thậm chí giá trị có cấu trúc.
So whereas the ghost might be some enumeration of positions on the board, 0-1, 0-2, and so on, x-y positions. OK. So we can give these variables big domain, small domains, continuous, discrete.
Như con ma có thể là một liệt kê các vị trí trên bàn cờ, 0-1, 0-2, v.v., các vị trí x-y. OK. Vậy ta có thể cho biến miền giá trị lớn, nhỏ, liên tục, rời rạc.
In this class, we will almost always be talking about discrete domain variables. All these same concepts we talk about work in the continuous case, but the mechanics are more complicated.
Trong môn này, hầu như lúc nào ta cũng nói về biến có miền rời rạc. Mọi khái niệm ta bàn đều áp dụng được cho trường hợp liên tục, nhưng cơ chế tính toán phức tạp hơn.
So all your sums turn into integrals, and you've got to think a lot more about some kind of corner cases where things get degenerate. OK. So it's just like CSPs.
Các tổng đều thành tích phân, và bạn phải nghĩ nhiều hơn về những trường hợp biên mà mọi thứ trở nên suy biến. OK. Vậy là giống hệt CSP.
We've got variables that talk about the important properties in the model. And they have values in a domain. What's new is we now have probabilities that are associated with the values.
Ta có các biến nói về những thuộc tính quan trọng trong mô hình. Và chúng nhận giá trị trong một miền. Điểm mới là giờ ta có các xác suất gắn với các giá trị đó.
So, for example, for temperature here, we might be hot or cold. We might have a probability distribution over that random variable. And here, the probability distribution assigns a number to each outcome.
Ví dụ, với nhiệt độ, ta có thể là nóng hoặc lạnh. Ta có thể có một phân phối xác suất trên biến ngẫu nhiên đó. Ở đây, phân phối xác suất gán một con số cho mỗi kết quả.
And those numbers have certain properties like they're positive, they sum to 1. OK. So here, 50-50, that's a uniform probability over the outcomes hot and cold. Here is weather, right?
Và các con số đó có những tính chất nhất định, như không âm và có tổng bằng 1. OK. Ở đây là 50-50, đó là phân phối xác suất đều trên các kết quả nóng và lạnh. Đây là thời tiết, đúng không?
This is not — it's still discrete, but it's not binary anymore. So this one says sun has probability 0.6. Rain has probably 0.1. Fog has probability 0.3.
Nó vẫn rời rạc, nhưng không còn là nhị phân. Ở đây nắng có xác suất 0,6. Mưa có xác suất 0,1. Sương mù có xác suất 0,3.
And there is an outcome meteor that has probability 0. OK.
Và có kết quả thiên thạch với xác suất 0. OK.
To give you a sense of what a probability distribution over four values looks like, there is actually a — this is a well-formed probability distribution, but it's actually a big no-no to put 0s in your probability distribution.
Để các bạn hình dung phân phối xác suất trên bốn giá trị trông thế nào, đây là một phân phối xác suất hợp lệ, nhưng thực ra rất không nên đặt số 0 vào phân phối xác suất.
So I probably wouldn't do this if I was building a real robot weather crisis model or something. I would probably replace that with something like some appropriate small number.
Nên có lẽ tôi sẽ không làm vậy nếu xây một mô hình thời tiết thật cho robot hay gì đó. Tôi sẽ thay nó bằng một số nhỏ thích hợp.
Because once you put a 0 in your probabilities, all kinds of weird stuff can happen.
Vì một khi bạn đặt số 0 vào xác suất, đủ thứ chuyện kỳ lạ có thể xảy ra.
And what you generally want to say is, well, that's very unlikely, but should evidence come in to my observations that is consistent with that outcome and not with the others, I eventually want to conclude it anyway.
Điều ta thường muốn nói là, kết quả đó rất khó xảy ra, nhưng nếu có bằng chứng trong quan sát phù hợp với kết quả đó mà không phù hợp với các kết quả khác, cuối cùng tôi vẫn muốn kết luận như vậy.
So you only put 0 in for things that can never, never, never, never, under any kind of evidence, happen. For the slides, it's nice to have 0s.
Nên chỉ đặt 0 cho những thứ không bao giờ, không bao giờ xảy ra, dù có bằng chứng nào. Trên slide thì có số 0 cho đẹp.
But that's a big no-no in real models. All right. So unobserved random variables have distributions. So they look like this.
Nhưng với mô hình thật thì tuyệt đối không nên. Được rồi. Các biến ngẫu nhiên chưa quan sát có phân phối. Trông như thế này.
A distribution is a table of these values. So when we talk about a distribution, that's a table. When I write a distribution, I like to write something like P of capital W.
Một phân phối là một bảng các giá trị. Nên khi nói về một phân phối, đó là một bảng. Khi viết một phân phối, tôi thích viết như P của W viết hoa.
When I see a capital, that means — it's like an array. I have a value for every value in the domain of that random variable.
Khi thấy chữ hoa, nghĩa là nó giống như một mảng. Tôi có một giá trị cho mỗi giá trị trong miền của biến ngẫu nhiên đó.
When I write something like P of W equals rain, that's not an array anymore. That's now a single scalar value. So a probability is a single number.
Khi viết như P của W bằng rain, thì đó không còn là mảng nữa. Giờ đó là một giá trị vô hướng duy nhất. Vậy một xác suất là một con số duy nhất.
So, in this case, P of W is this whole table.
Trong trường hợp này, P của W là cả cái bảng này.
P of W equals rain is this one entry in that table and therefore is associated with a scalar rather than a table, or vector, or matrix, or whatever of numbers.
P của W bằng rain là một ô trong bảng đó nên gắn với một số vô hướng chứ không phải một bảng, vectơ, hay ma trận các con số.
All right. The properties, in order to be a legal licensed probability distribution, all the entries have to be positive, and they have to sum to 1.
Được rồi. Để là một phân phối xác suất hợp lệ, mọi phần tử phải không âm, và tổng của chúng phải bằng 1.
0 is allowed but usually a bad idea in practice. And we'll talk about why later. All right — oops — let's erase this first.
Giá trị 0 được phép nhưng trong thực tế thường là ý tồi. Lát nữa ta sẽ nói tại sao. Được rồi, ối, xóa cái này trước đã.
We have a shorthand notation — don't let it confuse you — which is that we often drop the variable equals when it's unambiguous.
Ta có một ký hiệu viết tắt, đừng để nó làm các em rối, đó là ta thường bỏ phần "biến bằng" khi không gây mơ hồ.
So of T is the only thing that can be hot, we'll sometimes write something like P of hot or P of cold if T is the only thing that can be cold.
Vì T chỉ có thể là hot, nên đôi khi ta viết P của hot hoặc P của cold nếu T chỉ có thể là cold.
But if there are multiple variables that can be hot or cold or true or false, we have to write the variable names as well.
Nhưng nếu có nhiều biến có thể là hot hay cold, hoặc true hay false, thì ta phải viết cả tên biến.
That's why we have that other notation before where we might write P of plus R to indicate variable R has the value true.
Vì vậy mới có ký hiệu kia lúc trước, ta có thể viết P của plus R để chỉ rằng biến R có giá trị true.
This only works if domain entries are unique, which we'll try to do for examples. All right. Joint distributions — joint distributions are the heart of probabilistic models.
Cách này chỉ dùng được khi các giá trị miền là duy nhất, và ta sẽ cố làm vậy trong các ví dụ. Được rồi. Phân phối đồng thời, là trái tim của các mô hình xác suất.
They have all the information about the domain, about all the variables, about all the interactions between the variables. But they're very big.
Chúng chứa toàn bộ thông tin về miền, về mọi biến, về mọi tương tác giữa các biến. Nhưng chúng rất lớn.
So we avoid actually computing them in their full glory whenever we can. They're sort of like search spaces. They're too big to actually write down.
Nên ta tránh tính toàn bộ chúng bất cứ khi nào có thể. Chúng giống như không gian tìm kiếm. Quá lớn để viết ra hết.
But if you use them in the right way, you can sort of do anything you need to in a probabilistic mode.
Nhưng nếu dùng đúng cách, ta có thể làm mọi thứ cần thiết trong một mô hình xác suất.
So a joint distribution over a set of random variables — it could be 1, or it could be 2, or could be N — specifies a real number — the probability — for every assignment.
Một phân phối đồng thời trên một tập biến ngẫu nhiên, có thể là 1, 2 hoặc N biến, xác định một số thực, là xác suất, cho mỗi phép gán.
And assignment is just like it was in CSPs. It is an outcome for each value assigned to each variable. So we might write this as the long way, variable X1 has value lowercase x1.
Phép gán giống như trong CSP. Đó là một kết quả với mỗi biến được gán một giá trị. Ta có thể viết dài dòng: biến X1 có giá trị x1 viết thường, biến X2 có giá trị x2 viết thường.
Variable X2 has value lowercase x2. But much more often, we use the shorthand. So this probability over these N variables is one number.
Nhưng thường ta dùng ký hiệu viết tắt. Xác suất trên N biến này là một con số.
If I put capital letters there, it's a big N dimensional array that has a number for each outcome.
Nếu viết chữ hoa, đó là một mảng N chiều lớn có một số cho mỗi kết quả.
So here is the joint probability over the variable T for temperature — which is binary here in this model — and W for weather, which is also binary.
Đây là xác suất đồng thời của biến T là nhiệt độ, nhị phân trong mô hình này, và W là thời tiết, cũng nhị phân.
And so their joint probability has the outcomes hot sun, hot rain, cold sun, cold rain. This should feel like a truth table.
Xác suất đồng thời có các kết quả hot sun, hot rain, cold sun, cold rain. Nó giống bảng chân trị.
It's the same thing, except now there's a probability assigned for each of those. From this, I can now answer any question you want about temperature and whether in this model.
Giống hệt, chỉ khác là giờ mỗi dòng có một xác suất. Từ đây, ta trả lời được mọi câu hỏi về nhiệt độ và thời tiết trong mô hình này.
I can answer questions like, how often is it sunny? Well, it's hot and sunny 0.4 of the time, and it's cold and sunny 0.2 of the time. So how often is it sunny?
Ví dụ, trời nắng thường xuyên đến mức nào? Hot và sunny chiếm 0.4, còn cold và sunny chiếm 0.2. Vậy trời nắng bao nhiêu?
0.6. I can go to this table and compute any derived quantity I want. This joint distribution has to obey some rules, but they're pretty lax.
0.6. Từ bảng này ta tính được bất kỳ đại lượng dẫn xuất nào. Phân phối đồng thời này phải tuân theo vài quy tắc, nhưng khá lỏng.
The rules are just positive numbers and sum to 1.
Quy tắc chỉ là số không âm và tổng bằng 1.
The actual numbers in which numbers are bigger than others specify what's likely, what correlations exist between the variables, what the probabilistic dependencies are, and will become much more important when we start breaking these tables up into graphical models.
Các giá trị cụ thể, số nào lớn hơn số nào, cho biết điều gì có khả năng xảy ra, giữa các biến có tương quan nào, phụ thuộc xác suất ra sao, và sẽ quan trọng hơn nhiều khi ta tách các bảng này thành mô hình đồ thị.
Problem with joint distributions — on one hand, they're your key to answering any question about a domain you can ask — probability of this given that, and so on — is their size.
Vấn đề của phân phối đồng thời, một mặt chúng là chìa khóa để trả lời mọi câu hỏi về một miền, xác suất của cái này khi biết cái kia, v.v., là kích thước của chúng. Giả sử có các biến như ở trên.
So let's say you have variables like up here. And each one has a domain of size D. How big will this table be? Any guesses?
Giả sử có các biến như ở trên. Mỗi biến có miền kích thước D. Bảng này sẽ lớn cỡ nào? Ai đoán thử?
STUDENT
ND.
ND.
PROFESSOR
ND. We have ND as a guess. Anything else? I heard D to the N. Anything else?
ND. Có một dự đoán là ND. Còn gì nữa không? Tôi nghe có D mũ N. Còn gì nữa không?
Well, let's think about it. What does this table do? So I've got each of these variables — one variable, X1, X2, X3, X4. And for every assignment to that sequence, I get a number.
Ta cùng nghĩ xem. Bảng này làm gì? Ta có các biến này, X1, X2, X3, X4. Với mỗi phép gán cho dãy đó, ta có một số.
So as that sequence gets one more element — let's say it gets another true-false element at the end — how many more numbers do I need?
Khi dãy thêm một phần tử, ví dụ thêm một phần tử true-false ở cuối, ta cần thêm bao nhiêu số?
Twice as many, because I have all the values where it's true. And I have all the values where it's false. So this is going to be exponential.
Gấp đôi, vì có các giá trị khi nó true và các giá trị khi nó false. Vậy nó sẽ tăng theo hàm mũ.
You have one number for each variables assignment. And that means that it's going to be exponential in the number of variables.
Mỗi phép gán biến có một số. Nghĩa là nó sẽ tăng theo hàm mũ theo số biến.
That's usually your sign that something is going to get very expensive and very bad. So for any real model that has — real graphical models can easily have thousands of variables.
Đó thường là dấu hiệu cho thấy mọi thứ sẽ rất tốn kém và rất tệ. Với mô hình thực tế, các mô hình đồ thị thực tế dễ dàng có hàng nghìn biến.
You can never write this joint distribution in the same way that you can never write out the whole search space.
Ta không bao giờ viết ra được phân phối đồng thời này, cũng như không bao giờ viết ra hết không gian tìm kiếm.
But that didn't matter to us back in Search, because we only needed, sort of, the part of the search space we found during our search process.
Nhưng hồi học Search điều đó không quan trọng, vì ta chỉ cần phần không gian tìm kiếm mà ta tìm thấy trong quá trình tìm kiếm.
We started at the top, and we were selective about creating and instantiating the search.
Ta bắt đầu từ đỉnh, và có chọn lọc khi tạo và khởi tạo cây tìm kiếm.
It's going to work a little differently here, but as we get more tools over the next several lectures, we're going to be very careful to not build the whole joint distribution.
Ở đây sẽ hơi khác một chút, nhưng khi có thêm công cụ qua vài bài giảng tới, ta sẽ rất cẩn thận để không xây toàn bộ phân phối đồng thời.
We'll only build the corners we need in a, sort of, on-the-fly, in-demand way.
Ta chỉ xây những góc cần thiết, theo kiểu tính ngay khi cần.
But today, we're going to do the gory, expensive, brute force thing so that we can make sure we understand all the concepts there. So joint distributions get very big very quickly.
Nhưng hôm nay, chúng ta sẽ làm theo cách vụng về, tốn kém, brute force để đảm bảo chúng ta hiểu rõ tất cả các khái niệm. Phân phối đồng thời tăng rất nhanh về kích thước.
OK. Probabilistic models — what is a probabilistic model? Well, it's just a joint distribution. That's it.
Được rồi. Mô hình xác suất — mô hình xác suất là gì? Thực ra nó chỉ là một phân phối đồng thời. Vậy thôi.
A probabilistic model is a joint distribution over some random variables. They're going to have random variables which have their domains.
Mô hình xác suất là một phân phối đồng thời trên một số biến ngẫu nhiên. Chúng ta có các biến ngẫu nhiên với các miền giá trị của chúng.
The assignments here are called outcomes, and the joint distributions say not whether they're possible like in a CSP, but whether they're likely.
Các phép gán ở đây gọi là các kết cục (outcome), và phân phối đồng thời cho biết không phải chúng có khả thi hay không như trong CSP, mà là chúng có khả năng xảy ra hay không.
So this probabilistic model over temperature whether says that hot and sun together is reasonably common, but hot and rain together isn't very common.
Mô hình xác suất này trên nhiệt độ và thời tiết cho biết nóng và nắng cùng lúc khá phổ biến, còn nóng và mưa cùng lúc thì không phổ biến lắm.
These probability models are normalized. You're going to see this word a lot. Normalized means when you add everything up, you get 1. It's one of the properties you need to be a legal distribution.
Các mô hình xác suất này được chuẩn hóa. Các em sẽ gặp từ này rất nhiều. Chuẩn hóa nghĩa là cộng tất cả lại thì được 1. Đó là một trong các tính chất cần có để là một phân phối hợp lệ.
And ideally, only certain variables directly interact.
Và lý tưởng là chỉ một số biến tương tác trực tiếp với nhau.
The thing that's going to be the foundation for our ability to do efficient inference over very big models is that the interactions are — not every variable connects to every other variable.
Nền tảng cho khả năng của chúng ta để suy luận hiệu quả trên các mô hình rất lớn là các tương tác này — không phải biến nào cũng nối với mọi biến khác.
For today, that won't matter. But that will be very important starting next lecture. This should look a lot like a CSP.
Hôm nay điều đó chưa quan trọng. Nhưng nó sẽ rất quan trọng từ bài giảng sau. Điều này trông rất giống một CSP.
So what's the difference between something like a distribution over T and W here with hot and sun and cold and rain versus a CSP over those same variables?
Vậy khác biệt giữa một phân phối trên T và W ở đây với nóng và nắng, lạnh và mưa, so với một CSP trên cùng các biến đó là gì?
They're actually very, very similar. The differences — a CSP can be thought of as a giant — specifying a giant truth table.
Thật ra chúng rất giống nhau. Khác biệt là — CSP có thể coi như định nghĩa một bảng chân trị khổng lồ.
For each assignment to all of the variables, it's either true, meaning it passes the CSP's constraints. Or it's false, meaning it's illegal according to the constraints. Now, we never wrote CSPs out like this.
Với mỗi phép gán cho tất cả các biến, nó là đúng, nghĩa là thỏa các ràng buộc của CSP. Hoặc là sai, nghĩa là bất hợp lệ theo các ràng buộc. Nhưng chúng ta chưa bao giờ viết CSP ra như thế này.
You would take those 300 countries and their colors, and you would write this giant exponential sized assignment to all of the colors to the map.
Các em sẽ lấy 300 quốc gia và các màu của chúng, rồi viết ra phép gán khổng lồ kích thước hàm mũ cho tất cả các màu của bản đồ.
And then you would write at the end, T or F. We didn't do that. We broke into little pieces that says, these two can't be the same, and these two can't be the same.
Rồi cuối cùng ghi T hoặc F. Chúng ta không làm vậy. Chúng ta chia thành các mảnh nhỏ, nói rằng hai nước này không được cùng màu, hai nước kia cũng không.
And we're going do the same thing with probabilistic models. We're going to say the probability of this variable depends on this variable in the following way. But, again, not today.
Và chúng ta sẽ làm điều tương tự với các mô hình xác suất. Chúng ta sẽ nói xác suất của biến này phụ thuộc vào biến kia theo cách sau. Nhưng, một lần nữa, không phải hôm nay.
Couple more basic definitions, and then we're going to start to derive interesting computations from these things. Events — an event is a set of outcomes.
Thêm vài định nghĩa cơ bản nữa, rồi chúng ta sẽ bắt đầu suy ra các phép tính thú vị từ những thứ này. Sự kiện — một sự kiện là một tập các kết cục.
Remember, an outcome is a complete assignment to all the variables. OK.
Nhớ rằng, một kết cục là một phép gán đầy đủ cho tất cả các biến. Được rồi.
So if I say the probability of some event, and there are multiple assignments that match that event, I have to add them up.
Nên nếu tôi nói xác suất của một sự kiện nào đó, và có nhiều phép gán khớp với sự kiện đó, tôi phải cộng chúng lại.
In general, when you collapse together probabilities, you talk about the sum of their probabilities, because you don't know the probability of anything in that bundle happening.
Nói chung, khi gộp các xác suất lại với nhau, ta nói về tổng các xác suất của chúng, vì ta không biết xác suất của việc một kết cục nào trong nhóm đó xảy ra.
So from the joint probability, we can calculate the probability of any event, many of which we don't care about.
Vậy từ xác suất đồng thời, ta có thể tính xác suất của bất kỳ sự kiện nào, nhiều cái trong đó ta không quan tâm.
But there is a certain class of events that we're going to care about all the time that we'll get into in a second here.
Nhưng có một lớp sự kiện mà ta sẽ luôn quan tâm, lát nữa ta sẽ đi vào.
So let's look at the probability that it's hot and sunny. Well, that's this row. So computing that event — it's a single outcome. I can look it up on the table.
Hãy xem xác suất trời nóng và nắng. Đó là dòng này. Vậy tính sự kiện này — nó là một kết cục đơn lẻ. Tôi có thể tra trong bảng.
But the probability that it's hot is not directly in this table. It has to be derived from this table.
Nhưng xác suất trời nóng không có trực tiếp trong bảng này. Nó phải được suy ra từ bảng này.
So I can take this table, and I can say, well, that row is a case where it's hot. But so is this row.
Tôi lấy bảng này và nói, dòng đó là trường hợp trời nóng. Nhưng dòng này cũng vậy. Nhưng dòng này cũng vậy.
And how do I get the total probability of hot under this model? I add them up. In this case, I would get 0.5. OK.
Và làm sao để có tổng xác suất của nóng trong mô hình này? Tôi cộng chúng lại. Trường hợp này tôi được 0.5. Được rồi.
This particular event where one of the columns mattered and the others didn't, this is a marginal. We'll talk about these in a second.
Sự kiện đặc biệt này, nơi một cột quan trọng còn các cột khác thì không, là một xác suất biên. Lát nữa ta sẽ nói về chúng.
But this is a common kind of event we think about — is a case where we care about some variables' values but not others. But we can do all kinds of stuff.
Đây là loại sự kiện thường gặp khi ta quan tâm giá trị của một số biến mà không quan tâm các biến khác. Nhưng ta có thể làm đủ thứ.
Like, we could do, instead of hot and sunny. That's a single outcome. Hot. That is a collection of outcomes there that ignore one of the variables.
Ví dụ, thay vì nóng và nắng. Đó là một kết cục đơn lẻ. Nóng. Đó là một tập các kết cục bỏ qua một trong các biến.
Or we can talk about hot or sunny. That's the top three rows of this table. And if I add up all their probabilities, I get 0.7. OK.
Hoặc ta có thể nói nóng hoặc nắng. Đó là ba dòng đầu của bảng này. Và cộng các xác suất của chúng, tôi được 0.7. Được rồi.
So as my events get bigger, their probability is going to grow. OK. Any questions on that?
Vậy khi sự kiện lớn hơn, xác suất của nó sẽ tăng lên. Được rồi. Có câu hỏi nào không?
Almost all the time in this class, the events you care about are partial assignments.
Hầu như lúc nào trong môn này, các sự kiện các em quan tâm là các phép gán từng phần.
So something like T equals hot, or W equal sun, or T is hot, and W equals rain, and not these kind of "or" events, kind of a bunch of arbitrary things, or together.
Ví dụ T bằng nóng, hoặc W bằng nắng, hoặc T nóng và W bằng mưa, chứ không phải các sự kiện kiểu "hoặc", một đống thứ tùy ý được hợp lại.
We tend to not actually use those. All right, let's do a quiz. We're not going to do, like, a stop and discuss quiz.
Chúng ta thường không dùng những thứ đó. Được rồi, làm một câu đố nhé. Ta sẽ không dừng lại thảo luận như mọi khi.
We're just going to do a really quick eyeball the thing and give yourself a couple seconds.
Ta chỉ nhìn lướt qua thật nhanh thôi. và cho mình vài giây.
So what is the probability according to this probabilistic model, which is a joint distribution of X and Y? What's the probability of X and Y both being true, or plus X plus Y?
Vậy xác suất, theo mô hình xác suất này, vốn là phân phối đồng thời của X và Y, để X và Y cùng đúng, tức là +X +Y, là bao nhiêu? Tức là cả hai đều là dấu cộng.
0.2. We looked it up in the table. All right. What's the probability of plus X?
0,2. Ta tra trong bảng. Được rồi. Xác suất của +X là bao nhiêu?
0.5. You get that by adding up these two rows. Another way I can talk about this is I can say, those two rows are consistent with plus X.
0,5. Ta có được bằng cách cộng hai hàng này lại. Một cách nói khác là hai hàng đó nhất quán với +X.
We're going to use this term, consistent with probabilities, a lot. And you'll notice we talked about consistency in Search. That had to do with heuristics and a certain kind of triangle inequality.
Ta sẽ dùng thuật ngữ "nhất quán" với xác suất rất nhiều. Các em để ý, ta đã nói về tính nhất quán trong Search. Nó liên quan đến heuristic và một dạng bất đẳng thức tam giác.
We're talking about consistency in CSPs, and that means something entirely differently. This is going to mean something entirely different here. We talk about consistent with probabilities.
Ta cũng nói về nhất quán trong CSP, và nó mang nghĩa hoàn toàn khác. Ở đây nó cũng có nghĩa hoàn toàn khác. Ta nói "nhất quán với" trong xác suất.
We're talking about matching variable values that are known. So the rows here in red are the ones that are consistent with plus X, meaning they match that partial assignment.
Ý là khớp với các giá trị biến đã biết. Các hàng màu đỏ ở đây là những hàng nhất quán với +X, nghĩa là chúng khớp với phép gán một phần đó.
All right. So I could also talk about the event minus Y or plus X. What would that be? It's also this. That's 0.6.
Được rồi. Ta cũng có thể nói về sự kiện -Y hoặc +X. Đó là gì? Cũng là phần này. Là 0,6.
OK, great. Marginal distributions — a marginal distribution is one of the harder names to remember.
Tốt lắm. Phân phối biên: phân phối biên là một trong những cái tên khó nhớ nhất.
They're called marginal distributions because they used to publish certain kinds of distributions that have two variables as a two-dimensional table. And they would sum up for you the rows and the columns.
Gọi là phân phối biên vì ngày xưa người ta xuất bản một số loại phân phối có hai biến dưới dạng bảng hai chiều. Và họ cộng tổng các hàng và các cột.
And when you have a two-dimensional table and you sum up all of the rows, those sums would go at the end in the margins. That's where that derives from.
Khi có bảng hai chiều và cộng tất cả các hàng, các tổng đó được ghi ở cuối, ngoài lề. Tên gọi bắt nguồn từ đó.
So a marginal distribution is a subtable. So if I take a probability — if I take a joint distribution, it says for every combination of multiple variables what their probability is.
Vậy phân phối biên là một bảng con. Nếu ta có một phân phối đồng thời, nó cho biết với mọi tổ hợp của nhiều biến thì xác suất là bao nhiêu.
A marginal distribution is a smaller table in which some of the variables have been eliminated. When you eliminate variables, rows collapse together. Like if I eliminate W here, hot sun and hot rain collide.
Phân phối biên là một bảng nhỏ hơn trong đó một số biến đã bị loại bỏ. Khi loại biến, các hàng gộp lại với nhau. Ví dụ loại W ở đây, nóng-nắng và nóng-mưa trùng nhau.
They're both P of T equals hot. When things collide, you add them together. That process is called marginalization, or summing out.
Cả hai đều là P(T = hot). Khi chúng trùng nhau, ta cộng lại. Quá trình đó gọi là marginalization, hay lấy tổng (summing out).
So for P of T — I can take P of T. I can derive it from P of T comma S by summing out all values of S for the given value of T I care about.
Vậy với P(T) ta suy ra P(T) từ P(T, S) bằng cách lấy tổng theo mọi giá trị của S, với giá trị T mà ta quan tâm.
So if I want probability of T equals hot, I add up probability of hot sun and hot rain. That is this equation.
Nếu muốn xác suất T = hot, ta cộng xác suất nóng-nắng và nóng-mưa. Đó chính là công thức này.
So connect to this equation with that idea that you've already done intuitively. It's summing out the dimension S, which here is the variable W.
Hãy nối công thức này với ý tưởng mà các em đã làm theo trực giác. Đó là lấy tổng theo chiều S, ở đây là biến W.
Of course, there's also another marginal of this table. The strength distribution also has a marginal probability over W, which gives the probability of sun and rain with the temperature marginalized out.
Tất nhiên bảng này còn một phân phối biên khác. Phân phối đồng thời cũng có xác suất biên theo W, cho xác suất nắng và mưa khi đã loại biến nhiệt độ.
OK. So from the joint distribution, you can derive the marginals. You think it works the other way? It will be a puzzle for next time.
OK. Từ phân phối đồng thời, ta suy ra được các phân phối biên. Các em nghĩ chiều ngược lại có được không? Đó sẽ là câu đố cho buổi sau.
It's certainly the case that if I give you the thing on the left, you can derive the thing on the right. But it's actually tricking you to go the other direction.
Chắc chắn là nếu tôi cho các em cái bên trái, các em suy ra được cái bên phải. Nhưng đi theo chiều ngược lại thì dễ bị đánh lừa.
There's a problem with that. We'll talk about that next lecture. OK. All right.
Có một vấn đề ở đó. Ta sẽ nói về nó ở bài sau. OK. Được rồi.
Let's do a quiz on this marginal distributions. Here is a marginal distribution over X and Y, which both take on the plus and minus value. That's their joint distribution.
Làm một câu đố về phân phối biên. Đây là phân phối đồng thời của X và Y, cả hai đều nhận giá trị cộng và trừ. Đó là phân phối đồng thời của chúng.
So for their joint values, we have the probabilities. I'm going to compute a marginal analysis. So let's compute the part marginal over P of X.
Với các giá trị chung, ta có các xác suất. Tôi sẽ tính một phân phối biên. Hãy tính phân phối biên P(X).
Well, it's got entries for every value of X, but ignoring the distinction in Y. So for P of plus X, I look at the consistent rows in the joint distribution, which here the top two.
Nó có một mục cho mỗi giá trị của X, nhưng bỏ qua sự khác biệt của Y. Với P(+X), tôi xem các hàng nhất quán trong phân phối đồng thời, ở đây là hai hàng trên.
I add them together. This is called summing out for that reason. And what do I get? I get the 0.5.
Tôi cộng chúng lại. Vì thế gọi là lấy tổng. Và tôi được gì? Được 0,5.
That was this row and this row are consistent with plus X. I add them together. I get plus 5. Now, I could do minus X. I could do it the same way algorithmically.
Hàng này và hàng này nhất quán với + X. Tôi cộng lại. Được 0,5. Giờ với -X, tôi làm theo cùng cách như một thuật toán.
I could take all of the rows in the joint — which are consistent, meaning matching — plus X. That's the bottom two. And I could add them together.
Lấy tất cả các hàng trong phân phối đồng thời nhất quán, tức khớp, với -X. Đó là hai hàng dưới. Và tôi cộng chúng lại.
And what would I get? 0.5. Or I could do it the sneaky way, and I could just take 1 minus what I've already gotten, because I know they had 1.
Được bao nhiêu? 0,5. Hoặc làm cách mẹo: lấy 1 trừ đi kết quả đã có, vì ta biết tổng bằng 1.
All right. With P of Y? Stare at it for a second. Think about it in your head.
Được rồi. Còn P(Y)? Nhìn một lúc. Nghĩ trong đầu.
What's P of Y? 0.6. And P of minus Y? 0.4.
P(Y) là bao nhiêu? 0,6. Và P(-Y)? 0,4.
OK, great. That is creating a marginal distribution from a joint distribution. Now, in this case, the joint distribution had two variables with a two-dimensional object. And I created one-dimensional objects.
Tốt lắm. Đó là cách tạo một phân phối biên. từ một phân phối đồng thời. Trong trường hợp này, phân phối đồng thời có hai biến, là một đối tượng hai chiều. Và tôi tạo ra các đối tượng một chiều.
The joint distribution might have 100 variables, and I create a marginal distribution over just 1 of them. I have do a whole lot of summing things.
Phân phối đồng thời có thể có 100 biến, và tôi tạo phân phối biên chỉ trên 1 biến trong số đó. Tôi phải cộng rất nhiều thứ.
Or I could create a marginal distribution over 99 of those 100 things. And the table is still big, but less big.
Hoặc tôi có thể tạo phân phối biên trên 99 trong số 100 biến đó. Bảng vẫn lớn, nhưng nhỏ hơn.
So any subtable, whether it's the smallest, or nearly the entire thing, or even, technically, the whole thing, can be called a marginal distribution. OK. Questions on that?
Vậy bất kỳ bảng con nào, dù nhỏ nhất, hay gần bằng cả bảng, hay thậm chí về mặt kỹ thuật là cả bảng, đều có thể gọi là phân phối biên. Được rồi. Có câu hỏi nào không?
Now, we have the core concept in probabilistic reasoning, which is the computation of conditional probabilities. In and of themselves, conditional probabilities are pretty simple to state.
Giờ ta có khái niệm cốt lõi của suy luận xác suất, đó là việc tính xác suất có điều kiện. Bản thân xác suất có điều kiện khá đơn giản để phát biểu.
The conditional probability of some event A given some other event B. So, in general, you've got some universe of outcomes. You've got the region here — you can see on this Venn diagram.
Xác suất có điều kiện của một biến cố A khi biết một biến cố B khác. Nói chung, bạn có một không gian các kết quả. Bạn có vùng này, thấy trên biểu đồ Venn.
What do we know? We know that B has happened. That means we are in this circle here.
Ta biết gì? Ta biết B đã xảy ra. Nghĩa là ta đang ở trong hình tròn này.
And what we'd like to know is, how likely is it that A also happens given that B happened?
Và điều ta muốn biết là khả năng A cũng xảy ra là bao nhiêu khi B đã xảy ra?
So, graphically, that's how likely is it that we're in this purple part in the middle given that we are in the red. OK.
Về mặt hình học, đó là khả năng ta nằm trong phần màu tím ở giữa khi biết ta đang ở trong vùng đỏ. Được rồi.
Mathematically, how do we compute that the definition of a conditional probability is the ratio of the joint probability? A and B divided by the probability of B.
Về mặt toán học, ta tính thế nào? Định nghĩa của xác suất có điều kiện là tỉ số của xác suất đồng thời A và B chia cho xác suất của B.
And you can think of this as, what proportion of the B outcomes are also A outcomes? OK. That's the definition of conditional probability.
Bạn có thể hiểu là: bao nhiêu phần của các kết quả B cũng là kết quả A? Được rồi. Đó là định nghĩa của xác suất có điều kiện.
So that's one of the rules we're going to have when we start having to compute things is this definition that we can compute — conditional probabilities, A given B, from joint and marginal probabilities.
Vậy đây là một trong những quy tắc ta sẽ dùng khi bắt đầu phải tính toán: định nghĩa này cho phép ta tính xác suất có điều kiện A cho trước B từ xác suất đồng thời và xác suất biên.
A comma B, And just B. OK. Let's do some. So here is T and W again. We can compute things like, what is the probability of sunny given that is cold.
A phẩy B, và chỉ B. Được rồi. Ta làm vài ví dụ. Đây lại là T và W. Ta có thể tính, chẳng hạn, xác suất trời nắng khi trời lạnh.
Well, we remember the definition first. We can do this the long way first.
Trước hết nhớ lại định nghĩa. Trước tiên ta làm theo cách dài.
So first, it will be the probability of sunny and cold divided by the total probability of the conditioning event, which is C, which is cold.
Đầu tiên, đó là xác suất nắng và lạnh chia cho tổng xác suất của biến cố điều kiện, là C, tức là lạnh.
And the numerator, P of S comma C is sitting in this table, probability of cold and sun. So that's 0.2. And the denominator is not sitting in this table.
Và tử số, P của S phẩy C, nằm ngay trong bảng này, xác suất lạnh và nắng. Vậy là 0.2. Còn mẫu số thì không nằm trong bảng này.
But I can derive it. What's the total probability of cold here? It's 0.5. But notice it's also 0.2 plus 0.3.
Nhưng tôi có thể suy ra. Tổng xác suất của lạnh ở đây là bao nhiêu? Là 0.5. Nhưng để ý nó cũng bằng 0.2 cộng 0.3.
OK, what does that mean? Notice the numerator is part of the denominator. The denominator consists of cold and sun but also cold and rain.
Điều đó nghĩa là gì? Để ý tử số là một phần của mẫu số. Mẫu số gồm lạnh và nắng, nhưng cũng cả lạnh và mưa.
And this is going to be something that's important for some of the algorithms that come up. I'll show you more examples of it as we go. OK. So there is the competition there.
Và điều này sẽ quan trọng với một số thuật toán sắp tới. Tôi sẽ cho các bạn xem thêm ví dụ sau. Được rồi. Vậy đó là phép tính ở đây.
OK. Quick quiz on conditional probabilities. Let's do probability of A plus X given plus Y. And for this one, the first thing we'll do is remember the definition.
Được rồi. Bài kiểm tra nhanh về xác suất có điều kiện. Tính xác suất của +X khi +Y. Với bài này, việc đầu tiên là nhớ lại định nghĩa.
That's the probability of A plus X and plus Y divided by the total probability of A plus Y.
Đó là xác suất của +X và +Y chia cho tổng xác suất của +Y.
So what's the numerator? Plus X and plus Y? It's 0.2. Plus X — total probability of plus Y is 0.6.
Vậy tử số là bao nhiêu? +X và +Y? Là 0.2. Tổng xác suất của +Y là 0.6.
And that's going to be 1/3. All right. I'll let you do the next one yourselves. Probability of minus X given plus Y?
Và kết quả là 1/3. Được rồi. Câu tiếp theo các bạn tự làm. Xác suất của -X khi +Y?
All right. Who's got an answer in their head? OK. I'm going to do it.
Được rồi. Ai có đáp án trong đầu rồi? Được rồi. Tôi sẽ làm.
I'm going to do the whole thing. This is probability of minus X and plus Y divided by the total probability of plus Y.
Tôi sẽ làm toàn bộ. Đây là xác suất của -X và +Y chia cho tổng xác suất của +Y.
Minus X plus Y is this row here. So that's 0.4. The total probability of A plus Y is that row along with that row.
-X và +Y là hàng này. Vậy là 0.4. Tổng xác suất của +Y là hàng này cộng với hàng kia.
Those are the two rows which are consistent with plus Y. And so together, they're 0.6. That means 2/3.
Đó là hai hàng phù hợp với +Y. Cộng lại là 0.6. Nghĩa là 2/3.
And you could have also gotten that sneakily by noticing that this is everything other than the 1/3 we just computed. All right. I'll let you guys do the last one yourselves.
Bạn cũng có thể có được kết quả đó một cách khéo léo bằng cách để ý nó là phần còn lại ngoài 1/3 ta vừa tính. Được rồi. Câu cuối các bạn tự làm nhé.
OK. So this is the point where you start getting like, yes, I understood all the pieces. But, actually, I'm having to access them all in all kinds of combinations really fast.
Được rồi. Đây là lúc bạn bắt đầu thấy kiểu: vâng, tôi hiểu từng phần. Nhưng thực ra tôi phải truy cập tất cả chúng theo đủ kiểu kết hợp rất nhanh.
It is really good to practice this stuff, because it does have to get mechanical. All right. In addition to conditional probabilities, which so far have been numbers, there are conditional distributions.
Rất nên luyện tập phần này, vì nó phải trở thành phản xạ máy móc. Được rồi. Ngoài xác suất có điều kiện, mà cho đến giờ là các con số, còn có phân phối có điều kiện.
Like any other distribution, they are a vector of numbers that describe a probability of various outcomes that sum to 1. Except these outcomes are conditioned on an event.
Như mọi phân phối khác, chúng là một vectơ các số mô tả xác suất của các kết quả khác nhau, có tổng bằng 1. Chỉ khác là các kết quả này có điều kiện theo một biến cố.
OK. So here's a joint distribution. This is that same distribution over the hot and cold variable T and the sun and rain variable W. And we can compute various things.
Được rồi. Đây là một phân phối đồng thời. Vẫn là phân phối đó trên biến nóng/lạnh T và biến nắng/mưa W. Và ta có thể tính nhiều thứ.
For example, we can compute the probability distribution over W given the evidence T equals hot. Where did we get this? Well, first of all, what does this mean?
Ví dụ, ta có thể tính phân phối xác suất của W khi biết bằng chứng T bằng hot. Ta lấy cái này từ đâu? Trước hết, cái này nghĩa là gì?
Because there's a capital letter here, this will be a distribution over W. And you see a capital letter, you think, at a data structure level, this thing is an array in that dimension.
Vì ở đây có chữ in hoa, nên đây sẽ là một phân phối trên W. Khi thấy chữ in hoa, ở mức cấu trúc dữ liệu, bạn nghĩ đây là một mảng theo chiều đó.
So when I see P of capital W, this is an array over all of the values W can take. So it's going to be an entry for sun and an entry for rain.
Nên khi tôi thấy P của W viết hoa, đó là một mảng trên mọi giá trị mà W có thể nhận. Vậy sẽ có một phần tử cho sun và một cho rain.
Each one of them is going to be P of sun given hot and P of rain given hot. OK. Let's compute one of them. Let's compute P of sun given hot.
Mỗi phần tử sẽ là P của sun cho hot và P của rain cho hot. OK. Ta tính thử một giá trị. Tính P của sun cho hot.
That's equal to P of sun and hot divided by the total probability of hot. And that is P of sun and hot is 0.4.
Nó bằng P của sun và hot chia cho tổng xác suất của hot. P của sun và hot là 0,4.
Total probability of hot, 0.5. And you can see that 8 is sitting there in that slot. You can compute the other one as 0.2. But there are other conditional distributions.
Tổng xác suất của hot là 0,5. Và bạn thấy số 8 nằm ngay ô đó. Giá trị còn lại tính ra là 0,2. Nhưng còn các phân phối có điều kiện khác.
There's also a distribution over P of W given T equals cold.
Còn có phân phối P của W cho T bằng cold.
And there's at least one other thing you could talk about here, which is the marginal probability of P of W. So let's compute that. P of W, this is a distribution.
Và còn ít nhất một thứ khác ta có thể nói đến ở đây, đó là xác suất biên P của W. Ta tính nó. P của W là một phân phối.
It has a value. Remember it's a vector for W. It has a value for sun and has a value for rain. And what's the total probability of sun here?
Nó có giá trị. Nhớ rằng nó là vectơ theo W. Nó có giá trị cho sun và giá trị cho rain. Tổng xác suất của sun ở đây là bao nhiêu?
0.6. Total probability of rain, 0.4.
0,6. Tổng xác suất của rain là 0,4.
And so I can look at this and I can say, all right, before I had any evidence — if you had said, hey, what's the probability of sun today?
Và nhìn vào đây, tôi có thể nói: trước khi có bằng chứng nào, nếu bạn hỏi xác suất hôm nay nắng là bao nhiêu?
I would have said 0.6. But if you tell me it's hot, that belief that posterior probability condition on the evidence goes up to 0.8. That sort of makes intuitive sense.
Tôi sẽ trả lời 0,6. Nhưng nếu bạn nói trời nóng, thì niềm tin là xác suất hậu nghiệm có điều kiện theo bằng chứng tăng lên 0,8. Điều đó khá hợp trực giác.
So maybe this joint model isn't totally crazy. But if I tell you it's cold now, the probability of sun drops from 0.6 to 0.4.
Vậy mô hình đồng thời này có lẽ không quá tệ. Nhưng nếu giờ tôi nói trời lạnh, xác suất nắng giảm từ 0,6 xuống 0,4.
So what I'm starting to get is I'm starting to get qualitative changes in variables of interest. Like, hey, what's the weather? That change as a function of the evidence I get.
Vậy ta bắt đầu thấy những thay đổi về mặt định tính của các biến mà ta quan tâm. Ví dụ, thời tiết thế nào? Nó thay đổi theo bằng chứng ta nhận được.
And where that changing probability is a function of the joint model, which specifies sort of everything and the evidence I get.
Và xác suất thay đổi đó là hàm của mô hình đồng thời, vốn xác định mọi thứ, và của bằng chứng ta nhận được.
And this is a lot of what we do with probabilistic models, is we build a giant model. And then we ask various questions. How does this evidence and this evidence tell me about this?
Phần lớn việc ta làm với mô hình xác suất là xây dựng một mô hình khổng lồ. Rồi ta đặt đủ loại câu hỏi. Bằng chứng này và bằng chứng kia cho ta biết gì về điều này?
I've got more evidence. How should my beliefs change? And that updating of beliefs in a well-founded way is a big part of what we're doing here. Any questions about conditional distributions?
Tôi có thêm bằng chứng. Niềm tin của tôi nên thay đổi thế nào? Và việc cập nhật niềm tin một cách có cơ sở như vậy là phần quan trọng của những gì ta làm ở đây. Có câu hỏi nào về phân phối có điều kiện không?
A conditional distribution is a distribution. So as a data structure, it looks like P of W. But semantically, it is conditioned on evidence. So it's not the same as the marginal.
Phân phối có điều kiện là một phân phối. Nên về cấu trúc dữ liệu, nó trông như P của W. Nhưng về ngữ nghĩa, nó có điều kiện theo bằng chứng. Nên nó không giống phân phối biên.
Let me stop and ask questions before you discover the normalization trick, which will serve you well.
Tôi dừng để nhận câu hỏi trước khi các bạn khám phá mẹo chuẩn hóa, một mẹo sẽ giúp ích cho bạn rất nhiều.
OK. So one thing you do a lot in probabilistic reasoning is you compute conditional probabilities. And in particular, you usually want the whole distribution.
OK. Một việc bạn làm rất nhiều trong suy luận xác suất là tính các xác suất có điều kiện. Và nhất là, thường bạn muốn cả phân phối.
Like you don't really care how likely is the ghost to be right here. Oh, 0.004. I don't know what to do with that.
Bạn không thực sự quan tâm con ma có khả năng nằm đúng ở đây bao nhiêu. Ồ, 0,004. Tôi không biết làm gì với con số đó.
But if you give me the whole distribution, I could do something like take the maximum and bust there. Or I could do a calculation, a utility calculation.
Nhưng nếu bạn cho tôi cả phân phối, tôi có thể lấy giá trị lớn nhất rồi bắn con ma ở đó. Hoặc tôi có thể tính toán, một phép tính độ hữu dụng.
Usually you want a conditional distribution over your query variable but given the specific settings of the evidence that you have. So a lot of your queries look like this.
Thường bạn muốn một phân phối có điều kiện trên biến truy vấn, nhưng với những giá trị cụ thể của bằng chứng mà bạn có. Nhiều truy vấn của bạn sẽ trông như thế này.
You have some joint distribution that has the variables you care about, and also the other variables, including your evidence.
Bạn có một phân phối đồng thời chứa các biến bạn quan tâm, và cả các biến khác, gồm cả bằng chứng.
And then you want something like — I want to know the probability of the various weather outcomes given that I've observed that the temperature is cold. All right.
Rồi bạn muốn một thứ như là: tôi muốn biết xác suất của các kết quả thời tiết khác nhau khi đã quan sát thấy nhiệt độ là cold. Được rồi.
Well, how do we compute that? Well, OK, so we could just — we could actually compute it. So, first of all, what's the thing going to look like?
Vậy ta tính nó thế nào? OK, ta có thể cứ tính trực tiếp. Trước hết, kết quả sẽ trông thế nào?
The thing's going to look like — it's a distribution over W. So there's going to be sun and then some number, and then rain and then some number.
Nó sẽ trông như thế này: là phân phối trên W. Sẽ có sun và một con số nào đó, rồi rain và một con số nào đó.
So as a data structure, it's going to be a distribution over W. How am I going to get each entry? Well, we did it before.
Vậy về cấu trúc dữ liệu, nó sẽ là một phân phối trên W. Làm sao tôi có từng phần tử? Ta đã làm rồi.
You kind of compute — you use the definition of conditional probability. And you say, all right, well, first I have to compute the top one, probability of sun given cold.
Bạn tính, tức là dùng định nghĩa xác suất có điều kiện. Và bạn nói: trước hết tôi phải tính phần tử trên cùng, xác suất sun cho cold.
What's that? I go back to my definition. Oh, that's the probability of sun and cold in proportion to the total probability of cold. And you say, well, the numerator was easy.
Nó là gì? Tôi quay lại định nghĩa. Ồ, đó là xác suất của sun và cold tỷ lệ với tổng xác suất của cold. Và bạn nói, tử số thì dễ.
It's sitting in the table. And for the denominator, I went and I added some things up. OK. So where is this on the table, sun and cold?
Nó nằm sẵn trong bảng. Còn mẫu số, tôi đã đi cộng vài thứ lại. OK. Vậy sun và cold nằm ở đâu trong bảng?
It's right there. OK. So what's that total probability of cold? OK.
Nó nằm ngay đây. Được rồi. Vậy xác suất tổng của cold là bao nhiêu? Được rồi.
Don't go into simple shock here. Look at what these entries actually are. This is sun and cold in the numerator. And the denominator is that and the other thing — rain and cold.
Đừng hoảng ở chỗ này. Hãy xem các ô này thực chất là gì. Tử số là sun và cold. Còn mẫu số là ô đó cộng với ô kia, tức rain và cold.
So then I go to the other entry in the table and I say — and there the numbers — I go to the entry on the other end of the table and say, OK, what's the probability entry for rain given cold?
Sau đó tôi sang ô còn lại trong bảng và nói, và ở đó các con số tôi sang ô ở đầu bên kia của bảng và hỏi, xác suất của rain khi biết cold là bao nhiêu?
Well, I pull up my definition of conditional probability, and I say that's the probability of rain and cold in proportion to the total probability of cold.
Ta lấy định nghĩa xác suất có điều kiện ra, đó là xác suất của rain và cold tính theo tỉ lệ với tổng xác suất của cold.
This is sort of like what I did up above when I expanded out. I see now it is a different entry of the joint distribution. So now, this is rain and cold.
Việc này giống như lúc nãy ở trên khi tôi khai triển. Giờ ta thấy đây là một ô khác của phân phối đồng thời. Vậy bây giờ đây là rain và cold.
OK. Rain and cold — that's this one — divided by the same thing. So that denominator is the same and still the total probability of cold.
Được rồi. Rain và cold, là ô này, chia cho cùng một đại lượng. Vậy mẫu số vẫn như cũ, vẫn là tổng xác suất của cold.
And, importantly, that denominator is just the sum of the two numerators. So that's a key thing whenever we do these conditional probability computations.
Và quan trọng là mẫu số đó chính là tổng của hai tử số. Đây là điểm mấu chốt mỗi khi ta tính xác suất có điều kiện.
We're always dividing by the total probability corresponding to the sum of all the different numerators. And that means we don't actually have to compute it.
Ta luôn chia cho tổng xác suất, tức là tổng của tất cả các tử số khác nhau. Nghĩa là thực ra ta không cần tính nó.
So the hard part about this computation is the denominators. You don't have to compute them. So the normalization trick looks — is like this. So ignore the other computation for now.
Phần khó của phép tính này là các mẫu số. Bạn không phải tính chúng. Vậy mẹo chuẩn hóa trông như thế này. Là như sau. Tạm bỏ qua phép tính kia.
Here's the algorithm for computing a conditional probability. You say, all right, I have a joint probability distribution. Great. Someone has asked me for a probability.
Đây là thuật toán để tính một xác suất có điều kiện. Giả sử tôi có một phân phối xác suất đồng thời. Tuyệt. Ai đó yêu cầu tôi tính một xác suất.
Like, somebody has asked me, hey, I would like you to compute for me the probability distribution over the variable W given T equals C.
Chẳng hạn, ai đó bảo tôi, hãy tính giúp tôi phân phối xác suất của biến W khi biết T bằng C.
So what you do rather than trying to think about each cell of that independently, we're going to think about this like a database or a table operation.
Thay vì nghĩ về từng ô một cách độc lập, ta sẽ xem đây như một phép toán trên cơ sở dữ liệu hay trên bảng. .
And this intuition will really help you when we get into building and doing inference over base nets and graphical models. So you're going to take your joint distribution.
Trực giác này sẽ giúp ích rất nhiều khi ta xây dựng và suy luận trên mạng Bayes và các mô hình đồ thị. Bạn lấy phân phối đồng thời của mình.
You're going to think of it as a big multi-dimensional array, or a database table. And what we're going to do is we're going to do various operations.
Hãy xem nó như một mảng nhiều chiều lớn, hoặc một bảng cơ sở dữ liệu. Và ta sẽ thực hiện một số phép toán.
The first operation we do is a select. We select the rows that are consistent with meaning. They match our evidence. So what's our evidence?
Phép đầu tiên là select (chọn). Ta chọn các hàng nhất quán, nghĩa là khớp với bằng chứng của ta. Vậy bằng chứng của ta là gì?
Our evidence is that the temperature is cold. So I object to those rows. They are not consistent with my evidence. So I'm left with only the rows that match my evidence.
Bằng chứng là nhiệt độ lạnh. Nên tôi loại những hàng này. Chúng không nhất quán với bằng chứng. Tôi chỉ còn lại các hàng khớp với bằng chứng.
Now, they still vary on W, but that's good. But they all match my evidence on T. So that select. You select the joint probabilities matching your evidence. And now I have a smaller table.
Chúng vẫn khác nhau theo W, nhưng không sao. Nhưng tất cả đều khớp bằng chứng về T. Đó là bước select. Bạn chọn các xác suất đồng thời khớp với bằng chứng của mình. Và giờ tôi có một bảng nhỏ hơn.
What did this original table add up to?
Bảng ban đầu có tổng bằng bao nhiêu?
It adds up to 1. It is a well-formed normalized probability distribution. When I selected some of the rows, what does that had up to now? Not 1.
Tổng bằng 1. Đó là một phân phối xác suất chuẩn hóa hợp lệ. Khi tôi chọn một số hàng, thì giờ tổng là bao nhiêu? Không phải 1.
Right. Because I just took some of the rows out. And the other stuff that just got adjusted was part of the summing up to 1.
Đúng. Vì tôi đã bỏ bớt một số hàng. Và phần còn lại vừa bị loại là một phần của tổng bằng 1.
So I look at this and I say, all right, well, it sort of looks like what I'm looking for.
Tôi nhìn vào và thấy nó khá giống thứ tôi cần.
It's sort of like a distribution over W for my evidence, except those not add up to 1 anymore.
Nó giống một phân phối trên W với bằng chứng của tôi, chỉ có điều tổng không còn bằng 1.
So what you do — you can write this thing as P. You can write a lowercase c, because it's no longer an array over that dimension, comma W.
Vậy bạn làm thế này. Bạn viết P, rồi c viết thường, vì nó không còn là mảng theo chiều đó nữa, phẩy W.
But then I normalize. I make the selection sum to 1. So the step is select the probabilities matching your evidence and then normalize. So when I normalize, what does that mean?
Rồi tôi chuẩn hóa. Tôi làm cho phần đã chọn có tổng bằng 1. Vậy các bước là chọn các xác suất khớp với bằng chứng, rồi chuẩn hóa. Chuẩn hóa nghĩa là gì?
How do I make it sum to 1? I don't go in and just change the numbers around sort of arbitrarily. I keep their proportions. But I divide them by their sum.
Làm sao để tổng bằng 1? Tôi không đổi các con số một cách tùy tiện. Tôi giữ nguyên tỉ lệ của chúng. Nhưng chia chúng cho tổng của chúng.
So in this case, I would divide them by their sum, which is that same quantity that kept showing up in the denominators.
Trong trường hợp này, tôi chia chúng cho tổng, chính là đại lượng cứ xuất hiện ở các mẫu số.
So mechanically, I've got a probability distribution popping out, because it sums to 1. And there's a value for sun and a value for rain.
Về mặt cơ học, ta có một phân phối xác suất hiện ra, vì tổng bằng 1. Có một giá trị cho sun và một giá trị cho rain.
How do I know it's the conditional probability over W given T equals C? Well, selecting got me the right numerators. And normalizing is going to get me the right denominators.
Làm sao biết đó là xác suất có điều kiện của W khi biết T bằng C? Bước chọn cho ta đúng các tử số. Và chuẩn hóa sẽ cho ta đúng các mẫu số.
Because if I think of these values — if I add them up — cold and sun plus cold and rain — well, that's just the total probability of cold.
Vì nếu xét các giá trị này, nếu cộng chúng lại, cold và sun cộng cold và rain, thì đó chính là tổng xác suất của cold.
And so the total there is going to be P of C, which is the denominator for the conditional probability I want. So to compute a conditional probability, select and normalize.
Nên tổng ở đó sẽ là P của C, là mẫu số của xác suất có điều kiện mà tôi muốn. Vậy để tính xác suất có điều kiện, hãy chọn rồi chuẩn hóa.
Any questions? Think about this like operations on a big table. You select rows. You normalize what's left.
Có câu hỏi nào không? Hãy nghĩ về nó như các phép toán trên một bảng lớn. Bạn chọn các hàng. Rồi chuẩn hóa những gì còn lại.
The algorithms for base nets are going to work like that.
Các thuật toán cho mạng Bayes sẽ hoạt động theo cách đó.
We just talked about that. OK. Now, we will compute the conditional probability over X. That means plus X and also minus X.
Chúng ta vừa nói về điều này. OK. Bây giờ ta sẽ tính phân phối có điều kiện trên X. Nghĩa là cả +x và -x.
The conditional probability over X given the evidence Y equals minus Y. So what do I do? First, I select some rows. What rows do I cross out?
Phân phối có điều kiện trên X khi biết bằng chứng Y bằng -y. Vậy tôi làm gì? Đầu tiên, tôi chọn một số hàng. Tôi gạch bỏ những hàng nào?
OK. Here's the first one. That one's toast. It Doesn't match my evidence minus Y. Third one doesn't match my evidence either.
OK. Đây là hàng đầu tiên. Hàng này bị loại. Nó không khớp với bằng chứng -y của tôi. Hàng thứ ba cũng không khớp với bằng chứng.
That one's toast. So we select — oops, I have to write them out. So you select, and you get plus X minus Y and 0.3.
Hàng đó cũng bị loại. Vậy ta chọn... ôi, tôi phải viết ra. Bạn chọn và được +x -y với 0,3.
And you get minus X minus Y 0.1. Hey, look. Everything that's left matches my evidence. Of course it does.
Và -x -y với 0,1. Này, nhìn xem. Mọi thứ còn lại đều khớp với bằng chứng. Dĩ nhiên rồi.
I ejected everything else. All right. So I've got the rows that match my evidence. And now I normalize.
Tôi đã loại hết phần còn lại. Được rồi. Vậy tôi có các hàng khớp với bằng chứng. Và giờ tôi chuẩn hóa.
What do they up to now? At present, they add up to 0.2, which actually turns out to be the probability of minus Y. So I'm going to normalize.
Hiện giờ tổng của chúng là bao nhiêu? Hiện tại tổng là 0,2, và thực ra đó chính là xác suất của -y. Vậy tôi chuẩn hóa.
And I get — for plus X — and for minus X — for plus X, I get 0.75. And for minus X, I get 0.25.
Và với +x, và với -x... với +x tôi được 0,75. Còn với -x tôi được 0,25.
And then if I draw some lines and write P of W over that, it's a distribution over W. But it's not the marginal distribution over W. It's the distribution over — sorry — X is the distribution over X OK.
Rồi nếu tôi kẻ vài đường và viết P của W ở trên, đó là một phân phối trên W. Nhưng nó không phải phân phối biên trên W. Xin lỗi, X mới đúng, là phân phối trên X. OK.
It's not the marginal distribution over X.
Nó không phải phân phối biên trên X.
It's the distribution over X given the evidence minus Y. There is also a distribution over X. It's a different distribution, and I'd find it in a different way.
Nó là phân phối trên X khi biết bằng chứng -y. Cũng có một phân phối trên X khác. Đó là phân phối khác, và ta tìm nó theo cách khác.
I'd do that one by collapsing all the rows that match on the x-coordinate. It would be a different computation.
Ta làm bằng cách gộp tất cả các hàng khớp nhau theo tọa độ x. Đó sẽ là một phép tính khác.
Let's do it. Let's do that one.
Ta làm thử. Làm cái đó nhé.
Let's compute P of X. That is also going to be a distribution over X, so it's going to be a number for plus X and a number for minus X, except this time I still extract it from the same starting position.
Hãy tính P của X. Đây cũng sẽ là một phân phối trên X, nên sẽ có một số cho +x và một số cho -x, chỉ khác là lần này tôi vẫn lấy từ cùng bảng ban đầu.
Pretend nothing's crossed out with red. OK. So start thinking in your head how you're going to do this.
Coi như chưa có gì bị gạch đỏ. OK. Hãy tự nghĩ trong đầu xem sẽ làm thế nào.
Well, for plus X, I have to add together or marginalize here. I have to add together all the values that match plus X. That's 0.2 plus 0.3. That's 0.5.
Với +x, tôi phải cộng lại, tức là lấy biên. Tôi phải cộng tất cả các giá trị khớp với +x. Đó là 0,2 cộng 0,3. Bằng 0,5.
And that means the other one is going to be 0.5 too. So this is a distribution over X.
Và điều đó có nghĩa giá trị còn lại cũng là 0,5. Đây là một phân phối trên X.
This is also a distribution over X. The one on the left is the marginal distribution of X, meaning no evidence.
Đây cũng là một phân phối trên X. Cái bên trái là phân phối biên của X, nghĩa là không có bằng chứng.
The one on the right is the conditional distribution of X given the evidence minus Y. There is also a conditional distribution of X given plus Y. You can find that one for yourself if you like practice.
Cái bên phải là phân phối có điều kiện của X khi biết bằng chứng -y. Cũng có phân phối có điều kiện của X khi biết +y. Các bạn có thể tự tìm cái đó nếu muốn luyện tập.
Any questions?
Có câu hỏi nào không?
All right. We're getting pretty close here. We talked about how to normalize. You might wonder where this name comes from.
Được rồi. Chúng ta sắp tới đích rồi. Ta đã nói về cách chuẩn hóa. Có thể bạn thắc mắc cái tên này từ đâu ra.
You can look up in the dictionary. It says, restore to normal condition. What is the happy, normal condition we are storing when we normalize a row of numbers?
Bạn có thể tra từ điển. Nó ghi: đưa về trạng thái bình thường. Vậy trạng thái bình thường, dễ chịu nào mà ta khôi phục khi chuẩn hóa một hàng số?
It's there. Sum to 1s. They sum to 1. We selected some rows.
Nó đây. Tổng bằng 1. Chúng có tổng bằng 1. Ta đã chọn một số hàng.
They don't seem to want anymore. They're freaking out. We normalize them. They're all happy again.
Hình như chúng không còn ổn nữa. Chúng hoảng loạn. Ta chuẩn hóa chúng. Chúng lại vui vẻ.
They sum to 1. They're a good probability distribution again. OK. So we talked about the procedure there.
Tổng bằng 1. Chúng lại là một phân phối xác suất tốt. OK. Vậy ta đã nói về quy trình đó.
OK. Let's take a two minute break, and then we'll talk about probabilistic inference in general.
OK. Giải lao hai phút, rồi ta sẽ nói về suy luận xác suất nói chung.
Well, we'll talk about what happens when you have much bigger things that have other variables in there that you don't want and also don't know.
Tức là ta sẽ nói về chuyện xảy ra khi có những bảng lớn hơn nhiều, chứa các biến khác mà ta không muốn và cũng không biết.
And then that's going to give us, basically, the overview of what we're going to then redo in the next few lectures in an efficient way. So, a two minute break.
Và điều đó sẽ cho ta cái nhìn tổng quan về những gì ta sẽ làm lại một cách hiệu quả trong vài bài giảng tới. Vậy, giải lao hai phút.
And then we'll continue with generalized probabilistic inference.
Rồi ta tiếp tục với suy luận xác suất tổng quát.
All right. Let's get started.
Được rồi. Bắt đầu nào.
We only have a couple of more pieces, and then aside from this minor issue of exponential costs in time-space and sample complexity for learning later, you actually have — you will have all the tools for probabilistic inference.
Ta chỉ còn vài phần nữa, và ngoài vấn đề nhỏ là chi phí hàm mũ về thời gian, không gian và độ phức tạp mẫu khi học sau này, thì bạn thực ra đã có đủ mọi công cụ cho suy luận xác suất. Vấn đề nhỏ đó thực ra lại rất lớn và sẽ chi phối phần lớn những gì ta làm trong vài bài giảng tới.
That minor thing is actually a major thing and will drive a lot of what we do for the next few lectures. But as a basic idea, we've been talking about probabilistic inference.
Nhưng về ý tưởng cơ bản, ta đang nói về suy luận xác suất.
Probabilistic inference is when you compute a probability you want. Like, hey, where's the ghost given my evidence? Or what's the probability of this heart condition given these evidence values?
Suy luận xác suất là khi bạn tính một xác suất mà bạn muốn. Ví dụ, con ma ở đâu khi biết bằng chứng của tôi? Hay xác suất mắc bệnh tim này là bao nhiêu khi biết các giá trị bằng chứng này? các giá trị bằng chứng này?
Or how likely is this to be spam given the words in it?
Hoặc khả năng đây là thư rác là bao nhiêu, dựa trên các từ có trong thư?
Whatever that is, you're computing a desired probability that you don't know until you compute it from other probabilities that you do know.
Dù là gì đi nữa, bạn đang tính một xác suất mong muốn mà bạn chưa biết cho đến khi tính ra nó từ những xác suất khác mà bạn đã biết.
So, for example, you have the joint probability, but you'd like it conditional. So you do some work, and you add these things, and you normalize, and so on.
Ví dụ, bạn có phân phối đồng thời, nhưng bạn lại muốn phân phối có điều kiện. Thế là bạn làm vài bước, cộng các số hạng này lại, rồi chuẩn hóa, v.v.
Or you have one conditional, and you want to compute the other. That will be through Bayes' rule. We'll talk about that in a minute here.
Hoặc bạn có một xác suất có điều kiện và muốn tính cái còn lại. Việc đó sẽ làm qua quy tắc Bayes. Lát nữa chúng ta sẽ nói về nó.
But, in general, probabilistic inference is going from a set of known probabilities to the desired probability. The desired probabilities are usually conditional probability.
Nhưng nói chung, suy luận xác suất là đi từ một tập các xác suất đã biết đến xác suất mong muốn. Các xác suất mong muốn thường là xác suất có điều kiện.
So I might want to know something in my model of driving, driving to work for a lecture in that model.
Chẳng hạn, tôi muốn biết một điều gì đó trong mô hình việc lái xe đi làm để đến giảng bài.
How likely is it that I will be on time given that there are no reported accidents? And maybe the answer is some computations on my joint distribution. And I compute 0.9.
Khả năng tôi đến đúng giờ là bao nhiêu khi không có tai nạn nào được báo cáo? Và có thể câu trả lời là một vài phép tính trên phân phối đồng thời của tôi. Và tôi tính ra 0.9.
These will represent the agent's beliefs given the evidence. So a rational agent in this sense will have beliefs which correspond to the conditional probabilities over the variables of interest given their evidence.
Những giá trị này biểu diễn niềm tin của tác tử khi có bằng chứng. Vậy một tác tử duy lý theo nghĩa này sẽ có những niềm tin tương ứng với các xác suất có điều kiện trên các biến quan tâm khi biết bằng chứng của nó.
Now, as you get new evidence, your beliefs can change. So the probability that I'm on time given no accidents might be 90%.
Khi có bằng chứng mới, niềm tin của bạn có thể thay đổi. Xác suất tôi đến đúng giờ khi không có tai nạn có thể là 90%.
But if I'm also driving in at 5:00 AM, it's even more likely I'll be on time. But if it's also raining, it may be less likely again.
Nhưng nếu tôi lái xe lúc 5 giờ sáng, khả năng đúng giờ còn cao hơn. Nhưng nếu trời còn mưa nữa, khả năng đó lại có thể giảm.
And this fact that observing new evidences causes your — observing new evidence variables causes your beliefs to update. OK.
Và việc quan sát bằng chứng mới khiến — quan sát các biến bằng chứng mới khiến niềm tin của bạn được cập nhật. OK.
That's an important part of rational intelligence. All right.
Đó là một phần quan trọng của trí tuệ duy lý. Được rồi.
The general case for computing a quantity from a joint distribution is an algorithm called inference by enumeration.
Trường hợp tổng quát để tính một đại lượng từ phân phối đồng thời là thuật toán gọi là suy luận bằng liệt kê (inference by enumeration).
It is an exponentially slow thing operating on an exponential large table. So this is, in general, not going to be tractable.
Nó chậm theo hàm mũ, chạy trên một bảng lớn theo hàm mũ. Nên nói chung cách này sẽ không khả thi.
But the algorithms that we are going to use that are often going to be more tractable, you will be able to see that they perform the same computation but in some kind of interleaved or efficiently structured way.
Nhưng các thuật toán mà chúng ta sẽ dùng thường sẽ khả thi hơn, và bạn sẽ thấy chúng thực hiện cùng một phép tính nhưng theo kiểu đan xen hoặc có cấu trúc hiệu quả hơn.
In the same way that enumerating outcomes for a CSP until you find one that works does actually tell you what the CSP does, but it's not particularly efficient.
Giống như việc liệt kê các kết quả cho một CSP đến khi tìm được cái dùng được thì thực sự cho bạn biết CSP làm gì, nhưng nó không hiệu quả lắm.
So we're going to do the inefficient thing to build intuition. And then we'll start doing more efficient computations next time.
Nên ta sẽ làm cách kém hiệu quả để xây dựng trực giác. Rồi ta sẽ bắt đầu các phép tính hiệu quả hơn vào buổi sau.
So the general case is you have a whole bunch of variables through X N. And you have a joint probability distribution over them. So it's big.
Trường hợp tổng quát là bạn có cả loạt biến đến X N. Và bạn có một phân phối đồng thời trên chúng. Nên nó rất lớn.
It's exponential in the number of variables N. It's very big. OK. From this very large table, you're going to have some evidence, like maybe variables E1 through EK.
Nó tăng theo hàm mũ của số biến N. Rất lớn. OK. Từ cái bảng rất lớn này, bạn sẽ có một số bằng chứng, chẳng hạn các biến E1 đến EK.
That might be X1, 3, and 7 have values. I know that it's raining. I know that the lights are on. Whatever it is that you know, those are your evidence variables.
Có thể là X1, 3 và 7 đã có giá trị. Tôi biết trời đang mưa. Tôi biết đèn đang bật. Bất cứ điều gì bạn biết, đó là các biến bằng chứng.
You then have a query variable — sometimes variables, but often it's only one. And that's the variable you want to know. Given all this information, do I need my umbrella?
Sau đó bạn có biến truy vấn, đôi khi nhiều biến, nhưng thường chỉ một. Đó là biến bạn muốn biết. Với tất cả thông tin này, tôi có cần ô không?
Given all this information, where's the ghost? Give me a distribution over that thing I don't know given what I do.
Với tất cả thông tin này, con ma ở đâu? Hãy cho tôi phân phối của thứ tôi chưa biết, dựa trên những gì tôi biết.
And so what you want to compute here is you want to compute the probability of the query given all that evidence that you have. Now, there's another class of variables.
Vậy điều bạn muốn tính ở đây là xác suất của biến truy vấn khi biết toàn bộ bằng chứng bạn có. Còn một lớp biến khác.
These are variables that you don't know, so they're not evidence. You also don't care about them, so they're not query variables.
Đó là những biến bạn không biết, nên chúng không phải bằng chứng. Bạn cũng không quan tâm, nên chúng không phải biến truy vấn.
So, for example, in that Ghostbusters case, the sensor value at a position you hadn't sensed, you don't want it as part of your answer. But you don't know it either.
Ví dụ, trong trường hợp Ghostbusters, giá trị cảm biến ở một vị trí bạn chưa dò, bạn không muốn nó nằm trong câu trả lời. Nhưng bạn cũng không biết nó.
Those are going to be hidden variables. In a medical diagnosis thing, that might be a sort of intermediate variables that sort of describe the functioning of various biological systems.
Đó sẽ là các biến ẩn (hidden variables). Trong chẩn đoán y khoa, đó có thể là các biến trung gian mô tả hoạt động của các hệ thống sinh học khác nhau.
It's going to be different in every application.
Mỗi ứng dụng sẽ khác nhau.
But you can take your variables, divide them into evidence, which is things you know; query, things you don't; hidden, things you don't know and also don't care about.
Nhưng bạn có thể chia các biến thành bằng chứng, là những thứ bạn biết; truy vấn, là thứ bạn không biết; ẩn, là thứ bạn không biết và cũng không quan tâm.
OK. So how are we going to compute this? This is going to be a three-step process inference by enumeration. You have this giant, exponentially large table.
OK. Vậy ta sẽ tính cái này thế nào? Đây sẽ là quy trình ba bước, suy luận bằng liệt kê. Bạn có cái bảng khổng lồ, lớn theo hàm mũ này.
Step one, select the entry that's consistent with the evidence. You've already done this in a small case. So we cross out almost all of the entries.
Bước một, chọn các mục nhất quán với bằng chứng. Bạn đã làm việc này ở trường hợp nhỏ rồi. Ta gạch bỏ gần hết các mục.
All that matters of this giant table are the ones that match your evidence. So if you know it's raining, and it's hot, you cross off everything where it's not raining and hot.
Trong cái bảng khổng lồ này, chỉ những mục khớp với bằng chứng của bạn là quan trọng. Nếu bạn biết trời mưa và nóng, bạn gạch hết mọi mục không phải mưa và nóng.
OK. If you know that square 7 has a green reading, you cross off everything else.
OK. Nếu bạn biết ô số 7 có số đọc màu xanh, bạn gạch hết phần còn lại.
So you select the consistent entries, then you sum out H. You take all those variables that you don't want, and you get rid of those dimensions of this multi-dimensional array.
Vậy bạn chọn các mục nhất quán, rồi lấy tổng theo H. Bạn lấy tất cả các biến bạn không muốn, và loại bỏ các chiều đó của mảng nhiều chiều này.
How does that work? You get rid of them one by one.
Làm thế nào? Ta loại bỏ chúng từng biến một.
And for each one, you sum together all of the rows that now appear to be the same because they only varied on that axis.
Với mỗi biến, ta cộng lại tất cả các hàng giờ trông giống nhau vì chúng chỉ khác nhau theo trục đó.
We'll talk more about this metaphor of squeezing these distributions going forward. But you sum that out.
Sau này ta sẽ nói thêm về phép ẩn dụ ép các phân phối này lại. Nhưng bạn cộng gộp nó lại.
That means that what you're computing is, first, when you select the evidence, you get the probability of Q and all the values of H and the specific values of E. You then sum over all the values of H, and everything that collapses together goes into a table together.
Nghĩa là thứ bạn đang tính là, đầu tiên, khi chọn bằng chứng, bạn có xác suất của Q và mọi giá trị của H cùng với các giá trị cụ thể của E. Sau đó bạn lấy tổng trên mọi giá trị của H, và mọi thứ gộp lại với nhau thì vào cùng một bảng.
And then at the last step, you normalize. That's it. Take your whole distribution, select what's consistent with your evidence, collapse out variables you don't care about.
Và ở bước cuối, bạn chuẩn hóa. Chỉ có vậy. Lấy toàn bộ phân phối, chọn phần nhất quán với bằng chứng, gộp bỏ các biến bạn không quan tâm.
We will be left with only one dimension left, which is your query. And you normalize — that's it — any quantity you want.
Ta chỉ còn lại một chiều, chính là truy vấn của bạn. Và bạn chuẩn hóa, vậy thôi, bất kỳ đại lượng nào bạn muốn.
Now what makes this hard is, often, you don't actually have the joint distribution to begin with. Once you get it, getting down to your query is easy. Module the exponential sides of everything.
Điều khó ở đây là, thường thì bạn không có sẵn phân phối đồng thời ngay từ đầu. Có rồi thì rút gọn về truy vấn rất dễ. Trừ việc kích thước tăng theo hàm mũ.
All right. So let's do some inference by enumeration. OK. And when we do this, think about this as we're computing distribution over W. That's a distribution over weather.
Được rồi. Giờ ta làm suy luận bằng liệt kê. OK. Khi làm, hãy nghĩ rằng ta đang tính phân phối trên W. Đó là phân phối trên thời tiết.
Maybe this is an umbrella-bringing bot, or something like that, and wants to know what the weather is today.
Có thể đây là một con bot mang ô, hay đại loại thế, và nó muốn biết hôm nay thời tiết thế nào.
So given no evidence, P of W, this is a query that also happens to be a marginal distribution. Because there's no evidence. So what I can do?
Không có bằng chứng thì P của W là một truy vấn đồng thời là phân phối biên. Vì không có bằng chứng. Vậy tôi làm gì?
In this case, there's nothing to kick out. There's no evidence.
Ở đây không có gì để loại bỏ. Không có bằng chứng.
The whole table is consistent with my evidence, but I need to sum out — that means collapse — S and T. Because they're not observed, and they're not part of the query.
Cả bảng đều nhất quán với bằng chứng, nhưng tôi cần lấy tổng, tức là gộp, S và T. Vì chúng không được quan sát và không thuộc truy vấn.
So a bunch of things are going to collapse together. So I'm going to compute, well, W is either going to be sun or rain.
Nên nhiều dòng sẽ gộp lại với nhau. Vậy tôi tính: W sẽ là nắng hoặc mưa.
And for sun, what are all of the rows that are going to collapse together? Well, it's every row that says sun. So it's this 0.3, and this 0.1, 0.4, 0.5, 0.65.
Với nắng, những hàng nào sẽ gộp lại với nhau? Là mọi hàng ghi nắng. Tức là 0.3 này, 0.1 này, 0.4, 0.5, 0.65.
Did I do that right?
Tôi làm đúng chưa nhỉ?
OK. And then rain, what's that going to be?
OK. Còn mưa thì sao?
0.35. Did anybody actually check my work? Because if you think I can't make an arithmetic mistake up here, you are wrong. OK.
0.35. Có ai kiểm tra bài tôi không? Vì nếu bạn nghĩ tôi không thể tính sai ở đây thì bạn nhầm rồi. OK.
All right. So we have a distribution over W, which says, OK, given no evidence, I believe given this assuming the joint distribution is the ground truth probabilities. There's this question.
Được rồi. Vậy ta có phân phối trên W, cho biết: khi không có bằng chứng, tôi tin rằng, với giả định phân phối đồng thời là xác suất chân lý. Có một câu hỏi.
Where do we get these probabilities from? We don't worry about that. That's through the course.
Các xác suất này lấy từ đâu? Ta chưa lo chuyện đó. Việc đó nằm trong phần sau của môn.
For now, we talking about the probability fairy expect a max that comes in and tells you what all the probabilities are. The probability fairy gave you this. This is just truth.
Bây giờ cứ coi như có bà tiên xác suất xuất hiện và cho bạn biết tất cả các xác suất. Bà tiên xác suất đã cho bạn bảng này. Đây là sự thật.
Later on in the course, we're going to figure out where did that 0.65 come from? How did I know that that row was 0.3? All right.
Về sau trong môn học, ta sẽ tìm hiểu con số 0.65 đó từ đâu ra? Làm sao tôi biết hàng đó là 0.3? Được rồi.
So P of W. Now, let's say we have some evidence. We have evidence that it is winter. So we're going to cross out everything inconsistent with our evidence.
Đó là P của W. Giờ giả sử ta có bằng chứng. Bằng chứng là đang mùa đông. Ta sẽ gạch bỏ mọi thứ không nhất quán với bằng chứng.
Gone, summer, gone, gone, gone. Get out of my table. You're inconsistent. OK.
Mùa hè, biến mất, biến mất, biến mất. Ra khỏi bảng của tôi. Các người không nhất quán. OK.
So I'm left with a smaller table that's consistent with my evidence. This is the subtable for the evidence winter. Now, I still only care about P of W.
Tôi còn lại một bảng nhỏ hơn nhất quán với bằng chứng. Đây là bảng con cho bằng chứng mùa đông. Tôi vẫn chỉ quan tâm P của W.
So I still need to collapse out T, that hot cold distinction. So now I'm going to get another distribution over W, sun and rain. All right. So what's sun?
Nên vẫn cần gộp bỏ T, tức sự phân biệt nóng lạnh. Giờ tôi sẽ có một phân phối khác trên W, nắng và mưa. Được rồi. Vậy nắng là bao nhiêu?
Well, first, I just collapse stuff. So sun occurs here and here. So that's 0.25.
Trước hết, tôi gộp các dòng. Nắng xuất hiện ở đây và ở đây. Vậy là 0.25.
And then rain occurs here and here, and that's point 0.25. Is that a probability distribution? Has it been normalized? It still requires normalization.
Còn mưa xuất hiện ở đây và ở đây, và đó là 0.25. Đó đã là phân phối xác suất chưa? Nó đã được chuẩn hóa chưa? Vẫn cần chuẩn hóa.
So we're going to normalize. And what do we get? We divide it by it's sum of entries. And so we're going to get 0.5, 0.5.
Nên ta sẽ chuẩn hóa. Và ta được gì? Ta chia cho tổng các phần tử. Và được 0.5, 0.5.
OK. Is this plausible? I thought it was 65% chance of sunny. But somebody said, hey, it's winter.
OK. Điều này có hợp lý không? Tôi tưởng xác suất nắng là 65%. Nhưng có người nói: này, đang mùa đông.
My beliefs update. I'm a good rational agent. Probability of W given winter and it's hot. So, all right, we need to kick stuff out that's not consistent.
Niềm tin của tôi được cập nhật. Tôi là một tác tử duy lý tốt. Xác suất của W biết là mùa đông và trời nóng. Vậy, ta cần loại bỏ những gì không nhất quán.
Consistent, consistent, inconsistent, inconsistent. Those have to do with cold. So I'm left with even smaller distribution because I have more evidence. And I don't have to marginalize out anything.
Nhất quán, nhất quán, không nhất quán, không nhất quán. Những dòng đó liên quan đến lạnh. Vậy tôi còn lại một phân phối nhỏ hơn nữa vì ta có nhiều bằng chứng hơn. Và ta không phải lấy biên (marginalize) để loại bỏ gì cả.
I don't have to sum anything out. There no hidden So I'm left with W. I'm left with sun, rain. And for sun, I get 0.1, and for rain, I get 0.05.
Không phải lấy tổng loại biến nào hết. Không còn biến ẩn nào. Nên còn lại W. Còn lại nắng và mưa. Với nắng ta được 0.1, với mưa ta được 0.05.
That's definitely not normalized. So what do I get when I normalize it? OK. 2/3, 1/3.
Rõ ràng là chưa được chuẩn hóa. Vậy chuẩn hóa xong thì ta được gì? OK. 2/3, 1/3.
No — yes. OK. And so now, suddenly, the probability of sun goes up. So it was high, and then I found out it was winter, and it went low.
Không... đúng rồi. OK. Và giờ xác suất trời nắng đột nhiên tăng lên. Ban đầu nó cao, rồi ta biết là mùa đông, nó giảm xuống.
And then I found out that it's actually hot, so it went back up.
Rồi ta biết là trời nóng, nên nó lại tăng lên.
Now, the exact values of how much it goes up or down or whether it goes up or down at all has to do with the specific numbers in this table.
Còn việc nó tăng hay giảm chính xác bao nhiêu, hay thậm chí có tăng giảm hay không, phụ thuộc vào các con số cụ thể trong bảng này.
But the computations that lead to them, you can see the structural form they take.
Nhưng các phép tính dẫn đến chúng, các em thấy được dạng cấu trúc của chúng.
And if the table has numbers that sort of correspond to reality, then we hope that these computations will give rise to derive quantities which are also useful. Any question?
Và nếu các con số trong bảng phản ánh thực tế, thì ta hy vọng những phép tính này sẽ cho ra các đại lượng dẫn xuất cũng hữu ích. Có câu hỏi nào không?
Yes?
Mời em?
STUDENT
[INAUDIBLE] PROFESSOR: Yes. Yes. So in the first one, P of W, when I selected what was consistent with my evidence, I selected the whole table because there is no evidence.
[KHÔNG NGHE RÕ] GIÁO SƯ: Đúng. Đúng vậy. Ở phép đầu tiên, P của W, khi tôi chọn những dòng nhất quán với bằng chứng, tôi chọn cả bảng vì chưa có bằng chứng nào.
The hidden variables — the query variable was — so Q, the query variable in all cases, was W. So in the first one, the hidden variables are T and S.
Các biến ẩn... biến truy vấn thì... Q, biến truy vấn trong mọi trường hợp, là W. Ở phép đầu, các biến ẩn là T và S.
So on the axes of T and S, I needed to remove that distinction, which collapsed together a bunch of entries that needed to be summed.
Nên trên các trục T và S, tôi cần bỏ sự phân biệt đó, gộp lại nhiều dòng cần lấy tổng.
Once I saw that there was winter, W remains the query variable, but now the season variable S becomes evidence. But T remains a hidden variable that needs to be collapsed.
Khi biết là mùa đông, W vẫn là biến truy vấn, nhưng biến mùa S trở thành bằng chứng. Còn T vẫn là biến ẩn cần được gộp lại.
And then, in the end, there are no hidden variables. There were just T and S as evidence.
Và cuối cùng, không còn biến ẩn nào. Chỉ có T và S là bằng chứng.
And so, as I observe evidence, things that were hidden — and I just had to sort of sum out over them — become evidence. They become known.
Vậy khi quan sát bằng chứng, những thứ đang ẩn, mà tôi chỉ việc lấy tổng loại chúng đi, trở thành bằng chứng. Chúng trở thành đã biết.
And there's less summing I have to do and more conditioning I have — more selecting I have to do.
Và tôi phải lấy tổng ít hơn, và phải điều kiện hóa nhiều hơn, tức là chọn nhiều hơn.
So what you actually do with the joint distribution — nobody's going to walk up to you and say, hey, what's the probability of winter and hot and sun?
Còn việc thực sự làm với phân phối đồng thời: sẽ không ai đến hỏi em rằng xác suất mùa đông, nóng và nắng là bao nhiêu?
And you're going to say, 0.1. That's not actually useful. What's useful are these derived conditional probabilities that tell you about variables given evidence. OK.
Rồi em trả lời 0.1. Điều đó thực ra không hữu ích. Cái hữu ích là các xác suất có điều kiện dẫn xuất này cho biết về các biến khi đã có bằng chứng. OK.
Some obvious problems with this algorithm. You are doing exponentially large number of summations. That's bad. To store this table in the first place was exponentially large.
Thuật toán này có vài vấn đề rõ ràng. Ta phải thực hiện số lượng phép tổng lớn theo hàm mũ. Thế là tệ. Ngay cả việc lưu bảng này cũng đã lớn theo hàm mũ.
That's actually bad. And there's a third, slightly more subtle thing, which is, to learn the probabilities, you need an exponential amount of evidence.
Điều đó cũng tệ. Và có điểm thứ ba, tinh tế hơn một chút, đó là để học các xác suất, ta cần lượng bằng chứng lớn theo hàm mũ.
Because each entry has to get learned, and you're not going to learn much about it if you don't see it to a first approximation.
Vì mỗi dòng đều phải được học, và ta sẽ không học được gì nhiều về nó nếu xấp xỉ bậc nhất mà ta không hề thấy nó.
So somehow, this whole giant table of everything is not going to work.
Nên bằng cách nào đó, cái bảng khổng lồ cho mọi thứ này sẽ không hiệu quả.
And so what we need to do is we need to build this big table out of little pieces that we can actually estimate and compute and store and then compute with efficiently.
Vì vậy ta cần xây bảng lớn này từ những mảnh nhỏ mà ta thực sự có thể ước lượng, tính toán, lưu trữ, rồi tính toán hiệu quả với chúng.
So what we're going talk about now is how you — so up to this point, we've talked about the tools for taking a big table and shrinking it.
Vậy giờ ta sẽ nói về cách... cho đến giờ, ta đã nói về các công cụ để lấy một bảng lớn và thu nhỏ nó.
Now we need tools that let you turn one thing into another or let you merge things. So we're going to quickly go through those tools.
Giờ ta cần các công cụ cho phép biến thứ này thành thứ khác hoặc cho phép gộp các thứ lại. Ta sẽ lướt nhanh qua các công cụ đó.
And then we'll come back next lecture, and we'll talk about taking it all the way the other way to very, very small pieces and then building up large distributions.
Rồi bài sau ta sẽ quay lại, và nói về việc đi hết đường theo chiều ngược lại, đến những mảnh rất, rất nhỏ rồi xây dựng các phân phối lớn.
So the tools you don't have — though, it's possible you've seen them before in other classes — have to do with how you produce joint distributions.
Các công cụ mà các em chưa có, dù có thể các em đã thấy chúng ở các lớp khác, liên quan đến cách tạo ra các phân phối đồng thời.
Because we can't use inference by enumeration until we have a joint distribution. Sometimes, you have conditional distributions, but you want the joint distribution. The canonical case is the product rule.
Vì ta không thể dùng suy luận bằng liệt kê cho đến khi có phân phối đồng thời. Đôi khi ta có các phân phối có điều kiện, nhưng lại muốn phân phối đồng thời. Trường hợp kinh điển là quy tắc nhân.
This says, all right, I would like — this says, I would like the joint distribution over X and Y. But I don't have it. I have a marginal distribution over just Y itself.
Nó nói rằng, tôi muốn... nó nói rằng, tôi muốn phân phối đồng thời của X và Y. Nhưng tôi không có nó. Tôi có phân phối biên chỉ của Y.
And I have a distribution over how X behaves conditioned on Y.
Và có phân phối cho biết X hành xử thế nào với điều kiện Y.
Well, if you write out the distributions here and you use the definition of conditional probability, you see that if you multiply P of Y with P of X given Y — well, P of X given Y is just P of X and Y over P of Y. I can cross those out.
Nếu viết các phân phối ra và dùng định nghĩa xác suất có điều kiện, em thấy nếu nhân P của Y với P của X cho Y, thì P của X cho Y chính là P của X và Y chia P của Y. Tôi có thể gạch bỏ chúng.
And so it makes sense that the thing on the right is, in fact, the thing on the left. Because this is basically the hidden denominator down there.
Và vậy hợp lý là vế phải thực sự chính là vế trái. Vì về cơ bản đây là mẫu số ẩn ở dưới đó.
When I look at this P of X given Y, I actually think P of X and P of Y kind of hanging there as a denominator that can cancel with a P of Y that's sitting there to the left, if that's helpful.
Khi nhìn P của X cho Y này, tôi thực sự nghĩ đến P của X và P của Y như đang treo ở đó làm mẫu số, có thể triệt tiêu với P của Y nằm bên trái, nếu điều đó giúp ích.
So that's the product rule. How does that work? Well, let's say somebody comes up to you and says, well, I have this distribution. I know it's sunny 80% of the time.
Đó là quy tắc nhân. Nó hoạt động thế nào? Giả sử có người đến và nói với em rằng, tôi có phân phối này. Tôi biết trời nắng 80% thời gian.
And you say, all right, well, how likely is it that it's wet and sunny? And you say, I don't know that. I don't have the distribution.
Và bạn hỏi: vậy khả năng trời ẩm ướt và nắng là bao nhiêu? Và họ nói: tôi không biết. Tôi không có phân phối đó.
But I do know how likely it is to be dry given sun and also how likely it is to be dry given wet.
Nhưng tôi biết khả năng trời khô khi nắng và khả năng trời khô khi ẩm ướt.
So I might have P of D, this other variable given W. So right here, here is a distribution over D given that W is sun. It sums to 1.
Vậy tôi có thể có P của D, biến kia, cho trước W. Ngay đây là một phân phối trên D cho trước W là nắng. Nó có tổng bằng 1.
Uh-oh. It looks like it's been stapled to another distribution over D that also seems to 1. The bottom two rows are the distribution over D, wet or dry, given rain.
Ồ. Có vẻ nó bị ghim vào một phân phối khác trên D mà tổng cũng bằng 1. Hai hàng dưới là phân phối trên D, ướt hoặc khô, cho trước trời mưa.
The top two rows are the distribution over D, wet or dry, given sun. That is actually two distributions which have been stapled together. This is a convenient data structure.
Hai hàng trên là phân phối trên D, ướt hoặc khô, cho trước trời nắng. Thực ra đó là hai phân phối được ghim lại với nhau. Đây là một cấu trúc dữ liệu tiện lợi.
It is not a distribution. It is a family of distributions stapled together. When I sum it up, I don't get 1. Each distribution will be 1, so I'll get the number of distributions.
Nó không phải là một phân phối. Nó là một họ các phân phối ghim lại với nhau. Khi cộng lại, tôi không được 1. Mỗi phân phối có tổng là 1, nên tôi sẽ được số lượng phân phối.
So I'll get domain of W if I add all these things together. But this lets me do the product rule.
Tức là được kích thước miền của W nếu cộng tất cả lại. Nhưng cách này cho phép tôi dùng quy tắc nhân.
So what I could do is I could say, all right, let's do an entry. How likely is it that it's wet and sun? Well, first, it would have to be sunny.
Vậy tôi có thể nói: được rồi, ta điền một ô. Khả năng trời ướt và nắng là bao nhiêu? Trước hết, trời phải nắng.
That's 80%. And then given that it was sunny, the probability of wet is 0.1. So I get 0.8 times 0.1 is 0.08. And then I could fill in the rest.
Đó là 80%. Rồi cho trước trời nắng, xác suất ướt là 0,1. Vậy 0,8 nhân 0,1 được 0,08. Rồi tôi có thể điền phần còn lại.
Hopefully they're all there. So this is a case of going from, in this case, a marginal over W and a conditional P of D given w to the joint.
Hy vọng là đủ cả. Đây là trường hợp đi từ phân phối biên trên W và phân phối có điều kiện P của D cho trước w sang phân phối đồng thời.
Any questions about that?
Có câu hỏi nào về phần này không?
In general, there is the chain rule, which you may have also seen.
Tổng quát, có quy tắc chuỗi, mà có thể các bạn cũng đã gặp.
The chain rule says that if you ever want to join distribution over any number of variables, you can build it as follows.
Quy tắc chuỗi nói rằng nếu bạn muốn phân phối đồng thời trên một số biến bất kỳ, bạn có thể xây dựng như sau.
You can take, simply, the marginal distribution of the first variable, P of X1. And then you can multiply X2 given X1 to get X1 comma X2.
Đơn giản là lấy phân phối biên của biến đầu tiên, P của X1. Rồi nhân với X2 cho trước X1 để được X1, X2.
And then you can multiply in X3 given X1 and X2. And you can keep doing this until you have all of them. It's each variable condition on everything before it in the variable ordering.
Rồi nhân thêm X3 cho trước X1 và X2. Và cứ tiếp tục như vậy đến hết các biến. Mỗi biến có điều kiện trên mọi biến đứng trước nó trong thứ tự các biến.
And you say, well, that looks like a lot of symbols, and I don't believe you. So let's write the thing out. Why is this true? Well, what's P of X1?
Bạn nói: trông nhiều ký hiệu quá, và tôi không tin. Vậy ta viết ra xem. Vì sao điều này đúng? P của X1 là gì?
OK. If you only want P of X1, you have P of X1, great. OK. But let's say you want P of X1 and X2.
Được. Nếu chỉ cần P của X1 thì ta có P của X1, tốt. Được. Nhưng giả sử bạn muốn P của X1 và X2.
Well, I can multiply that by P of X2 given X1, which, I know, is the same as P of X1 times P of X2 and X1 divided by P of X1.
Tôi có thể nhân nó với P của X2 cho trước X1, mà tôi biết bằng P của X1 nhân P của X2 và X1 chia cho P của X1.
Because that's the definition of a conditional probability. And, look. They cancel. What if I multiply P of X3 given X2 and X1.
Vì đó là định nghĩa của xác suất có điều kiện. Và nhìn này. Chúng triệt tiêu nhau. Nếu nhân thêm P của X3 cho trước X2 và X1 thì sao?
Well, down here, the definition of that conditional probability is P of X3 comma X1 Comma X2 divided by P of X1 comma X2.
Ở dưới đây, định nghĩa của xác suất có điều kiện đó là P của X3, X1, X2 chia cho P của X1, X2.
I re-ordered them. And, again, they cross out. And so each conditional probability is, basically, the thing you had before crosses off the numerator and denominator. And now you have just a joint probability.
Tôi đã sắp xếp lại thứ tự. Và lại triệt tiêu nhau. Vậy mỗi xác suất có điều kiện, về cơ bản, thứ bạn có trước đó sẽ khử đi tử số và mẫu số. Và giờ bạn chỉ còn xác suất đồng thời.
So that's all you need in order to get — in order to get a joint probability is this correct sequence of conditional probabilities.
Vậy đó là tất cả những gì bạn cần để có một xác suất đồng thời: chuỗi các xác suất có điều kiện đúng thứ tự.
The first variable, second given the first, third given the second and the first, fourth given the third and the second and the first. And that's the chain rule.
Biến đầu tiên, biến thứ hai cho trước biến đầu, biến thứ ba cho trước biến thứ hai và biến đầu, biến thứ tư cho trước biến thứ ba và biến thứ hai và biến đầu. Đó là quy tắc chuỗi.
And you can see that just symbolically that has to be true. Because the most recent conditional probability that you airdrop in contains the joint divided by what you have so far.
Và bạn có thể thấy chỉ bằng ký hiệu thì điều đó phải đúng. Vì xác suất có điều kiện gần nhất mà bạn thêm vào chứa phân phối đồng thời chia cho những gì bạn có cho đến lúc đó.
All right. And so you say, OK, well, that's fine. But what if somebody had P of X1, and they had P of X2, but not conditioned on X1.
Được rồi. Bạn nói: được, vậy cũng ổn. Nhưng nếu ai đó có P của X1, và có P của X2, nhưng không có điều kiện trên X1.
And then they have P of X3 but only conditioned on X1. What happens if I multiply them together? Like, in general? Like, I don't know.
Rồi họ có P của X3 nhưng chỉ có điều kiện trên X1. Nếu nhân chúng lại thì sao? Trong trường hợp tổng quát ấy? Tôi cũng không biết.
Like, you'd just get some number. There are conditions under which you can know that something less than the change rule suffices. And we'll get into that in upcoming lectures.
Bạn chỉ được một con số nào đó. Có những điều kiện mà trong đó ta biết ít hơn quy tắc chuỗi vẫn đủ. Và ta sẽ tìm hiểu ở các bài giảng sắp tới.
OK.
Được.
But for now, if you want the joint distribution, your recipe is the product rule, which is how you turn a joint into a conditional, and the chain rule, which is how you let those things telescope up to a large number of variables.
Nhưng bây giờ, nếu bạn muốn phân phối đồng thời, công thức của bạn là quy tắc nhân, tức cách biến phân phối đồng thời thành có điều kiện, và quy tắc chuỗi, tức cách để chúng nối dài ra cho nhiều biến.
OK. One more thing, which is, in fact, not something new. This is, I think, a funny thing. This is Bayes' rule.
Được. Thêm một điều nữa, thực ra không phải là mới. Tôi nghĩ đây là một điều khá buồn cười. Đây là quy tắc Bayes.
It's a famous rule of conditional — it's a famous rule of probabilistic inference. But, in fact, it's just a consequence of what you already know, even though it has a name.
Đó là một quy tắc nổi tiếng của xác suất có điều kiện, một quy tắc nổi tiếng của suy luận xác suất. Nhưng thực ra nó chỉ là hệ quả của những gì bạn đã biết, dù nó có tên riêng.
There are two ways to factor a distribution over two variables.
Có hai cách phân tích một phân phối trên hai biến.
So if I have P of X comma Y, that's a joint distribution of X and Y. I can write that as P of X given Y times P of Y.
Nếu tôi có P của X, Y, đó là phân phối đồng thời của X và Y. Tôi có thể viết nó là P của X cho trước Y nhân P của Y.
That's just the product rule. Or I can write that as P of Y given X times X. That's also just the product rule. OK. Does everybody believe that?
Đó chỉ là quy tắc nhân. Hoặc tôi có thể viết là P của Y given X nhân X. Đó cũng chỉ là quy tắc nhân. OK. Mọi người tin điều đó chứ?
All right. But I can send this one to this — can divide both sides by both, send them to the denominator on the other side. And what I get now is P of XY.
Được rồi. Nhưng tôi có thể chuyển cái này sang đây — có thể chia cả hai vế, chuyển chúng xuống mẫu số ở vế bên kia. Và giờ tôi có P của XY.
I can take this one and send it down there.
Tôi lấy cái này và chuyển xuống dưới kia.
P of XY is just — P of X given Y is P of Y given X times P of X. That gives you the joint value back.
P của XY chỉ là — P của X given Y bằng P của Y given X nhân P của X. Cái đó trả lại cho bạn giá trị đồng thời.
Divided by P of Y, that gives you the other conditional.
Chia cho P của Y, ta được xác suất có điều kiện còn lại.
So I like to think about this as, I have the conditional Y given X. I stick on P of X, it inflates to a joint distribution.
Tôi thích hình dung thế này: tôi có xác suất có điều kiện Y given X. Tôi nhân thêm P của X, nó phồng lên thành phân phối đồng thời.
And then I pull out P of Y, and it deflates back to a conditional distribution of here X given Y OK. That's Thomas Bayes, and that's his rule.
Rồi tôi chia cho P của Y, và nó xẹp lại thành phân phối có điều kiện, ở đây là X given Y, OK. Đó là Thomas Bayes, và đó là quy tắc của ông.
But it's really just the definition of conditional probability written two ways, or the product rule. That's it. So what does Bayes' rule actually do? Why is this helpful?
Nhưng thực ra nó chỉ là định nghĩa của xác suất có điều kiện được viết theo hai cách, hay quy tắc nhân. Vậy thôi. Vậy quy tắc Bayes thực sự làm gì? Tại sao nó hữu ích?
I had a conditional probability of — I wanted X given Y. And so what did I do?
Tôi có xác suất có điều kiện của — tôi muốn X given Y. Và tôi đã làm gì?
I started with Y given X, which looks basically the same, and I did a bunch of math. Why is that even helpful?
Tôi bắt đầu từ Y given X, trông cũng gần giống, rồi tính toán một hồi. Vậy thì có ích gì?
The reason that's helpful is, often, you have Y given X and you don't have X given Y, and you want to turn one into the other.
Hữu ích vì thường bạn có Y given X mà không có X given Y, và bạn muốn biến cái này thành cái kia.
Bayes' rule is a device by which you can flip the conditional around. You can build a conditional out of the reverse conditional on the appropriate marginals.
Quy tắc Bayes là công cụ giúp bạn đảo ngược xác suất có điều kiện. Bạn dựng được xác suất có điều kiện từ xác suất có điều kiện ngược lại cùng các xác suất biên phù hợp.
And the reason that's useful is sometimes you just know one but not the other. But more generally, usually one is easy to model, and the other is hard.
Điều này hữu ích vì đôi khi bạn chỉ biết cái này mà không biết cái kia. Nhưng tổng quát hơn, thường một cái dễ mô hình hóa, còn cái kia khó.
Or at least one is easier, and the other is harder.
Hoặc ít nhất một cái dễ hơn, cái kia khó hơn.
So for things like speech recognition, it is much easier to model the dependency of sounds — between sounds and language in one direction than the other.
Ví dụ với nhận dạng giọng nói, mô hình hóa sự phụ thuộc giữa âm thanh và ngôn ngữ theo một chiều dễ hơn chiều kia nhiều.
And, of course, the direction that's easy to model is the opposite of what you want to compute.
Và dĩ nhiên, chiều dễ mô hình hóa lại ngược với thứ bạn muốn tính.
And this happens very often, is that the easy thing to model is causal, going from the cause to the effects you observe. That's the way to write a model.
Điều này xảy ra rất thường xuyên: thứ dễ mô hình hóa là quan hệ nhân quả, đi từ nguyên nhân đến hệ quả bạn quan sát. Đó là cách viết một mô hình.
But the easy way. But the thing you actually want to do with the model is start with the things you observe and infer backward up to the underlying cause.
Cách dễ. Nhưng thứ bạn thực sự muốn làm với mô hình là bắt đầu từ những gì quan sát được và suy ngược lên nguyên nhân gốc.
And so you're always flipping things around. Probabilistic inference is almost always about taking facts and then propagating them sort of upward in the model to the underlying cause that you care about.
Nên bạn luôn phải đảo ngược mọi thứ. Suy luận xác suất hầu như luôn là lấy các sự kiện rồi lan truyền chúng ngược lên trong mô hình tới nguyên nhân gốc mà bạn quan tâm.
OK. So that's one of the more important equations. Like, that's really founding most probabilistic inference at some level. And so I'm not going to run through the example now.
OK. Đây là một trong những phương trình quan trọng nhất. Ở một mức nào đó, nó là nền tảng của hầu hết suy luận xác suất. ở một mức độ nào đó. Tôi sẽ không chạy qua ví dụ bây giờ.
But it's in the slides for you to look at. But an example is — for example, building a diagnostic probability from a causal probability.
Nhưng nó có trong slide để các bạn xem. Một ví dụ là — chẳng hạn xây dựng xác suất chẩn đoán từ xác suất nhân quả.
So, in generic, this is, you know cause — you want cause given effect. But you have effect given cause. You might then know marginal probably of cause and effect.
Nói chung, ở đây là nguyên nhân — bạn muốn nguyên nhân given hệ quả. Nhưng bạn có hệ quả given nguyên nhân. Bạn có thể biết xác suất biên của nguyên nhân và hệ quả.
So, for example, here's a case of a simple caricature where the cause here — the cause here is meningitis.
Ví dụ, đây là một trường hợp đơn giản hóa, trong đó nguyên nhân — nguyên nhân ở đây là viêm màng não.
And you'd like to know whether you have meningitis. That's the random variable M. The effect is you have a stiff neck. That's the variable S.
Và bạn muốn biết mình có bị viêm màng não không. Đó là biến ngẫu nhiên M. Hệ quả là bạn bị cứng cổ. Đó là biến S.
And so you'd really like to know, what is the probability of meningitis given stiff neck? If you happened to have that written in a medical textbook, you go.
Vậy bạn thực sự muốn biết xác suất viêm màng não given cứng cổ là bao nhiêu? Nếu sách y khoa có ghi sẵn giá trị đó, thì xong.
You're done. You don't need to compute. But if you have a bunch of fragments of probability, you might need to do some computation.
Bạn xong rồi. Không cần tính. Nhưng nếu bạn chỉ có vài mảnh xác suất, bạn có thể cần tính toán.
So if somebody tells you, all right, well, yeah, I don't know what M given S is. So I can't tell you how likely you are to have meningitis.
Giả sử có người nói: được rồi, tôi không biết M given S là bao nhiêu. Nên tôi không nói được bạn có khả năng bị viêm màng não thế nào.
But here's some things I know. I know in the population, the probability of meningitis is 0.001. OK. That's a reasonable fact you could know.
Nhưng đây là vài điều tôi biết. Trong dân số, xác suất bị viêm màng não là 0.001. OK. Đó là một dữ kiện hợp lý có thể biết.
I also know from studies of people who have meningitis — I know how often a stiff neck presents, maybe 80% of the time. That's a reasonable thing to know.
Tôi cũng biết từ các nghiên cứu về người bị viêm màng não — tôi biết cứng cổ xuất hiện thường xuyên đến đâu, có thể là 80% số trường hợp. Đó cũng là điều hợp lý để biết.
And I also know how often stiff neck is prevalent in the general non-meningitis population. From this, we can then take those equations that we had before.
Và tôi cũng biết cứng cổ phổ biến thế nào trong nhóm dân số chung không bị viêm màng não. Từ đây, ta có thể lấy những phương trình đã có lúc trước.
We can churn them, multiply things, and so on. And we can end up computing the posterior probability of meningitis, which will be some small number, but it will be bigger than 0.001.
Ta xử lý chúng, nhân các thứ lại, v.v. Và cuối cùng tính được xác suất hậu nghiệm của viêm màng não, là một số nhỏ, nhưng lớn hơn 0.001.
Your belief that you have meningitis given the absence of symptoms is, probably not. It's like that meteor. No, that doesn't usually happen. But suddenly, there's that stiff neck.
Niềm tin rằng bạn bị viêm màng não khi không có triệu chứng thì là, chắc không. Giống như thiên thạch kia. Không, thường không xảy ra đâu. Nhưng đột nhiên có triệu chứng cứng cổ.
You update, and you get a bigger number.
Bạn cập nhật, và ra một số lớn hơn.
So that's an example of using Bayes' rule to go from causal probabilities that you have to diagnostic probabilities you want.
Đó là một ví dụ dùng quy tắc Bayes để đi từ các xác suất nhân quả mà bạn có sang các xác suất chẩn đoán mà bạn muốn.
Slightly but not entirely off topic, if you have a stiff neck, you might want to get checked out even though the probability of meningitis is small still. Why is that?
Hơi lạc đề một chút, nhưng nếu bạn bị cứng cổ, có thể bạn nên đi khám dù xác suất bị viêm màng não vẫn còn nhỏ. Tại sao vậy?
Is that because deep down, you know the probability is high and that all of this Bayes' rule stuff is wrong? Is that why you get checked out? No.
Có phải vì trong thâm tâm bạn biết xác suất đó cao và toàn bộ chuyện quy tắc Bayes này là sai? Có phải vì thế mà bạn đi khám không? Không.
The probability is actually small. Why do you go get checked out? It's not about probability. What is it about?
Xác suất thực sự là nhỏ. Vậy tại sao bạn vẫn đi khám? Không phải vì xác suất. Vậy là vì cái gì?
It's about utility. If you have it, and you don't get it checked out, that's really bad.
Là vì độ hữu dụng. Nếu bạn bị bệnh mà không đi khám, thì hậu quả rất tệ.
And so even though it's unlikely, when you compute your maximum utility, maximum utility is not the same as the most likely outcome.
Nên dù khả năng đó thấp, khi tính độ hữu dụng cực đại, độ hữu dụng cực đại không giống với kết quả có khả năng nhất.
And when we get to decision diagrams, we'll disentangle the difference between how likely something is, how much utility there is, and how that enters into this computation. So far, there's been no utilities.
Và khi học đến các sơ đồ quyết định, chúng ta sẽ tách bạch giữa việc một điều có khả năng xảy ra đến đâu, độ hữu dụng bao nhiêu, và chúng đi vào phép tính này như thế nào. Cho đến giờ chưa có độ hữu dụng nào cả.
This is only talking about the likelihood of unobserved variables given variables. We'll do that next time. I'll show you one more thing, which is — let's say we have some distributions.
Ta mới chỉ nói về khả năng xảy ra của các biến chưa quan sát được, khi biết các biến đã quan sát. Ta sẽ làm điều đó vào buổi sau. Tôi sẽ cho các bạn xem thêm một thứ nữa. Giả sử ta có một số phân phối.
Like, we know where the ghost is a priori, uniform distribution. And we know the sensor model. We know given each possible distance how likely that different colors are.
Ví dụ, ta biết trước vị trí con ma, là phân phối đều. Và ta biết mô hình cảm biến. Tức là với mỗi khoảng cách có thể, ta biết khả năng xuất hiện các màu khác nhau.
Given that and Bayes' rule are a generalization of it here, we can compute the posterior probability over ghost location given readings. So I'm going to do that for you on the app.
Với điều đó và quy tắc Bayes, là một dạng tổng quát hóa ở đây, ta tính được xác suất hậu nghiệm về vị trí con ma dựa trên các số đọc. Tôi sẽ làm điều đó cho các bạn xem trên ứng dụng.
And suddenly, Ghostbusters goes from frustrating to fun. OK.
Và bỗng nhiên, Ghostbusters từ bực bội trở thành thú vị. Được rồi.
So here is the current belief distribution for a ghost. I'm going to take a reading. Boom. Green.
Đây là phân phối niềm tin hiện tại về con ma. Tôi sẽ đọc cảm biến. Bùm. Xanh lá.
So there's this sweep of low probabilities. I'll take a reading up here. Yellow. Green.
Vậy là có một vùng xác suất thấp quét qua. Tôi đọc thêm một lần ở trên này. Vàng. Xanh lá.
Going to take some more readings. See how it's till jumping around? There's still uncertainty. All right.
Tôi đọc thêm vài lần nữa. Thấy không, nó vẫn nhảy lung tung? Vẫn còn sự không chắc chắn. Được rồi.
Should I sensor or bust? I'm doing it. I'm going to bust right here. Right here?
Tôi nên đọc cảm biến tiếp hay bắt ma? Làm thôi. Tôi sẽ bắt ngay chỗ này. Ngay đây à?
This is the next big video. Let me tell you. It's possible I oversold how much fun Ghostbusters is with probabilities.
Đây sẽ là video lớn tiếp theo. Tin tôi đi. Có thể tôi đã nói quá lên về độ vui của Ghostbusters khi dùng xác suất.
But you can see how useful it is to be able to compute in a precise and well-founded way this synthesis of your uncertain evidence in order to give you a belief function of your query variable.
Nhưng các bạn thấy việc tính toán được một cách chính xác và có cơ sở hữu ích đến mức nào khi tổng hợp các bằng chứng không chắc chắn để cho ra một hàm niềm tin về biến truy vấn của bạn.
So we'll pick this up next time with talking about how do these things efficiently over large distributions. Thank you.
Buổi sau ta sẽ tiếp tục, nói về cách làm những việc này một cách hiệu quả trên các phân phối lớn. Cảm ơn các bạn.
Đăng nhập để đánh giá học liệu này.
Đăng nhập để bình luận — chưa ai bình luận về học liệu này.
Không có khóa học liên quan.