Video
Đăng bởi Ban biên tập OpenER ·
Tác giả giữ toàn bộ bản quyền (All Rights Reserved) — không phải giấy phép mở. Bạn vẫn xem và học miễn phí trên OpenER; muốn tái sử dụng cần xin phép tác giả.
PROFESSOR
Let's get started.
Chúng ta bắt đầu thôi.
All right.
Được rồi.
So today we're going to talk about Bayes' Nets, also known as graphical models, which are a technique for building probabilistic models over large numbers of random variables in a way that is efficient to specify and efficient to reason over.
Hôm nay chúng ta sẽ nói về mạng Bayes, còn gọi là mô hình đồ thị, đây là kỹ thuật xây dựng các mô hình xác suất trên rất nhiều biến ngẫu nhiên theo cách đặc tả hiệu quả và suy luận cũng hiệu quả.
I think this is a really exciting topic because this is one of the main tools that we just didn't have in the sort of first go around of AI in say, the '80s.
Tôi nghĩ đây là chủ đề rất thú vị vì đây là một trong những công cụ chính mà ta chưa có trong làn sóng đầu tiên của AI, chẳng hạn vào thập niên 80.
And it's not like people weren't aware of probability. It's not like people weren't aware that there was ambiguity and uncertainty.
Không phải là người ta không biết đến xác suất. Không phải là người ta không biết rằng có sự mơ hồ và sự không chắc chắn.
We just didn't have the tools we needed to manage and reason over uncertainty at scale. And one of the main tools that was developed was what we'll be talking about today.
Chỉ là ta chưa có công cụ cần thiết để quản lý và suy luận về sự không chắc chắn ở quy mô lớn. Và một trong những công cụ chính được phát triển chính là thứ ta sẽ nói hôm nay.
So in general, what we're talking about now is probabilistic modeling. In the first part of the course, we mostly talked about actions, selecting actions, sequence of actions, chaining reasoning along actions.
Nói chung, điều ta đang bàn bây giờ là mô hình hóa xác suất. Ở phần đầu của môn học, ta chủ yếu nói về hành động, chọn hành động, chuỗi hành động, suy luận nối tiếp theo các hành động.
And what we're talking about now is not so much about actions, but about beliefs.
Còn bây giờ ta không nói nhiều về hành động, mà về niềm tin.
So you want to be able to describe how some portion of the world, some variables that you care about, how they work.
Bạn muốn mô tả được một phần nào đó của thế giới, những biến bạn quan tâm, vận hành ra sao.
And in a problematic setting, how variables work means how they interact in a noisy way with each other. So this is modeling. So there's going to be a whole bunch of math.
Và trong bối cảnh xác suất, các biến vận hành nghĩa là chúng tương tác với nhau một cách nhiễu. Đây chính là mô hình hóa. Sẽ có khá nhiều toán.
We're going to talk about the machinery and the formalisms today, but this is modeling. And whenever you do modeling, you're in the game of making simplifications. So models are always going to be simplifications.
Hôm nay ta sẽ nói về bộ máy và các hình thức hóa, nhưng bản chất là mô hình hóa. Và mỗi khi mô hình hóa, bạn đang chơi trò đơn giản hóa. Mô hình luôn là sự đơn giản hóa.
Our probabilistic models are going to be simplifications. So we'll pick some random variables and then there will be some variables we don't model.
Các mô hình xác suất của ta cũng là đơn giản hóa. Ta sẽ chọn một số biến ngẫu nhiên và sẽ có những biến ta không mô hình hóa.
So there are going to be some variables that just don't appear, either because we don't want to take the time to model them or we don't know how to model them.
Sẽ có những biến hoàn toàn không xuất hiện, hoặc vì ta không muốn tốn thời gian mô hình hóa chúng, hoặc vì ta không biết cách mô hình hóa.
And it may be that even amongst the variables we have, there are interactions that are too minor or too expensive to capture.
Và ngay cả giữa các biến ta có, cũng có những tương tác quá nhỏ hoặc quá tốn kém để nắm bắt.
So whenever we talk about models, there's sort of the formulation of the model — which variables do I include? Which interactions will I model?
Vậy khi nói về mô hình, có bước xây dựng mô hình: nên đưa biến nào vào? Mô hình hóa những tương tác nào?
Where do I get those probabilities and how do I learn them? And that's tricky. Often there you're making judgment calls and trade-offs.
Lấy các xác suất đó ở đâu và học chúng thế nào? Việc đó khá khó. Thường bạn phải đưa ra các phán đoán và đánh đổi.
And then once you have your model, there's the algorithms and queries you run against it, the formal questions. In this model, what is the probability of x given y?
Và khi đã có mô hình, sẽ có các thuật toán và truy vấn chạy trên nó, tức các câu hỏi hình thức. Trong mô hình này, xác suất của x cho trước y là bao nhiêu?
And that's what we'll be starting to talk about here. And as we go, we'll try to sensitize a little bit the questions that occur in terms of thinking of trade-offs.
Và đó là điều ta sẽ bắt đầu bàn ở đây. Khi đi tiếp, ta sẽ cố làm bạn nhạy hơn một chút với các câu hỏi xuất hiện, theo hướng cân nhắc các đánh đổi.
I love this quote from George Box. "All model are wrong, but some models are useful."
Tôi rất thích câu nói này của George Box. "Mọi mô hình đều sai, nhưng một số mô hình hữu ích."
And our job is to come up with models that are useful, not really models that are exactly right, because only in rare cases can we model a domain exactly.
Việc của ta là tạo ra những mô hình hữu ích, chứ không phải mô hình đúng hoàn toàn, vì chỉ hiếm khi ta mới mô hình hóa chính xác một lĩnh vực.
And we'll see examples of that today. In the back of your head, think, what's the price of not modeling a domain exactly? The price is uncertainty.
Hôm nay ta sẽ thấy các ví dụ. Hãy luôn nghĩ trong đầu: cái giá của việc không mô hình hóa chính xác một lĩnh vực là gì? Cái giá là sự không chắc chắn.
All the variables you leave out, all the interactions you leave out, they show up as noise on the other variables. And we'll see examples of that.
Mọi biến bạn bỏ sót, mọi tương tác bạn bỏ sót đều hiện ra như nhiễu trên các biến còn lại. Ta sẽ thấy các ví dụ.
So what are we going to do with probabilistic models? Remember, this is in the framework of rational AI, which means making decisions that maximize your expected utility.
Vậy ta sẽ làm gì với các mô hình xác suất? Hãy nhớ, đây là trong khung của AI duy lý, nghĩa là đưa ra quyết định tối đa hóa độ hữu dụng kỳ vọng.
Part of maximizing your expected utility is inferring what's going to happen or inferring something about underlying causes given evidence. And so, or really our agents, need to reason about unknown variables.
Một phần của việc tối đa hóa độ hữu dụng kỳ vọng là suy ra điều gì sẽ xảy ra hoặc suy ra điều gì đó về nguyên nhân tiềm ẩn khi có bằng chứng. Và vì vậy, các tác tử của ta cần suy luận về các biến chưa biết.
And that usually takes the form of, given some things I do know, my evidence, and some things I don't know, but I'm curious about, the query variables, and a model that connects them, what can I conclude?
Thường nó có dạng: cho trước những điều ta biết, tức bằng chứng, và những điều ta chưa biết nhưng quan tâm, tức các biến truy vấn, cùng một mô hình nối chúng, ta có thể kết luận được gì?
And that's what we'll get into today. One example of this is explanation. This is diagnostic reasoning. I see some symptoms and I want to know the underlying cause.
Và đó là điều ta sẽ đi vào hôm nay. Một ví dụ là giải thích. Đây là suy luận chẩn đoán. Tôi thấy một số triệu chứng và muốn biết nguyên nhân tiềm ẩn.
Another example of this is prediction. This is causal reasoning. I have a model. I think, what will happen if I make this change?
Một ví dụ khác là dự đoán. Đây là suy luận nhân quả. Tôi có một mô hình. Tôi nghĩ: điều gì sẽ xảy ra nếu tôi thay đổi thế này?
And then I play it forward. And that seems like simulation. And in a way, it sort of is noisy simulation.
Rồi tôi chạy tiếp về phía trước. Nghe giống mô phỏng. Và theo một nghĩa nào đó, nó đúng là mô phỏng có nhiễu.
Another kind of thing that we'll see probably in about two weeks, another use we can use these probabilistic models for is value of information queries. And that's for things like — remember in Ghostbusters?
Một loại khác mà có lẽ ta sẽ thấy sau khoảng hai tuần, một cách dùng khác của các mô hình xác suất này là các truy vấn giá trị thông tin. Chẳng hạn như, nhớ Ghostbusters chứ?
I could probe and gather information, or I could act and there was a trade off between gathering information and making a decision.
Tôi có thể dò để thu thập thông tin, hoặc có thể hành động, và có sự đánh đổi giữa thu thập thông tin và ra quyết định.
And so you have questions like, how much — whether it's in dollars or utilities — how much value is there in finding out this piece of evidence?
Vậy bạn có những câu hỏi như: bao nhiêu, dù tính bằng đô la hay độ hữu dụng, giá trị có được khi biết một mẩu bằng chứng này?
Those computations where knowledge is associated with gains and utility are really a fundamental thing in rational decision making. And those are called value of information computations.
Những phép tính mà tri thức gắn với lợi ích và độ hữu dụng là điều nền tảng trong việc ra quyết định duy lý. Và chúng được gọi là các phép tính giá trị thông tin.
And we'll take a look at that once we have all the machinery.
Ta sẽ xem xét chúng khi đã có đủ bộ máy.
And that's going to be, I think, a really cool lecture where we connect the action, decision making, up to the probabilistic inference. Any questions before we get started?
Tôi nghĩ đó sẽ là một bài giảng thực sự thú vị, nơi chúng ta nối việc hành động, ra quyết định, với suy luận xác suất. Có câu hỏi nào trước khi bắt đầu không?
So we're going to, in some ways, continue where we left off in the past lecture talking about probabilistic models, , which are formally joint distributions of our collection of random variables, and talking about properties of those models and computations we can do over those models.
Ở một mức nào đó, chúng ta sẽ tiếp tục từ chỗ đã dừng ở bài trước, nói về các mô hình xác suất, về mặt hình thức chính là phân phối đồng thời của một tập các biến ngẫu nhiên, và nói về các tính chất của những mô hình đó cùng các phép tính ta làm được trên chúng.
One major property that's going to be really important today that we didn't get into last time is the notion of independence between random variables and then following onto that, the more important notion of conditional independence.
Một tính chất quan trọng hôm nay mà lần trước ta chưa đề cập là khái niệm độc lập giữa các biến ngẫu nhiên, và tiếp theo đó, khái niệm quan trọng hơn là độc lập có điều kiện.
So we say two variables in a joint distribution are independent if the following holds. So informally, two variables are independent if there's no interaction between them. That's an informal notion.
Ta nói hai biến trong một phân phối đồng thời độc lập nếu điều sau đây đúng. Nói không chính thức, hai biến độc lập nếu chúng không tương tác với nhau. Đó là cách hiểu không chính thức.
What does that mean mathematically?
Về mặt toán học thì nó nghĩa là gì?
It means that if I take a distribution p of xy — and remember, that's a big table that tells you every value of x and y how likely that outcome is.
Nghĩa là nếu tôi lấy phân phối p của xy, và nhớ rằng đó là một bảng lớn cho biết với mỗi giá trị x và y thì kết quả đó có khả năng xảy ra đến đâu.
And that's going to be the probability of that outcome.
Và đó chính là xác suất của kết quả đó.
If for every x and y, the probability that x and y happen together is simply the probability that x happens — nothing said about y — times the probability that y happens.
Nếu với mọi x và y, xác suất để x và y cùng xảy ra đơn giản bằng xác suất để x xảy ra, không nói gì về y, nhân với xác suất để y xảy ra.
Nothing said about x. Now this is, in general, doesn't hold. What do we know in general?
Không nói gì về x. Nói chung điều này không đúng. Nói chung ta biết điều gì?
We know in general that p of x,y The probability of x and y, is the probability of x times the probability of y, given x. That's always true.
Nói chung ta biết p của x,y, xác suất của x và y, bằng xác suất của x nhân xác suất của y, biết x. Điều đó luôn đúng.
That's the product rule. We saw that last time.
Đó là quy tắc nhân. Ta đã thấy lần trước.
But you might have a very special distribution in which y, in fact, doesn't depend on x at all and the joint probability is equal to the product of the marginal probabilities.
Nhưng bạn có thể có một phân phối rất đặc biệt trong đó y thực ra hoàn toàn không phụ thuộc vào x và xác suất đồng thời bằng tích của các xác suất biên.
What this does is that this joint distribution, which is a big two dimensional table, factors into the product of two simpler distributions. Here, two one dimensional tables.
Điều này nghĩa là phân phối đồng thời đó, một bảng hai chiều lớn, phân rã thành tích của hai phân phối đơn giản hơn. Ở đây là hai bảng một chiều.
And that means it's a special kind of simple distribution. Here's another way you can write that.
Và nghĩa là nó là một loại phân phối đơn giản đặc biệt. Đây là một cách viết khác.
Another way you can write this is just what we showed up here, that if it's true that the joint distribution factors is the product of the marginals, it's going to be true that for all x and y, the conditional probability of x given y — that is, how likely x is to take a certain value given a value of y — is the same as it's marginal probability.
Một cách viết khác chính là điều ta vừa trình bày ở trên, rằng nếu phân phối đồng thời phân rã thành tích của các phân phối biên, thì sẽ đúng rằng với mọi x và y, xác suất có điều kiện của x biết y, tức là khả năng x nhận một giá trị nào đó khi biết giá trị của y, bằng chính xác suất biên của nó.
That is, learning something about y doesn't change my belief in x at all. And if that's true, then we say x and y are independent. We write that this way.
Nghĩa là biết thêm điều gì đó về y không làm thay đổi niềm tin của tôi về x chút nào. Và nếu vậy thì ta nói x và y độc lập. Ta viết như thế này.
That little thing between x and y, you can think of that as a sort of perpendicular sign. It says they're, in some deep sense, they're independent. They're doing their own thing.
Ký hiệu nhỏ giữa x và y, bạn có thể xem nó như một dấu vuông góc. Nó nói rằng, theo một nghĩa sâu xa, chúng độc lập. Mỗi biến tự làm việc của nó.
So it looks like a perpendicular sign.
Nên nó trông như dấu vuông góc.
Now independence is our first example of a modeling assumption.
Độc lập là ví dụ đầu tiên của một giả định mô hình hóa.
I can take two random variables like coin flip one and coin flip two and I can ask what is their joint distribution, or I can make an assumption.
Tôi có thể lấy hai biến ngẫu nhiên như lần tung đồng xu một và lần tung đồng xu hai và hỏi phân phối đồng thời của chúng là gì, hoặc tôi có thể đưa ra một giả định.
I can say, you know what?
Tôi có thể nói, bạn biết không?
I know enough about how coin flips work that I'm going to assume they have nothing to do with each other and I can think of them as being governed by independent distributions with no interaction terms, which means if I want to know their joint probability, I multiply their independent probabilities.
Tôi biết đủ về cách tung đồng xu để giả định chúng không liên quan gì đến nhau, và coi chúng được chi phối bởi các phân phối độc lập, không có số hạng tương tác, nghĩa là nếu muốn biết xác suất đồng thời của chúng, tôi nhân các xác suất độc lập của chúng.
There's a couple of reasons why independence might not hold. One is that there are often very subtle interactions or weaker interactions.
Có vài lý do khiến tính độc lập có thể không đúng. Một là thường có những tương tác rất tinh tế hoặc yếu hơn. tương tác.
You may choose not to model them, but they're often these sort of like lower order interactions. We'll see some examples of that today.
Bạn có thể chọn không mô hình hóa chúng, nhưng thường đó là những tương tác bậc thấp hơn. Hôm nay ta sẽ thấy vài ví dụ.
And of course, if you actually look at a joint distribution that comes from data, often there's going to be imperfect independence.
Và tất nhiên, nếu bạn nhìn vào một phân phối đồng thời đến từ dữ liệu, thường sẽ có tính độc lập không hoàn hảo.
So if I flip coins a couple of times, they might not exactly fall independently. That would be something that would only be true in the limit. So let's take an example.
Nếu tôi tung đồng xu vài lần, chúng có thể không rơi độc lập một cách hoàn hảo. Điều đó chỉ đúng ở giới hạn. Hãy lấy một ví dụ.
And this we'll do intuitively. Let's say we have a domain which has the following random variables — weather, so what kind of weather is there, traffic, how much traffic is there.
Và ta sẽ làm bằng trực giác. Giả sử ta có một miền gồm các biến ngẫu nhiên sau: thời tiết, tức là thời tiết thế nào, giao thông, có bao nhiêu xe cộ.
Maybe that's been discretized into light traffic and heavy traffic. Cavity — this represents, do I have a cavity in my mouth? And tooth ache. Do I have a tooth ache?
Có thể đã rời rạc hóa thành giao thông thưa và giao thông đông. Sâu răng: biến này cho biết trong miệng tôi có bị sâu răng không? Và đau răng. Tôi có bị đau răng không?
So here's four random variables that I may care about. And if I build a probabilistic model over them, we might be able to simplify that model.
Vậy là bốn biến ngẫu nhiên mà ta có thể quan tâm. Và nếu xây dựng một mô hình xác suất trên chúng, ta có thể đơn giản hóa mô hình đó.
Instead of being a big four dimensional giant table, I might be able to split it into two tables were parts of my domain don't interact. So what's a good split.
Thay vì là một bảng bốn chiều khổng lồ, ta có thể tách nó thành hai bảng nếu các phần của miền không tương tác với nhau. Vậy cách tách nào là hợp lý?
Or maybe all these variables may be independent. Are there any variables there that probably aren't independent? What's an example of things that are not independent.
Hoặc có thể tất cả các biến này đều độc lập. Có biến nào ở đó có lẽ không độc lập không? Ví dụ nào là những thứ không độc lập?
One is weather and traffic. There's probably some correlation there. Weather gets bad, traffic gets bad. Those aren't independent.
Một cặp là thời tiết và giao thông. Có lẽ có một mối tương quan nào đó. Thời tiết xấu thì giao thông xấu. Chúng không độc lập.
How about cavity and tooth ache? Independent? No. Go see your dentist.
Còn sâu răng và đau răng thì sao? Độc lập không? Không. Hãy đi khám nha sĩ.
Dependent. All right. But these two subsets of variables maybe don't have any major interactions.
Phụ thuộc. Được rồi. Nhưng hai tập con các biến này có thể không có tương tác đáng kể nào với nhau.
And so I might say that the variables weather and traffic, although they interact together, they may be governed by one distribution. Cavity and tooth ache are governed by another distribution.
Vậy nên tôi có thể nói rằng các biến weather và traffic, tuy chúng tương tác với nhau, có thể được chi phối bởi một phân phối. Còn cavity và tooth ache được chi phối bởi một phân phối khác.
And there maybe don't need to be any interaction terms. So if I want to have the probability over all four, I can write that as the product of the probability of the two pairs.
Và có lẽ không cần các số hạng tương tác nào cả. Nên nếu muốn có xác suất của cả bốn biến, tôi có thể viết nó bằng tích xác suất của hai cặp.
That's the idea behind independence. Let's do an example. Here is a joint probability distribution over the variables t and w from last time — remember, t was either hot or cold.
Đó là ý tưởng đằng sau tính độc lập. Hãy xem một ví dụ. Đây là một phân phối xác suất đồng thời trên các biến t và w từ buổi trước. Nhớ là t là nóng hoặc lạnh.
It was the temperature. And w was either sun or rain. It was the weather. And here's some probabilities.
Đó là nhiệt độ. Còn w là nắng hoặc mưa. Đó là thời tiết. Và đây là một số xác suất.
There are many probability distributions over these variables. They all look just like that, but with different numbers. And of course, they all add up to 1. They're all positive.
Có nhiều phân phối xác suất trên các biến này. Chúng đều trông giống thế này, nhưng với các số khác nhau. Và dĩ nhiên, tổng của chúng đều bằng 1. Chúng đều dương.
That kind of thing. Now what I can do is I can compute the marginal over t. So I can say, well, t is either hot or cold.
Đại loại như vậy. Giờ tôi có thể tính phân phối biên của t. Tức là t hoặc nóng hoặc lạnh.
And if I want to know what's the total probability of t equals hot, I look at my joint table, I look at all the consistent rows and I add those together.
Và nếu muốn biết tổng xác suất để t bằng nóng, tôi nhìn bảng đồng thời, nhìn tất cả các dòng phù hợp rồi cộng chúng lại.
And so I get 0.5. And so I can compute this. We did this last time. This is projecting, a joint distribution over the two variables onto a marginal distribution over just one.
Và tôi được 0.5. Vậy là tôi tính được cái này. Buổi trước ta đã làm rồi. Đây là chiếu một phân phối đồng thời trên hai biến xuống một phân phối biên chỉ trên một biến.
And of course, I can do that for p of w, too. And I look in there and I do my computations and I see that the total probability of sun is 0.6, for example.
Và dĩ nhiên tôi cũng làm được vậy cho p của w. Tôi nhìn vào đó, tính toán và thấy tổng xác suất của nắng chẳng hạn là 0.6.
So p1 here on the left is a joint distribution over these variables. pt and pw are marginal distributions of that joint distribution. So these are derived.
Vậy p1 bên trái là một phân phối đồng thời trên các biến này. pt và pw là các phân phối biên của phân phối đồng thời đó. Tức là chúng được suy ra.
Now I can ask a question, which is, what is the probability of hot,sun?
Giờ tôi có thể hỏi một câu: xác suất của hot,sun là bao nhiêu?
Well, I can look it up in my table in p1. And I see, oh, it's 0.4. So in p1, that's 0.4.
Tôi có thể tra trong bảng p1. Và thấy nó là 0.4. Vậy trong p1, nó là 0.4.
In a distribution in which these distributions, pt and pw were the marginals and where independence held, I would know that p of hot,sun is equal to p of hot, the marginal, times p of sun.
Trong một phân phối mà pt và pw là các phân phối biên và tính độc lập thỏa mãn, tôi sẽ biết p của hot,sun bằng p của hot, phân phối biên, nhân p của sun.
And so I can look those up. Here's p of hot. Here's p of sun. And that's 0.3.
Và tôi có thể tra các giá trị đó. Đây là p của hot. Đây là p của sun. Và kết quả là 0.3.
What do we know? We know that p1 is not a distribution in which t and w are independent. And in general, things aren't independent.
Ta biết được điều gì? Ta biết p1 không phải là phân phối mà t và w độc lập. Và nói chung, các thứ không độc lập.
If I grab an arbitrary probability distribution over some variables, things won't be independent. Only a simple subset of them are. For example, here's p2. In this one p of hot,sun is 0.3.
Nếu tôi lấy một phân phối xác suất bất kỳ trên một số biến, thì chúng sẽ không độc lập. Chỉ một tập con đơn giản là độc lập. Ví dụ, đây là p2. Ở đây p của hot,sun là 0.3.
And if you check all the other entries, you'll see that that definition of independence holds. The product of the marginals is equal to the joint for all of those different outcomes.
Và nếu kiểm tra tất cả các ô còn lại, bạn sẽ thấy định nghĩa độc lập đúng. Tích các phân phối biên bằng phân phối đồng thời với mọi kết quả khác nhau đó.
So p2 and p1, just to sort of exercise, some brain muscles for next time, p2 and p1 are two different joint distributions over the same variables.
Vậy p2 và p1, coi như tập thể dục cho não cho buổi sau, p2 và p1 là hai phân phối đồng thời khác nhau trên cùng các biến.
p2 has the property that t and w are independent. p1 does not have that property. So in some sense, p2 is simpler.
p2 có tính chất là t và w độc lập. p1 thì không có tính chất đó. Nên theo nghĩa nào đó, p2 đơn giản hơn.
One way in which it's simpler is I can write it by just supplying you p of t and p of w and giving you the information that I'm thinking about the independent distribution.
Một điểm đơn giản hơn là tôi có thể viết nó chỉ bằng cách cho bạn p của t và p của w và cho bạn biết rằng tôi đang xét phân phối độc lập.
So it's more compact. Any questions about that? Yep?
Nên nó gọn hơn. Có câu hỏi nào không? Bạn nói đi?
STUDENT
P1, the probability is [INAUDIBLE] based on some measurement, and we deduce that it's not independent [INAUDIBLE].
Xác suất của P1 là [KHÔNG NGHE RÕ] dựa trên một phép đo nào đó, và ta suy ra nó không độc lập [KHÔNG NGHE RÕ].
If we re-measured p2, we could simply just get these probabilities — 0.3, 0.2, 0.3, 0.2. How do we suddenly say they're independent, just because they [INAUDIBLE].
Nếu đo lại p2, ta có thể chỉ nhận được các xác suất này thôi — 0.3, 0.2, 0.3, 0.2. Sao tự nhiên ta nói chúng độc lập, chỉ vì chúng [KHÔNG NGHE RÕ].
PROFESSOR
So there's a couple important things here. And let me let me kind of split them apart. One, I'm giving you probability distributions.
Có vài điều quan trọng ở đây. Để tôi tách chúng ra. Thứ nhất, tôi đang cho bạn các phân phối xác suất.
I'm not telling you what data you learned them from or what sampling error there is or any of that. We will get to that later. Right now, these are simply two probability distributions.
Tôi không nói bạn học chúng từ dữ liệu nào hay có sai số lấy mẫu gì không. Ta sẽ nói tới chuyện đó sau. Lúc này, đây chỉ đơn giản là hai phân phối xác suất.
They have different parameters. One of them is independent, and I can verify that — that's p2 — by checking these equalities. And p1 is not independent.
Chúng có các tham số khác nhau. Một cái độc lập, và tôi kiểm tra được điều đó, là p2, bằng các đẳng thức này. Còn p1 thì không độc lập.
And what that means is t and w interact in p1. So for example, as we can see if hot and sun don't interact, the probability of hot and sun is 0.3.
Điều đó nghĩa là t và w có tương tác trong p1. Ví dụ, như ta thấy, nếu hot và sun không tương tác, xác suất của hot và sun là 0.3.
Hot and sun do interact in p1, and the probability is 0.4. And so there's a correlation there. And you might informally say that correlation is, it's more likely to be hot if it's sunny.
Hot và sun có tương tác trong p1, và xác suất là 0.4. Vậy có một tương quan ở đây. Nói không chính thức thì tương quan đó là trời nắng thì dễ nóng hơn.
The sampling question's a good one and we'll get to it later. All right. Here's an extreme example of independence.
Câu hỏi về lấy mẫu rất hay và ta sẽ nói sau. Được rồi. Đây là một ví dụ cực đoan về tính độc lập.
Let's say your are an octobot and you're flipping a whole bunch of coins and you're flipping n coins.
Giả sử bạn là một octobot và bạn đang tung cả đống đồng xu, tung n đồng xu.
And you want to describe this kind of mathematically imaginable giant joint distribution over these n variables.
Và bạn muốn mô tả loại phân phối đồng thời khổng lồ có thể hình dung về mặt toán học trên n biến này.
It's of size 2 to the n, because for every sequence of heads and tails, there at the end is the probability.
Nó có kích thước 2 mũ n, vì với mỗi dãy đầu và sấp, thì ở cuối là xác suất của chuỗi đó.
But of course, we know that when you flip a coin and you flip another coin, those things are independent. And so there's no need to actually ever write down this giant exponentially large distribution.
Nhưng dĩ nhiên, ta biết khi tung một đồng xu rồi tung một đồng xu khác, hai việc đó độc lập với nhau. Nên thực ra không cần bao giờ viết ra phân phối khổng lồ lớn theo cấp số mũ này.
I can instead just write down each of the n marginal distributions and arm you with the knowledge that in my model, these random variables are independent.
Thay vào đó, tôi chỉ cần viết ra từng phân phối biên trong n phân phối, và nói rõ rằng trong mô hình của tôi, các biến ngẫu nhiên này độc lập.
And then if you ever ask me a question from the full joint distribution, we can just multiply together the pieces and get the answer.
Rồi nếu bạn hỏi tôi một câu về phân phối đồng thời đầy đủ, ta chỉ cần nhân các phần lại với nhau là ra đáp án.
In fact, it could be even more compact than this, because in addition to being independent, these coins could also be identically distributed, which means I only have to give you one probability distribution, and then you can imagine replicating it.
Thực ra còn có thể gọn hơn nữa, vì ngoài việc độc lập, các đồng xu này còn có thể cùng phân phối, nghĩa là tôi chỉ cần đưa bạn một phân phối xác suất, rồi bạn cứ sao chép nó ra.
But this already has an exponential speed up. This thing on the bottom of is of size 2 to the n and this thing on the top is just of size 2n.
Nhưng như vậy đã nhanh hơn theo cấp số mũ rồi. Cái ở dưới có kích thước 2 mũ n còn cái ở trên chỉ có kích thước 2n.
So it's a lot better.
Tốt hơn rất nhiều.
All right. So independence is great. And let's just take a multiplicatively large table and break it into smaller pieces.
Được rồi. Vậy tính độc lập rất tuyệt. Ta lấy một bảng lớn theo kiểu nhân và chia nó thành các phần nhỏ hơn.
This should maybe remind you of something and in CSPs, how much easier the CSPs were if I could take my big CSP, break it into smaller CSPs, and solve them independently.
Điều này có thể gợi bạn nhớ đến CSP, CSP dễ hơn nhiều nếu tách được CSP lớn thành các CSP nhỏ hơn và giải độc lập từng cái.
But — we'll bring back the mouth in the second — but just like in CSPs with where we talked about some problems that completely don't interact, it's also the case that independence probabilistically is very rare.
Nhưng, lát nữa ta sẽ quay lại phần toán, cũng như trong CSP, nơi ta nói về những bài toán hoàn toàn không tương tác với nhau, về mặt xác suất, tính độc lập cũng rất hiếm.
And it's very rare for a couple of reasons.
Và nó hiếm vì vài lý do.
One, variables do tend to have interactions, but in particular, when you choose to build a model of something, you typically throw in all the variables that you care about.
Một, các biến thường có tương tác, nhưng đặc biệt, khi bạn chọn xây dựng mô hình cho một thứ gì đó, bạn thường đưa vào mọi biến mà bạn quan tâm.
And those are the variables that interact. Yes, it's true that weather and traffic don't interact with cavity and tooth ache. But they generally don't show up in the same model either.
Và đó chính là những biến có tương tác. Đúng là thời tiết và giao thông không tương tác với sâu răng và đau răng. Nhưng nhìn chung chúng cũng không xuất hiện trong cùng một mô hình.
So in general, all of your variables do have some degree of interaction. And independence is too strong a notion.
Nên nhìn chung, các biến của bạn đều có mức độ tương tác nào đó. Và tính độc lập là khái niệm quá mạnh.
But it's the building block of something that we can use efficiently, which is called conditional independence.
Nhưng nó là nền tảng của một thứ mà ta dùng được hiệu quả, gọi là độc lập có điều kiện.
So in conditional independence, we don't go so far as to say that two random variables have no interaction. What we say instead is that their interaction is sort of mediated by another variable.
Với độc lập có điều kiện, ta không đi xa đến mức nói hai biến ngẫu nhiên không có tương tác. Thay vào đó ta nói rằng tương tác của chúng được trung gian bởi một biến khác.
And the way we write that formally is rather than saying that the joint distribution is a product of marginals, we have some other simplification of the chain rule that is less radical.
Và cách viết hình thức là, thay vì nói phân phối đồng thời là tích các phân phối biên, ta có một cách đơn giản hóa khác của quy tắc chuỗi, ít cực đoan hơn.
So for example, if we take the variables — so imagine you are building a dentist robot and it's going with its little probe and it's poking at your teeth.
Ví dụ, ta lấy các biến này, hãy tưởng tượng bạn xây một robot nha sĩ với cái đầu dò nhỏ đang chọc vào răng bạn.
And the random variables are, do I have a tooth ache or not? Do I have a cavity or not? And will that little probe catch on a hole in your tooth?
Các biến ngẫu nhiên là: tôi có đau răng không? Tôi có bị sâu răng không? Và đầu dò có mắc vào lỗ trên răng không?
So these are three random variables. And for three variables, I could imagine just having a full distribution. It wouldn't be that big.
Vậy là có ba biến ngẫu nhiên. Với ba biến, tôi có thể chỉ cần dùng phân phối đầy đủ. Nó cũng không lớn lắm.
But I might be able to do better than that, because somehow it seems like if I have a cavity, my tooth might hurt or it might not, but if I have that cavity, whether or not the probe physically catches on my tooth maybe it doesn't have much to do with whether or not I'm feeling pain.
Nhưng có thể làm tốt hơn thế, vì có vẻ như nếu tôi bị sâu răng, răng có thể đau hoặc không, nhưng đã có lỗ sâu đó rồi thì việc đầu dò có mắc vào răng hay không có lẽ không liên quan nhiều đến việc tôi có thấy đau hay không.
And if that's the kind of simplifying assumption you can use via conditional independence. So I could make an argument.
Đó là kiểu giả định đơn giản hóa mà bạn dùng được qua độc lập có điều kiện. Vậy tôi có thể lập luận.
In this domain that goes something like this — if I have a cavity, the probability that the probe catches in it doesn't depend on whether or not I am experiencing pain.
Trong miền này, nó đại loại như sau: nếu tôi bị sâu răng, xác suất đầu dò mắc vào đó không phụ thuộc vào việc tôi có đang bị đau hay không.
What is that formerly. Formerly, that's saying the probability of plus catch, given the tooth ache and the cavity, is just the same as the probability of the catch given the cavity.
Viết hình thức thì thế nào? Hình thức thì đó là xác suất của +catch, cho trước đau răng và sâu răng, bằng đúng xác suất của catch cho trước sâu răng.
Somehow the tooth ache doesn't add any information. So the conditional probability of catch given tooth ache and cavity is the same as the conditional probability of catch given just cavity.
Đau răng không cung cấp thêm thông tin gì. Vậy xác suất có điều kiện của catch cho trước đau răng và sâu răng bằng xác suất có điều kiện của catch chỉ cho trước sâu răng.
Now in an actual joint distribution, this could be true or not. You could go check. You could go churn some numbers and check.
Trong một phân phối đồng thời thực tế, điều này có thể đúng hoặc không. Bạn có thể đi kiểm tra. Bạn có thể tính toán vài con số để kiểm tra.
As a modeling assumption, I could say before I even get a probability distribution, I want to assume this to simplify my life and make my distribution more compact.
Như một giả định mô hình hóa, tôi có thể nói ngay từ trước khi có phân phối xác suất, tôi muốn giả định điều này để đơn giản hóa mọi thứ và làm phân phối gọn hơn.
Now that same independence would have to hold even if you don't have a cavity.
Sự độc lập đó cũng phải đúng ngay cả khi bạn không bị sâu răng.
So in this case, well, if I don't have a cavity, there is some probability that the probe will catch anyway.
Trường hợp đó, nếu tôi không bị sâu răng, vẫn có một xác suất nào đó đầu dò mắc vào.
Now the question is, what's the probability that the probe will catch if I don't have a cavity but for some reason I'm experiencing tooth pain.
Câu hỏi là, xác suất đầu dò mắc vào là bao nhiêu nếu tôi không sâu răng nhưng vì lý do nào đó tôi lại đau răng.
Well, you don't have a cavity, so who knows why you're experiencing tooth pain? And you might make the assumption that those conditional probabilities are the same. What does this mean?
Thì bạn không sâu răng, nên ai biết tại sao bạn lại đau răng? Và bạn có thể giả định rằng các xác suất có điều kiện đó bằng nhau. Điều này nghĩa là gì?
This basically means that once you know about cavity, you know all you need to about catch and the tooth ache doesn't matter anymore. Is that independence?
Về cơ bản nghĩa là một khi bạn biết về sâu răng, bạn đã biết mọi thứ cần biết về catch và đau răng không còn quan trọng nữa. Đó có phải là độc lập không?
Well, it's not independence, because it's not the case that the catch and the tooth ache are independent.
Không, nó không phải độc lập, vì catch và đau răng không độc lập với nhau.
If that were true, if I learned that I had a tooth ache, it wouldn't change my belief of whether or not the dentist would find a catch. But it should change my belief, right?
Nếu đúng vậy, khi tôi biết mình bị đau răng, niềm tin của tôi về việc nha sĩ có thấy đầu dò mắc vào hay không sẽ không đổi. Nhưng nó phải thay đổi chứ, đúng không?
Because the tooth ache maybe means I have a cavity, which in turn maybe means that there's going to be a catch, but there's not a direct connection. That's formalized by these equations.
Vì đau răng có thể có nghĩa là tôi bị sâu răng, và sâu răng thì có thể dẫn đến việc nha sĩ sẽ thấy catch, nhưng giữa chúng không có liên hệ trực tiếp. Điều đó được hình thức hóa bằng các phương trình này.
What we say here is we say that the random variable catch is conditionally independent of tooth ache, given cavity. That's much weaker than being completely or marginally or absolutely independent of tooth ache.
Ở đây ta nói rằng biến ngẫu nhiên catch độc lập có điều kiện với tooth ache, khi biết cavity. Điều đó yếu hơn nhiều so với việc độc lập hoàn toàn, hay độc lập biên, độc lập tuyệt đối với tooth ache.
It's only once you know cavity, there's no sort of correlation left between them other than what was mediated by that variable.
Chỉ khi bạn đã biết cavity thì giữa hai biến mới không còn tương quan nào, ngoài phần được truyền qua biến đó.
So if these properties hold, we say catch is conditionally independent of tooth ache, and there's a bunch of ways to write that statement, which are all mathematically equivalent.
Vậy nếu các tính chất này đúng, ta nói catch độc lập có điều kiện với tooth ache, và có nhiều cách viết phát biểu đó, tất cả đều tương đương về mặt toán học.
Conditional independence is an assumption. It may or may not hold in a given distribution. And when you assume it, you simplify your distribution.
Độc lập có điều kiện là một giả định. Nó có thể đúng hoặc không đúng trong một phân phối cụ thể. Và khi bạn giả định nó, phân phối của bạn được đơn giản hóa.
But that same assumption can be written in a lot of ways.
Nhưng cùng một giả định có thể viết theo nhiều cách.
One is this way, what's above, that if you — it's catch given cavity is the same as catch given cavity and tooth ache. But you can write it the other way.
Một cách là như ở trên, nếu bạn — xác suất catch cho trước cavity bằng xác suất catch cho trước cavity và tooth ache. Nhưng bạn cũng có thể viết theo chiều ngược lại.
You can say the probability of tooth ache given cavity is the same as tooth ache given cavity and also knowing about the catch. You can also write it like this.
Bạn có thể nói xác suất của tooth ache cho trước cavity bằng tooth ache cho trước cavity và biết thêm cả catch. Bạn cũng có thể viết như thế này.
I actually really like writing it this way.
Thật ra tôi rất thích cách viết này.
This way says that once I know the value of the cavity random variable, whether it's plus or minus, the remaining distribution over tooth ache and catch, that distribution is independent.
Cách này nói rằng một khi tôi biết giá trị của biến ngẫu nhiên cavity, dù là cộng hay trừ, thì phân phối còn lại trên tooth ache và catch, phân phối đó là độc lập.
So tooth ache and catch, you can think of that as its own little distribution over two variables, conditioned on cavity, and if that little distribution itself is independent for that conditioning environment, then you have conditional independence.
Vậy tooth ache và catch, bạn có thể coi đó là một phân phối nhỏ riêng trên hai biến, có điều kiện theo cavity, và nếu bản thân phân phối nhỏ đó độc lập trong bối cảnh điều kiện này, thì bạn có độc lập có điều kiện.
Each of these can be derived from the others. You can go apply your definition of conditional probability and cross stuff out and show that.
Mỗi cách viết đều suy ra được từ các cách còn lại. Bạn áp dụng định nghĩa xác suất có điều kiện rồi triệt tiêu các số hạng là chứng minh được.
Yep?
Vâng?
STUDENT
[INAUDIBLE].
[KHÔNG NGHE RÕ].
PROFESSOR
That's a great question. So does this — does the knowledge that — let's write this somewhere.
Câu hỏi rất hay. Vậy điều này có — việc biết rằng — để tôi viết ra đâu đó.
So I could write tooth ache is independent of catch given cavity.
Tôi có thể viết tooth ache độc lập với catch khi biết cavity.
Does that imply that tooth ache and catch are not independent? Not necessarily. I could go back to my coin flips and I could say coin flip 2 coin flip 4 our independent.
Điều đó có hàm ý tooth ache và catch không độc lập không? Không nhất thiết. Tôi có thể quay lại ví dụ tung đồng xu và nói lần tung 2 và lần tung 4 độc lập.
Yep. Are they also conditionally independent given coin flip 3? Yes, but you know something stronger. So in general, we want to use the strongest assumption we can make.
Đúng. Chúng có độc lập có điều kiện khi biết lần tung 3 không? Có, nhưng bạn biết một điều mạnh hơn. Nói chung, ta muốn dùng giả định mạnh nhất có thể.
But just because you have one assumption doesn't mean that other assumptions are not simultaneously true.
Nhưng có một giả định không có nghĩa là các giả định khác không đồng thời đúng.
So we already talked about this. Unconditional, or what's called absolute independence, is very rare.
Ta đã nói về điều này rồi. Độc lập vô điều kiện, hay còn gọi là độc lập tuyệt đối, là rất hiếm.
On the other hand, conditional independence is one of our most basic ways of saying something about a probabilistic model that simplifies it in a way that allows us to tractably compute important quantities on large distributions.
Ngược lại, độc lập có điều kiện là một trong những cách cơ bản nhất để nói điều gì đó về một mô hình xác suất, giúp đơn giản hóa nó để ta có thể tính toán hiệu quả các đại lượng quan trọng trên phân phối lớn.
So independence, rare and theoretical. Conditional independence, very important. And we'll see conditional independence and its consequences a lot today.
Vậy độc lập thì hiếm và mang tính lý thuyết. Độc lập có điều kiện thì rất quan trọng. Hôm nay ta sẽ thấy độc lập có điều kiện và các hệ quả của nó rất nhiều.
So mathematically if I have a distribution over three variables, x, y, and z, and I say x is conditionally independent of y given z, what that means, what that has to bottom out, is this statement — for all values of x, y, and z.
Về mặt toán học, nếu tôi có một phân phối trên ba biến x, y và z, và tôi nói x độc lập có điều kiện với y khi biết z, thì cuối cùng điều đó quy về phát biểu này, với mọi giá trị của x, y và z.
So you would have to check the whole distribution. You go down and check, check, check, check, check, check.
Tức là bạn phải kiểm tra toàn bộ phân phối. Bạn cứ đi kiểm tra từng giá trị một.
Or prove it to yourself mathematically, if you wanted to verify this property holds on a distribution.
Hoặc tự chứng minh bằng toán, nếu bạn muốn xác minh tính chất này đúng trên một phân phối.
So for all x, y, and z, the probability distribution over x and y or the probability of x and y given z is equal to x given z times y given z.
Vậy với mọi x, y và z, phân phối xác suất trên x và y, hay xác suất của x và y cho trước z bằng x cho trước z nhân y cho trước z.
So if you ignore z there, that's independence. But since that independence only holds when z is known, it's conditional independence. This is another way to write it.
Nếu bạn bỏ qua z ở đó, thì đó là độc lập. Nhưng vì độc lập đó chỉ đúng khi biết z, nên nó là độc lập có điều kiện. Đây là một cách viết khác.
This says for all x, y, and z, the probability your belief over x given your knowledge of z and y depends only on what you know of z.
Nó nói rằng với mọi x, y và z, xác suất, tức niềm tin của bạn về x khi biết z và y, chỉ phụ thuộc vào những gì bạn biết về z.
This says that if you already know z and you have some belief over x and you learn something about y, your beliefs should not change.
Nghĩa là nếu bạn đã biết z và có một niềm tin nào đó về x, rồi bạn biết thêm điều gì đó về y, niềm tin của bạn không nên thay đổi.
All right. Let's do some practice. We're going to come back to these toy domains I think three times today, depending on how far we get.
Được rồi. Giờ ta luyện tập một chút. Ta sẽ quay lại các miền đơn giản này khoảng ba lần hôm nay, tùy vào tiến độ.
So let's think about a domain with the following random variables. Traffic, t, that's how much traffic there is.
Hãy nghĩ về một miền có các biến ngẫu nhiên sau. Traffic, t, là mức độ kẹt xe.
Umbrella, whether or not I have an umbrella or whether or not I observe an umbrella on my robot. And then raining, whether or not it's raining.
Umbrella, tức là tôi có ô hay không, hoặc robot của tôi có quan sát thấy ô hay không. Và raining, tức là trời có mưa hay không.
So are any of these things independent? You look and you say, oh well, the umbrella and the traffic don't have any kind of correlation.
Vậy có biến nào trong số này độc lập không? Bạn nhìn và nói, ồ, umbrella và traffic đâu có tương quan gì.
Well, that doesn't sound right, because if I see the umbrella, I might think, huh, maybe there's going to be traffic too because maybe it's raining.
Nhưng nghe không đúng, vì nếu tôi thấy cái ô, tôi có thể nghĩ, ừm, có lẽ cũng sẽ kẹt xe vì có thể trời đang mưa.
So nothing's actually going to be — it's probably too strong an assumption, and maybe not a useful assumption, to assume independence. But what can we assume is conditional independent?
Nên thật ra sẽ không có cặp nào — giả định độc lập có lẽ quá mạnh, và có thể không hữu ích. giả định độc lập có lẽ quá mạnh, và có thể không hữu ích. Vậy ta có thể giả định cặp nào độc lập có điều kiện?
Two variables that may interact, but that interaction is completely mediated by a third.
Hai biến có thể tương tác, nhưng sự tương tác đó hoàn toàn được truyền qua một biến thứ ba.
Any votes? Yep?
Ai bỏ phiếu không? Vâng?
STUDENT
[INAUDIBLE].
[KHÔNG NGHE RÕ].
PROFESSOR
I guess I'm looking for a statement of the form, something is conditionally independent of something else given some third thing.
Thầy đang muốn một phát biểu dạng: cái này độc lập có điều kiện với cái kia khi đã biết một thứ thứ ba.
STUDENT
I was thinking that the probability of seeing an umbrella, given that it's raining and there's traffic, is the same as the probability of seeing an umbrella [INAUDIBLE].
Em nghĩ xác suất thấy một cái ô, biết rằng trời mưa và có kẹt xe, bằng với xác suất thấy một cái ô [KHÔNG NGHE RÕ].
PROFESSOR
So that's the presence of umbrellas and traffic on the freeway are conditionally independent once you know whether or not it's raining. So let's think what that means.
Tức là việc có ô và kẹt xe trên đường cao tốc là độc lập có điều kiện khi đã biết trời có mưa hay không. Ta thử xem điều đó nghĩa là gì.
That means if I know it's raining, well, traffic is likely and so are umbrellas, but not in a correlated way.
Nghĩa là nếu tôi biết trời mưa thì kẹt xe có khả năng xảy ra, ô cũng vậy, nhưng không tương quan với nhau.
It's not like when it's raining and the umbrella comes out, suddenly everybody's like, turning their head to see the umbrella and that causes more traffic. There's not an additional correlation.
Không phải cứ trời mưa, ô xuất hiện là mọi người bỗng quay đầu lại nhìn cái ô rồi gây thêm kẹt xe. Không có tương quan bổ sung nào.
And you say, well, wait, but you said it's a little weird, but may be possible. Yeah, there's always conceivable additional interactions that you can declare too minor to be modeled.
Bạn sẽ nói, thầy bảo hơi lạ nhưng có thể xảy ra. Đúng, luôn có thể hình dung thêm các tương tác mà ta cho là quá nhỏ để đưa vào mô hình.
And of course, we could quantify what too minor to be modeled means in terms of sort of information gain and things like that, but we're not going to do that today.
Dĩ nhiên ta có thể định lượng "quá nhỏ để mô hình hóa" theo độ lợi thông tin và những thứ tương tự, nhưng hôm nay ta không làm vậy.
So for today, it seems reasonable to say that traffic and umbrella are not marginally independent, but they seem to be conditionally independent given rain, and that is an assumption we can make to simplify our model.
Hôm nay ta có thể hợp lý cho rằng kẹt xe và ô không độc lập biên, nhưng có vẻ độc lập có điều kiện khi biết mưa, và đó là giả định ta có thể dùng để đơn giản hóa mô hình.
And you say, well, how exactly does that simplify my model. I thought you were just handing me a giant probability distributions.
Bạn hỏi: chính xác thì nó đơn giản hóa mô hình thế nào? Tôi tưởng thầy chỉ đưa cho em một phân phối xác suất khổng lồ.
Today, we'll see how it simplifies your model by allowing you to specify it in a more compact way. Let's do another one. Here's this model. f is whether or not there's fire.
Hôm nay ta sẽ thấy nó đơn giản hóa mô hình bằng cách cho phép mô tả mô hình gọn hơn. Ta làm thêm một ví dụ. Đây là mô hình. f là có cháy hay không.
s is whether or not there's smoke in the room. And a is whether or not the alarm goes off.
s là có khói trong phòng hay không. Và a là chuông báo có kêu hay không.
Now in this one, maybe it's tempting to start thinking about things causally, which can be misleading, but often helpful anyway.
Ở ví dụ này, ta dễ nghĩ theo quan hệ nhân quả, có thể gây hiểu lầm, nhưng thường vẫn hữu ích.
So let's think of, are there are two variables that maybe have some interaction, but only mediated by another one.
Vậy có hai biến nào có thể tương tác, nhưng chỉ qua một biến khác không?
Anyone want to make an assertion that something should be conditionally independent of something else given a third variable?
Ai muốn khẳng định một biến nào đó độc lập có điều kiện với một biến khác khi biết biến thứ ba không?
So let's first think about what caricature I have of this robot fire alarm situation. It's that the standard way these things work is there is fire or not.
Trước hết hãy nghĩ cách tôi hình dung tình huống chuông báo cháy tự động này. Thông thường, hoặc có cháy hoặc không.
And if there is fire, that fire has smoke. And that smoke gets into the alarm. And the alarm has a smoke sensor and goes off. And maybe that's all a noisy process.
Nếu có cháy thì có khói. Khói đi vào chuông báo. Chuông có cảm biến khói và kêu lên. Và có thể quá trình này có nhiễu.
The alarm doesn't always go off. Sometimes it goes off anyway. So now what can I say about these variables? Like let's — yep?
Chuông không phải lúc nào cũng kêu. Đôi khi nó vẫn kêu dù không có gì. Vậy ta nói được gì về các biến này? Ví dụ... em nói đi?
STUDENT
The fire and the alarm are conditionally independent, given smoke.
Cháy và chuông báo độc lập có điều kiện khi biết có khói.
PROFESSOR
Yeah, so that seems like a reasonable statement. I could say, well, the fire and the alarm are certainly not marginally independent.
Đúng, phát biểu đó có vẻ hợp lý. Ta có thể nói cháy và chuông báo chắc chắn không độc lập biên.
That's the whole point of a fire alarm is when the alarm goes off, it makes you worry that there's a fire. That's the point of alarm.
Mục đích của chuông báo cháy chính là khi chuông kêu, bạn lo là có cháy. Đó là mục đích của chuông.
But if the mechanism is via the smoke, then it may be that if I put smoke into the room and I know I've put smoke into the room, now suddenly there may be no additional correlation.
Nhưng nếu cơ chế đi qua khói, thì nếu tôi cho khói vào phòng và biết là mình đã cho khói vào, thì bỗng nhiên không còn tương quan bổ sung nào.
And you say, but what if the fire alarm also had a temperature sensor? Well then, this is a poor model now.
Bạn hỏi: nếu chuông còn có cảm biến nhiệt độ thì sao? Khi đó đây là mô hình kém.
So here's an assumption that may make sense to make or not, based on what is actually going on in the world and how closely I want to model it.
Vậy đây là một giả định có thể hợp lý hoặc không, tùy vào điều thực sự xảy ra trong thế giới và mức độ ta muốn mô hình hóa sát.
Let's think about how conditional independence, which so far has been a relatively intuitive concept, let's see how that's going to anchor into expressions we can write about joint probability distributions and ways we can write them using the chain rule.
Ta xem độc lập có điều kiện, vốn đến giờ là khái niệm khá trực quan, gắn với các biểu thức như thế nào về phân phối xác suất đồng thời và cách viết chúng bằng quy tắc chuỗi.
So remember the chain rule says that if I have n variables and I want to talk about the probability of some assignment to those n variables, one way I can write that as a product of other probabilities is I can say, well, it's the probability of x1 taking on whatever value it takes on, times not the probability of x2 by itself,
Nhớ rằng quy tắc chuỗi nói nếu có n biến và tôi muốn xét xác suất của một phép gán cho n biến đó, một cách viết nó thành tích các xác suất khác là xác suất x1 nhận giá trị của nó, nhân với không phải xác suất x2 riêng lẻ,
but the conditional probability of x2 given x1.
mà là xác suất có điều kiện của x2 biết x1.
So given what I already have at x1, I extend that to x2 and similarly times the probability of x3 given everything that precedes it in that ordering of variables.
Tức là biết x1 rồi, ta mở rộng sang x2, và tương tự nhân với xác suất x3 biết mọi biến đứng trước nó trong thứ tự các biến đó.
This is always true. And remember, this was true because you could think, here's probability of x1, but the probability of x2 given x1 was just p of x2,x1 divided by p of x1.
Điều này luôn đúng. Và nhớ rằng nó đúng vì bạn có thể nghĩ, đây là xác suất x1, còn xác suất x2 biết x1 chỉ là p của x2,x1 chia p của x1.
And then the x1 is canceled and this whole thing sort of telescopes. So that's no assumption. That's just the chain rule. That's always true.
Rồi x1 triệt tiêu và cả biểu thức co gọn lại như ống kính viễn vọng. Vậy đây không phải giả định. Đây chỉ là quy tắc chuỗi. Nó luôn đúng.
And by the time you get to the end to xn, it's xn conditioned on all variables preceding it. So not super helpful.
Và đến cuối, tại xn, là xn có điều kiện theo mọi biến đứng trước. Nên không hữu ích lắm.
So the trivial the decomposition here of traffic, rain, and umbrella, is that that joint probability can be rewritten as the product of probability of rain, times the probability of traffic given rain, times the probability of umbrella given traffic and rain.
Vậy phân rã tầm thường cho kẹt xe, mưa và ô là: xác suất đồng thời đó viết lại được thành tích xác suất của mưa, nhân xác suất kẹt xe biết mưa, nhân xác suất có ô biết kẹt xe và mưa.
This is always true over any distribution over three variables. But we decided something.
Điều này luôn đúng với mọi phân phối trên ba biến. Nhưng ta đã quyết định một điều.
We decided that for the purposes of our model, it seemed reasonable to assume that the probability of umbrella given rain and traffic was the same as the probability of umbrella given just what?
Ta quyết định rằng với mục đích của mô hình, có thể hợp lý khi giả định xác suất có ô biết mưa và kẹt xe bằng xác suất của umbrella chỉ khi biết mỗi cái gì nhỉ?
Given just rain. Because umbrella and traffic were conditionally independent given rain. And if we make that assumption, now that joint probability is equal to the product of these simpler conditional probabilities.
Chỉ khi biết rain. Vì umbrella và traffic độc lập có điều kiện khi đã biết rain. Và nếu ta đưa ra giả định đó, thì xác suất đồng thời này bằng tích của những xác suất có điều kiện đơn giản hơn.
And now we're starting to get somewhere because now I have a way of talking about a large potentially exponentially sized joint distribution as a product of little pieces that don't just keep growing and growing and growing.
Đến đây ta bắt đầu có tiến triển rồi, vì giờ ta có cách để mô tả một phân phối đồng thời lớn, có thể có kích thước theo cấp số mũ, như một tích của các mảnh nhỏ không cứ lớn dần lên mãi.
And the chain rule, by the time you get to the end, these conditional families are just as big as the joint distribution. But not anymore, because they're not getting more complicated as I go.
Còn với quy tắc chuỗi, đến cuối cùng các bảng có điều kiện này lớn bằng cả phân phối đồng thời. Nhưng giờ thì không nữa, vì chúng không phức tạp thêm khi ta đi tiếp.
So now I finally accomplished something from the simplification, which is I can specify entries of a joint distribution using products of simple probabilities.
Vậy là cuối cùng ta đã đạt được điều gì đó nhờ việc đơn giản hóa này, đó là ta có thể xác định các giá trị của phân phối đồng thời bằng tích của các xác suất đơn giản.
And how simple they are depends on what conditional independence assumptions I can make.
Và chúng đơn giản đến đâu thì phụ thuộc vào những giả định độc lập có điều kiện mà ta có thể đưa ra.
So what we're going do now is we're going to get into Bayes' Nets, which are also called graphical models, which are a tool to help us express conditional independence assumptions and think about them in a graphical way, which can both help us design algorithms and also help us sort of think about these probability distributions in new ways that has been helpful.
Bây giờ ta sẽ chuyển sang mạng Bayes, còn gọi là mô hình đồ thị, một công cụ giúp ta biểu diễn các giả định độc lập có điều kiện và suy nghĩ về chúng bằng đồ thị, điều này vừa giúp ta thiết kế thuật toán vừa giúp ta nhìn các phân phối xác suất này theo những cách mới, rất hữu ích.
All right. Let's think about Ghostbusters. So remember, this is the tiniest Ghostbuster board. It's got two squares.
Được rồi. Ta hãy nghĩ về Ghostbusters. Nhớ lại, đây là bàn Ghostbusters nhỏ nhất. Nó có hai ô.
That means the ghost is in either the top square or the bottom square. So that's it. So one random variable is where is the ghost?
Nghĩa là con ma ở ô trên hoặc ô dưới. Vậy thôi. Một biến ngẫu nhiên là con ma ở đâu?
And I could phrase that as ghost location or true false, ghost is in the top. That's going to be the random variable g. Let's say it's uniform marginally.
Ta có thể viết là vị trí con ma, hoặc đúng sai: con ma ở ô trên. Đó sẽ là biến ngẫu nhiên g. Giả sử phân phối biên của nó là đều.
Here's two other random variables. Remember, we took sensor readings. And let's say let's imagine the sensors just say red or not red, or red means close.
Đây là hai biến ngẫu nhiên khác. Nhớ là ta có các số đọc cảm biến. Giả sử cảm biến chỉ báo đỏ hoặc không đỏ, đỏ nghĩa là gần.
So I could have random variables b and t, which are the reading in the top square — could be red or not. It's noisy.
Vậy ta có các biến ngẫu nhiên b và t, là số đọc ở ô trên, có thể đỏ hoặc không. Nó có nhiễu.
The reading in the bottom square, could be read or not. It's noisy. And my sort of verbal description of this model is each sensor reading depends only on where the ghost is.
Số đọc ở ô dưới cũng có thể đỏ hoặc không. Nó cũng có nhiễu. Mô tả bằng lời của mô hình này là mỗi số đọc cảm biến chỉ phụ thuộc vào vị trí con ma.
What that means is the two sensors, they're certainly not marginally independent because if I re-read up top, I'm probably not going to read red it on the bottom.
Điều đó nghĩa là hai cảm biến chắc chắn không độc lập biên, vì nếu ở trên đọc ra đỏ, thì nhiều khả năng ở dưới sẽ không đỏ.
If I read red on the bottom, I'm probably not going to read red up top. So they're certainly not marginally independent.
Nếu ở dưới đọc ra đỏ, thì nhiều khả năng ở trên sẽ không đỏ. Nên chúng chắc chắn không độc lập biên.
But it's reasonable to say that they're conditionally independent given the actual position of the ghost. That is, if I know where the ghost is, now these are just noisy sensor readings that aren't correlated.
Nhưng hợp lý khi nói chúng độc lập có điều kiện khi biết vị trí thật của con ma. Tức là nếu tôi biết con ma ở đâu, thì đây chỉ là các số đọc cảm biến có nhiễu và không tương quan với nhau.
And you say, well, but they could be correlated because what if your sensor is sometimes busted and then it reads red everywhere, or what if the first time you read red, it blows out the red light and now you can't read red any more somewhere else.
Bạn có thể nói: nhưng chúng vẫn có thể tương quan vì lỡ cảm biến thỉnh thoảng hỏng và báo đỏ khắp nơi, hoặc lỡ lần đầu báo đỏ thì đèn đỏ cháy mất và giờ nó không thể báo đỏ ở chỗ khác nữa.
So you could imagine correlations, but the basic idea that there's an underlying variable with independent measurements seems appropriate for this domain. So what does that mean? That means we're given the following things.
Vậy bạn có thể hình dung ra các tương quan, nhưng ý tưởng cơ bản là có một biến nền với các phép đo độc lập có vẻ phù hợp với bài toán này. Vậy điều đó có nghĩa gì? Nghĩa là ta được cho những thứ sau.
So I can tell you, hey, the probability that the ghost is in the top versus the bottom is 50-50. These are givens.
Tôi có thể nói: xác suất con ma ở trên so với ở dưới là 50-50. Đây là những điều cho trước.
I could also tell you the probability of a red reading if the ghost is the top is 80%, but the probability of red reading given the ghost is in the bottom as is only 40%.
Tôi cũng có thể cho bạn biết xác suất đọc ra đỏ nếu con ma ở trên là 80%, nhưng xác suất đọc ra đỏ khi con ma ở dưới chỉ là 40%.
So this does not fully specify a joint distribution over all these variables in general. But it's enough to specify the full joint distribution if I have conditional independence.
Nói chung, điều này chưa xác định đầy đủ phân phối đồng thời trên tất cả các biến này. Nhưng nó đủ để xác định toàn bộ phân phối đồng thời nếu ta có độc lập có điều kiện.
Why is that? That's because if you come along and say, hey, I'm curious about this entry of the joint distribution. I have some value of t, b, and g.
Tại sao vậy? Vì nếu bạn đến và nói: tôi tò mò về giá trị này của phân phối đồng thời. Tôi có một số giá trị của t, b và g.
Well in general, I know that I could look that up by telling you, how about I find p of g. I have that here. And how about t given g.
Nói chung, tôi biết có thể tra nó bằng cách tìm p của g. Cái đó tôi có ở đây. Rồi t given g.
I have that here. So far, so good. The chain rule demands be given g and t. That's what the chain will requires.
Cái đó tôi cũng có ở đây. Đến đây thì ổn. Quy tắc chuỗi đòi hỏi b given g và t. Đó là điều quy tắc chuỗi yêu cầu.
I don't have that.
Cái đó tôi không có.
So I can't compute this entry you asked for in the joint distribution until — conditional independence to the rescue — if I assume that b and t are conditionally independent given g, meaning the sensor readings are conditionally independent given the ghost's position, then I know that's the same as that without the t.
Nên tôi không thể tính giá trị bạn hỏi trong phân phối đồng thời, cho đến khi độc lập có điều kiện đến cứu: nếu tôi giả định b và t độc lập có điều kiện khi biết g, nghĩa là các số đọc cảm biến độc lập có điều kiện khi biết vị trí con ma, thì tôi biết nó bằng cái đó mà bỏ t đi.
And suddenly now I have the right variable — sorry, the right parameter — to plug-in, which means with those givens on the bottom and the assumption of conditional independence of the sensors, now I can fill up this whole table and now I can do all of the computations that I did last class, like compute how likely is it that the ghost is at the top given that they both read
Và đột nhiên tôi có đúng biến, xin lỗi, đúng tham số để thay vào, nghĩa là với những điều cho trước ở dưới và giả định độc lập có điều kiện của các cảm biến, giờ tôi có thể điền đầy cả bảng này và thực hiện tất cả các phép tính như buổi trước, chẳng hạn tính khả năng con ma ở trên là bao nhiêu khi cả hai cảm biến đều đọc ra
red or something like that?
đỏ, đại loại thế?
So Bayes' Nets. What's the big picture? Yep?
Vậy là mạng Bayes. Bức tranh tổng thể là gì? Bạn hỏi đi?
STUDENT
[INAUDIBLE].
[KHÔNG NGHE RÕ].
PROFESSOR
So are you asking, how do I know that — so the assumption here that really let's me go here is that t is conditionally independent of b given g.
Bạn đang hỏi là làm sao em biết rằng — giả định ở đây mới là thứ cho phép tôi đi đến bước này là t độc lập có điều kiện với b khi biết g.
Are you asking how I know I have that assumption or how does having that assumption unlock the joint distribution?
Bạn hỏi làm sao biết là có giả định đó, hay giả định đó giúp mở khóa phân phối đồng thời như thế nào?
STUDENT
[INAUDIBLE].
[KHÔNG NGHE RÕ].
PROFESSOR
Yeah, so this is — as modelers, we have to sort of take the information we have about the problem, which in this class will usually be specified in words.
Vâng, cái này — là người lập mô hình, ta phải lấy thông tin có về bài toán, mà trong lớp này thường được cho bằng lời.
Like, we'll give you some word problem or appeal to some sort of fairly clear causal structure where you can kind of tell what is directly dependent on what and translating that into conditional independence.
Ví dụ, chúng tôi sẽ cho một bài toán dạng văn hoặc dựa vào một cấu trúc nhân quả khá rõ ràng để bạn có thể thấy cái nào phụ thuộc trực tiếp vào cái nào, rồi chuyển điều đó thành độc lập có điều kiện.
So what I would have to tell you is that I have to tell you I'm imagining a case where I have sensor readings, and those sensor readings are conditionally independent given the underlying variable.
Nên tôi sẽ phải nói với bạn rằng tôi đang hình dung trường hợp có các kết quả đọc cảm biến, và các kết quả đó độc lập có điều kiện khi biết biến nền bên dưới.
Because like I said, if I could come up with some story that makes that conditional independence no longer reasonable to assume.
Vì như tôi đã nói, nếu tôi có thể nghĩ ra một câu chuyện khiến việc giả định độc lập có điều kiện đó không còn hợp lý nữa.
So another way to think about it is, the givens are various collections of conditional probabilities along with conditional independence assumptions. Sometimes we state them in words. Sometimes we'll just lay them out in symbols.
Một cách nghĩ khác là, những thứ được cho là nhiều tập xác suất có điều kiện cùng với các giả định độc lập có điều kiện. Đôi khi ta phát biểu chúng bằng lời. Đôi khi ta chỉ viết ra bằng ký hiệu.
And the point of this slide is that when you have the right givens along with the right conditional independence assumptions, you've unlocked the joint distribution.
Và ý của slide này là khi bạn có đúng các dữ kiện cùng đúng các giả định độc lập có điều kiện, bạn đã mở khóa phân phối đồng thời.
You can build the whole thing, when you wouldn't have been able to simply according to the chain rule.
Bạn dựng được cả nó, trong khi chỉ dùng quy tắc chuỗi thì không thể. quy tắc.
And that's really important because it means that under the right circumstances and with the right conditional independence assumptions, tiny little pieces of probability distributions can imply an entire joint distribution, which will unlock the ability to take lots of little pieces, assemble them and reassemble them and then produce some other little piece without ever having to construct the whole large object.
Điều đó rất quan trọng vì nó có nghĩa là trong hoàn cảnh phù hợp và với đúng các giả định độc lập có điều kiện, những mảnh nhỏ của phân phối xác suất có thể suy ra cả phân phối đồng thời, điều này mở ra khả năng lấy nhiều mảnh nhỏ, ghép chúng lại, ghép lại theo cách khác rồi tạo ra một mảnh nhỏ khác mà không bao giờ phải dựng cả đối tượng lớn.
Yep?
Bạn hỏi đi?
STUDENT
[INAUDIBLE].
[KHÔNG NGHE RÕ].
PROFESSOR
So the question is, why do we have so much emphasis about finding the whole joint distribution? We won't forever.
Câu hỏi là, tại sao ta nhấn mạnh nhiều đến việc tìm toàn bộ phân phối đồng thời? Sẽ không mãi như vậy.
But right now the only algorithm we have for answering an arbitrary query in a domain is by starting with a joint distribution and doing computation on it to answer our query.
Nhưng hiện giờ thuật toán duy nhất ta có để trả lời một truy vấn bất kỳ trong một miền là bắt đầu từ phân phối đồng thời và tính toán trên nó để trả lời truy vấn.
And so we're like, tiptoeing towards the ability to start with small pieces, build the whole joint distribution, and then collapse it again into a different small piece.
Nên ta đang rón rén tiến tới khả năng bắt đầu từ các mảnh nhỏ, dựng cả phân phối đồng thời, rồi thu nó lại thành một mảnh nhỏ khác. thành một phần nhỏ khác.
Where we'll eventually get is algorithms that help you avoid inflating the whole thing if you don't have to. And so you sort of manage assembly and projection in an interleaved way.
Cuối cùng ta sẽ đến các thuật toán giúp tránh phải phình ra cả cái đó nếu không cần thiết. Tức là ta xử lý việc lắp ghép và chiếu xen kẽ nhau.
And that's going to be, for example, the variable elimination algorithm. Great questions. More great questions.
Ví dụ, đó sẽ là thuật toán khử biến. Những câu hỏi rất hay. Thêm câu hỏi hay nữa.
STUDENT
[INAUDIBLE].
[KHÔNG NGHE RÕ].
PROFESSOR
Yes. So conditional independence is not an ordered notion.
Vâng. Độc lập có điều kiện không phải là khái niệm có thứ tự.
All right. So what's the big picture of Bayes' Nets.
Được rồi. Vậy bức tranh tổng thể của mạng Bayes là gì.
Bayes' Nets are a device for describing a complex distribution over a large number of variables where that large distribution is built up of small pieces, meaning local interactions, and the assumptions necessary to conclude that the product
Mạng Bayes là công cụ để mô tả một phân phối phức tạp trên số lượng lớn biến, trong đó phân phối lớn được xây từ các mảnh nhỏ, tức các tương tác cục bộ, cùng các giả định cần thiết để kết luận rằng tích
of those local interactions describes the whole domain. So it's going to be our way of describing big complicated domains using tiny pieces.
của các tương tác cục bộ đó mô tả cả miền. Nó sẽ là cách ta mô tả những miền lớn phức tạp bằng các mảnh nhỏ.
And there's really sort of a deep analogy here to CSPs where we described the interaction amongst many, many variables in terms of lots of little local constraints.
Ở đây có một sự tương đồng sâu sắc với CSP, nơi ta mô tả tương tác giữa rất nhiều biến bằng vô số ràng buộc cục bộ nhỏ.
That didn't mean that there weren't correlations between what was assignable at various places. that were more distant, but what we described was the local constraints and then there were global consequences.
Điều đó không có nghĩa là không có tương quan giữa các phép gán ở những nơi xa nhau, nhưng thứ ta mô tả là các ràng buộc cục bộ, còn hệ quả toàn cục thì tự có.
Bayes' Nets are the same. We're going to describe lots of little local interactions and there's going to be global consequences that will allow us to do much more complicated kinds of inferences.
Mạng Bayes cũng vậy. Ta mô tả nhiều tương tác cục bộ nhỏ và sẽ có các hệ quả toàn cục cho phép ta thực hiện những kiểu suy luận phức tạp hơn nhiều.
So up till now, as was just pointed out, we've been talking about a probabilistic model being a full joint distribution. Mathematically, that's great.
Cho đến giờ, như vừa được chỉ ra, ta nói về mô hình xác suất là một phân phối đồng thời đầy đủ. Về mặt toán học thì rất tốt.
That full joint distribution it's exponential in size but it describes all the quantities we care about. But there's some major problems with using joint distribution tables as models.
Phân phối đồng thời đầy đủ có kích thước mũ nhưng mô tả mọi đại lượng ta quan tâm. Nhưng dùng bảng phân phối đồng thời làm mô hình có vài vấn đề lớn.
One is it's too big to write down. And secondarily, even if you could somehow write it down, it's really slow to do computations over exponentially large things.
Một là nó quá lớn để viết ra. Thứ hai, dù bằng cách nào đó viết ra được, việc tính toán trên những thứ lớn theo cấp số mũ là rất chậm.
That's sort of a computational space and time cost.
Đó là chi phí về không gian và thời gian tính toán.
There's another cost, which we don't always think quite as much about in computer science, but it's very important in AI, and that is the statistical cost.
Còn một chi phí khác, mà trong khoa học máy tính ta không phải lúc nào cũng nghĩ nhiều, nhưng rất quan trọng trong AI, đó là chi phí thống kê.
The bigger a thing I'm trying to learn, the more parameters I'm trying to learn — you can think of the parameters, the entries of those probabilities, as being facts about the world that I learned through observation.
Thứ cần học càng lớn, càng nhiều tham số cần học — bạn có thể xem các tham số, tức các giá trị xác suất đó, là những sự kiện về thế giới mà tôi học được qua quan sát.
The more parameters I'm trying to learn, the more data it will take to learn that.
Càng nhiều tham số cần học, thì càng cần nhiều dữ liệu để học chúng.
And so if I'm trying to learn this really, really large thing where every row is sort of it's own thing that must be learned, that's going to be very expensive.
Nên nếu tôi phải học một đối tượng thật sự rất lớn mà mỗi hàng là một thứ riêng phải được học, thì sẽ rất tốn kém.
Whereas if I can say that whole large object is really described by a couple of simple interactions that chain together, now suddenly I just have to learn those pieces and things become much more — it's called sample efficient.
Còn nếu tôi nói được rằng cả đối tượng lớn đó thực ra được mô tả bởi vài tương tác đơn giản nối chuỗi với nhau, thì đột nhiên tôi chỉ cần học từng phần đó và mọi thứ trở nên... gọi là sample efficient (hiệu quả mẫu).
And actually you'll see this in your projects already with reinforcement learning, where with just naive Q Learning, you have to learn about every possible state of the world, but with function approximation, you only have to learn about the aspects of those states that generalize in a much better way.
Thật ra các bạn đã thấy điều này trong project với học tăng cường rồi, khi chỉ dùng Q-learning thuần túy, bạn phải học về mọi trạng thái có thể có của thế giới, nhưng với function approximation, bạn chỉ cần học những khía cạnh của các trạng thái đó mà có tính khái quát tốt hơn nhiều.
It's the same kind of thing. So what are Bayes' Nets? Bayes' Nets are a technique for describing complex joint distributions which are models of a domain using simple local distributions.
Cũng là cùng một ý tưởng. Vậy mạng Bayes là gì? Mạng Bayes là kỹ thuật để mô tả các phân phối đồng thời phức tạp, tức là mô hình của một miền, bằng các phân phối cục bộ đơn giản.
In this case, those will be conditional probabilities. These are also called graphical models.
Ở đây, đó sẽ là các xác suất có điều kiện. Chúng còn được gọi là graphical model (mô hình đồ thị).
And what we do is we describe local interactions between variables and we it in a very careful way that those local interactions imply a distribution over the entire set of variables.
Việc ta làm là mô tả các tương tác cục bộ giữa các biến, và làm một cách rất cẩn thận để các tương tác cục bộ đó suy ra một phân phối trên toàn bộ tập biến.
We'll be a little vague about those interactions for a little bit and then we'll get concrete. So let's do some Bayes' Nets.
Lúc đầu ta sẽ nói hơi mơ hồ về các tương tác đó một lúc rồi sau đó sẽ cụ thể hóa. Giờ ta làm quen với mạng Bayes.
Gonna show you some examples and then we're going to think up some examples.
Tôi sẽ cho xem vài ví dụ, rồi ta sẽ tự nghĩ ra vài ví dụ.
And then I'll actually pull out a Bayes' Nets and we'll look kind of under the hood and see what's really going on.
Sau đó tôi sẽ mở một mạng Bayes ra và nhìn vào bên trong xem thực sự điều gì đang diễn ra.
So here's an example of a Bayes' Nets that describes an insurance domain. And so there's a lot of variables in the insurance domain.
Đây là ví dụ về một mạng Bayes mô tả lĩnh vực bảo hiểm. Trong lĩnh vực bảo hiểm có rất nhiều biến. miền giá trị.
And of course, one of those things at the bottom are going to be various costs that you might want to predict if you're an insurance company. This one's for vehicle insurance.
Dĩ nhiên, ở dưới cùng sẽ là các loại chi phí mà bạn có thể muốn dự đoán nếu bạn là công ty bảo hiểm. Đây là bảo hiểm xe cộ.
And then there's going to be various other things, like things you know, like the age of the driver and the mileage on the car.
Rồi sẽ có nhiều thứ khác, như những thứ bạn biết: tuổi của tài xế và số dặm đã chạy của xe.
And there's going to be things you don't know, like the skill of the driver or whether or not there's an anti-theft device or the socioeconomic class or something like that.
Và có những thứ bạn không biết, như kỹ năng của tài xế, hoặc có thiết bị chống trộm hay không, hay tầng lớp kinh tế xã hội hay đại loại vậy.
This Bayes' Nets is a description of that domain, which includes a decent number of variables. It's like something like 30 variables there.
Mạng Bayes này là mô tả của lĩnh vực đó, gồm khá nhiều biến. Cỡ khoảng 30 biến ở đây.
And if each of those variables had 10 values, like maybe 10 age buckets and 10 mileage buckets or something like that, a full joint distribution over all of those 30 variables with 10 values each, how many entries in that joint distribution?
Nếu mỗi biến có 10 giá trị, chẳng hạn 10 nhóm tuổi và 10 nhóm số dặm hay đại loại vậy, thì phân phối đồng thời đầy đủ trên cả 30 biến với 10 giá trị mỗi biến sẽ có bao nhiêu mục trong phân phối đồng thời đó?
That's each variable has a choice of 10 things. So it's going to be 10 to the 30th. 10 to the 30th numbers is bad news.
Mỗi biến có 10 lựa chọn. Vậy sẽ là 10 mũ 30. 10 mũ 30 số thì là tin xấu.
But it's even worse if you had to somehow like, examine 10 to 30th case studies in order to figure out what those numbers even are. So joint distribution, conceptually really, really big.
Còn tệ hơn nếu bạn phải xem xét 10 mũ 30 trường hợp thực tế để biết các con số đó là gì. Vậy phân phối đồng thời, về mặt khái niệm, thật sự rất lớn.
But what this Bayes' Nets also shows is what the direct interactions are. So for example, there may be a correlation — let's find something interesting here. Let's think.
Nhưng mạng Bayes này cũng cho thấy các tương tác trực tiếp là gì. Ví dụ, có thể có một tương quan... ta tìm thứ gì thú vị ở đây. Để xem nào.
If you're an insurance company. Let me change colors. If you're an insurance company, you might care a lot about this variable — accident. That seems like something you want to predict.
Giả sử bạn là công ty bảo hiểm. Tôi đổi màu. Nếu bạn là công ty bảo hiểm, bạn có thể rất quan tâm đến biến này, tai nạn. Đó là thứ bạn muốn dự đoán.
That's probably correlated with the age of the driver.
Nó có lẽ tương quan với tuổi của tài xế.
And in some way, it's probably correlated over with the year of the vehicle and whether they have an extra car and what their home zip code is and all of those things.
Và bằng cách nào đó, có lẽ nó còn tương quan với năm sản xuất xe, việc có thêm xe khác không, và mã bưu chính nhà họ, tất cả những thứ đó. và mã bưu chính nhà của họ là gì, và tất cả những thứ như vậy.
But what this network does is it says, actually you know what?
The accident is really only directly determined by the quality of the driving and some factors about the car for Accident Prevention, like anti-lock brakes and so on.
Nhưng mạng này nói rằng, thật ra, tai nạn chỉ được quyết định trực tiếp bởi chất lượng lái xe và một số yếu tố của xe nhằm phòng tránh tai nạn, như phanh chống bó cứng và các thứ khác.
And you say, of course, well, how does that connect to everything else?
Bạn sẽ hỏi, vậy nó nối với mọi thứ còn lại thế nào?
Well that driving quality is determined by the skill of the driver, but also their risk aversion — like if you're a really good driver but you take lots of risks, that's not the same quality of driving as if you're a really good driver and you don't take risks.
Chất lượng lái xe được quyết định bởi kỹ năng tài xế, nhưng cả mức ngại rủi ro nữa, chẳng hạn bạn là tài xế rất giỏi nhưng hay liều lĩnh, thì chất lượng lái xe không giống như một tài xế rất giỏi và không liều lĩnh.
And so in specifying these little pieces, that can finally connect up to things like for example, the age or the mileage on the car and so on.
Khi chỉ rõ các mảnh nhỏ này, cuối cùng ta có thể nối chúng với những thứ như tuổi hay số dặm của xe, v.v.
So this isn't the whole story for this domain. There's also the question of what exactly is the dependence between age and driving skill, which isn't on this slide and I have no idea.
Đây chưa phải toàn bộ câu chuyện của lĩnh vực này. Còn câu hỏi chính xác sự phụ thuộc giữa tuổi và kỹ năng lái xe là gì, không có trên slide này và tôi cũng không biết.
Hopefully some insurance company knows.
Hy vọng có công ty bảo hiểm nào đó biết.
But what this does is it lets us do things like observe quantities like age and the vehicle year and the zip code and whether it has airbags and conclude things like, how likely is there to be an accident?
Nhưng nó cho phép ta làm những việc như quan sát các đại lượng như tuổi, năm sản xuất xe, mã bưu chính, và xe có túi khí không, rồi suy ra những điều như khả năng xảy ra tai nạn là bao nhiêu?
That's one use for a network like this. And because all we have are little local connections between variables, we don't need anything so expensive as 10 to the 30th to specify it.
Đó là một công dụng của mạng như thế này. Và vì ta chỉ có các kết nối cục bộ nhỏ giữa các biến, ta không cần thứ gì đắt đỏ như 10 mũ 30 để đặc tả nó.
This might be a network that you use for simulation. I know this. I know this. Is there going to be an accident?
Đây có thể là mạng bạn dùng để mô phỏng. Tôi biết cái này. Tôi biết cái này. Liệu có xảy ra tai nạn không?
And you're sort of computing on the basis of evidence up here or initial state up there. You're computing what might happen and with what probabilities.
Và bạn tính toán dựa trên bằng chứng ở trên đây hoặc trạng thái ban đầu ở trên kia. Bạn tính xem điều gì có thể xảy ra và với xác suất bao nhiêu.
That sort of computation going down in the network, where you might query something low on the network. Here's an example where it might go the other way. You want to have a robot mechanic.
Kiểu tính toán đi xuống trong mạng như vậy, khi bạn truy vấn một thứ nằm thấp trong mạng. Đây là một ví dụ mà chiều đi có thể ngược lại. Giả sử bạn muốn có một robot thợ máy.
And so there's going to be evidence down at the bottom of the network here and some underlying causes of why the car might not start, like the battery could be dead or the alternator could be broken.
Khi đó sẽ có bằng chứng ở dưới đáy mạng này và một số nguyên nhân tiềm ẩn khiến xe không nổ máy, như ắc quy có thể hết điện hoặc máy phát điện có thể bị hỏng.
And so you might do things like diagnose, like is there an oil light on, what does the gas gauge read, what does the battery meter read, will the car start, and so on.
Và bạn có thể làm những việc như chẩn đoán, như đèn dầu có sáng không, đồng hồ xăng chỉ bao nhiêu, đồng hồ ắc quy chỉ bao nhiêu, xe có nổ máy không, vân vân.
And so what you can do in this network here is you observe some of these things at the bottom and you can do some inference over what causes there might be.
Vậy trong mạng này, điều bạn có thể làm là quan sát một số thứ ở dưới đáy rồi thực hiện suy luận xem có thể có những nguyên nhân nào.
Now rather than exactly knowing the probability of any mapping from causes to effects, we only know little things like, well, and there's no oil, the oil light turns on except when there's no power coming from the battery or something like that.
Giờ thay vì biết chính xác xác suất của mọi ánh xạ từ nguyên nhân sang hệ quả, ta chỉ biết những điều nhỏ như đèn dầu sẽ sáng trừ khi ắc quy không cấp điện, hay đại loại thế.
And so a network like this can help us do diagnosis. And also importantly, it can encapsulate a lot of knowledge about cars. This network probably knows more about cars than I do.
Vì vậy một mạng như thế này giúp ta chẩn đoán. Và quan trọng nữa, nó có thể đóng gói rất nhiều kiến thức về xe hơi. Mạng này có lẽ biết về xe hơi nhiều hơn tôi.
That's maybe more a comment on me. So graphical model notation.
Cái đó có lẽ nói về tôi nhiều hơn. Giờ là ký hiệu của mô hình đồ thị.
What are graphical models? This is going look a lot like CSPs. What are graphical models? Well, they have nodes in them.
Mô hình đồ thị là gì? Nó trông sẽ giống CSP khá nhiều. Mô hình đồ thị là gì? Chúng có các nút.
They're going to be graphs, so they're going to have nodes in them. Those nodes represent variables and those variables have domains.
Chúng là đồ thị, nên sẽ có các nút. Các nút đó biểu diễn các biến và các biến đó có miền giá trị.
And they can be unassigned, which is called unobserved, or they can be assigned, which is called observed, just like in CSPs. There are arcs.
Chúng có thể chưa được gán, gọi là không quan sát, hoặc đã được gán, gọi là được quan sát, giống như trong CSP. Có các cung.
And the arcs represent interactions between variables — again, just like the CSPs. CSPs we would say something like, hey, these two variables, this one has to be greater than that one.
Các cung biểu diễn tương tác giữa các biến, lại giống như CSP. Trong CSP ta sẽ nói kiểu như, hai biến này, biến này phải lớn hơn biến kia.
I'll put a constraint between them. It may have other effects when it chains together with other constraints, but that's my local interaction. There's going to be local interactions here.
Tôi đặt một ràng buộc giữa chúng. Nó có thể gây hiệu ứng khác khi nối chuỗi với các ràng buộc khác, nhưng đó là tương tác cục bộ của tôi. Ở đây cũng sẽ có các tương tác cục bộ.
And we'll see a bit what those local interactions are.
Và ta sẽ thấy các tương tác cục bộ đó là gì.
The arcs indicate something like direct influence between variables. Formally, they're encoding conditional independence. But it can be very convenient to build up your intuition to think about the arcs as encoding causality.
Các cung cho biết một dạng ảnh hưởng trực tiếp giữa các biến. Về mặt hình thức, chúng mã hóa tính độc lập có điều kiện. Nhưng sẽ rất tiện để xây dựng trực giác khi coi các cung như mã hóa quan hệ nhân quả.
We'll see that that's not actually true. They don't actually need to, and they're not guaranteed to, encode causality. But often that's what ends up happening.
Ta sẽ thấy điều đó thực ra không đúng. Chúng không nhất thiết phải, và không đảm bảo sẽ mã hóa quan hệ nhân quả. Nhưng thường thì rốt cuộc lại đúng như vậy.
So here's an example of a Bayes' Nets for a model we already know.
Đây là ví dụ về một mạng Bayes cho một mô hình ta đã biết.
For cavity, tooth ache, and catch, we see there's a direct influence between cavity and tooth ache and another direct influence between cavity and catch, but no direct influence between tooth ache and catch.
Với cavity, tooth ache và catch, ta thấy có ảnh hưởng trực tiếp giữa cavity và tooth ache, và một ảnh hưởng trực tiếp khác giữa cavity và catch, nhưng không có ảnh hưởng trực tiếp giữa tooth ache và catch.
The influence between tooth ache and catch is mediated by the path that goes through cavity. And paths in this graph are going to be very closely related to conditional independence.
Ảnh hưởng giữa tooth ache và catch được trung gian qua đường đi qua cavity. Và các đường đi trong đồ thị này sẽ liên quan rất chặt đến độc lập có điều kiện.
So nodes and arcs. Nodes are variables. Arcs are interactions. For now, think of the arrows as causes.
Vậy là nút và cung. Nút là các biến. Cung là các tương tác. Tạm thời, cứ coi các mũi tên là nguyên nhân.
Cavities cause tooth aches and they also cause catches, but tooth aches don't cause catches and so I don't have an arrow there.
Sâu răng gây ra đau răng và cũng gây ra catch, nhưng đau răng không gây ra catch nên tôi không vẽ mũi tên ở đó.
I think what we're going to do is we're gonna take a two minute break now and then we will come back and see examples of first simple and then increasingly complicated Bayes' Nets.
Tôi nghĩ giờ ta sẽ nghỉ hai phút rồi quay lại xem các ví dụ về mạng Bayes, từ đơn giản đến ngày càng phức tạp.
And then we'll peak underneath the covers and see what those Bayes' Nets are defined by in addition to the graph. Two minutes.
Sau đó ta sẽ nhìn vào bên trong xem ngoài đồ thị ra, mạng Bayes còn được xác định bởi những gì. . Hai phút.
Let's see some examples of Bayes' Nets.
Ta cùng xem vài ví dụ về mạng Bayes.
First one, back to our independent coin flips and independent coin flips. With no interactions between the variables, we're going to have absolute independence.
Đầu tiên, quay lại với các lần tung đồng xu độc lập và độc lập. Khi không có tương tác giữa các biến, ta sẽ có độc lập tuyệt đối.
And the Bayes' Net that corresponds to that will be a bunch of variables with no arrows between them.
Và mạng Bayes tương ứng là một loạt biến không có mũi tên nào giữa chúng.
And as we'll see later when we dig a little deeper into this, disconnected things in the network, just like they did in CSPs, correspond to independence of problems.
Và như ta sẽ thấy khi đi sâu hơn, những phần tách rời trong mạng, giống như trong CSP, tương ứng với các bài toán độc lập nhau.
And here that means absolute independence.
Và ở đây nghĩa là độc lập tuyệt đối.
Here's a simplified traffic domain. Variables are is it raining, t, is there traffic? So what might we do? Well, here's one graphical model.
Đây là một miền giao thông đơn giản hóa. Các biến là trời có mưa không, r, và có kẹt xe không, t? Vậy ta có thể làm gì? Đây là một mô hình đồ thị.
Here's one Bayes' Nets over those variables. This is the independent one. This one says, in my very simple model, these two variables don't interact.
Đây là một mạng Bayes trên các biến đó. Đây là mô hình độc lập. Mô hình rất đơn giản của tôi nói rằng hai biến này không tương tác.
So they're going to each, it turns out, have a marginal distribution. And that's all you know. Here's another model. In this model, I have an interaction.
Nên hóa ra mỗi biến sẽ có một phân phối biên. Và đó là tất cả những gì bạn biết. Đây là một mô hình khác. Trong mô hình này, tôi có một tương tác.
This model says there's r and there's t. And the behavior of t is now a function of the behavior of r.
Mô hình này nói có r và có t. Và hành vi của t giờ là hàm của hành vi của r.
So we are now capturing, in this model — and I'll be precise in a bit how that's captured — we're now capturing a direct interaction between r and t.
Vậy trong mô hình này, ta đang nắm bắt được (lát nữa tôi sẽ nói chính xác nó được nắm bắt thế nào) một tương tác trực tiếp giữa r và t.
They're both valid graphical models or Bayes' Nets over this domain. But model 2 is probably better.
Cả hai đều là mô hình đồ thị hợp lệ hay mạng Bayes trên miền này. Nhưng mô hình 2 có lẽ tốt hơn.
The reason why model 2 is better is because an agent that's armed with model 2 can do things like see traffic and conclude something about rain, or see rain and conclude something about traffic.
Lý do mô hình 2 tốt hơn là vì một tác tử được trang bị mô hình 2 có thể làm những việc như thấy kẹt xe và suy ra điều gì đó về mưa, hoặc thấy mưa và suy ra điều gì đó về kẹt xe.
Once you start taking too many arrows out as you gather evidence, you don't actually have the ability to update your belief over variables that your care about through connections to the evidence.
Nếu bạn bỏ đi quá nhiều mũi tên khi thu thập bằng chứng, thì thực ra bạn sẽ không có khả năng cập nhật niềm tin về các biến mà bạn quan tâm thông qua các kết nối với bằng chứng.
And that's sort of the whole point. You want to see evidence and then infer something about other variables. All right. Let's do a bigger traffic case.
Và đó chính là toàn bộ mục đích. Bạn muốn thấy bằng chứng rồi suy ra điều gì đó về các biến khác. Được rồi. Ta làm một ví dụ kẹt xe lớn hơn.
This is going to have more random variables. And we will build a graphical model as we go. As I draw this model, I'm not being precise yet about the mathematical semantics of the model.
Ví dụ này sẽ có nhiều biến ngẫu nhiên hơn. Và ta sẽ xây dựng mô hình đồ thị dần dần. Khi vẽ mô hình này, tôi chưa chính xác về ngữ nghĩa toán học của mô hình.
We'll get that in a couple of slides. For now, just think about the arrows as being causal or direct influence. All right. So let's add some variables to our traffic model.
Ta sẽ học điều đó sau vài slide. Bây giờ, cứ coi các mũi tên là quan hệ nhân quả hay ảnh hưởng trực tiếp. Được rồi. Ta thêm vài biến vào mô hình kẹt xe.
First variable, traffic. I'll stick that there. There's either traffic or there's not. Second variable, rain.
Biến đầu tiên, kẹt xe. Tôi đặt nó ở đây. Hoặc là có kẹt xe, hoặc là không. Biến thứ hai, mưa.
Where should that go? Should it be separate? Should it point to traffic? Should traffic point to rain?
Nên đặt nó ở đâu? Có nên để riêng không? Có nên trỏ tới kẹt xe không? Hay kẹt xe trỏ tới mưa?
Think causal for now. Does traffic cause rain or does rain cause traffic? To the best of my knowledge, the rain causes the traffic. Low pressure.
Cứ nghĩ theo nhân quả đã. Kẹt xe gây ra mưa hay mưa gây ra kẹt xe? Theo tôi biết thì mưa gây ra kẹt xe. Áp suất thấp.
The barometer has a low pressure reading.
Phong vũ biểu cho chỉ số áp suất thấp.
What do you think?
Các em nghĩ sao?
You can put l up here pointing to rain. Well, they're certainly correlated. Now you can be like, wait a minute. A reading on my machine doesn't cause it to rain.
Có thể đặt l ở đây trỏ tới mưa. Chắc chắn chúng có tương quan. Bạn có thể nói: khoan đã. Chỉ số trên máy của tôi đâu có làm trời mưa.
So there's actually this actual low pressure, then there's the reading of the low pressure, which actually l pointing to that thing. So we can get more and more fancy.
Vậy có áp suất thấp thực sự, rồi có chỉ số đọc được của áp suất thấp, và thực ra l trỏ tới cái đó. Ta có thể làm phức tạp dần.
But imagine this is the actual low pressure in the sky. All right. My roof is dripping. How does that fit into all of this?
Nhưng hãy tưởng tượng đây là áp suất thấp thực sự trên trời. Được rồi. Mái nhà tôi bị nhỏ nước. Nó khớp vào đây thế nào?
So it seems like rain causes that. All right. Does anything else cause that? Does the low pressure cause my roof to drip?
Có vẻ mưa gây ra điều đó. Được rồi. Còn gì khác gây ra nó không? Áp suất thấp có làm mái nhà nhỏ nước không?
Kind of. I mean, unless like really low pressure, like rips the membrane off my roof or something, that's mediated by the rain. Similarly, does traffic cause my roof to drip.
Cũng hơi. Ý tôi là, trừ khi áp suất thấp khủng khiếp đến mức xé toạc lớp màng mái nhà, còn không thì nó đi qua trung gian là mưa. Tương tự, kẹt xe có làm mái nhà nhỏ nước không?
Like probably not. So this is a reasonable model. There's a ballgame. How does that interact with any of this?
Chắc là không. Vậy đây là một mô hình hợp lý. Có một trận bóng. Nó tương tác với những thứ này thế nào?
All right. So ballgame causes traffic. Any other interactions? Certainly doesn't cause my roof to drip.
Được rồi. Trận bóng gây ra kẹt xe. Còn tương tác nào khác không? Chắc chắn nó không làm mái nhà nhỏ nước.
Anything else? This is reasonable. Yeah?
Còn gì nữa không? Thế này là hợp lý. Em nói đi?
STUDENT
[INAUDIBLE].
[KHÔNG NGHE RÕ].
PROFESSOR
Yeah, that seems reasonable too. So here's an arrow that I could include or not. That would be a modeling assumption. It seems reasonable that rain affects whether or not the ball game happens.
Ừ, điều đó cũng hợp lý. Đây là một mũi tên mà tôi có thể thêm hoặc không. Đó sẽ là một giả định mô hình hóa. Hợp lý khi mưa ảnh hưởng đến việc trận bóng có diễn ra hay không.
If I omitted that, I would have a slightly simpler model. And there's always a trade-off between how powerful your model is and how hard it is to work with.
Nếu bỏ nó đi, mô hình sẽ đơn giản hơn một chút. Và luôn có sự đánh đổi giữa mô hình mạnh đến đâu và làm việc với nó khó đến đâu.
Cavity. How about cavity?
Sâu răng. Còn sâu răng thì sao?
That was probably just out there somewhere, right? Probably like — that's a separate process. That's the dental process over there. All right.
Chắc nó chỉ nằm đâu đó ngoài kia, đúng không? Có lẽ đó là một quá trình riêng biệt. Đó là quá trình nha khoa ở bên kia. Được rồi.
Are there other graphical models I could draw? Yes. As I move arrows around and delete them, the set of conditional independence assumptions changes.
Tôi có thể vẽ các mô hình đồ thị khác không? Có. Khi tôi di chuyển và xóa các mũi tên, tập các giả định độc lập có điều kiện thay đổi.
And the set of probabilities I need to specify the behavior of the model will change too. Before I had this — let me change its color.
Và tập các xác suất cần chỉ định để mô tả hành vi của mô hình cũng thay đổi. Trước đây tôi có cái này, để tôi đổi màu.
Before I had the green arrow here, I didn't have the burden of specifying how ballgame relates to rain and now I do.
Trước khi có mũi tên xanh lá này, tôi không phải chỉ định trận bóng liên hệ với mưa thế nào, còn giờ thì có.
On the other hand, now my model is a little bit higher resolution. Alarm network. Here's the deal. The variables are there may or may not be a burglary.
Mặt khác, giờ mô hình của tôi có độ phân giải cao hơn một chút. Mạng báo động. Tình huống thế này. Các biến là có thể có hoặc không có vụ trộm.
Let's stick that in here somewhere.
Ta thêm nó vào đây đâu đó.
My burglar alarm goes off. Where does that go with respect to b? Well, they seem correlated.
Chuông báo trộm của tôi kêu. Nó đặt ở đâu so với b? Chúng có vẻ tương quan.
And if we're going to go in the causal direction, maybe the burglary causes the alarm. What abouts my neighbor Mary calls.
Và nếu đi theo chiều nhân quả, có thể vụ trộm gây ra chuông báo. Còn việc bà hàng xóm Mary gọi điện thì sao?
Let's put Mary over here. Is that connected to all of this? Well, it depends, right? We're now making assumptions about the model, but what are some reasonable ones.
Ta đặt Mary ở đây. Nó có nối với tất cả những thứ này không? Còn tùy, đúng không? Giờ ta đang đưa ra các giả định về mô hình, vậy đâu là những giả định hợp lý.
One is Mary is completely — Mary's in France. She just calls sometimes. This is appropriate now. She may or may not call.
Một là Mary hoàn toàn... Mary đang ở Pháp. Thỉnh thoảng cô ấy gọi thôi. Giờ thế là phù hợp. Cô ấy có thể gọi hoặc không.
It's disconnected. Might be that she calls if she hears the alarm.
Nó không được nối với gì cả. Có thể cô ấy gọi nếu nghe thấy chuông báo.
It might be that she's like, staring at my house through her window and she'll see the actual burglary and she might call even if there's no alarm, if there's a burglary.
Cũng có thể cô ấy đang nhìn vào nhà tôi qua cửa sổ và thấy vụ trộm thật sự, và cô ấy có thể gọi dù chuông không kêu, nếu có trộm.
Then I'd need extra arrow. Here's John calls. So that's another variable. That may also be called because of the alarm itself.
Thì tôi cần thêm một mũi tên nữa. Đây là John gọi. Vậy đó là một biến khác. Cũng có thể anh ấy gọi vì chính cái chuông báo động.
But if John's calling because Mary calls John first before she calls me, then I'd need another arrow from m to j. Earthquake. Where's earthquake go?
Nhưng nếu John gọi vì Mary gọi cho John trước khi cô ấy gọi cho tôi, thì tôi cần thêm một mũi tên từ m sang j. Động đất. Động đất nối vào đâu?
We would have to say what we're assuming about this. One answer is the earthquake can set off the alarm. And only because of the alarm do my neighbors call me.
Ta phải nói rõ mình giả định điều gì ở đây. Một cách là động đất có thể làm chuông báo động kêu. Và chỉ vì chuông báo động mà hàng xóm mới gọi tôi.
Another could be earthquake directly causes everybody I know to call me and then there would be direct arrows from you e to j and m.
Cách khác là động đất trực tiếp khiến mọi người tôi quen đều gọi cho tôi, và khi đó sẽ có các mũi tên trực tiếp từ e đến j và m.
So you see it's sort of — these are modeling choices. In this class, we often give you a model or clearly state the assumptions and say, draw the model.
Vậy bạn thấy đấy, đây đều là các lựa chọn mô hình hóa. Trong lớp này, thường chúng tôi đưa sẵn mô hình hoặc nêu rõ các giả định rồi bảo các bạn vẽ mô hình.
And then we have to compute with it.
Sau đó ta phải tính toán với nó.
All right. So now we're to the key bit. We're to the semantics of a Bayes' Net.
Được rồi. Giờ ta đến phần then chốt. Ta đến với ngữ nghĩa của mạng Bayes.
So what's this about? We just saw sort of an intuitive example of building at least the graph part of a Bayes' Nets and thinking about arrows as capturing direct influence.
Vậy nó nói về điều gì? Ta vừa thấy một ví dụ trực giác về việc xây dựng ít nhất phần đồ thị của mạng Bayes và xem mũi tên như biểu diễn ảnh hưởng trực tiếp.
And now what we're going to talk about is, for a given Bayes' Nets, what does it mean? What joint probability distribution does it encode and how do we know that?
Còn bây giờ ta sẽ nói về việc, với một mạng Bayes cho trước, nó có nghĩa là gì? Nó mã hóa phân phối xác suất đồng thời nào và làm sao ta biết điều đó?
So here we go. The full definition. A Bayes' Nets is a set of nodes, one per variable x.
Bắt đầu nào. Định nghĩa đầy đủ. Mạng Bayes là một tập các nút, mỗi biến x một nút.
So every variable in the network, everywhere in the graph is a variable in the joint distribution. I have a directed acyclic graph over those nodes. So there are arrows between them.
Vậy mỗi biến trong mạng, mỗi chỗ trong đồ thị đều là một biến của phân phối đồng thời. Ta có một đồ thị có hướng không chu trình trên các nút đó. Tức là giữa chúng có các mũi tên.
And there are no cycles. And if you think about that intuitively for causality, that makes a lot of sense.
Và không có chu trình. Nếu nghĩ trực giác về quan hệ nhân quả, điều đó rất hợp lý.
Like you don't have the rain cause the traffic and the traffic cause the ballgame and the ballgame cause the rain. That would be very confused.
Ví dụ không thể có mưa gây ra kẹt xe, kẹt xe gây ra trận bóng, và trận bóng lại gây ra mưa. Như thế thì rất rối.
But we'll see mathematically that this acyclicity — meaning there are no directed cycles in the graph — bottoms out in the chain rule.
Nhưng về mặt toán học, ta sẽ thấy tính không chu trình này, nghĩa là đồ thị không có chu trình có hướng, xuất phát từ quy tắc chuỗi.
It's because in the chain rule, you introduce variables one at a time in some order. The fact that your graph has no cycles means there is an order that corresponds to the network.
Vì trong quy tắc chuỗi, ta đưa vào từng biến một theo một thứ tự nào đó. Việc đồ thị không có chu trình nghĩa là có một thứ tự tương ứng với mạng.
So a set of nodes. A set of arrows between the nodes that have no cycles in them. And hidden inside each node is a little conditional distribution family.
Vậy là một tập các nút. Một tập các mũi tên giữa các nút không tạo thành chu trình. Và ẩn bên trong mỗi nút là một họ phân phối có điều kiện nhỏ.
So if you peek inside a node, there are a bunch of conditional distributions that describe the probability of that variable as a function of its parents — meaning for every setting of the parent values, there's a distribution.
Nếu nhìn vào bên trong một nút, bạn sẽ thấy một loạt phân phối có điều kiện mô tả xác suất của biến đó như một hàm của các nút cha, nghĩa là với mỗi cách gán giá trị cho các nút cha có một phân phối.
So if I look at this node x, I see it has these parents a1 through an.
Nếu nhìn nút x này, ta thấy nó có các nút cha từ a1 đến an.
That means if I peek inside x, there's a probability distribution over x, but not just one — there's one for every setting over the parents a.
Nghĩa là nhìn vào trong x, có một phân phối xác suất trên x, nhưng không chỉ một, mà có một phân phối cho mỗi cách gán giá trị của các a.
So if you have a lot of parents, there's a lot buried in this node.
Nên nếu có nhiều nút cha thì nút này chứa rất nhiều thứ.
So the more parents you have, the amount that you have to stuff in that node to describe what x is going to do as a function of the parents, it grows exponentially.
Càng nhiều nút cha thì lượng thông tin phải nhét vào nút đó để mô tả x sẽ làm gì theo các nút cha, tăng theo hàm mũ.
We often see this abbreviation, CPT, as a conditional probability table. That's what lives in the nodes. You can think of this as a description of a noisy causal process.
Ta hay thấy chữ viết tắt CPT, nghĩa là bảng xác suất có điều kiện. Đó là thứ nằm trong các nút. Bạn có thể xem đây là mô tả của một quá trình nhân quả có nhiễu.
It says, what is x going to do given a1 through an? So you might think, what is a causal process? If it rains, then there's traffic. We could do that with logical rules.
Nó cho biết x sẽ làm gì khi biết a1 đến an? Bạn có thể hỏi, quá trình nhân quả là gì? Nếu trời mưa thì có kẹt xe. Ta có thể làm vậy bằng các luật logic.
But here it's more like, if it rains, then there's a 90% probability of traffic. If it doesn't rain, there's a 30% probability of traffic.
Nhưng ở đây thì giống như: nếu trời mưa, thì có 90% xác suất kẹt xe. Nếu không mưa, có 30% xác suất kẹt xe.
And because we need to specify the response of a random variable for each conditioning environment of the parents, we can think of this as a noisy causal process.
Và vì ta cần chỉ rõ phản ứng của một biến ngẫu nhiên cho từng điều kiện của các nút cha, nên ta có thể xem đây là một quá trình nhân quả có nhiễu.
So a Bayes' Nets is a topology, meaning a graph, plus all the little local conditional probabilities that live inside the nodes. We'll see some examples. And then we'll build one of our own.
Vậy mạng Bayes là một cấu trúc liên kết, tức đồ thị, cộng với tất cả các xác suất có điều kiện cục bộ nhỏ nằm bên trong các nút. Ta sẽ xem vài ví dụ. Rồi sau đó ta sẽ tự xây một mạng.
Any questions? Yep?
Có câu hỏi nào không? Bạn nào?
STUDENT
So using this, we can also express like, variables that may come over as less than, right?
Vậy dùng cái này, ta cũng có thể biểu diễn các biến làm giảm khả năng, đúng không ạ? Tức là các biến có thể ít đi, đúng không ạ?
PROFESSOR
It's a good question. So the question was, couldn't you also express that one variable makes another less likely? You can express any conditional relationship. So you could say that rain makes traffic more likely.
Câu hỏi hay. Câu hỏi là, chẳng phải ta cũng có thể biểu diễn việc một biến làm biến khác ít xảy ra hơn sao? Bạn có thể biểu diễn bất kỳ quan hệ có điều kiện nào. Ví dụ nói mưa làm kẹt xe dễ xảy ra hơn.
You could say brushing teeth makes cavities less likely. But in general, things aren't Boolean.
Hoặc đánh răng làm sâu răng ít xảy ra hơn. Nhưng nói chung, mọi thứ không chỉ là Boolean.
So you could also say that the driver being of age 20 to 30 changes the driving quality distribution in the following way.
Bạn cũng có thể nói tài xế ở tuổi 20 đến 30 làm thay đổi phân phối chất lượng lái xe theo cách sau.
It's an arbitrary relationship between the parents and the distribution over the child. And that's actually important.
Đó là quan hệ tùy ý giữa các nút cha và phân phối trên nút con. Và điều đó thực ra quan trọng.
It's important because all these arrows tell you is sort of that there is a conditional probability table for each of these values. It doesn't tell you which table.
Quan trọng vì tất cả các mũi tên này chỉ cho bạn biết rằng có một bảng xác suất có điều kiện cho mỗi giá trị này. Nó không cho bạn biết đó là bảng nào.
So when I draw an arrow between rain and traffic in a network, if I draw an arrow between rain and traffic, that tells you that this node can encode a different value for t, given each value of r.
Nên khi tôi vẽ mũi tên giữa mưa và kẹt xe trong một mạng, khi tôi vẽ mũi tên giữa mưa và kẹt xe, điều đó nói rằng nút này có thể mã hóa một giá trị khác nhau cho t, với mỗi giá trị của r.
It might encode that rain makes traffic more likely. It may encode that rain makes traffic less likely.
Nó có thể mã hóa rằng mưa làm tắc đường dễ xảy ra hơn. Nó cũng có thể mã hóa rằng mưa làm tắc đường ít xảy ra hơn.
In fact, there's even a setting of the values for which it encodes that they're actually independent and you just can't tell from the graph, because for every value of r, in fact, it's the same distribution over t.
Thậm chí còn có một cách đặt giá trị mà nó mã hóa rằng thực ra hai biến độc lập với nhau, và bạn không thể biết điều đó chỉ từ đồ thị, vì với mọi giá trị của r, phân phối trên t đều giống nhau.
Yep?
Mời em?
STUDENT
If you have a XOR relationship between two parents and a child?
Nếu có quan hệ XOR giữa hai nút cha và một nút con thì sao ạ?
PROFESSOR
Can you have an XOR relationship between the parents and the children? Absolutely. You can have a noisy exclusive or.
Có thể có quan hệ XOR giữa các nút cha và nút con không? Hoàn toàn được. Bạn có thể có một phép XOR có nhiễu.
So like, if it's a1 through an and I want to say x is basically — is exactly one of them on, I would have a whole bunch of settings of a1 through an.
Ví dụ, giả sử có a1 đến an, và tôi muốn nói x bật khi đúng một trong số chúng bật, thì tôi sẽ có rất nhiều cách đặt giá trị cho a1 đến an.
And for a bunch of them, x would probably be on maybe probability 0.99. And for all the rest, x would probably be off.
Với một số cách, x nhiều khả năng sẽ bật, với xác suất khoảng 0,99. Còn với tất cả các cách còn lại, x nhiều khả năng sẽ tắt.
And whether it was 0.01 or 0.001 or 0.3 or whatever, now the details of the noise in that exclusive or process. But yeah. And you can put deterministic things in there.
Và dù là 0,01 hay 0,001 hay 0,3 hay gì đi nữa, đó là chi tiết về nhiễu trong quá trình XOR này. Nhưng vâng. Bạn cũng có thể đặt các giá trị tất định vào đó.
If I want to say rain causes traffic, I peek in here and, well, what is the probability of traffic given that there is rain? Well, it's plus t could be 1.0.
Nếu tôi muốn nói mưa gây ra tắc đường, tôi nhìn vào đây và xem xác suất tắc đường khi có mưa là bao nhiêu? Thì +t có thể là 1,0.
Minus t could be 0. Or I could say, no, it's noisy. Point. 0.9, 0.1.
-t có thể là 0. Hoặc tôi có thể nói, không, có nhiễu. Chẳng hạn 0,9 và 0,1.
Or it's noisy. 0.5, 0.5. Or whatever. So there's the topology which tells you what relationships can exist and then there's the actual numbers you stuff in, which are very important too.
Hoặc có nhiễu hơn. 0,5 và 0,5. Hoặc bất kỳ giá trị nào. Vậy có cấu trúc liên kết cho bạn biết những quan hệ nào có thể tồn tại, và có các con số bạn điền vào, những con số này cũng rất quan trọng.
They give you things like, what are the qualitative interactions — positive interaction, negative interaction. Yes?
Chúng cho bạn biết các tương tác về mặt định tính, tương tác dương hay tương tác âm. Mời em?
STUDENT
What do you do if you have variables that kind of require a cycle?
Thầy làm thế nào nếu có những biến mà dường như cần một chu trình ạ?
[INAUDIBLE] PROFESSOR: The question is, what do you do if you have two variables — so you got a and b here.
[KHÔNG NGHE RÕ] GIÁO SƯ: Câu hỏi là, làm gì nếu có hai biến, ví dụ a và b ở đây.
And you would like to describe a correlation between them, but there's no obvious causal interaction between them. Or if there is, maybe it feels cyclic.
Bạn muốn mô tả tương quan giữa chúng, nhưng không có tương tác nhân quả rõ ràng giữa chúng. Hoặc có thì cảm giác như nó mang tính vòng.
Well, it's going to turn out that either the arrow in this direction or the arrow in that direction gives you the ability to specify any joint distribution over those two variables.
Thực ra, dù mũi tên theo hướng này hay hướng kia thì bạn đều có thể chỉ định bất kỳ phân phối đồng thời nào trên hai biến đó.
So the direction of the arrow is only going to matter when it starts interacting with other arrows.
Vậy hướng của mũi tên chỉ quan trọng khi nó bắt đầu tương tác với các mũi tên khác.
In this case, that's a very good example of why it is that these arrows are not causality. Because there are plenty of cases where you have two variables that have a non-causal correlation.
Trường hợp này là ví dụ rất hay cho thấy vì sao các mũi tên này không phải là quan hệ nhân quả. Vì có rất nhiều trường hợp hai biến có tương quan không mang tính nhân quả.
Graphical models are perfectly adequate to express that. But the arrows stop sort of having this intuitive meaning and they become a little harder to think about. That was a great question.
Mô hình đồ thị hoàn toàn đủ để biểu diễn điều đó. Nhưng các mũi tên không còn mang ý nghĩa trực quan đó nữa và sẽ khó suy nghĩ hơn một chút. Câu hỏi rất hay.
Anything else? All right. All right. So probabilities in a Bayes' Net.
Còn câu nào nữa không? Được rồi. Được rồi. Giờ nói về xác suất trong mạng Bayes.
A Bayes' Net implicitly encodes a joint distribution. So I just told you what it was. It's a collection of variables. They have parents.
Mạng Bayes mã hóa ngầm một phân phối đồng thời. Tôi vừa nói nó là gì rồi. Đó là một tập hợp các biến. Chúng có các nút cha.
And there's a little conditional probabilities hiding under each node.
Và có các xác suất có điều kiện nhỏ nằm bên dưới mỗi nút.
They implicitly encode a joint distribution according to the following definition — If you multiply together all of the little conditional distributions, one for each node, you're going to get the following expression.
Chúng mã hóa ngầm một phân phối đồng thời theo định nghĩa sau: nếu bạn nhân tất cả các phân phối có điều kiện nhỏ đó lại, mỗi nút một phân phối, bạn sẽ có biểu thức sau.
It's going to be a product over all the nodes of a probability of that node given its parents.
Đó là tích trên mọi nút của xác suất của nút đó cho trước các nút cha của nó.
By definition, that product of local probabilities in a Bayes' Net is what defines the joint probability over all of those variables.
Theo định nghĩa, tích các xác suất cục bộ trong mạng Bayes chính là xác suất đồng thời trên tất cả các biến đó.
And if you squint at that right hand side thing, it looks a lot like the chain rule. Probability of each thing given some other things. But it's not the full chain rule.
Và nếu nheo mắt nhìn vế phải, nó trông rất giống quy tắc chuỗi. Xác suất của mỗi thứ cho trước một vài thứ khác. Nhưng nó không phải quy tắc chuỗi đầy đủ.
And all of the variables that are missing represent conditional independence assumptions. So here's an example. Cavity causes tooth ache, cavity causes catch.
Và tất cả các biến bị thiếu biểu diễn các giả định độc lập có điều kiện. Đây là một ví dụ. Sâu răng gây đau răng, sâu răng gây vướng đầu thăm khám (catch).
So what is the probability of plus cavity plus catch, but minus tooth ache? Well, I don't know, but living in this node — sorry living in this node is probability of plus catch.
Vậy xác suất của +cavity, +catch, nhưng -toothache là bao nhiêu? Tôi không biết, nhưng ở nút này, xin lỗi, ở nút này là xác suất của +catch.
And living in this node here for tooth ache is probability of — what is it? Minus tooth ache given plus catch. And living in — sorry.
Còn ở nút toothache này là xác suất của, là gì nhỉ? -toothache cho trước +catch. Và ở, xin lỗi.
Rewind. Living under the cavity node is probability of plus cavity. Living in the catch node is probability of plus catch given plus cavity.
Tua lại. Bên dưới nút cavity là xác suất của +cavity. Ở nút catch là xác suất của +catch cho trước +cavity.
And probability under the tooth ache node is probability of minus tooth ache given plus cavity. So I have all these pieces.
Và xác suất bên dưới nút toothache là xác suất của -toothache cho trước +cavity. Vậy tôi có tất cả các mảnh này.
And what I know is that this entry, by definition of this Bayes' Net.
Is the probability of plus cavity times plus catch given plus cavity times probability of minus tooth given plus cavity.
Và điều tôi biết là mục này, theo định nghĩa của mạng Bayes này, là xác suất của +cavity nhân với +catch cho trước +cavity nhân với xác suất của -toothache cho trước +cavity.
Each of those terms lives in the Bayes' Net. When I multiply them together in general, the chain rule says, that's not the chain rule. Who knows what you're going to get?
Mỗi số hạng đó đều nằm trong mạng Bayes. Nói chung, khi tôi nhân chúng lại, quy tắc chuỗi sẽ nói, đó không phải quy tắc chuỗi. Ai biết bạn sẽ ra cái gì?
Look, I can multiply those together your own risk. The Bayes' Net comes with a guarantee that when you multiply them together, you'll get the joint.
Bạn cứ nhân chúng lại, nhưng tự chịu rủi ro. Mạng Bayes đi kèm một sự đảm bảo thì khi nhân chúng lại với nhau, bạn sẽ có được phân phối đồng thời.
And that's because it also comes with conditional independence assumptions that we'll find out about probability in the next lecture.
Đó là vì mạng Bayes cũng đi kèm các giả định về độc lập có điều kiện, mà chúng ta sẽ tìm hiểu về xác suất trong bài giảng tiếp theo.
Why are we guaranteed that just defining an entry of the joint, p of x1 through xn, as the product of all of the bits I have in my Bayes' Net nodes given their parents results in a proper joint distribution?
Tại sao ta được đảm bảo rằng chỉ cần định nghĩa một phần tử của phân phối đồng thời, p của x1 đến xn, là tích của tất cả các thành phần trong các nút mạng Bayes, cho trước các nút cha của chúng, thì sẽ ra một phân phối đồng thời hợp lệ?
Well, the chain rule says that would be OK if each if each variable was conditioned not on its parents, but on everything before it in an ordering.
Quy tắc chuỗi nói rằng điều đó ổn nếu mỗi biến được điều kiện hóa không phải theo các nút cha của nó, mà theo mọi biến đứng trước nó trong một thứ tự.
It's parents are a subset of things that are before it in any topological ordering of that graph.
Các nút cha là một tập con của những biến đứng trước nó trong bất kỳ thứ tự tô-pô nào của đồ thị đó.
And so we have the additional assumption that p of each variable given the ones preceding it is equal to p of that variable just given its parents.
Và vì vậy ta có thêm giả định rằng p của mỗi biến cho trước các biến đứng trước nó bằng p của biến đó chỉ cho trước các nút cha của nó.
So this is where that assumption comes in.
Đây chính là chỗ giả định đó xuất hiện.
This means that not every Bayes' Net can represent every joint distribution.
Điều này có nghĩa là không phải mạng Bayes nào cũng biểu diễn được mọi phân phối đồng thời.
So if I give you a Bayes' Net that looks like a and b, I can represent joint distributions over the variables a and b. But not all of them.
Nếu tôi cho bạn một mạng Bayes gồm a và b rời nhau, tôi có thể biểu diễn các phân phối đồng thời trên các biến a và b. Nhưng không phải tất cả.
Just which ones? Just the ones in which a and b are independent. If I want to represent ones in which they're not, I need to throw some arrows in.
Vậy là những phân phối nào? Chỉ những phân phối mà a và b độc lập. Nếu muốn biểu diễn những phân phối mà chúng không độc lập, tôi cần thêm vài mũi tên.
All right. More Bayes' Nets. Here's the coin flip Bayes' Net.
Được rồi. Thêm vài mạng Bayes nữa. Đây là mạng Bayes tung đồng xu.
But in addition to having each variable be independent here, I also know that living under each variable is a probability distribution governing that variable's response for each setting of the parents.
Ngoài việc mỗi biến ở đây độc lập với nhau, tôi còn biết rằng bên dưới mỗi biến là một phân phối xác suất chi phối phản ứng của biến đó với mỗi cách gán giá trị cho các nút cha.
No parents, so marginal. That means probability of heads, heads, tails, heads is this. Probability of heads times this, probability of heads times the probability of tails times the probability of heads.
Không có nút cha, nên là phân phối biên. Nghĩa là xác suất của ngửa, ngửa, sấp, ngửa là cái này. Xác suất ngửa nhân với cái này, xác suất ngửa nhân với xác suất sấp nhân với xác suất ngửa.
So to get an entry of the joint distribution, I multiply all of the appropriate pieces of the conditional probabilities. Each variable will have one term in this product.
Vậy để có một phần tử của phân phối đồng thời, tôi nhân tất cả các thành phần thích hợp của các xác suất có điều kiện. Mỗi biến sẽ đóng góp một số hạng trong tích này.
And what's that going to be? It's going to be 1/2 to the 4th. This Bayes' Net here, I can fiddle around with these 0.5s.
Và kết quả sẽ là bao nhiêu? Là 1/2 mũ 4. Với mạng Bayes này, tôi có thể chỉnh các giá trị 0.5.
I can be like, oh, x1 always comes up heads and x2 comes up heads 0.2 of the time. I can fiddle with these probabilities all day. I can change the joint distribution.
Chẳng hạn, x1 luôn ra ngửa và x2 ra ngửa 0.2 số lần. Tôi có thể chỉnh các xác suất này cả ngày. Tôi có thể thay đổi phân phối đồng thời.
But try though I may, I can never represent a joint distribution in which the variables are not independent.
Nhưng dù cố thế nào, tôi cũng không bao giờ biểu diễn được một phân phối đồng thời mà các biến không độc lập.
I can do one where they are not identically distributed, but not one in which they are not independent.
Tôi làm được trường hợp chúng không cùng phân phối, nhưng không làm được trường hợp chúng không độc lập.
Here's our traffic Bayes' Net. It's got a node for r and a node for t. And we know that living under r — like if you say, what are you dreaming of node r?
Đây là mạng Bayes về giao thông. Nó có một nút r và một nút t.
It's dreaming of this distribution here, which is some distribution over r given its parents. It doesn't have any parents. And in this case, it rains a quarter of the time.
Và ta biết rằng bên dưới r — giống như hỏi nút r đang mơ về điều gì — thì nó mơ về phân phối này, một phân phối của r cho trước các nút cha của nó. Nó không có nút cha. Và ở đây, trời mưa một phần tư thời gian.
What's living under node t? It is conditional probabilities of t for every setting of the parent — in this case, r. And so it might be these conditional probabilities.
Còn bên dưới nút t có gì? Đó là các xác suất có điều kiện của t cho mỗi cách gán giá trị của nút cha ở đây là r. Và có thể chúng là các xác suất có điều kiện này.
t is often on when r is on and it's 50/50 when r is off.
t thường có khi r có, và khi r không có thì là 50/50.
So given — armed with this Bayes' Net here, if I say, well, in the joint distribution that Bayes' Net represents, what is probability of plus r and minus t?
Vậy với mạng Bayes này trong tay, nếu tôi hỏi, trong phân phối đồng thời mà mạng Bayes này biểu diễn, xác suất của +r và -t là bao nhiêu?
I go through and I say, well, plus r, that belongs to the r node in the network. And then 4 plus r minus t is right here.
Tôi xét: +r thì thuộc về nút r trong mạng. Rồi +r -t nằm ngay đây. Rồi +r -t nằm ngay đây.
So I will multiply together those things and I will get 1/4 times 1/4.
Tôi nhân những thứ đó với nhau và được 1/4 nhân 1/4.
Or put another way, I will multiply together probability of plus r times probability of minus t given plus r, which will be 1/4 times 1/4.
Nói cách khác, tôi nhân xác suất của +r với xác suất của -t cho trước +r, tức là 1/4 nhân 1/4.
Here's my alarm network. Now suddenly we have a network that's not just one or two variables.
Đây là mạng báo động của chúng ta. Giờ bỗng nhiên ta có một mạng không chỉ có một hay hai biến.
And I can compute, under this assumption that I have this topology — the burglary causes the alarm and the alarm causes John and Mary to call, but independently — if you just tell me the right probabilities living in each node, I can compute the probability of any event.
Và với giả định rằng ta có cấu trúc này — trộm gây ra báo động và báo động khiến John và Mary gọi, một cách độc lập — chỉ cần bạn cho tôi các xác suất đúng ở mỗi nút, tôi có thể tính xác suất của bất kỳ sự kiện nào.
So for example, you might tell me, well, the probability of burglary 0.001 and the probability earthquake is 0.002. And here is the response of the alarm for all the different scenarios.
Chẳng hạn, bạn có thể nói xác suất có trộm là 0.001 và xác suất có động đất là 0.002. Và đây là phản ứng của báo động trong tất cả các kịch bản khác nhau.
You're like, man, I have to say what the alarm does if there is a burglary and what the alarm does with an earthquake and also a burglary and an earthquake and also no burglary or earthquake — well, when you start giving nodes lots of parents, suddenly you have to describe what that node does in a bunch of different conditioning environments.
Bạn sẽ nghĩ, trời, tôi phải nói báo động làm gì nếu có trộm, làm gì nếu có động đất, làm gì nếu có cả trộm lẫn động đất, và cả khi không có trộm lẫn động đất — khi bạn cho các nút nhiều nút cha, bỗng nhiên bạn phải mô tả nút đó hoạt động ra sao trong hàng loạt điều kiện khác nhau.
So here it is. And you can see these are a bunch of distributions over a. Here's one distribution over a.
Đây là bảng đó. Bạn thấy đây là một loạt phân phối trên a. Đây là một phân phối trên a.
If there's a burglary and an earthquake, 95% of the time, the alarm goes off. Here is the probability of the alarm going off given just the burglary, just the earthquake, neither burglary nor earthquake.
Nếu có trộm và động đất, 95% thời gian báo động sẽ kêu. Đây là xác suất báo động kêu khi chỉ có trộm, chỉ có động đất, và khi không có trộm cũng không có động đất.
And of course, Mary and John have their own distributions which says how likely they are to call — both in the alarm scenario and then the non-alarm scenario.
Và tất nhiên, Mary và John có các phân phối riêng cho biết khả năng họ gọi là bao nhiêu — cả khi có báo động lẫn khi không có báo động.
These will either have to be learned from data or just supplied as givens. Right now I'm giving them to you as givens.
Những giá trị này hoặc phải được học từ dữ liệu hoặc được cho sẵn. Hiện giờ tôi cho sẵn chúng cho các bạn.
And if I wanted to know, for example, the probability that there was a burglary and an earthquake, but no alarm, but John Mary called anyway, I would go through and start multiplying together the appropriate conditional probabilities.
Và nếu tôi muốn biết, ví dụ, xác suất có trộm và có động đất, nhưng không có chuông báo, vậy mà John và Mary vẫn gọi, thì tôi sẽ bắt đầu nhân với nhau các xác suất có điều kiện tương ứng.
And that would define the entry of the joint distribution.
Và đó sẽ là một giá trị trong phân phối đồng thời.
Any questions on that? And then we'll do a couple quick extensions and take a look at a demo. All right. So this gets to the question before of causality.
Có câu hỏi nào không? Sau đó ta sẽ làm vài mở rộng nhanh và xem một bản demo. Được rồi. Điều này dẫn đến câu hỏi lúc nãy về quan hệ nhân quả.
What if causality is not what your model encodes? So right now, this is the rain and traffic. This is the causal direction. Rain causes traffic.
Nếu mô hình của bạn không mã hóa quan hệ nhân quả thì sao? Hiện giờ đây là mô hình mưa và tắc đường. Đây là chiều nhân quả. Mưa gây ra tắc đường.
There's an arrow from r to t. That means living under the node r is a distribution over r — not conditioned on anything, because r doesn't have any parents.
Có một mũi tên từ r đến t. Nghĩa là dưới nút r là một phân phối trên r, không có điều kiện gì, vì r không có nút cha.
And living under t is a distribution over t. But not just one — I have to give you a distribution over t for raining and another one for not raining.
Và dưới t là một phân phối trên t. Nhưng không chỉ một phân phối, tôi phải cho bạn một phân phối trên t khi có mưa và một phân phối khác khi không mưa.
And then I can use that formula which says, multiply all the entries together. That's like the Bayes' Net reconstitution formula, to take these pieces and define this whole joint distribution.
Rồi tôi dùng công thức nói rằng hãy nhân tất cả các giá trị lại với nhau. Đó là công thức tái dựng của mạng Bayes, lấy các mảnh này để định nghĩa toàn bộ phân phối đồng thời.
In this case, the joint distribution is actually just the same size as the conditionals. There's only savings when these networks get big.
Trong trường hợp này, phân phối đồng thời có kích thước bằng đúng các phân phối có điều kiện. Chỉ khi mạng lớn thì mới tiết kiệm được.
So here is the joint distribution over t and r that is implied by the Bayes' Net on the left. Great.
Đây là phân phối đồng thời trên t và r được suy ra từ mạng Bayes bên trái. Tuyệt.
So for example, if I want this entry, I multiply the probability of plus r times the probability of plus t given plus r. And I get 3/16. All right?
Ví dụ, nếu tôi muốn giá trị này, tôi nhân xác suất của +r với xác suất của +t cho trước +r. Và tôi được 3/16. Rõ chưa?
Let's flip it around. Here's another Bayes' Net. In this one, there's a variable t and there's a variable r. There's an arrow from t to r.
Giờ ta đảo ngược lại. Đây là một mạng Bayes khác. Ở đây có biến t và biến r. Có một mũi tên từ t đến r.
You're like, wait a minute. Traffic doesn't cause rain. The Bayes' Net does not care whether traffic causes rain. It is a graph.
Bạn sẽ nghĩ: khoan đã. Tắc đường đâu có gây ra mưa. Mạng Bayes không quan tâm tắc đường có gây ra mưa hay không. Nó chỉ là một đồ thị.
You put an arrow. It's happy. But when you put that arrow, you have to supply conditional probability. So what lives under t?
Bạn vẽ một mũi tên. Nó vẫn ổn. Nhưng khi vẽ mũi tên đó, bạn phải cung cấp xác suất có điều kiện. Vậy dưới t có gì?
Well, it used to be sort of t as a function of r. But now it's not. Now it's just t. There's some probability of traffic.
Trước đây nó là t như một hàm của r. Nhưng giờ thì không. Giờ chỉ là t. Có một xác suất nào đó của tắc đường.
And now under r, I have to specify how likely rain is given traffic and how likely rain is given not traffic. Those numbers exist. Let's imagine this is those numbers.
Và dưới r, tôi phải chỉ rõ khả năng mưa khi có tắc đường và khả năng mưa khi không tắc đường. Những con số đó tồn tại. Giả sử đây là những con số đó.
And for these particular numbers, if I use the Bayes' Net reconstitution formula and I compute every entry of — doesn't look like an arrow — every entry of the joint distribution, it will be this one.
Và với những con số cụ thể này, nếu dùng công thức tái dựng của mạng Bayes và tính mọi giá trị của, trông không giống mũi tên lắm, mọi giá trị của phân phối đồng thời, ta sẽ được bảng này.
And if you have a really good memory, you'll remember this is exactly the same joint distribution as before.
Và nếu bạn có trí nhớ thật tốt, bạn sẽ nhớ đây chính xác là phân phối đồng thời như lúc trước.
So this network here, which does not match the causal process, encodes the exact same joint distribution over those variables as the previous one. Now you might like the previous one better.
Vậy mạng này, không khớp với quá trình nhân quả, mã hóa đúng cùng phân phối đồng thời trên các biến đó như mạng trước. Có thể bạn thích mạng trước hơn.
And there's a lot of advantages to drawing these things causal But mathematically, it is just an expansion of the chain rule.
Và vẽ theo chiều nhân quả có nhiều lợi thế. Nhưng về mặt toán học, đó chỉ là một khai triển của quy tắc chuỗi.
And p of t times p of r given t, and p of r times p of t given r are both, in general, for any distribution, just going to be the joint.
Và p(t) nhân p(r|t), cũng như p(r) nhân p(t|r), nói chung với bất kỳ phân phối nào, đều chỉ cho ra phân phối đồng thời.
Until you start getting three or more variables or there's no arrows, you don't actually have any claim about the underlying distribution.
Cho đến khi có từ ba biến trở lên hoặc không có mũi tên, bạn thực sự chưa khẳng định gì về phân phối nền tảng.
Just talking about causality a bunch of times.
Tôi nhắc đến quan hệ nhân quả khá nhiều lần rồi.
When your Bayes' Net reflects the true causal patterns, they're usually simpler. That's just a fact about the world and how we build these models. They're usually easier to think about.
Khi mạng Bayes phản ánh đúng các mẫu nhân quả thực, chúng thường đơn giản hơn. Đó chỉ là một sự thật về thế giới và cách ta xây dựng các mô hình này. Chúng thường dễ suy nghĩ hơn.
And they're a lot easier to elicit from experts. Like it's way easier to go to a doctor and say, what fraction of people who have strep throat have a fever?
Và dễ khai thác từ chuyên gia hơn nhiều. Chẳng hạn, hỏi bác sĩ dễ hơn nhiều: bao nhiêu phần trăm người bị viêm họng liên cầu có sốt?
Than it is to say, what fraction of people who have a fever have strep throat? They're like, I don't know. There's a lot of reason you could have a fever.
so với hỏi: bao nhiêu phần trăm người bị sốt thì bị viêm họng liên cầu? Họ sẽ nói: tôi không biết. Có rất nhiều nguyên nhân khiến bạn bị sốt.
And it's a lot harder to get things in the diagnostic direction usually.
Và thường khó hơn nhiều để có được thông tin theo chiều chẩn đoán.
If you're getting them from data, this may not be true anymore. Bayes' Nets don't have to be causal. Sometimes there is no causal net.
Nếu bạn lấy từ dữ liệu, điều này có thể không còn đúng nữa. Mạng Bayes không nhất thiết phải là nhân quả. Đôi khi không có mạng nhân quả nào cả.
So like the example you gave, or when variables are missing, often the remaining variables are kind of complicated from a causal standpoint.
Như ví dụ bạn nêu, hoặc khi thiếu một số biến, các biến còn lại thường khá phức tạp xét về mặt nhân quả.
So for example, traffic and drips in our traffic model, they're sort of correlated by the underlying variable rain, but neither really causes the other. So either direction of the arrow is fine mathematically.
Ví dụ, tắc đường và nước nhỏ giọt trong mô hình giao thông của ta, chúng tương quan với nhau qua biến nền là mưa, nhưng không cái nào thực sự gây ra cái kia. Nên mũi tên theo chiều nào cũng ổn về mặt toán học.
And then you end up with arrows that reflect correlation but not causation. So what do these areas mean? They might happen to encode causal structure. It's great when they do.
Và bạn sẽ có những mũi tên phản ánh tương quan chứ không phải nhân quả. Vậy các mũi tên này có nghĩa là gì? Chúng có thể tình cờ mã hóa cấu trúc nhân quả. Thế thì tuyệt.
It's intuitive. But they really encode conditional independence.
Nó trực quan. Nhưng thực chất chúng mã hóa tính độc lập có điều kiện.
They encode that when you write out the chain rule, in general, you get p of x given all the variables that precede it, but now we have p of x given only it's parents.
Chúng mã hóa rằng khi viết quy tắc chuỗi, nói chung ta có p của x cho trước tất cả các biến đứng trước nó, nhưng giờ ta có p của x chỉ cho trước các nút cha của nó.
So it's a statement that once you know the parents, you don't need to know the other things that precede it. And we'll unpack that a little bit in the next lecture.
Tức là một khẳng định rằng khi đã biết các nút cha, bạn không cần biết những biến khác đứng trước nó. Và ta sẽ phân tích kỹ hơn điều này ở bài giảng sau.
So let's peek inside a Bayes' Net. Let's build one. All right. Let's build a Bayes' Net.
Giờ ta hãy nhìn vào bên trong một mạng Bayes. Ta cùng xây dựng một mạng nhé. Được rồi. Xây một mạng Bayes.
Let's create some nodes. Let's do traffic. All right. Let's build a node.
Tạo vài nút. Ta làm ví dụ giao thông. Được rồi. Tạo một nút.
Rain.
Rain (mưa).
Rain. I'll let it stay true or false. There's rain. There it is.
Rain. Để nó nhận giá trị đúng hoặc sai. Có mưa. Đây rồi.
All right. Let's make more of a Bayes' Net. We decided rain causes traffic.
Được rồi. Làm mạng Bayes đầy đủ hơn. Ta đã quyết định mưa gây ra kẹt xe.
Rain is causing — there's rain, there's traffic. Let's create an arc from rain to traffic. Let's make some more. Let's do some more.
Mưa gây ra... có mưa thì có kẹt xe. Vẽ một cung từ rain đến traffic. Thêm nữa nào. Làm thêm một chút.
What else was in this thing? There was like, rain also causes drip. My roof drips.
Còn gì nữa nhỉ? Mưa cũng gây ra drip. Mái nhà tôi bị dột.
Rain causes drip. What else? We had low pressure, right?
Mưa gây ra dột. Còn gì nữa? Có áp thấp, đúng không?
Low pressure.
Áp thấp.
And that causes rain.
Và nó gây ra mưa.
I've drawn a graph. In order to specify a Bayes' Net and thereby a distribution over these variables, I need to do more than that. I need to actually give probabilities.
Tôi đã vẽ xong đồ thị. Để xác định một mạng Bayes, và qua đó một phân phối trên các biến này, tôi cần làm hơn thế. Tôi cần cho các xác suất cụ thể.
For example, how likely is it that there's low pressure? I don't know. Maybe 0.1. Now I need to say how likely is it that there is rain?
Ví dụ, khả năng có áp thấp là bao nhiêu? Tôi không biết. Có lẽ 0.1. Giờ cần nói khả năng có mưa là bao nhiêu?
Well, it depends. It's got a parent. It's got low pressure. And even there's low pressure, it rains 90% of time and when there isn't low pressure, it rains 1% or 10% of time.
Còn tùy. Nó có một nút cha. Là áp thấp. Khi có áp thấp thì 90% thời gian trời mưa, còn khi không có áp thấp thì mưa 1% hoặc 10% thời gian.
I could put in other numbers. I'm just making stuff up. What lives under drip? This is the noisy specification of how rain leads to drip or how rain causes drip.
Tôi có thể đặt số khác. Tôi chỉ bịa số thôi. Dưới drip là gì? Đây là đặc tả có nhiễu về việc mưa dẫn đến dột hay mưa gây ra dột như thế nào.
Maybe 80% of the time when it rains, it drips. And it almost never drips otherwise. I didn't put a 0 there because that's just a no-no when building Bayes' Nets.
Có thể 80% số lần mưa là bị dột. Còn nếu không mưa thì hầu như không dột. Tôi không ghi 0 ở đó vì điều đó là cấm kỵ khi xây mạng Bayes.
All right. How about traffic? I need to describe the dependence of traffic on its parent. Well, when there's rain, there's 80% traffic.
Được rồi. Còn kẹt xe thì sao? Cần mô tả sự phụ thuộc của kẹt xe vào nút cha của nó. Khi có mưa, 80% là kẹt xe.
And when there's no rain, there's a 30% traffic. I have a Bayes' Net. What can I do with this Bayes' Net?
Khi không mưa, 30% là kẹt xe. Vậy là ta có một mạng Bayes. Ta làm được gì với nó?
Well, I'll ask it a couple of quick questions, like hey, what's the probability that there's traffic? 39%.
Tôi sẽ hỏi vài câu nhanh, ví dụ xác suất kẹt xe là bao nhiêu? 39%.
All right. Let's get some observation. What's the probability that there's traffic given that my roof is dripping? Should it be higher or lower than 39%?
Được rồi. Giờ thêm một quan sát. Xác suất kẹt xe là bao nhiêu khi biết mái nhà đang dột? Cao hơn hay thấp hơn 39%?
Higher? Who says those higher? Who says lower? Wow, the suspense.
Cao hơn? Ai nói cao hơn? Ai nói thấp hơn? Hồi hộp quá.
Let's find out. It's higher. And that's because drip means it's probably raining, which means more likely to get traffic. Let me make another observation.
Xem nào. Cao hơn. Vì dột nghĩa là nhiều khả năng đang mưa, và do đó dễ kẹt xe hơn. Tôi thêm một quan sát khác.
Let's actually observe rain. Let's do a query. Is traffic going to go up or down now. 79 to 8.
Giờ quan sát được trời mưa. Truy vấn nhé. Kẹt xe sẽ tăng hay giảm? Từ 79 lên 80.
It went up a little bit. All right. Here's the important one. I know it's dripping.
Tăng một chút. Được rồi. Đây là phần quan trọng. Tôi biết đang dột.
I know it's raining. There's an 80% chance of traffic. I discover that there is a low pressure system. What will happen to my 80% chance of traffic?
Tôi biết đang mưa. Khả năng kẹt xe là 80%. Tôi phát hiện có một hệ thống áp thấp. Khả năng kẹt xe 80% sẽ thế nào?
It stays the same. And that's because low pressure only informs whether or not it rains. And I already know it's raining. I can't know it any more than I already do.
Nó giữ nguyên. Vì áp thấp chỉ cho biết trời có mưa hay không, . mà tôi đã biết là đang mưa. Tôi không thể biết thêm gì nữa.
And so they're disconnected in some way. And that must have something to do with conditional independence. We'll find out what next week.
Nên chúng bị tách rời theo một cách nào đó. Và điều đó hẳn liên quan đến tính độc lập có điều kiện. Tuần sau ta sẽ tìm hiểu.
So let's just stop there. And we'll see you next week for inference in Bayes' Nets.
Ta dừng ở đây. Hẹn gặp lại tuần sau với suy luận trong mạng Bayes.
Đăng nhập để đánh giá học liệu này.
Đăng nhập để bình luận — chưa ai bình luận về học liệu này.
Không có khóa học liên quan.