Video
Đăng bởi Ban biên tập OpenER ·
Tác giả giữ toàn bộ bản quyền (All Rights Reserved) — không phải giấy phép mở. Bạn vẫn xem và học miễn phí trên OpenER; muốn tái sử dụng cần xin phép tác giả.
PROFESSOR
And welcome back. In our final video in this module, let's actually talk about other floating point representations. We like the single precision 32-bit representation, but are there others out there?
Chào mừng các bạn quay lại. Trong video cuối cùng của chúng ta trong mô-đun này, chúng ta hãy nói về các biểu diễn số dấu phẩy động khác. Chúng ta thích biểu diễn 32-bit độ chính xác đơn, nhưng có những biểu diễn khác ngoài kia không?
Yes. What if you need more? What if I need more precision to get more accuracy, hopefully? Well, let's just double it.
Có. Nếu bạn cần nhiều hơn thì sao? Nếu tôi cần độ chính xác cao hơn để có thể có độ chính xác cao hơn, hy vọng là vậy? Thực ra, chúng ta chỉ cần gấp đôi nó.
I've got 64 bits. Many machines now are 64-bit wide architectures. Let's actually think about having a 64-bit floating point number. By the way, this works on 32-bit machines.
Tôi có 64 bit. Nhiều máy tính bây giờ là các kiến trúc rộng 64 bit. Chúng ta thực sự hãy nghĩ về việc có một số dấu phẩy động 64 bit như vậy. Nhân tiện, cái này cũng hoạt động trên các máy 32-bit.
It just one by one sends the top 32 and the second 32. So it'll work in smaller machines. This can work on a 16-bit machine. It can work on 1-bit machine.
Nó chỉ từng cái một gửi các 32 bit trên cùng và 32 bit thứ hai. Vậy nó sẽ hoạt động trên các máy nhỏ hơn. Cái này có thể hoạt động trên máy 16-bit. Nó có thể hoạt động trên máy 1-bit.
Just send all 64 bits one by one. So it can work. We call this "binary 64." The other one we called "FP32" or also "binary 32."
Chỉ cần gửi từng bit của 64 bit một. Vậy nó có thể hoạt động. Chúng tôi gọi đây là "binary 64." Cái còn lại chúng tôi gọi là "FP32" hoặc "binary 32."
This we call "binary 64." This is the next multiple of the word size. And so now look at the size of this, 11 bits of exponent, 52 bits of significand called a "double."
Cái này chúng tôi gọi là "binary 64." Đây là bội số tiếp theo của kích thước từ. Và bây giờ nhìn vào kích thước của nó, 11 bit cho phần mũ, 52 bit cho phần mantissa gọi là "double."
You've seen floats and doubles. By the way, doubles are great. And so I encourage you, if you ever use any computational science, anything where you need a floating point value, use doubles.
Các bạn đã thấy floats và doubles rồi. Doubles thực sự tuyệt vời. Và vì vậy tôi khuyến khích các bạn, nếu bạn bao giờ sử dụng bất kỳ khoa học tính toán nào, bất cứ thứ gì nơi bạn cần một giá trị dấu phẩy động, hãy dùng doubles.
If you're just doing small ones, you're doing some change in fraction stuff, floats are fine.
Nếu bạn chỉ dùng những cái nhỏ, bạn đang làm một số thứ liên quan đến thay đổi phân số, floats là được.
But if you're actually doing some calculation where you need big numbers or small numbers and much more accuracy, you're going to use a double because that precision can buy you that accuracy.
Nhưng nếu bạn thực sự đang làm một phép tính nơi bạn cần những số lớn hoặc số nhỏ và độ chính xác cao hơn nhiều, bạn sẽ dùng double vì độ chính xác đó có thể mang lại cho bạn độ chính xác.
How big and small can you get to?
Bạn có thể lớn và nhỏ đến mức độ nào?
Well, 2 times 10 to the minus 308 is pretty small, times 2 to — and all the way up to 2 to the 10 to the — 2 times 10 to the 308.
Chà, 2 lần 10 mũ âm 308 khá nhỏ, lần 2 mũ — và lên tới 2 mũ 10 mũ — 2 lần 10 mũ 308.
So that's pretty big. Those are big numbers. And again, that significand is really the key here. Are there bigger than that?
Vậy là khá lớn. Những là những con số lớn. Và lại nữa, significand đó thực sự là chìa khóa ở đây. Có lớn hơn cái đó không?
Yes, there are, what is called "quad precision," 128 bits, otherwise known as "binary128."
Có, cái gọi là "quad precision," 128 bit, hay còn gọi là "binary128."
Again, unbelievable range and precision, 15 exponent bits and 120 — 112 significand bits. Do we have oct-precision for people who need even more?
Lại một lần nữa, dải và độ chính xác không thể tin được, 15 bit số mũ và 120 — 112 bit significand. Chúng ta có oct-precision cho những người cần lớn hơn nữa không?
Yes. That's called "binary256." What if you actually need less? Does binary16 exist?
Có. Cái đó gọi là "binary256." Nếu bạn thực sự cần ít hơn thì sao? Có binary16 tồn tại không?
Yes, it does. That's half precision. That's using what as known are short or 2 bytes to store that, and that's 1, 5 exponent, and 10 significand. There's another comparison called "bfloat16."
Có, nó có. Đó là half precision. Cái đó dùng cái gọi là short hay 2 byte để lưu trữ, và đó là 1, 5 exponent, và 10 significand. Có một so sánh khác gọi là "bfloat16."
And B stands for "brain." And the idea is, what if you kept the exponent width the same? Okay, let's take a look here. So this is my 32 bits.
Và B là viết tắt của "brain" (bộ não). Và ý tưởng là, nếu bạn giữ nguyên chiều rộng của phần số mũ thì sao? Được, chúng ta cùng nhìn xem nào. Vậy đây là 32 bit của tôi.
There's my 1. There's my 8. There's my 23 for FP32. If I said, you know what?
Đó là 1 của tôi. Đó là 8 của tôi. Đó là 23 cho FP32. Nếu tôi nói, bạn biết không?
I only have 2 bytes not 4 bytes to store a float, then, well, let's kind of keep the same ratio. I've got a 1 of 5 and a 10 in here.
Tôi chỉ có 2 byte chứ không phải 4 byte để lưu trữ một số float, thì, được thôi, chúng ta hãy giữ cùng một tỉ số. Tôi có 1, 5 và 10 ở đây.
But what if you wanted to keep the same big-to-small range? Well, wouldn't it be nice if I kept the same 8? So actually, notice this width is exactly the same.
Nhưng nếu bạn muốn giữ nguyên cùng một dải từ lớn đến nhỏ thì sao? Vậy nó sẽ không tuyệt vời lắm nếu tôi giữ nguyên cái 8 này sao? Vậy thực tế, hãy chú ý rằng chiều rộng này chính xác là như nhau.
"Bfloat16" stands for "brain floating point" format. And this is the same 8. Notice it's the same 8. I just sacrifice precision.
"Bfloat16" là viết tắt của "brain floating point" (định dạng dấu phẩy động brain). Và cái này là cùng 8. Chú ý nó là cùng 8. Tôi chỉ hy sinh độ chính xác.
So this is a lot smaller. This is 1 out of 16. It's 1, 8, and 7. Has to be, obviously, right?
Vì vậy cái này nhỏ hơn nhiều. Đây là 1 trên 16. Nó là 1, 8, và 7. Phải vậy, rõ ràng rồi phải không?
So that is a little smaller. And that's used for faster machine learning. And in fact, there's now an entire soup of people interested in doing machine learning, deep neural nets.
Vì vậy cái đó nhỏ hơn một chút. Và nó được dùng để máy học nhanh hơn. Và thực tế, bây giờ có cả một khối những người quan tâm đến việc làm máy học, mạng nơ-ron sâu.
There's now a TF32, which also has 8 but has 10 significand bits, and it's 18 bits. So it's not a multiple of 8. That's a little weird.
Bây giờ có TF32, cái này cũng có 8 nhưng có 10 bít ý nghĩa, và nó là 18 bít. Vậy nó không phải là bội số của 8. Điều đó hơi lạ.
And in fact, domain accelerators have even more support, or I would say a spotty support of [? all them ?] all. And I'm looking at this table.
Và trên thực tế, các bộ tăng tốc miền còn có nhiều hỗ trợ hơn, hoặc tôi có thể nói là hỗ trợ không đều của tất cả chúng. Và tôi đang nhìn vào bảng này.
And the key thing I'm seeing is this Nvidia is the only one who supports all of them.
Và điều chính tôi thấy là Nvidia này là người duy nhất hỗ trợ tất cả chúng.
Notice that most of them support different sizes like, well, to optimize, I'll only work with the bfloats, or I'll only work with int8s. And by the way, there's a int4 as well.
Lưu ý rằng hầu hết chúng hỗ trợ các kích thước khác nhau như, chà, để tối ưu hóa, tôi sẽ chỉ làm việc với các bfloats, hoặc tôi sẽ chỉ làm việc với int8s. Và nhân tiện, cũng có một int4.
This means an integer. By the way, this means a nibble. This means a byte. This means a 2 bytes of that.
Điều này có nghĩa là một số nguyên. Nhân tiện, điều này có nghĩa là một nibble. Điều này có nghĩa là một byte. Điều này có nghĩa là 2 byte của điều đó.
And then the floating point space, these are not all supported by all of these domain accelerators.
Và sau đó là không gian dấu phẩy động, những cái này không được hỗ trợ bởi tất cả các bộ tăng tốc miền.
So think about that when you choose a particular domain accelerator that you might pay for on the cloud or try to buy yourself or build yourself.
Vì vậy hãy suy nghĩ về điều đó khi bạn chọn một bộ tăng tốc miền cụ thể mà bạn có thể phải trả tiền trên cloud hoặc cố gắng mua hoặc tự xây dựng.
So those are not full support for all the different kinds of numbers that we're going to use. Here's a really interesting idea. This is Dr. John Gustafson.
Vì vậy những cái đó không có hỗ trợ đầy đủ cho tất cả các loại khác nhau của các số mà chúng ta sẽ sử dụng. Đây là một ý tưởng thực sự thú vị. Đây là Tiến sĩ John Gustafson.
He said, remember what we didn't like about fixed point? You kind of locked in where the binary point was. Let's be clever.
Anh ấy nói, hãy nhớ những gì chúng ta không thích về điểm cố định. Bạn loại như khóa vị trí của dấu phẩy nhị phân. Hãy thông minh lên.
Let's have two numbers that in which you saw that all those period formats locked in what the sine bit was, the exponent bit was, and the significand bit was.
Hãy có hai số trong đó bạn thấy rằng tất cả các định dạng kỳ hạn đó bị khóa trong đó bit dấu, bit mũ, và bit phần định trị.
You saw them, right, all the different things. So he stepped back and said, well, why don't we abstract it even more?
Các bạn đã thấy rồi, tất cả những thứ khác nhau đó. Vì vậy ông ấy bước lùi lại và nói, tại sao chúng ta không trừu tượng hóa nó nhiều hơn nữa?
Why don't we allow you to be able to vary the bit width of the exponent and significand. You see that connection? And so that was his idea.
Tại sao chúng ta không cho phép bạn thay đổi độ rộng bit của mũ và phần định trị. Các bạn thấy kết nối đó chứ? Và đó là ý tưởng của ông ấy.
So what if you made that variable so it's almost like a third variable? This tells you how many bits for an each or maybe just where that line is.
Vì vậy nếu bạn làm cho nó thay đổi được thì nó gần như một biến thứ ba? Cái này cho bạn biết bao nhiêu bit cho mỗi cái, hoặc có thể chỉ vị trí của dòng đó.
And then these two is what the exponent significand are.
Và sau đó hai cái này là mũ và phần định trị.
He's also going to add this very clever idea called a "u-bit" that says, you know, remember before when we were on this floating point, and you did some calculation, and you had some computation that ended up being not exactly representable?
Ông ấy cũng sắp thêm vào ý tưởng rất thông minh này gọi là "u-bit" nó nói rằng, bạn biết đó, nhớ lại lúc trước khi chúng ta ở trên cái này, số chấm động, và bạn đã thực hiện một số tính toán, và bạn có một phép tính nào đó kết thúc bằng cách không chính xác có thể biểu diễn được?
And we had to say, we're talking about rounding. Does it round down? Does it round up? What happens?
Và chúng ta phải nói, chúng ta đang nói về làm tròn. Nó làm tròn xuống? Nó làm tròn lên? Điều gì xảy ra?
Well, when it would have been in the middle, he stores the bit to say, you know what? We did some rounding. It wasn't exact.
Chà, khi nó sẽ ở giữa, anh ấy lưu trữ bit để nói, bạn biết không? Chúng ta đã làm tròn một số. Nó không chính xác.
And this u-bit tells you whether the number in my calculation was exact or not.
Và u-bit này cho bạn biết liệu số trong phép tính của tôi có chính xác hay không.
So if it actually can end up 2 to the something, that's certainly representable perfectly because 2 to the something we can do really well if it's in our range.
Vì vậy nếu nó thực sự có thể kết thúc bằng 2 lũy thừa gì đó, thì chắc chắn nó có thể biểu diễn hoàn hảo vì 2 lũy thừa của một số nào đó chúng ta có thể làm rất tốt nếu nó nằm trong phạm vi của chúng ta.
And what if I double that? Well, that's also in the range because we can do powers of 2 really easily.
Vậy nếu tôi nhân đôi nó thì sao? Vâng, nó cũng nằm trong phạm vi vì chúng ta có thể thực hiện lũy thừa của 2 rất dễ dàng.
Well, then that would say the u-bit is off because I'm exactly snapped to a value.
Vâng, thế thì bit u sẽ tắt vì tôi đã đúng vào một giá trị.
But if ever the calculation was in the middle, then I'm going to eventually have to snap to a value of a u-bit, whatever the unum is, the closest unum.
Nhưng nếu khi nào tính toán nằm giữa, thì cuối cùng tôi sẽ phải dóng vào một giá trị của bit u, dù unum là gì, thì unum gần nhất.
They call them "unums" — the closest unum is, I would snap to it. And I'll set the u-bit to 1 saying, you know what? I had to do some rounding.
Họ gọi chúng là "unum" — unum gần nhất là cái tôi sẽ dóng vào. Và tôi sẽ đặt bit u thành 1 để nói, bạn biết không? Tôi phải làm một số rounding.
So it remembers whether you did rounding or not and whether you had to. If I didn't have to, your bit is off. If I had to, your bit is on.
Vậy nó ghi nhớ liệu bạn có làm phép làm tròn hay không, và liệu bạn có phải làm. Nếu tôi không phải làm, bit của bạn tắt. Nếu tôi phải làm, bit của bạn bật.
That's very clever.
Điều đó rất thông minh.
So this, his quote, his boastful quote, I'll say — I'll even go on record saying that — said, "It promises to be to floating point what floating point was to fixed point," which is kind of true in a way.
Vậy cái này, câu nói của anh ấy, câu nói kiêu ngạo của anh ấy, tôi sẽ nói — Tôi thậm chí sẽ công khai nói rằng — anh ấy nói, "Nó hứa hẹn sẽ là với floating point những gì floating point đã là với fixed point," điều này có vẻ đúng theo một cách nào đó.
You think about we locked in where the binary point was. Let's make it more general with this knob over here telling you where that point should float.
Bạn nghĩ về chúng ta đã khóa vị trí của dấu phẩy nhị phân. Hãy làm nó tổng quát hơn với cái nút ở đây cho bạn biết dấu phẩy đó nên nằm ở đâu.
And he's adding another knob that says how many bits in each of the exponent and significand I'm going to give. And so that is actually a bit more interesting.
Và anh ấy đang thêm một cái nút khác cho biết có bao nhiêu bit trong mỗi phần số mũ và phần định trị tôi sẽ cung cấp. Và như vậy nó thực sự thú vị hơn một chút.
If I needed a lot of precision, then give a lot more bits to the significand. A lot more range, I'll give a lot more bits to the exponent.
Nếu tôi cần độ chính xác cao, thì cho nhiều bits hơn vào significand. Nếu cần nhiều phạm vi hơn, tôi sẽ cho nhiều bits hơn vào exponent.
That makes sense? So it's very clever to think about how you do this to able to have even more range.
Có hợp lý không? Vì vậy, cách suy nghĩ về cách làm điều này rất thông minh để có thể có phạm vi còn lớn hơn nữa.
So unum hasn't been formally adopted by every piece of hardware, but it's getting more adoption. And I think it's effectually a very clever solution, so claims to save power as well.
Vì vậy unum chưa được chính thức áp dụng bởi mọi phần cứng, nhưng nó đang được áp dụng nhiều hơn. Và tôi nghĩ nó thực sự là một giải pháp rất thông minh, vì vậy họ tuyên bố là nó tiết kiệm năng lượng.
I don't know whether I can support that claim, but that's another claim they have. In summary, last slide, floating point lets us represent numbers containing integer and floating point parts.
Tôi không biết liệu tôi có thể hỗ trợ tuyên bố đó hay không, nhưng đó là một tuyên bố khác mà họ có. Tóm lại, slide cuối cùng, số dấu phẩy động cho phép chúng ta biểu diễn các số chứa số nguyên và các phần floating point.
We can do big numbers. We can do small numbers. Amazing. IEEE 754 floating point standard earned one of my colleagues a Turing Award, the Nobel Prize in computing for that work.
Chúng ta có thể biểu diễn các số lớn. Chúng ta có thể biểu diễn các số nhỏ. Tuyệt vời. Tiêu chuẩn floating point IEEE 754 đã giúp một đồng nghiệp của tôi đạt giải Turing, giải Nobel trong lĩnh vực khoa học máy tính vì công việc đó.
Every computer since 1997 — before then was having a different way that did it. HP was different from Apple which was different from Intel. It was crazy. It was chaos.
Mọi máy tính kể từ năm 1997 — trước đó mỗi nơi đều có một cách khác để làm điều đó. HP khác với Apple, và Apple khác với Intel. Thật là điên rồ. Thật là hỗn loạn.
This floating point standardized everybody. And now we're all using the floating point standard. By the way, that has revisions. There were revisions to this where they tried to correct some things and add things.
Tiêu chuẩn floating point này đã thống nhất mọi người. Và bây giờ chúng ta đều sử dụng tiêu chuẩn floating point. Nhân tiện, nó có các sửa đổi. Đã có những sửa đổi đối với cái này, trong đó họ đã cố gắng sửa chữa một số điều và thêm vào những điều khác.
There's always a revision to that. You saw the revisions to C. There's revisions to the IEEE floating point standard as well.
Luôn có một phiên bản sửa đổi cho cái đó. Bạn đã thấy những phiên bản sửa đổi của C. Có những phiên bản sửa đổi của tiêu chuẩn số dấu phẩy động IEEE.
And you should say IEEE 74 underscore the year, which is kind of nice, in four digits, not 79 with two digits. This had four digits for that.
Và bạn nên nói IEEE 754 dấu gạch dưới năm, cái mà khá hay, bốn chữ số, không phải 79 với hai chữ số. Cái này có bốn chữ số cho cái đó.
So it'll say underscore 2000 and the year or something like that. And I think there's a 2019 out there recently as well. So summary, this is it. You've seen examples.
Vậy nó sẽ nói dấu gạch dưới 2008 và năm hoặc gì đó như thế. Và tôi nghĩ có một phiên bản 2019 cũng vừa ra gần đây. Vậy tóm lại, đó là nó. Bạn đã thấy những ví dụ.
You've seen pictures. You've seen ways you can play with an interactive, touch the bits and play with it and explore that. I encourage you strongly to do that.
Bạn đã thấy những hình ảnh. Bạn đã thấy những cách bạn có thể chơi với một tương tác, chạm vào các bit và chơi với nó rồi khám phá. Tôi khuyến khích các bạn mạnh mẽ làm điều đó.
S, exponent, significand, everything, it follows this format. Every other format basically is just changing the widths of the exponent and significand to do different things.
S, số mũ, phần định trị, tất cả, nó tuân theo định dạng này. Về cơ bản mọi định dạng khác chỉ là thay đổi độ rộng của số mũ và phần định trị để làm những thứ khác nhau.
But FP32 is the default. When you say "float," that's what you get. Remember, exponent is telling the significand how much, what power to to count by.
Nhưng FP32 là mặc định. Khi bạn nói "float", đó là những gì bạn nhận được. Nhớ rằng, số mũ cho phần định trị biết phải đếm bao nhiêu, bao nhiêu luỹ thừa để đếm.
Are you counting by quarters or halves or ones or twos? So you're always counting by power or minus 149's. That's what the smallest one. So the exponent tells how much to count by.
Bạn có đang đếm theo quarts hay halves hay ones hay twos? Vì vậy bạn luôn đếm theo luỹ thừa hay âm 149. Đó là cái nhỏ nhất. Vì vậy số mũ cho biết phải đếm bao nhiêu.
Then the significand is just counting by that much. That says, how wide are the ruler values? So the exponent says, tell me how wide my ruler lines are?
Rồi phần significand chỉ là đếm bằng mức đó. Nó nói, khoảng cách giữa các vạch trên thước của tôi là bao nhiêu? Vậy phần exponent nói cho tôi biết, các vạch trên thước của tôi rộng bao nhiêu?
And then the significand counts by those ruler lines. It's always an equal.
Và rồi phần significand đếm bằng các vạch trên thước đó. Nó lúc nào cũng bằng nhau.
So it's [ROLLS TONGUE],, and then bup, bup, bup, bup, and then bup, bup, bup, like that, if you [INAUDIBLE] this with the sound. And this benefit that you can store NaNs.
Vậy nó là [ROLLS TONGUE],, rồi bup, bup, bup, bup, và rồi bup, bup, bup, như vậy, nếu bạn [INAUDIBLE] cái này với âm thanh. Và lợi ích này là bạn có thể lưu trữ NaNs.
You can store plus or minus infinity. You can start debugging information in your NaNs. We love all this. I'm going to take you out with one of the greatest '70s soul R&B songs.
Bạn có thể lưu trữ cộng hoặc trừ vô cùng. Bạn có thể bắt đầu lưu trữ thông tin debug trong NaNs của bạn. Chúng tôi yêu tất cả những cái này. Tôi sẽ dẫn bạn với một trong những bài hát soul R&B của những năm '70 tuyệt vời nhất.
It's called "Float On" by The Floaters. Just boogie along to it. [MUSIC - THE FLOATERS, "FLOAT ON"] (SINGING) And float on. Yeah.
Nó gọi là "Float On" của The Floaters. Cứ nhảy múa theo nó. [MUSIC - THE FLOATERS, "FLOAT ON"] (SINGING) And float on. Yeah.
PROFESSOR
I'm gonna dance. (SINGING) You better float on.
Tôi sẽ nhảy. (SINGING) You better float on.
PROFESSOR
And we'll see you the next module. (SINGING) Float on. Ah.
Và chúng ta sẽ gặp lại các bạn ở module tiếp theo. (SINGING) Float on. Ah.
PROFESSOR
Take care.
Chúc các bạn.
Đăng nhập để đánh giá học liệu này.
Đăng nhập để bình luận — chưa ai bình luận về học liệu này.
Không có khóa học liên quan.