Bỏ qua tới nội dung chính

Lý thuyết thông tin và mã hóa

Entropy, nén dữ liệu, dung lượng kênh, mã sửa lỗi (Hamming, mã chập, LDPC) — giới hạn cơ bản của mọi hệ thống truyền thông và lưu trữ.

5 khóa học đề xuất2 học liệu (2 sách)

Hướng dẫn học chủ đề

Nâng caokhoảng 70 giờ6 bước
  • Tính entropy, entropy có điều kiện, thông tin tương hỗ và khoảng cách Kullback – Leibler của các phân phối rời rạc
  • Giải thích tính chất phân hoạch đều tiệm cận và định lý mã hóa nguồn, xác định giới hạn nén của một nguồn
  • Cài đặt và phân tích mã Huffman và mã hóa số học, so sánh độ dài trung bình với entropy

Giáo trình: Information Theory, Inference, and Learning Algorithms +1 sách khác

Đọc hướng dẫn đầy đủ
Thuộc nhóm Trường điện từ và truyền thông · Electromagnetics and Communications6 chủ đề · khoảng 408 giờSóng điện từ, siêu cao tần, anten và các hệ thống truyền thông, từ điều chế tới lý thuyết thông tin và vô tuyến.Xem nhóm
Chọn nguồn tự học

Cần vững xác suất; đọc song song một giáo trình kinh điển với một nguồn nhiều ví dụ, và tự cài đặt mã Huffman, mã Hamming bằng Python để kiểm tra lý thuyết.

Khóa học đề xuất

Khóa trên OpenER và khóa mở của các trường, tuyển chọn cho chủ đề này.

Xem tất cả (5)

IIT Kanpur · 117104129

An Introduction to Information Theory (mở trong tab mới)

Nhập môn lý thuyết thông tin

Adrish Banerjee

Đề xuất chínhVideo + tài liệuLiên kết ngoàiCấp độ: Nâng caoTiếng AnhBản quyền

Khóa video của IIT Kanpur về độ đo thông tin và các bất đẳng thức, mã tiền tố và mã Huffman, tính chất phân hoạch đều tiệm cận, mã nguồn phổ quát Lempel-Ziv, dung lượng kênh, định lý mã hóa kênh có nhiễu, entropy vi phân, kênh Gauss và lý thuyết tốc độ méo, kèm các buổi giải bài tập.

Vì sao chọn: Đi đủ nửa lý thuyết thông tin của chủ đề: entropy, nén dữ liệu (Huffman, Lempel-Ziv), dung lượng kênh và định lý mã hóa kênh, có buổi giải bài xen kẽ. Nửa mã sửa lỗi học tiếp bằng khóa lý thuyết mã của cùng giảng viên ngay bên dưới.

  • Chuyên sâu

  • IIT Kanpur · 108104092

    An Introduction to Coding Theory (mở trong tab mới)

    Nhập môn lý thuyết mã

    Adrish Banerjee

    Thay thếVideo + tài liệuLiên kết ngoàiCấp độ: Nâng cao

    Vì sao chọn: Bổ sung trọn phần mã sửa lỗi của chủ đề (mã khối, mã chập, LDPC, turbo) với nhiều buổi giải bài; nên học sau khóa lý thuyết thông tin.

    • Nhiều bài tập

  • CUHK

    Information Theory (mở trong tab mới)

    Lý thuyết thông tin (CUHK)

    Raymond W. Yeung

    Thay thếChỉ tài liệuLiên kết ngoàiCấp độ: Nâng caoCần tài khoản miễn phí

    Vì sao chọn: Hình thức MOOC có bài tập tự chấm, giảng chặt chẽ về mặt toán theo sách của giảng viên; phù hợp nếu muốn học có lộ trình. Cần tài khoản Coursera.

    • Chuyên sâu

  • MIT · 6.441 · Xuân 2016

    Information Theory (mở trong tab mới)

    Lý thuyết thông tin (MIT, cao học)

    Yury Polyanskiy

    Nâng caoChỉ tài liệuLiên kết ngoàiCấp độ: Nâng cao

    Vì sao chọn: Ghi chú bài giảng của Polyanskiy là tài liệu cao học hiện đại, chặt chẽ; dành cho người muốn đi sâu mã hóa kênh và giới hạn thông tin.

    • Chuyên sâu

Chủ đề này còn ít nội dung

Xem thêm các chủ đề cùng nhóm Trường điện từ và truyền thông, hoặc tìm trên toàn trang.