Bỏ qua tới nội dung chính

Hướng dẫn học chủ đề

Xác suất và quá trình ngẫu nhiên

Trung bìnhkhoảng 60 giờ6 bước

Biến ngẫu nhiên, quá trình ngẫu nhiên dừng, hàm tự tương quan, mật độ phổ công suất và nhiễu trong hệ thống điện tử, truyền thông (Berkeley EE126).

Bắt đầu học

Bạn sẽ học được gì

  • Tính xác suất có điều kiện và áp dụng công thức Bayes cho bài toán phát hiện, chẩn đoán lỗi
  • Làm việc với biến ngẫu nhiên rời rạc, liên tục và vectơ ngẫu nhiên: hàm mật độ, kỳ vọng, hiệp phương sai, phân phối Gauss nhiều chiều
  • Áp dụng luật số lớn và định lý giới hạn trung tâm, nêu đúng điều kiện của chúng
  • Tính ước lượng hợp lý cực đại và ước lượng bình phương trung bình tối thiểu tuyến tính trong các bài toán đơn giản
  • Xác định một quá trình ngẫu nhiên có dừng theo nghĩa rộng không, tính hàm tự tương quan và mật độ phổ công suất
  • Tính mật độ phổ và công suất nhiễu ở đầu ra của một hệ LTI khi đầu vào là quá trình WSS
  • Mô hình hóa sự kiện ngẫu nhiên bằng quá trình Poisson và xích Markov
  • Mô phỏng các quá trình ngẫu nhiên bằng Python để kiểm tra kết quả lý thuyết

Nên học trước

Giới thiệu

Xác suất và quá trình ngẫu nhiên là môn dạy kỹ sư điện làm việc với sự bất định: nhiễu nhiệt trong mạch khuếch đại, lỗi bit trên kênh truyền, phụ tải điện dao động theo giờ, sai số của cảm biến. Nếu Tín hiệu và hệ thống xét tín hiệu xác định, thì ở đây tín hiệu là ngẫu nhiên, và câu hỏi trở thành: đặc trưng thống kê của tín hiệu ra khỏi một bộ lọc là gì? Chủ đề tương ứng UC Berkeley EE126 (Probability and Random Processes), MIT 6.041 và 6.011, và học phần Xác suất thống kê cùng Quá trình ngẫu nhiên trong chương trình Điện tử – Viễn thông ở các trường Việt Nam.

Từ biến ngẫu nhiên tới vectơ ngẫu nhiên

Phần đầu ôn lại và đào sâu xác suất theo góc nhìn kỹ thuật: xác suất có điều kiện, công thức Bayes (nền của mọi bộ thu tối ưu), biến ngẫu nhiên rời rạc và liên tục, hàm mật độ, kỳ vọng, phương sai, hàm đặc trưng. Sau đó là nhiều biến ngẫu nhiên: phân phối đồng thời, hiệp phương sai, tương quan, và đặc biệt vectơ Gauss — mô hình của nhiễu trong hầu hết hệ thống điện tử. Các định lý giới hạn (luật số lớn, định lý giới hạn trung tâm với điều kiện phương sai hữu hạn) giải thích vì sao nhiễu tổng hợp từ nhiều nguồn nhỏ độc lập thường có phân phối gần chuẩn. Một chút ước lượng (hợp lý cực đại, bình phương trung bình tối thiểu) và kiểm định giả thuyết cho bạn công cụ quyết định khi dữ liệu có nhiễu.

Quá trình ngẫu nhiên và mật độ phổ công suất

Trọng tâm của môn là quá trình ngẫu nhiên: một họ biến ngẫu nhiên theo thời gian. Khái niệm then chốt là dừng theo nghĩa rộng (WSS): kỳ vọng không đổi và hàm tự tương quan chỉ phụ thuộc độ lệch thời gian. Với quá trình WSS, mật độ phổ công suất là biến đổi Fourier của hàm tự tương quan (định lý Wiener–Khinchin), cho biết công suất phân bố theo tần số ra sao. Kết quả dùng nhiều nhất: khi quá trình WSS đi qua hệ LTI ổn định, mật độ phổ ở đầu ra bằng mật độ phổ ở đầu vào nhân với bình phương độ lớn đáp ứng tần số. Từ đó bạn tính được công suất nhiễu sau bộ lọc, tỉ số tín hiệu trên nhiễu và thiết kế bộ lọc phối hợp để phát hiện tín hiệu trong nhiễu trắng.

Các quá trình quan trọng

Bạn sẽ gặp nhiễu trắng Gauss (mô hình nhiễu nhiệt), quá trình Poisson (mô hình các sự kiện đến ngẫu nhiên: cuộc gọi, gói tin, xung photon), xích Markov rời rạc và liên tục (mô hình hàng đợi, độ tin cậy của thiết bị) và chuyển động Brown. Mỗi quá trình nên được mô phỏng bằng Python để so sánh thống kê thực nghiệm với công thức lý thuyết.

Nên học thế nào

  • Nền tảng cần có: lý thuyết xác suất ở mức chủ đề Lý thuyết xác suất của lộ trình Toán học, và Tín hiệu và hệ thống (tích chập, biến đổi Fourier, hệ LTI).
  • Sách chính: Introduction to Probability, Statistics, and Random Processes của Pishro-Nik — đọc miễn phí trên probabilitycourse.com, có video ngắn và rất nhiều bài giải mẫu; chương 10 và 11 là phần quá trình ngẫu nhiên. Probability and Random Processes for Electrical Engineering của Leon-Garcia là giáo trình chuẩn viết riêng cho kỹ sư điện; Stochastic Processes của Gallager (MIT 6.262) dành cho ai muốn đi sâu.
  • Mô phỏng mọi thứ: dùng NumPy sinh mẫu ngẫu nhiên, ước lượng hàm tự tương quan, vẽ mật độ phổ bằng scipy.signal.welch, và kiểm tra lại từng công thức lý thuyết.

Học xong, bạn có công cụ để học Hệ thống truyền thông, Lý thuyết thông tin, Thông tin vô tuyến, bộ lọc Kalman trong điều khiển hiện đại, và học máy.

Giáo trình & sách tham khảo

Xem tất cả trong tab Sách

Giáo trình chính

Miễn phíTrung bìnhTiếng Anh732 trang

Vì sao chọn: Giáo trình của Hossein Pishro-Nik (UMass Amherst), đọc miễn phí toàn bộ trên probabilitycourse.com, bản quyền vẫn thuộc tác giả; có video bài giảng ngắn, máy tính xác suất và bài giải mẫu ở cuối mỗi mục. Chọn làm sách chính vì miễn phí, viết cho sinh viên kỹ thuật và phủ đủ từ xác suất cơ bản tới quá trình ngẫu nhiên.

Nên đọc: Chương 1–7 (xác suất và biến ngẫu nhiên), Chương 8–9 (thống kê), Chương 10–11 (quá trình ngẫu nhiên)

Có phíNâng caoTiếng Anh553 trang

Giáo trình của Robert Gallager dựa trên MIT 6.262 (Cambridge University Press, sách trả phí). Chặt chẽ và sâu hơn sách chính, đặc biệt ở quá trình Gauss và xích Markov; dành cho người muốn chuẩn bị cho truyền thông số và lý thuyết thông tin ở mức sau đại học.

Nên đọc: Chương 1–4 (ôn xác suất, quá trình Poisson, vectơ và quá trình Gauss, xích Markov hữu hạn trạng thái); Chương 8 và 10 (phát hiện, ước lượng)

Các bước học

Đăng nhập để đánh dấu các bước đã hoàn thành.

  1. Bước 1: Ôn xác suất và biến ngẫu nhiên

    khoảng 10 giờ

    Ôn phép thử, tiên đề xác suất, xác suất có điều kiện, công thức Bayes, phép đếm; biến ngẫu nhiên rời rạc, liên tục và hỗn hợp, hàm mật độ, kỳ vọng, phương sai, các phân phối thường gặp. Luyện tập: bài toán kênh nhị phân đối xứng với xác suất lỗi 0,01 — tính xác suất bit gửi là 1 khi nhận được 1 với xác suất tiên nghiệm cho trước; mô phỏng bằng NumPy và so với công thức.

  2. Bước 2: Nhiều biến ngẫu nhiên và vectơ Gauss

    khoảng 10 giờ

    Học phân phối đồng thời, phân phối có điều kiện, hiệp phương sai, hệ số tương quan, hàm của biến ngẫu nhiên, vectơ ngẫu nhiên, ma trận hiệp phương sai và phân phối Gauss nhiều chiều, các bất đẳng thức Markov, Chebyshev. Luyện tập: sinh 10 000 mẫu vectơ Gauss hai chiều với ma trận hiệp phương sai cho trước bằng phân tích Cholesky, vẽ đám mây điểm và ellip mức; kiểm tra rằng hai biến không tương quan nhưng đồng thời Gauss thì độc lập.

  3. Bước 3: Định lý giới hạn, ước lượng và kiểm định

    khoảng 8 giờ

    Học các dạng hội tụ, luật số lớn, định lý giới hạn trung tâm; ước lượng điểm, khoảng tin cậy, ước lượng hợp lý cực đại, ước lượng Bayes và MMSE, kiểm định giả thuyết. Luyện tập: ước lượng điện áp một chiều bị nhiễu Gauss từ N mẫu, vẽ sai số theo N để thấy luật số lớn; thiết kế bộ quyết định ngưỡng cho tín hiệu nhị phân trong nhiễu và tính xác suất lỗi theo tỉ số tín hiệu trên nhiễu.

  4. Bước 4: Quá trình ngẫu nhiên, tự tương quan và mật độ phổ

    khoảng 14 giờ

    Học định nghĩa quá trình ngẫu nhiên, hàm trung bình, hàm tự tương quan, quá trình dừng và dừng theo nghĩa rộng, tính ergodic, mật độ phổ công suất, định lý Wiener–Khinchin, quá trình WSS qua hệ LTI, nhiễu trắng. Luyện tập: cho nhiễu trắng Gauss đi qua bộ lọc thông thấp bậc một, ước lượng hàm tự tương quan và mật độ phổ đầu ra (scipy.signal.welch) và so với công thức lý thuyết; tính công suất nhiễu nhiệt của điện trở 1 kΩ ở 300 K trong băng thông 10 kHz.

  5. Bước 5: Quá trình Poisson, xích Markov và chuyển động Brown

    khoảng 10 giờ

    Học quá trình Poisson (thời gian giữa các sự kiện, ghép và tách quá trình), xích Markov thời gian rời rạc và liên tục, phân phối dừng, chuyển động Brown. Luyện tập: mô phỏng dòng gói tin đến một bộ định tuyến như quá trình Poisson và kiểm tra phân phối số gói trong mỗi giây; lập xích Markov hai trạng thái (tốt, lỗi) cho một kênh truyền có lỗi cụm, tính phân phối dừng và so với mô phỏng.

  6. Bước 6: Ứng dụng: phát hiện tín hiệu và lọc nhiễu

    khoảng 8 giờ

    Tổng hợp kiến thức vào bài toán kỹ thuật: bộ lọc phối hợp cực đại tỉ số tín hiệu trên nhiễu, bộ lọc Wiener, dự báo tuyến tính, ước lượng mật độ phổ từ dữ liệu thật. Dự án: phát hiện một xung đã biết dạng chìm trong nhiễu trắng bằng bộ lọc phối hợp, vẽ đường cong xác suất phát hiện theo xác suất báo động nhầm; hoặc phân tích mật độ phổ của một bản ghi rung động hay dữ liệu phụ tải điện công khai. Bài giảng MIT 6.011 và Berkeley EE126 là nguồn đọc thêm tốt.

Khái niệm chính

Công thức Bayes
P(A | B) = P(B | A)·P(A) / P(B): cập nhật xác suất của giả thuyết A sau khi quan sát B; nền của bộ thu tối ưu và chẩn đoán.
Biến ngẫu nhiên và hàm mật độ
Hàm gán số thực cho mỗi kết quả của phép thử; được mô tả bằng hàm phân phối tích lũy, hàm khối xác suất (rời rạc) hoặc hàm mật độ (liên tục).
Hiệp phương sai và tương quan
Cov(X, Y) = E[(X − E[X])(Y − E[Y])] đo mức biến thiên cùng nhau; không tương quan không kéo theo độc lập, trừ trường hợp đồng thời Gauss.
Vectơ Gauss
Vectơ ngẫu nhiên mà mọi tổ hợp tuyến tính của các thành phần đều có phân phối chuẩn; được xác định hoàn toàn bởi vectơ kỳ vọng và ma trận hiệp phương sai.
Định lý giới hạn trung tâm
Tổng chuẩn hóa của nhiều biến ngẫu nhiên độc lập cùng phân phối, có phương sai hữu hạn, hội tụ theo phân phối về phân phối chuẩn.
Ước lượng bình phương trung bình tối thiểu (MMSE)
Ước lượng làm nhỏ nhất sai số bình phương trung bình; là kỳ vọng có điều kiện, và trở thành tuyến tính khi các biến đồng thời Gauss.
Quá trình ngẫu nhiên
Họ biến ngẫu nhiên X(t) đánh chỉ số theo thời gian; mỗi lần thử cho một hàm mẫu (một dạng sóng cụ thể).
Dừng theo nghĩa rộng (WSS)
Quá trình có kỳ vọng không đổi và hàm tự tương quan chỉ phụ thuộc độ lệch thời gian τ.
Hàm tự tương quan
R(τ) = E[X(t + τ)X(t)] với quá trình WSS thực; R(0) là công suất trung bình của quá trình.
Mật độ phổ công suất (PSD)
Với quá trình WSS, là biến đổi Fourier của hàm tự tương quan (định lý Wiener–Khinchin); tích phân của nó theo tần số bằng công suất trung bình.
Quá trình WSS qua hệ LTI
Khi quá trình WSS đi qua hệ LTI ổn định, đầu ra cũng WSS và mật độ phổ đầu ra bằng mật độ phổ đầu vào nhân với bình phương độ lớn của đáp ứng tần số.
Nhiễu trắng Gauss
Mô hình lý tưởng của nhiễu nhiệt: quá trình Gauss có mật độ phổ công suất phẳng trên mọi tần số, nên các mẫu ở hai thời điểm khác nhau không tương quan.
Quá trình Poisson
Mô hình đếm các sự kiện đến ngẫu nhiên với tốc độ λ: số sự kiện trong khoảng dài t có phân phối Poisson, khoảng cách giữa các sự kiện có phân phối mũ.
Xích Markov
Quá trình mà trạng thái tương lai chỉ phụ thuộc trạng thái hiện tại; được mô tả bằng ma trận chuyển trạng thái và có thể có phân phối dừng.

Học xong để làm gì

  • Tính công suất nhiễu và tỉ số tín hiệu trên nhiễu trong mạch khuếch đại, máy thu
  • Thiết kế bộ thu tối ưu, bộ lọc phối hợp và tính xác suất lỗi bit trong hệ thống truyền thông
  • Bộ lọc Kalman và ước lượng trạng thái trong điều khiển, định vị, xe tự hành
  • Mô hình hóa phụ tải điện, công suất điện gió và điện mặt trời để dự báo và vận hành lưới
  • Phân tích độ tin cậy thiết bị và hàng đợi gói tin trong mạng
  • Nền tảng thống kê cho học máy và xử lý dữ liệu cảm biến

Câu hỏi thường gặp

Môn này khác gì môn Xác suất thống kê đại cương?

Phần đầu gần giống nhưng hướng tới ứng dụng kỹ thuật; phần chính là quá trình ngẫu nhiên, hàm tự tương quan, mật độ phổ công suất và hệ LTI với đầu vào ngẫu nhiên — những thứ môn đại cương không có.

Có bắt buộc học Lý thuyết xác suất của lộ trình Toán học trước không?

Nên học, hoặc ít nhất đã qua một học phần xác suất ở đại học. Chủ đề này ôn nhanh phần cơ bản rồi tập trung vào vectơ Gauss và quá trình ngẫu nhiên.

Vì sao nhiễu hay được giả sử là Gauss?

Nhiễu nhiệt là tổng của rất nhiều đóng góp nhỏ độc lập từ chuyển động của điện tử, nên theo định lý giới hạn trung tâm nó gần phân phối chuẩn. Giả thiết Gauss còn làm tính toán gọn: tổ hợp tuyến tính của biến Gauss vẫn là Gauss.

Sách Pishro-Nik có miễn phí không?

Có: toàn bộ nội dung đọc miễn phí trên probabilitycourse.com (bản quyền vẫn thuộc tác giả), kèm video và máy tính xác suất trực tuyến; bản in và sách lời giải có bán.

Nên mô phỏng bằng công cụ gì?

Python với NumPy, SciPy và Matplotlib là đủ: sinh mẫu ngẫu nhiên, ước lượng tự tương quan, vẽ mật độ phổ bằng phương pháp Welch. MATLAB hoặc Octave cũng dùng tốt; sách chính có một chương mô phỏng bằng MATLAB.

Chọn nguồn tự học

Chọn nguồn viết cho kỹ sư điện, gắn xác suất với tín hiệu và nhiễu; mô phỏng các quá trình ngẫu nhiên bằng Python để kiểm tra các công thức về tự tương quan và phổ.