Bỏ qua tới nội dung chính

Hướng dẫn học chủ đề

Xử lý ngôn ngữ tự nhiên

Natural Language Processing

Nâng caokhoảng 46 giờ6 bước

Xử lý ngôn ngữ tự nhiên: giúp máy tính hiểu, phân tích và sinh ra ngôn ngữ con người.

Bắt đầu học

Bạn sẽ học được gì

  • Giải thích các bước tiền xử lý văn bản và xây dựng mô hình ngôn ngữ n-gram
  • Cài đặt mô hình phân loại văn bản bằng hồi quy logistic và đánh giá bằng precision/recall/F1
  • Huấn luyện mạng nơ-ron (embedding, RNN/LSTM) cho các bài toán xử lý chuỗi văn bản
  • Giải thích cơ chế attention và kiến trúc Transformer, tinh chỉnh một mô hình tiền huấn luyện
  • Thực hiện các tác vụ NLP có cấu trúc: gán nhãn từ loại, phân tích cú pháp, trích xuất thông tin
  • Đánh giá mô hình NLP bằng các độ đo phù hợp và xây dựng một pipeline hỏi-đáp dựa trên RAG

Nên học trước

Giới thiệu

Xử lý ngôn ngữ tự nhiên (NLP) giúp máy tính hiểu, phân tích và sinh ra ngôn ngữ con người — từ gõ gợi ý, dịch máy, chatbot đến các mô hình ngôn ngữ lớn (LLM) hiện nay. NLP nằm ở giao điểm của ngôn ngữ học và học máy: cần hiểu cấu trúc ngôn ngữ (từ, câu, ngữ nghĩa) lẫn công cụ thống kê/học sâu để xử lý dữ liệu văn bản khổng lồ và nhiều nhiễu.

Hai thời đại: thống kê và học sâu

NLP cổ điển dùng n-gram, đặc trưng thủ công và hồi quy logistic — vẫn hữu ích cho bài toán nhỏ, cần diễn giải được. Từ khoảng 2013, embedding (word2vec) rồi mạng hồi quy (RNN/LSTM) thay thế đặc trưng thủ công. Từ 2017, kiến trúc Transformer với cơ chế attention trở thành nền tảng của gần như mọi hệ thống NLP hiện đại, dẫn tới các mô hình ngôn ngữ lớn được tiền huấn luyện trên kho ngữ liệu khổng lồ rồi tinh chỉnh cho từng tác vụ.

Lộ trình học

Đi từ biểu diễn văn bản cơ bản (token hóa, n-gram, TF-IDF) → phân loại văn bản bằng học máy cổ điển → mạng nơ-ron cho chuỗi → Transformer và tiền huấn luyện → các tác vụ có cấu trúc (gán nhãn, phân tích cú pháp, trích xuất thông tin, dịch máy). Luôn thực hành trên dữ liệu văn bản thật để thấy rõ nhiễu và trường hợp biên mà lý thuyết không nói tới.

Công cụ nên dùng

Python với thư viện transformers (Hugging Face) và spaCy/NLTK cho các bước tiền xử lý; một GPU miễn phí (Google Colab) là đủ để tinh chỉnh mô hình cỡ nhỏ.

Giáo trình & sách tham khảo

Xem tất cả trong tab Sách

Giáo trình chính

Speech and Language Processing (3rd edition, draft)

Daniel Jurafsky, James H. Martin · Bản thứ 3 (bản nháp)

Miễn phíTrung bìnhTiếng Anh

Vì sao chọn: Giáo trình NLP toàn diện và cập nhật nhất, miễn phí trọn bộ từ chính hai tác giả, đi từ n-gram tới Transformer và LLM — khớp toàn bộ lộ trình. Là lựa chọn chính vì vừa miễn phí vừa bao quát cả NLP cổ điển lẫn hiện đại.

Nên đọc: Chương 1–21 (Volume I–III, các chương cốt lõi)

Các bước học

Đăng nhập để đánh dấu các bước đã hoàn thành.

  1. Bước 1: Biểu diễn văn bản cổ điển

    khoảng 6 giờ

    Token hóa, chuẩn hóa (stemming/lemmatization), xây dựng mô hình ngôn ngữ n-gram và làm mượt Kneser-Ney; cài đặt một mô hình n-gram từ đầu trên một kho văn bản nhỏ và tính perplexity.

  2. Bước 2: Phân loại văn bản với học máy cổ điển

    khoảng 7 giờ

    Biểu diễn văn bản bằng túi từ/TF-IDF, huấn luyện hồi quy logistic cho phân loại (ví dụ phân loại cảm xúc bình luận); đánh giá bằng precision/recall/F1 và phân tích lỗi sai.

  3. Bước 3: Embedding và mạng nơ-ron cho chuỗi

    khoảng 8 giờ

    Học biểu diễn từ phân tán (embedding) và mạng hồi quy (RNN/LSTM) cho gán nhãn chuỗi; huấn luyện một mô hình phân loại dùng embedding có sẵn và so sánh độ chính xác với mô hình túi từ ở bước 2.

  4. Bước 4: Transformer và mô hình ngôn ngữ lớn

    khoảng 9 giờ

    Hiểu cơ chế self-attention, kiến trúc Transformer, tiền huấn luyện và tinh chỉnh; dùng một mô hình Transformer cỡ nhỏ có sẵn (qua thư viện Hugging Face) để tinh chỉnh cho bài toán phân loại của bước 2 và so sánh kết quả.

  5. Bước 5: Các tác vụ có cấu trúc: gán nhãn, cú pháp, trích xuất thông tin

    khoảng 8 giờ

    Gán nhãn từ loại, phân tích cú pháp phụ thuộc, nhận diện thực thể có tên và trích xuất quan hệ; thực hành trên một đoạn văn bản tự chọn và so sánh với một công cụ NLP có sẵn.

  6. Bước 6: Dịch máy, truy xuất thông tin và đánh giá

    khoảng 8 giờ

    Tìm hiểu dịch máy bằng Transformer, truy xuất tăng cường sinh (RAG) và các độ đo đánh giá (BLEU, ROUGE, F1); xây dựng một pipeline hỏi-đáp nhỏ trên tập tài liệu tự chọn dùng RAG đơn giản.

Khái niệm chính

Token hóa và chuẩn hóa văn bản
Tách văn bản thô thành các đơn vị (từ, subword) và đưa về dạng chuẩn (viết thường, tách dấu câu); bước tiền xử lý ảnh hưởng trực tiếp tới mọi mô hình phía sau.
Mô hình ngôn ngữ n-gram
Ước lượng xác suất một từ dựa trên n-1 từ liền trước; đơn giản, nhanh, vẫn dùng làm baseline hoặc trong gõ gợi ý nhẹ.
Embedding từ
Biểu diễn mỗi từ bằng một vector số thực sao cho các từ có nghĩa gần nhau nằm gần nhau trong không gian vector; học được từ ngữ cảnh xuất hiện của từ.
Mạng hồi quy (RNN/LSTM)
Kiến trúc mạng nơ-ron xử lý chuỗi có thứ tự bằng cách duy trì trạng thái ẩn qua từng bước thời gian; từng là chuẩn cho NLP trước khi Transformer xuất hiện.
Cơ chế Attention và Transformer
Attention cho phép mô hình "nhìn" trực tiếp mọi vị trí trong chuỗi đầu vào khi xử lý một vị trí, bỏ qua giới hạn tuần tự của RNN; Transformer xây hoàn toàn từ attention, là nền tảng của các LLM hiện nay.
Tiền huấn luyện và tinh chỉnh (Pretraining/Fine-tuning)
Huấn luyện mô hình trên kho ngữ liệu khổng lồ không nhãn trước (pretraining), sau đó điều chỉnh cho tác vụ cụ thể với ít dữ liệu có nhãn hơn (fine-tuning).
Đánh giá mô hình NLP
Các độ đo như perplexity (mô hình ngôn ngữ), BLEU/ROUGE (sinh văn bản, dịch máy) và F1 (gán nhãn, phân loại) — mỗi độ đo phù hợp một loại tác vụ khác nhau.

Học xong để làm gì

  • Dịch máy (Google Translate, DeepL)
  • Chatbot và trợ lý ảo hội thoại
  • Tìm kiếm ngữ nghĩa và truy xuất tăng cường sinh (RAG) cho hỏi-đáp tài liệu
  • Phân tích cảm xúc và giám sát thương hiệu trên mạng xã hội
  • Tóm tắt văn bản và trích xuất thông tin tự động (hợp đồng, hóa đơn)

Câu hỏi thường gặp

Có cần học Jurafsky & Martin từ đầu tới cuối không?

Không. Lộ trình trên chỉ dùng các chương cốt lõi; các chương về ngữ âm/nhận dạng giọng nói có thể bỏ qua nếu bạn chỉ quan tâm xử lý văn bản.

Cần GPU riêng để học không?

Không cần cho các bước đầu; từ bước tinh chỉnh Transformer trở đi, GPU miễn phí của Google Colab là đủ cho mô hình cỡ nhỏ.

NLP cổ điển (n-gram, TF-IDF) có còn hữu ích không?

Có — nhanh, dễ diễn giải, không cần GPU, và vẫn là lựa chọn tốt cho bài toán nhỏ hoặc khi cần baseline để so sánh với mô hình học sâu.

Nên học NLP hay chờ giỏi Deep Learning trước?

Nên học song song: các bước đầu (n-gram, hồi quy logistic) không cần deep learning; kiến thức mạng nơ-ron/Transformer từ deep learning sẽ được áp dụng trực tiếp từ bước 3 trở đi.

Chọn nguồn tự học

Cần nền tảng Machine Learning/Deep Learning; thực hành trên các bộ dữ liệu văn bản thật giúp hiểu sâu hơn.