Bỏ qua tới nội dung chính

Trước khi máy làm việc được với ngôn ngữ

Xử lý ngôn ngữ tự nhiên: dạy máy hiểu tiếng người, kể cả tiếng Việt

Máy làm việc với ngôn ngữ ra sao: vì sao tiếng Việt khó, tách từ, mô hình n-gram, vector từ, đánh giá và thiên kiến — và nên bắt đầu học từ đâu.

Ban biên tập OpenER

Cập nhật 18/11/2026 · 19 phút đọc · CC BY 4.0

Bạn gõ "mai mình đi" trên điện thoại, bàn phím gợi ý ngay "học", "chơi", "ăn". Bạn chụp tấm thực đơn tiếng Nhật, ứng dụng dịch hiện chữ tiếng Việt đè lên. Bạn nhắn cho chatbot câu không dấu "cho minh hoi lich thi", nó vẫn hiểu bạn hỏi lịch thi. Không ai viết sẵn từng câu trả lời cho những chương trình đó — chúng học cách làm việc với ngôn ngữ.

Ngành đứng sau những việc ấy là xử lý ngôn ngữ tự nhiên (natural language processing — NLP). Chữ "tự nhiên" để phân biệt với ngôn ngữ lập trình: Python được thiết kế để mỗi dòng chỉ có một cách hiểu, còn tiếng Việt, tiếng Anh thì lớn lên qua hàng nghìn năm, đầy nhập nhằng, đầy ngoại lệ và đổi khác mỗi ngày.

Trước khi máy làm việc được với ngôn ngữ

Trước khi có NLP, máy tính lưu và in được chữ nhưng không biết chữ nói gì; mọi việc dính tới chữ nghĩa đều do người làm.

Con đường tới hôm nay đi qua nhiều lần hứa hẹn rồi vỡ mộng:

  1. Màn trình diễn Georgetown–IBM — ngày 7/1/1954, ở New York. Máy IBM 701 dịch hơn sáu mươi câu tiếng Nga sang tiếng Anh, với vốn từ 250 từ và sáu quy tắc. Báo chí sửng sốt; người tổ chức dự đoán chỉ ba đến năm năm nữa, dịch máy (machine translation) sẽ thành chuyện thường. Những câu ấy đã được chọn kỹ để máy dịch trót lọt.
  2. Văn phạm của Chomsky — năm 1957, Noam Chomsky xuất bản Syntactic Structures: ngôn ngữ có thể mô tả bằng một hệ quy tắc hình thức sinh ra đúng những câu hợp ngữ pháp (xem phân cấp Chomsky ở bài Lý thuyết tính toán). Câu ví dụ nổi tiếng của ông, "Colorless green ideas sleep furiously" (những ý tưởng xanh lá không màu ngủ một cách giận dữ), đúng ngữ pháp mà vô nghĩa. Ông dùng nó để lập luận rằng đếm tần suất không giúp gì: câu này và câu đảo ngược của nó đều chưa ai từng viết, nên với thống kê chúng xa lạ như nhau. Nhiều năm sau đó, làm NLP chủ yếu là viết quy tắc bằng tay.
  3. ELIZA và báo cáo ALPAC — cùng năm 1966. Joseph Weizenbaum ở MIT công bố ELIZA, chương trình đóng vai nhà trị liệu tâm lý bằng cách bắt mẫu câu rồi lật lại: bạn gõ "tôi buồn vì mẹ tôi", nó đáp "kể thêm về mẹ bạn đi". Nó không hiểu gì, vậy mà nhiều người vẫn tâm sự thật với nó. Cũng năm đó, ủy ban ALPAC của Mỹ kết luận dịch máy chậm hơn, kém chính xác hơn và đắt hơn người dịch; tiền tài trợ cho dịch máy ở Mỹ bị cắt mạnh trong nhiều năm.
  4. Thống kê thay quy tắc — cuối thập niên 1980, đầu 1990. Nhóm nhận dạng giọng nói của IBM chuyển sang dịch máy bằng xác suất, học từ biên bản song ngữ Anh–Pháp của Quốc hội Canada (bài báo năm 1990), không cần ai viết quy tắc ngữ pháp. Một câu đùa được gán cho trưởng nhóm Frederick Jelinek, đại ý "cứ mỗi lần một nhà ngôn ngữ học rời nhóm, máy lại nhận dạng giọng nói chính xác hơn" — nguyên văn còn được tranh cãi, nhưng nó tóm đúng tinh thần thời ấy.
  5. Mạng nơ-ron — từ đầu thập niên 2010. Năm 2013, word2vec của Google biến mỗi từ thành một vector học được từ văn bản. Năm 2016, Google chuyển Google Dịch sang dịch bằng mạng nơ-ron, bắt đầu với cặp Trung–Anh.
  6. Tiền huấn luyện — từ năm 2018. BERT của Google và GPT của OpenAI mở ra cách làm mới: cho mô hình đọc trước một kho văn bản khổng lồ (tiền huấn luyện — pretraining), rồi tinh chỉnh (fine-tuning) cho từng việc. Con đường từ đó tới ChatGPT đã kể ở bài Nhập môn trí tuệ nhân tạo.

Đặt cạnh nhau:

Chưa có NLP
Có NLP
Dịch một tài liệu
Thuê người dịch, chờ nhiều ngày
Bản nháp sau vài giây, người dịch sửa lại
Tìm kiếm
Khớp đúng từng chữ, gõ thiếu dấu là không ra
Hiểu từ đồng nghĩa, lỗi chính tả, chữ không dấu
Đọc 10.000 bình luận của khách
Đọc tay, hoặc bỏ qua
Máy xếp loại khen, chê, phàn nàn về điều gì
Hỏi máy một câu
Chọn trong menu cố định
Hỏi bằng câu nói bình thường

Thế giới "chưa có NLP" vẫn còn ngay trong điện thoại. Gọi tổng đài của nhiều nơi, bạn vẫn nghe "bấm phím 1 để gặp bộ phận…, bấm phím 2 để…". Máy không hiểu câu bạn nói, nên bắt bạn nói bằng con số. Biến menu ấy thành một hệ thống hiểu được câu "tôi muốn báo mất thẻ" là đi trọn một vòng của môn học này.

Môn này trả lời câu hỏi gì

Làm sao để một chương trình nhận vào ngôn ngữ của con người — mơ hồ, đầy ngoại lệ, luôn thay đổi — và làm được việc có ích với nó? Việc có ích ấy chia thành vài loại:

  • Phân loại (classification): thư này là rác hay không, bình luận này khen hay chê.
  • Gán nhãn chuỗi (sequence labeling) và phân tích cú pháp: từ nào là danh từ, cụm nào là tên người; trong câu, ai làm gì cho ai.
  • Sinh văn bản (text generation): dịch, tóm tắt, trả lời câu hỏi, trò chuyện.

Vì sao cần học? Vì phần lớn tri thức của loài người được viết bằng chữ, và mô hình ngôn ngữ đang thành một thành phần phần mềm quen thuộc như cơ sở dữ liệu. Với người Việt còn thêm một lý do: công cụ và nghiên cứu thường làm cho tiếng Anh trước, còn tiếng Việt có những chuyện riêng — tách từ, dấu thanh, cách xưng hô — mà phải hiểu cả ngôn ngữ lẫn kỹ thuật mới làm tốt.

Năm ý tưởng cốt lõi

1. Vì sao ngôn ngữ khó: nhập nhằng ở mọi tầng

Ta hiểu một câu ngay tức thì, nên quên mất nó mơ hồ tới mức nào. Máy thì gặp nhập nhằng (ambiguity) ở mọi tầng:

  • Ranh giới từ: "Học sinh học sinh học" có năm âm tiết nhưng chỉ ba từ: học sinh / học / sinh học.
  • Nghĩa của từ: "Con ngựa đá con ngựa đá" — chữ "đá" vừa là động từ, vừa là chất liệu. Con ngựa thật đá con ngựa bằng đá, hay ngược lại? Muốn chọn đúng, phải biết ngựa đá không đá được ai.
  • Từ thay thế: "Hoa đưa Lan quyển sách vì cô ấy cần nó" — "cô ấy" là Lan. Đổi thành "vì cô ấy đọc xong rồi" thì "cô ấy" là Hoa. Ngữ pháp y hệt; chỉ hiểu biết đời sống mới phân biệt được.
  • Chữ không dấu: "ban" có thể là bàn, bán, bạn, bản, bận, bẩn, bắn… — thêm lại dấu cho đúng là một bài toán riêng của tiếng Việt.

Thêm vào đó là tiếng lóng, viết tắt ("ko", "j"), từ mượn, lỗi chính tả. Ngôn ngữ lập trình được thiết kế để tránh những chuyện này (xem bài Ngôn ngữ lập trình và trình biên dịch); NLP thì phải nhận ngôn ngữ đúng như người ta đang dùng. Lịch sử của ngành cho thấy viết quy tắc cho từng trường hợp không bao giờ đủ; cách bền hơn là học từ dữ liệu — đếm, đo, ước lượng xác suất trên hàng triệu câu thật — và ba ý tiếp theo là ba bước của cách làm ấy.

2. Tách từ tiếng Việt: âm tiết không phải là từ

Với tiếng Anh, dấu cách gần như là ranh giới từ. Với tiếng Việt thì không: "Tôi là một nghiên cứu viên" có sáu âm tiết nhưng chỉ bốn từ, vì "nghiên cứu viên" là một từ. Theo một nghiên cứu năm 2008, khoảng 85% số từ trong từ vựng tiếng Việt có từ hai âm tiết trở lên. Vì vậy, với nhiều bài toán, bước đầu tiên khi xử lý tiếng Việt là tách từ (word segmentation): nối các âm tiết của cùng một từ lại, thường bằng dấu gạch dưới.

Cách đơn giản nhất là so khớp dài nhất (longest matching): đi từ trái sang, ở mỗi chỗ lấy cụm âm tiết dài nhất có trong từ điển.

python
TU_DIEN = {"tôi", "là", "một", "nghiên cứu", "nghiên cứu viên",
           "học", "sinh", "học sinh", "sinh học", "máy", "tính", "máy tính"}
DAI_NHAT = max(len(t.split()) for t in TU_DIEN)   # từ dài nhất: 3 âm tiết

def tach_tu(cau):
    am_tiet = cau.lower().split()
    tu, i = [], 0
    while i < len(am_tiet):
        for n in range(min(DAI_NHAT, len(am_tiet) - i), 0, -1):
            ghep = " ".join(am_tiet[i:i + n])
            if n == 1 or ghep in TU_DIEN:          # lấy cụm dài nhất có trong từ điển
                tu.append(ghep.replace(" ", "_"))
                i += n
                break
    return " ".join(tu)

print(tach_tu("Tôi là một nghiên cứu viên"))
print(tach_tu("Học sinh học sinh học"))

Kết quả:

text
tôi là một nghiên_cứu_viên
học_sinh học_sinh học

Câu đầu đúng. Câu sau sai: chương trình "tham" chữ "học sinh" ở chỗ thứ hai, nên câu thành học sinh / học sinh / học — vô nghĩa. Đi ngược từ phải sang cũng sai, ra học / sinh học / sinh học. Muốn tách đúng, phải biết cách tách nào giống tiếng Việt hơn, tức là cần xác suất, việc của ý tiếp theo. Gặp từ không có trong từ điển — tên riêng, từ mới — cách này còn vỡ ra thành từng âm tiết.

Các bộ tách từ thật học từ những kho văn bản đã được người tách sẵn. Bộ công cụ VnCoreNLP (2018) cho tiếng Việt có tách từ, gán nhãn từ loại, nhận diện tên riêng. Khi nhóm VinAI Research huấn luyện PhoBERT (2020) — mô hình ngôn ngữ tiền huấn luyện cỡ lớn đầu tiên được công bố chỉ dành cho tiếng Việt — họ cho 20 GB văn bản đi qua bộ tách từ của VnCoreNLP trước. Trong bài báo, PhoBERT làm tốt hơn một mô hình đa ngôn ngữ đọc lượng văn bản tiếng Việt gấp khoảng bảy lần nhưng làm việc thẳng trên âm tiết.

3. Mô hình ngôn ngữ n-gram: đoán từ tiếp theo bằng cách đếm

Mô hình ngôn ngữ (language model) trả lời một câu hỏi: một chuỗi từ "giống tiếng người" tới mức nào — hay sau mấy từ này, từ tiếp theo nhiều khả năng là gì? Bàn phím đoán từ, bộ tách từ chọn cách tách hợp lý đều dựa vào câu trả lời ấy.

Cách cổ điển nhất là mô hình n-gram: giả sử từ tiếp theo chỉ phụ thuộc vào n − 1 từ ngay trước nó. Với bigram (n = 2), xác suất "trà" đứng sau "uống" bằng số lần cặp "uống trà" xuất hiện chia cho số lần "uống" xuất hiện — một xác suất có điều kiện, khái niệm của bài Xác suất và thống kê. Năm 1948, trong bài báo khai sinh lý thuyết thông tin, Claude Shannon đã sinh ra những đoạn tiếng Anh ngẫu nhiên chỉ từ thống kê các cặp từ.

Một mô hình bigram trên kho câu tí hon, đã tách từ sẵn:

python
from collections import Counter

kho = """sáng nay tôi uống cà_phê đá
chiều nay em uống trà đá
tôi uống cà_phê nóng ở quán
em uống trà nóng ở nhà
em uống trà sữa
tôi mua cà_phê ở chợ
tôi đi xe_máy tới trường
anh đi ô_tô tới công_ty
tôi gửi xe_máy ở bãi
anh đỗ ô_tô ở bãi
anh mua xe_máy mới""".splitlines()

dem_cap, dem_tu = Counter(), Counter()
for cau in kho:
    tu = ["<s>"] + cau.split() + ["</s>"]          # đánh dấu đầu câu, cuối câu
    dem_tu.update(tu[:-1])
    dem_cap.update(zip(tu, tu[1:]))
V = len(set(dem_tu) | {"</s>"})                     # số từ có thể đứng sau

def p(sau, truoc, k=0):                             # k=1: làm trơn cộng một
    return (dem_cap[truoc, sau] + k) / (dem_tu[truoc] + k * V)

def xac_suat(cau, k=0):
    tu = ["<s>"] + cau.split() + ["</s>"]
    kq = 1.0
    for a, b in zip(tu, tu[1:]):
        kq *= p(b, a, k)
    return kq

print({t: p(t, "uống") for (a, t) in dem_cap if a == "uống"})
for cau in ["em uống cà_phê đá", "anh uống trà đá", "đá trà uống anh"]:
    print(f"{cau:20} {xac_suat(cau):.4f}  {xac_suat(cau, k=1):.1e}")

Kết quả:

text
{'cà_phê': 0.4, 'trà': 0.6}
em uống cà_phê đá    0.0242  5.0e-06
anh uống trà đá      0.0000  2.2e-06
đá trà uống anh      0.0000  2.3e-08

Dòng đầu: sau "uống", mô hình đoán "trà" 60%, "cà phê" 40% — đúng tỷ lệ trong kho. Câu "em uống cà phê đá" chưa từng có trong kho, nhưng từng cặp từ của nó thì có, nên mô hình vẫn chấm được. Dòng thứ ba lộ ra điểm yếu: "anh uống trà đá" là câu bình thường, nhưng cặp "anh uống" chưa xuất hiện lần nào, nên xác suất bằng 0 — mô hình coi câu ấy là không thể có.

Cách chữa là làm trơn (smoothing): cộng thêm một chút vào mọi số đếm để không cặp nào bằng 0. Cột cuối, với k=1, là cách đơn giản nhất — cộng một. Giờ "anh uống trà đá" có xác suất khác 0, và lớn gần gấp trăm lần câu đảo lộn "đá trà uống anh". Đó cũng là câu trả lời cho lập luận của Chomsky: mô hình có làm trơn phân biệt được câu chưa ai viết nhưng đúng trật tự với câu chưa ai viết và lộn xộn. Thực tế người ta dùng cách làm trơn tinh hơn, như Kneser–Ney, vì cộng một lấy đi quá nhiều xác suất của những cặp từ đã thấy — câu thứ nhất tụt từ 0,024 xuống 0,000005.

N-gram chỉ nhìn được vài từ gần nhất, và coi "trà" với "cà phê" là hai ký hiệu chẳng liên quan: thấy "uống trà nóng" không giúp gì cho "uống cà phê nóng". Các mô hình ngôn ngữ lớn hôm nay vẫn đoán từ tiếp theo, nhưng nhìn được hàng nghìn từ phía trước và biết những từ nào na ná nhau — phần "na ná" là ý tiếp theo. Còn gán nhãn từ loại bằng mô hình Markov ẩn và thuật toán Viterbi thuộc bài Mô hình đồ thị xác suất.

4. Từ thành vector: biết một từ qua những từ đi cùng nó

Năm 1957, nhà ngôn ngữ học J. R. Firth viết một câu về sau thành khẩu hiệu của ngành, đại ý: muốn biết một từ, hãy nhìn những từ đi cùng nó. "Cà phê" và "trà" đều hay đứng sau "uống", trước "đá", "nóng"; "xe máy" và "ô tô" đều đi với "đi", "gửi", "đỗ". Vậy hãy biểu diễn mỗi từ bằng một vector đếm những từ hay đứng cạnh nó, rồi đo độ giống nhau bằng độ tương đồng cosin của bài Đại số tuyến tính. Đoạn sau chạy tiếp đoạn trên, dùng lại kho câu:

python
import math
from collections import defaultdict

vector = defaultdict(Counter)                     # từ -> {từ hàng xóm: số lần}
for cau in kho:
    tu = cau.split()
    for i, w in enumerate(tu):
        for j in (i - 1, i + 1):                  # một từ bên trái, một từ bên phải
            if 0 <= j < len(tu):
                vector[w][tu[j]] += 1

def cosin(a, b):
    u, v = vector[a], vector[b]
    tich = sum(u[t] * v[t] for t in u)
    return tich / math.sqrt(sum(x * x for x in u.values()) * sum(x * x for x in v.values()))

print(dict(vector["cà_phê"]))
for a, b in [("cà_phê", "trà"), ("xe_máy", "ô_tô"), ("cà_phê", "xe_máy")]:
    print(a, b, round(cosin(a, b), 2))

Kết quả:

text
{'uống': 2, 'đá': 1, 'nóng': 1, 'mua': 1, 'ở': 1}
cà_phê trà 0.82
xe_máy ô_tô 0.61
cà_phê xe_máy 0.29

Không ai nói cho chương trình biết cà phê và trà đều là đồ uống. Nó tự "thấy" điều đó chỉ từ chỗ đứng của hai từ trong câu. Trên kho hàng tỷ từ, vector như thế xếp những từ gần nghĩa, tên các thành phố nằm gần nhau.

word2vec làm cùng ý tưởng, nhưng thay việc đếm bằng việc học: mỗi từ là một vector nhúng từ (word embedding) vài trăm chiều, được chỉnh dần sao cho đoán đúng các từ hàng xóm. Vector học kiểu này làm được cả phép tính: vua − đàn ông + phụ nữ cho ra một vector gần nữ hoàng nhất. Từ đó, gần như mọi bài toán NLP đều bắt đầu bằng việc biến chữ thành vector.

Vẫn còn một chỗ hụt: mỗi từ chỉ có một vector, trong khi "đá" trong "ngựa đá" và "đá" trong "đá bóng" là hai nghĩa khác hẳn. Các mô hình như BERT và GPT cho mỗi từ một vector theo ngữ cảnh, tính lại cho từng câu nhờ cơ chế chú ý (attention) của kiến trúc transformer — phần đó thuộc bài Học sâu.

5. Đánh giá và trách nhiệm: thế nào là dịch tốt?

Bộ lọc thư rác đúng hay sai thì dễ đếm. Nhưng một câu dịch đúng được theo nhiều cách, thì chấm thế nào? Năm 2002, một nhóm ở IBM đề xuất BLEU: so bản dịch của máy với bản dịch của người, đếm xem bao nhiêu cụm một từ, hai từ, tới bốn từ trùng nhau. BLEU rẻ, nhanh, tự động, nên cả ngành dùng nó để so các hệ thống suốt nhiều năm. Nhưng hãy xem nó đo cái gì:

python
from collections import Counter

def cum(cau, n):                                   # các cụm n từ liền nhau
    tu = cau.split()
    return Counter(tuple(tu[i:i + n]) for i in range(len(tu) - n + 1))

def trung(dich, mau, n):                           # tỷ lệ cụm của bản dịch có trong bản mẫu
    d, m = cum(dich, n), cum(mau, n)
    return sum(min(c, m[g]) for g, c in d.items()) / sum(d.values())

mau = "tôi rất thích món phở này"                  # người dịch câu "I really like this pho"
for dich in ["tôi rất thích món phở này", "tôi mê món phở này lắm", "phở này tôi rất thích món"]:
    print(f"{dich:28} {trung(dich, mau, 1):.2f} {trung(dich, mau, 2):.2f}")

Kết quả (cột giữa: cụm một chữ, cột cuối: cụm hai chữ):

text
tôi rất thích món phở này    1.00 1.00
tôi mê món phở này lắm       0.67 0.40
phở này tôi rất thích món    1.00 0.80

Câu thứ hai là bản dịch tốt, chỉ khác chữ; câu thứ ba là tiếng Việt lủng củng — vậy mà được điểm cao hơn hẳn. BLEU thật còn dùng nhiều bản mẫu và phạt câu quá ngắn, nên khó lừa hơn — nhưng bản chất vẫn là đếm chữ trùng, không phải hiểu nghĩa. Vì vậy đánh giá trong NLP luôn cần thêm người đọc.

Trách nhiệm còn lớn hơn chuyện chấm điểm: mô hình học từ văn bản thì học luôn định kiến trong văn bản. Năm 2016, một nhóm nghiên cứu cho thấy vector word2vec học từ tin tức Google News cho ra phép tương tự kiểu "đàn ông với lập trình viên như phụ nữ với nội trợ". Dịch máy cũng vậy: tiếng Thổ Nhĩ Kỳ có đại từ "o" không phân biệt nam nữ, và năm 2018 Google bắt đầu cho Google Dịch hiện cả hai bản "she" và "he" cho những câu như thế, thay vì để mô hình chọn theo khuôn mẫu. Tiếng Việt cũng hay không nói giới tính — "Bác sĩ ấy rất giỏi" sang tiếng Anh buộc phải chọn "he" hay "she" — nên chuyện này không hề xa. Mô hình ngôn ngữ còn có thể viết điều sai bằng giọng rất chắc chắn. Vì thế đo thiên kiến, kiểm tra và đặt rào chắn là một phần của nghề, không phải phần làm thêm.

Xử lý ngôn ngữ tự nhiên nằm ở đâu trong chồng tầng

Trong chồng tầng của bài Từ electron đến ứng dụng, NLP nằm ở tầng ứng dụng. Nhưng bên trong nó lại là một chồng tầng nhỏ:

  • Byte và ký tự: văn bản là dãy byte UTF-8; chữ có dấu có thể lưu gộp hoặc tách dấu, như bài Lập trình đã chỉ ra; không chuẩn hóa trước thì từ điển ở ý 2 không nhận ra chữ "học" lưu theo kiểu kia.
  • Âm tiết, từ, token: tách từ, rồi thường cắt tiếp thành mảnh nhỏ hơn từ (subword) để mô hình không gặp từ hoàn toàn lạ.
  • Vector: mỗi token thành một dãy số.
  • Mô hình: từ đếm xác suất tới mạng nơ-ron.
  • Ứng dụng: tìm kiếm, dịch, hỏi đáp, trợ lý.

Đưa lên

Văn bản trở thành thứ tính toán được — nhãn, xác suất, vector, bản dịch, câu trả lời — để ứng dụng làm việc với ngôn ngữ con người như với dữ liệu.

Giấu đi

Sự nhập nhằng của từng câu, những quyết định tách từ, kho văn bản hàng tỷ chữ và các định kiến nằm trong đó. Người dùng chỉ thấy một câu trả lời trôi chảy — và dễ quên rằng nó được đoán ra.

Học trước và học sau

· 6 môn

Xác suất và thống kê

Probability and Statistics

Xác suất có điều kiện là ngôn ngữ của mô hình n-gram; bộ lọc thư rác kiểu Bayes là bài phân loại văn bản đầu tiên nhiều người gặp. Nên học trước.

Xem chủ đề trên OpenER: Probability and Statistics

Đại số tuyến tính

Linear Algebra

Vector, tích vô hướng, độ tương đồng cosin, ma trận — trong NLP hiện đại, mỗi từ là một vector. Nên học trước.

Xem chủ đề trên OpenER: Linear Algebra

Học máy

Machine Learning

Phân loại, đánh giá, quá khớp — nền của mọi bài toán NLP học từ dữ liệu. Nên học trước.

Xem chủ đề trên OpenER: Machine Learning

Học sâu

Deep Learning

Mạng nơ-ron, cơ chế chú ý, transformer — kiến trúc đứng sau các mô hình ngôn ngữ lớn. Học trước hoặc song song.

Xem chủ đề trên OpenER: Deep Learning

Mô hình đồ thị xác suất

Probabilistic Graphical Models

Mô hình Markov ẩn, thuật toán Viterbi — cách gán nhãn từ loại và nhận diện tên riêng của thời NLP thống kê.

Xem chủ đề trên OpenER: Probabilistic Graphical Models

Lý thuyết tính toán

Theory of Computation

Văn phạm và phân cấp Chomsky — gốc của phân tích cú pháp, cho cả ngôn ngữ lập trình lẫn ngôn ngữ tự nhiên.

Xem chủ đề trên OpenER: Theory of Computation

Ứng dụng thật và nghề nghiệp

  • Tìm kiếm và hỏi đáp: công cụ tìm kiếm, hệ thống trả lời dựa trên tài liệu của chính công ty (truy xuất tăng cường sinh — retrieval-augmented generation, RAG).
  • Dịch máy: bản nháp cho tài liệu, phụ đề, giao diện phần mềm.
  • Chăm sóc khách hàng: chatbot, xếp loại yêu cầu, tóm tắt cuộc gọi.
  • Phân tích văn bản: đọc đơn khiếu nại, trích thông tin từ hợp đồng, hóa đơn.
  • Công cụ cho tiếng Việt: bộ gõ, sửa chính tả, thêm dấu, chuyển giọng nói thành chữ.
  • An toàn nội dung: phát hiện tin nhắn lừa đảo, ngôn từ thù ghét.

Nghề nghiệp gắn với môn này: kỹ sư NLP, kỹ sư học máy, kỹ sư xây ứng dụng trên mô hình ngôn ngữ, nhà ngôn ngữ học tính toán (computational linguist) — người xây kho dữ liệu, bộ nhãn và cách đánh giá — và nhà nghiên cứu, nhất là cho những ngôn ngữ còn ít dữ liệu.

Học xong làm được gì, bắt đầu từ đâu

Sau môn này bạn có thể:

  • tiền xử lý văn bản tiếng Việt: chuẩn hóa Unicode, tách từ, xử lý chữ không dấu;
  • tự xây mô hình ngôn ngữ n-gram và hiểu vì sao phải làm trơn;
  • xây bộ phân loại văn bản và đánh giá cho đúng — độ chính xác (precision), độ phủ (recall), F1;
  • tinh chỉnh một mô hình tiền huấn luyện như PhoBERT cho bài toán của mình;
  • đánh giá tỉnh táo một hệ thống NLP: con số tự động đo gì, bỏ sót gì, ai có thể bị thiệt.

Nên biết trước: Python vững, xác suất có điều kiện, vector và ma trận. Hướng dẫn trên OpenER xếp Machine Learning và Deep Learning làm nền; phần n-gram và phân loại văn bản học song song được.

Bắt đầu trên OpenER: trang chủ đề Natural Language Processing có các khóa học đã chọn lọc, và hướng dẫn học đi qua sáu bước, khoảng 46 giờ, từ mô hình n-gram tới transformer, dịch máy và đánh giá. Khóa chính là Stanford CS224N, đi từ vector nhúng từ tới mô hình ngôn ngữ lớn, có trọn bộ video năm 2024. Phần NLP cổ điển có khóa của IIT Kharagpur trên NPTEL; bài lập trình chấm tự động hằng tuần có chuỗi khóa của DeepLearning.AI trên Coursera; NLP thống kê mức sau đại học có MIT 6.864. Sách chính là Speech and Language Processing của Jurafsky và Martin, bản nháp đọc miễn phí.

Lời khuyên: làm lại mọi thứ trên tiếng Việt. Bài tập trong các khóa học thường dùng dữ liệu tiếng Anh; làm lại với vài trăm bình luận tiếng Việt tự thu thập, bạn sẽ gặp ngay những chuyện giáo trình không viết — tách từ, chữ không dấu, teen code — và đó là chỗ học được nhiều nhất.

Tài liệu tham khảo

  • Daniel Jurafsky, James H. Martin — Speech and Language Processing, bản nháp ấn bản thứ ba, miễn phí trên trang của tác giả ở Stanford.
  • Jacob Eisenstein — Introduction to Natural Language Processing, MIT Press, 2019.
  • Stanford CS224N Natural Language Processing with Deep Learning — trang khóa học, bài tập và video bài giảng.
  • MIT 6.864 Advanced Natural Language Processing (Fall 2005, Michael Collins và Regina Barzilay) — MIT OpenCourseWare.
  • NPTEL — Natural Language Processing (Pawan Goyal, IIT Kharagpur).
  • Joseph Weizenbaum — "ELIZA — A Computer Program for the Study of Natural Language Communication between Man and Machine", Communications of the ACM, 1/1966.
  • Kishore Papineni và cộng sự — "BLEU: a Method for Automatic Evaluation of Machine Translation", hội nghị ACL 2002.
  • Tolga Bolukbasi và cộng sự — "Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings", hội nghị NeurIPS 2016.
  • Thanh Vu và cộng sự — "VnCoreNLP: A Vietnamese Natural Language Processing Toolkit", NAACL 2018 (Demonstrations).
  • Dat Quoc Nguyen, Anh Tuan Nguyen — "PhoBERT: Pre-trained language models for Vietnamese", Findings of EMNLP 2020.

Ban biên tập OpenER, “Xử lý ngôn ngữ tự nhiên: dạy máy hiểu tiếng người, kể cả tiếng Việt”, OpenER, 2026. Phát hành theo CC BY 4.0: được chia sẻ, chỉnh sửa, kể cả thương mại, miễn ghi công tác giả và dẫn link bài gốc.