Văn bản tiên đoán hoạt động bằng cách ước tính chữ cái, từ hoặc cụm từ nào có khả năng xuất hiện tiếp theo cao nhất dựa trên những gì bạn đã nhập, rồi đưa ra các dự đoán tốt nhất. Ước tính này dựa trên một mô hình ngôn ngữ. Trên những chiếc điện thoại đời đầu, mô hình đó là một từ điển được sắp xếp theo mức độ phổ biến của từng từ. Sau đó, mô hình chuyển thành thống kê về từ nào thường đứng sau từ nào. Ngày nay, đó thường là mạng thần kinh đọc toàn bộ câu và chạy ngay trên thiết bị.
Còn hướng dẫn về tính năng tự động hoàn thành bằng AI trên Windows hướng dẫn cách nhận gợi ý cụm từ trên PC. Bài viết này giải thích cơ chế đằng sau những gợi ý đó, lần lượt qua từng thế hệ.
Thế hệ thứ nhất: từ điển giải quyết sự nhập nhằng
T9 giải quyết một vấn đề về phần cứng. Bàn phím điện thoại có mười hai phím, và phần lớn mỗi phím có ba hoặc bốn chữ cái. Tegic Communications nộp bằng sáng chế cho một “máy tính giải quyết sự nhập nhằng của bàn phím thu gọn” vào năm 1995, và bằng sáng chế được cấp năm 1998. Mỗi lần nhấn phím đều có thể tương ứng với nhiều khả năng. Phần mềm tra từ điển để tìm những từ khớp với toàn bộ chuỗi phím rồi hiển thị từ có khả năng nhất lên đầu.
Nhấn 4-6-6-3, chuỗi phím đó có thể tạo thành các từ good, home và gone. Chỉ dựa vào các phím, T9 không thể biết bạn muốn từ nào. T9 đưa từ phổ biến nhất lên đầu và cho phép bạn chuyển qua các từ còn lại. Ở đây không có gì hiểu ngôn ngữ: đây chỉ là tra cứu từ điển kèm xếp hạng.
Thế hệ thứ hai: đếm xem từ nào thường đứng sau từ nào
Dải gợi ý phía trên bàn phím điện thoại bổ sung một ý tưởng thứ hai: dự đoán từ tiếp theo trước khi bạn gõ từ đó. Cách cổ điển để thực hiện việc này là mô hình n-gram. Mô hình đếm xem, trong một kho văn bản lớn, mỗi từ thường xuất hiện sau một hoặc hai từ đứng trước nó bao nhiêu lần, rồi gợi ý những phần tiếp nối phổ biến nhất.
SwiftKey xây dựng bàn phím đời đầu dựa trên công nghệ n-gram. Khi phát hành phiên bản dùng mạng thần kinh vào năm 2015, TechCrunch đưa tin về mô tả của chính công ty đối với hạn chế của phương pháp cũ: phương pháp đó không thể hiểu ý nghĩa nền tảng của các từ. Mô hình n-gram biết rằng “see you” thường được nối tiếp bằng “soon”. Nhưng nó không biết “soon” và “shortly” có nghĩa gần giống nhau, và nó chỉ nhìn ngược lại được vài từ.
Thế hệ thứ ba: mạng thần kinh học được sự tương đồng
Mô hình ngôn ngữ thần kinh biểu diễn các từ dưới dạng những điểm trong không gian, trong đó các từ tương tự nằm gần nhau. Nhờ đó, mô hình có thể đưa ra dự đoán hợp lý sau một tổ hợp từ mà nó chưa từng đếm được. Neural Alpha của SwiftKey, ra mắt vào tháng 10 năm 2015, là bàn phím đầu tiên của hãng được xây dựng theo cách này.
Google mô tả bước tiến tiếp theo của Gboard trong một bài báo năm 2018, “Học liên kết cho tính năng dự đoán trên bàn phím di động”. Mô hình dự đoán từ tiếp theo của hãng là một mạng thần kinh hồi quy được huấn luyện trên điện thoại thay vì máy chủ: các thiết bị cải thiện mô hình bằng dữ liệu gõ cục bộ rồi gửi lại các bản cập nhật mô hình chứ không gửi văn bản. Một bài báo khoa học về các hệ thống của Google cho biết mô hình này có khoảng 1,4 triệu tham số, rất nhỏ theo tiêu chuẩn ngày nay. Năm 2023, Google cho biết tất cả các mô hình thần kinh dự đoán từ tiếp theo của Gboard hiện đều có bảo đảm quyền riêng tư vi sai.
Thế hệ thứ tư: transformer và cả cụm từ
Kiến trúc transformer, được giới thiệu trong bài báo năm 2017 “Attention Is All You Need”, cho phép mô hình cân nhắc mọi từ đứng trước trong ngữ cảnh chứ không chỉ vài từ gần nhất. Nhờ đó, việc gợi ý cả cụm từ trở nên khả thi: mô hình có thể lưu ý chủ đề và giọng điệu của cả câu.
Apple chuyển tính năng nhập liệu trên iPhone sang công nghệ này trong iOS 17. Thông báo năm 2023 của hãng mô tả tính năng tự động sửa được xây dựng trên “một mô hình ngôn ngữ transformer, một mô hình ngôn ngữ học máy tiên tiến nhất chạy trên thiết bị để dự đoán từ”. Hãng cũng bổ sung các gợi ý nội tuyến, cho phép hoàn thành từ hoặc câu chỉ bằng cách nhấn phím cách.
Các mô hình ngôn ngữ lớn hoạt động theo cùng nguyên tắc nhưng ở quy mô lớn hơn nhiều. Chúng dự đoán token tiếp theo — một từ hoặc một phần của từ — nối token đó vào rồi dự đoán tiếp. Gợi ý cụm từ là vài vòng lặp như vậy, được dừng sớm và hiển thị dưới dạng “chữ ma” màu xám để bạn chấp nhận hoặc bỏ qua. Hướng dẫn về chữ ma giải thích cách hiển thị này trên Windows.
| Thế hệ | Nội dung được xem xét | Nội dung được gợi ý | Lỗi thường gặp |
|---|---|---|---|
| Giải quyết sự nhập nhằng bằng từ điển (T9) | Các phím được nhấn để nhập một từ | Từ khớp phổ biến nhất | Chọn nhầm từ ứng với cùng chuỗi phím |
| Thống kê n-gram | Một hoặc hai từ gần nhất | Những từ tiếp theo có khả năng xuất hiện | Gợi ý chung chung, không quan tâm đến chủ đề |
| Mạng thần kinh hồi quy | Câu đã nhập đến thời điểm hiện tại, được nén lại | Những từ tiếp theo phù hợp với ý nghĩa | Mất dấu mạch nội dung trong các câu dài |
| Mô hình ngôn ngữ transformer | Toàn bộ ngữ cảnh đang hiển thị | Từ, cụm từ hoặc phần còn lại của câu | Một cụm từ trôi chảy nhưng không đúng ý bạn |
Điều gì xảy ra giữa lúc nhấn phím và lúc nhận gợi ý
Dù dùng mô hình nào, quy trình vẫn gồm các bước giống nhau:
- Bàn phím hoặc ứng dụng đọc ngữ cảnh: thu thập văn bản trước con trỏ và đôi khi cả thông tin bạn đang dùng ứng dụng nào.
- Mô hình gán xác suất cho những từ hoặc cụm từ có thể xuất hiện tiếp theo.
- Phần mềm loại bỏ các dự đoán có độ tin cậy thấp và các gợi ý xuất hiện ở nơi không phù hợp, chẳng hạn như trường mật khẩu.
- Phần mềm hiển thị một đến ba gợi ý tốt nhất: điện thoại dùng dải từ gợi ý, còn công cụ gợi ý cụm từ hiển thị chữ ma nội tuyến.
- Nhiều hệ thống sau đó điều chỉnh theo những từ và cụm từ bạn chấp nhận và thường nhập.
Bước lọc quan trọng hơn vẻ bề ngoài. Công cụ lúc nào cũng hiển thị nội dung gì đó sẽ khiến bạn quen với việc bỏ qua gợi ý. Công cụ im lặng khi không chắc chắn sẽ được chú ý khi đưa ra gợi ý.
Vì sao các dự đoán thường sai
Dự đoán chỉ là một xác suất. Mô hình có thể đoán được hình thức của một câu trả lời lịch sự. Nó không thể biết ngày bạn sắp hứa hẹn hoặc tên người mà bạn định nhắc đến. Những từ đầu tiên của một tin nhắn mới là phần khó dự đoán nhất vì lúc đó hầu như chưa có ngữ cảnh. Gợi ý sẽ tốt hơn khi câu dài thêm.
Điều khiến những dự đoán sai vẫn chấp nhận được là cách đưa ra gợi ý. Nếu chỉ cần một phím để chấp nhận còn bỏ qua thì không cần nhấn phím nào, dự đoán sai sẽ không gây tốn kém gì: bạn cứ tiếp tục gõ.
Văn bản tiên đoán chạy ở đâu trên PC Windows
Windows có tính năng gợi ý văn bản ở cấp từ cho bàn phím vật lý. Hướng dẫn cài đặt của Microsoft cho biết các từ được dự đoán dựa trên cách bạn gõ khi đang nhập. Tính năng Dự đoán văn bản của Word đi xa hơn, đưa ra gợi ý từ hoặc cụm từ. Microsoft liệt kê tính năng này trong số các tính năng các trải nghiệm được kết nối của Office có phân tích nội dung của bạn, chỉ có chức năng ngoại tuyến cơ bản trong một số trường hợp.
Typeahead chạy một mô hình ngôn ngữ nhỏ gọn ngay trên PC của bạn và gợi ý phần còn lại của câu trong các ứng dụng Windows như Word, Outlook, Chrome và WhatsApp, kể cả khi bạn ngoại tuyến. Nhấn Tab hoặc phím mũi tên phải để chấp nhận. Bài viết về về lý do một mô hình nhỏ chạy trên thiết bị đã đủ giải thích vì sao tác vụ này không cần đến mô hình có quy mô lớn như trên đám mây.
Câu hỏi thường gặp
Văn bản tiên đoán có phải là một dạng AI không?
Văn bản tiên đoán có học từ những gì tôi nhập không?
Tại sao Windows chỉ gợi ý từng từ đơn?
Tại sao gợi ý đầu tiên trong tin nhắn thường kém?
Typeahead đưa tính năng dự đoán ở cấp cụm từ bằng mô hình cục bộ đến các ứng dụng Windows trên máy tính. Dùng thử với nội dung bạn tự viết trong bảy ngày.
Tải Typeahead