Hầu hết công cụ viết AI hoạt động giống nhau bên dưới: nội dung bạn nhập được gửi đến máy chủ, một mô hình lớn xử lý nội dung đó rồi gửi phản hồi qua mạng. Điều này đúng dù công cụ viết lại một đoạn văn, soạn email hay chỉ gợi ý vài từ tiếp theo. Đây cũng là phần ít được chú ý nhất — cho đến khi bạn nghĩ về ý nghĩa thực sự của việc “gửi đến máy chủ” đối với tin nhắn riêng tư hoặc email gửi khách hàng.

Một trợ lý viết AI ngoại tuyến đảo ngược mô hình đó: mô hình ngôn ngữ chạy trực tiếp trên PC của bạn, nên hoàn toàn không có máy chủ tham gia. Bài viết này giải thích cách thực hiện về mặt kỹ thuật, những gì bạn phải đánh đổi và cách Typeahead được dùng làm ví dụ.

AI viết trên thiết bị thực sự hoạt động như thế nào

Các công cụ AI đám mây thường chạy những mô hình lớn — hàng chục tỷ tham số — trên phần cứng trung tâm dữ liệu, vì đó là nơi duy nhất có thể chứa các mô hình này. Công cụ chạy trên thiết bị sử dụng mô hình nhỏ hơn nhiều, đã được nén để vừa với dung lượng lưu trữ từ vài trăm megabyte đến vài gigabyte và chạy trên CPU hoặc GPU của PC thông thường. Đánh đổi để có kích thước nhỏ hơn là mô hình cũng nhỏ hơn đôi chút — nhưng với tác vụ hẹp như dự đoán cụm từ tiếp theo trong một câu, mô hình nhỏ gọn có thể thực sự nhanh và chính xác mà không cần quy mô của chatbot đa năng.

Quá trình suy luận — tức quy trình thực sự tạo gợi ý từ mô hình — diễn ra thông qua một môi trường chạy cục bộ. Chẳng hạn, Typeahead sử dụng llama.cpp, một công cụ mã nguồn mở giúp chạy mô hình ngôn ngữ hiệu quả trên phần cứng phổ thông, kết hợp với một mô hình đa ngôn ngữ nhỏ tên là Qwen 3.5. Không yêu cầu nào rời khỏi máy vì không có nơi nào để gửi đến — cả mô hình lẫn môi trường chạy đều nằm trên ổ đĩa của bạn.

Không phải gửi đến máy chủ rồi nhận lại

Gợi ý được tính toán trên CPU/GPU của bạn, không gửi đến trung tâm dữ liệu rồi quay về — không có gì để chặn, ghi nhật ký hay lưu trữ từ xa.

Hoạt động khi không có kết nối

Sau khi tải mô hình xuống, trợ lý vẫn hoạt động khi tắt Wi-Fi — trên máy bay, trên tàu hay bất cứ đâu.

Không cần tài khoản

Không cần đăng nhập gắn với nội dung bạn viết, vì không có máy chủ nào theo dõi người dùng.

Những điều phải đánh đổi — nói thẳng

Các mô hình chạy cục bộ nhỏ hơn những mô hình đám mây lớn nhất, và mô hình càng nhỏ thì nhìn chung càng kém khả năng xử lý những tác vụ mở như tạo văn bản dài hoặc suy luận phức tạp. Với một công việc hẹp, được xác định rõ — dự đoán khả năng câu bạn đang viết sẽ tiếp tục như thế nào — khoảng cách đó ít quan trọng hơn nhiều so với, chẳng hạn, viết một bài luận từ một câu lệnh chỉ dài một dòng. Mô hình cũng chiếm dung lượng đĩa (ba tùy chọn của Typeahead có dung lượng từ khoảng 600 MB đến 2,5 GB) và cần tải xuống một lần trước khi chạy, không giống công cụ đám mây sẵn sàng sử dụng ngay khi bạn đăng nhập. Mức Cân bằng cần 8 GB bộ nhớ hệ thống; mức Tối đa cần card đồ họa rời có 8 GB bộ nhớ riêng và 16 GB bộ nhớ hệ thống.

Khi ngoại tuyến là lựa chọn tốt hơn: nếu nội dung bạn đang nhập nhạy cảm — thư từ trao đổi với khách hàng, tin nhắn cá nhân, bất cứ thứ gì thuộc phạm vi NDA — thì sự đánh đổi về quyền riêng tư chính là điểm mấu chốt. Nếu bạn cần một mô hình soạn thảo từ đầu báo cáo dài năm trang, mô hình đám mây lớn hơn nhìn chung sẽ làm việc đó kỹ lưỡng hơn.

Typeahead làm ví dụ thực tế

Typeahead là tiện ích chạy trong khay hệ thống, gợi ý phần còn lại của câu bạn đang nhập trong gần như mọi ứng dụng máy tính để bàn Windows: WhatsApp, Telegram, Slack, Chrome, Edge, Firefox, Outlook, Thunderbird, Word, Notepad, Notepad++ và các khung chat cũng như văn bản của VS Code. Ứng dụng chạy bằng LLM cục bộ (Qwen 3.5 thông qua llama.cpp) hoặc dùng đoạn văn bản tùy chỉnh — hoàn toàn ngoại tuyến, không cần tài khoản và không thu thập dữ liệu đo lường văn bản. Đoạn văn bản tùy chỉnh và tính năng tự động hoàn thành dựa trên từ điển vẫn hoạt động ngay cả trước khi tải mô hình xuống.

Có ba kích cỡ mô hình tùy theo sự cân bằng giữa tốc độ và chất lượng mà bạn mong muốn: Nhanh (~600 MB, mặc định), Cân bằng (~1,2 GB) và Tối đa (~2,5 GB). Mô hình hỗ trợ nhiều ngôn ngữ, bao gồm hơn 100 ngôn ngữ, và đưa ra gợi ý bằng ngôn ngữ bạn đang nhập. Gợi ý xuất hiện dưới dạng văn bản mờ bên cạnh con trỏ; nhấn Tab hoặc phím mũi tên phải để chấp nhận. Đây là khoản mua một lần $9.99 thông qua Microsoft Store, có bản dùng thử miễn phí 7 ngày; theo mặc định, các trình quản lý mật khẩu và ứng dụng tài chính không được đưa ra gợi ý. Mức Cân bằng cần 8 GB bộ nhớ hệ thống; mức Tối đa cần card đồ họa rời có 8 GB bộ nhớ riêng và 16 GB bộ nhớ hệ thống.

Để có một cách khác không dùng AI giúp gõ nhanh hơn, GagarinSoft cũng cung cấp Text Replacements, một công cụ mở rộng văn bản dựa trên cụm ký tự kích hoạt đã nhập — hữu ích nếu bạn muốn dùng các đoạn văn bản chính xác, có thể dự đoán thay vì những gợi ý do AI tạo ra cho một cụm từ.

Câu hỏi thường gặp

“AI ngoại tuyến” thực sự có nghĩa là gì?
Nghĩa là mô hình ngôn ngữ chạy trên thiết bị của bạn thay vì trên máy chủ từ xa. Không có yêu cầu mạng nào mang văn bản của bạn đi đâu — mô hình, quá trình tính toán và kết quả đều ở trên thiết bị.
Mô hình cục bộ có tốt bằng mô hình đám mây như ChatGPT không?
Với các tác vụ mở, mô hình đám mây lớn thường có lợi thế nhờ quy mô. Với một tác vụ hẹp như dự đoán cụm từ tiếp theo trong câu bạn đang viết, mô hình cục bộ nhỏ vẫn có thể hoạt động tốt mà không cần quy mô đó.
Typeahead có bao giờ gửi văn bản của tôi đi đâu không?
Không. Văn bản bạn nhập không bao giờ rời khỏi thiết bị. Hoạt động mạng duy nhất là tải mô hình xuống hoặc kiểm tra bản cập nhật ứng dụng — không cần tài khoản và không có đo lường từ xa về văn bản.
Trợ lý viết AI cục bộ cần bao nhiêu dung lượng ổ đĩa?
Với Typeahead, dung lượng cần thiết là khoảng 0.6 GB đến 2.5 GB, tùy thuộc vào việc bạn chọn mô hình nhanh, cân bằng hay chất lượng tối đa.
Ứng dụng có thể hoạt động mà không cần tải mô hình xuống không?
Có, nhưng chỉ một phần. Đoạn trích tùy chỉnh và tính năng tự động hoàn thành dựa trên từ điển hoạt động ngay, trước khi tải bất kỳ mô hình nào. Muốn gợi ý hoàn tất cả câu thì cần có mô hình.
Yêu cầu hệ thống là gì?
Windows 10 trở lên hoặc Windows 11, với RAM 8 GB và dung lượng ổ đĩa trống từ 0.6–2.5 GB, tùy thuộc vào mô hình được chọn.

Tải Typeahead

Mua một lần, không đăng ký thuê bao. Windows 10 / Windows 11. Dùng thử miễn phí 7 ngày.

Tải ứng dụng trên Microsoft Store