Mọi công cụ tự động hoàn thành đều phải chạy mô hình ngôn ngữ ở đâu đó. “Ở đâu đó” chính là vấn đề cốt lõi. Nếu chạy trên máy chủ, thao tác gõ phím của bạn phải được gửi đến đó trước. Nếu chạy trên máy của bạn, chúng sẽ không bao giờ rời khỏi máy. Gợi ý trên màn hình có thể trông giống hệt nhau trong cả hai trường hợp — sự khác biệt vô hình cho đến khi bạn hỏi việc tính toán thực sự diễn ra ở đâu.
Đây không phải là một khác biệt mang tính trừu tượng. Nó quyết định một công ty có thể làm gì về mặt kỹ thuật với văn bản của bạn, những gì sẽ bị lộ nếu máy chủ của họ gặp sự cố rò rỉ, và liệu công cụ tự động hoàn thành có hoạt động trên máy bay khi tắt Wi-Fi hay không. Dưới đây là những khác biệt thực sự bên trong hệ thống.
Cách tính năng tự động hoàn thành trên đám mây hoạt động
Trợ lý viết dựa trên đám mây thường là một ứng dụng khách gọn nhẹ — tiện ích mở rộng trình duyệt hoặc một tiến trình nền nhỏ — kết hợp với mô hình lớn chạy trên máy chủ từ xa. Quy trình diễn ra như sau:
- Bạn gõ vài từ vào một trường văn bản.
- Ứng dụng khách thu thập văn bản xung quanh đó rồi gửi qua mạng đến API của nhà cung cấp.
- Mô hình lớn trên hạ tầng của họ tạo ra phần văn bản hoàn thành.
- Gợi ý được gửi trở lại và hiển thị dưới dạng văn bản mờ trong trường nhập của bạn.
Quá trình gửi đi rồi nhận về này diễn ra mỗi khi bạn dừng gõ, nghĩa là một luồng liên tục những gì bạn đang viết — email nháp, tin nhắn trò chuyện, ghi chú nội bộ — đi qua máy chủ của bên thứ ba. Một số nhà cung cấp ghi lại lưu lượng này để cải thiện mô hình, phát hiện hành vi lạm dụng hoặc gỡ lỗi. Một số thì không. Từ bên ngoài, với tư cách người dùng, nhìn chung bạn không thể xác minh điều nào là đúng, và các điều khoản có thể thay đổi khi chính sách quyền riêng tư được cập nhật.
Cách LLM cục bộ hoạt động
Công cụ chạy trên thiết bị đảo ngược kiến trúc này. Chính mô hình — chứ không chỉ ứng dụng khách — nằm trên máy của bạn.
Mô hình được tải xuống một lần
Trong quá trình thiết lập, một tệp mô hình lượng tử hóa gọn nhẹ được tải xuống ổ đĩa. Sau đó, mô hình không cần truy cập mạng để hoạt động.
Suy luận diễn ra trên CPU/GPU của bạn
Khi bạn dừng gõ, mô hình chạy cục bộ thông qua một công cụ suy luận, đọc trực tiếp văn bản lân cận từ bộ nhớ — văn bản không bao giờ rời khỏi tiến trình.
Không có lượt gửi yêu cầu qua mạng
Không có máy chủ để gửi văn bản đến, vì vậy cũng không có yêu cầu nào để chặn, ghi lại hoặc lưu giữ. Gợi ý được tính toán rồi loại bỏ ngay trong cùng một tiến trình cục bộ.
Typeahead cho Windows được xây dựng theo cách này. Ứng dụng chạy một mô hình cục bộ — Qwen 3.5, thông qua llama.cpp — trực tiếp trên PC của bạn. Hoạt động mạng duy nhất cần thiết là tải tệp mô hình và kiểm tra bản cập nhật ứng dụng; để tạo gợi ý hoàn toàn không cần kết nối, và văn bản bạn gõ không bao giờ được truyền đi đâu.
“Không có dữ liệu đo từ xa” thực sự có nghĩa là gì
Cụm từ “thân thiện với quyền riêng tư” được gắn cho rất nhiều sản phẩm có cách triển khai bên dưới rất khác nhau. Cần nói cụ thể về những gì một kiến trúc thực sự cục bộ loại trừ về mặt kỹ thuật, chứ không chỉ bằng cam kết trong hợp đồng:
Khi không có máy chủ tham gia, sẽ không có quy trình ghi nhật ký văn bản nào để cấu hình sai, không có bảng điều khiển phân tích nào có thể vô tình bao gồm nội dung tin nhắn, và cũng không có tập dữ liệu văn bản người dùng nào về sau có thể liên quan đến một vụ rò rỉ, một thương vụ mua lại hoặc thay đổi chính sách sử dụng dữ liệu. Việc không có đường truyền lên đám mây không phải là lời hứa trong chính sách — đó là đặc tính của kiến trúc.
Sự đánh đổi: kích thước và năng lực của mô hình
Không phải là không có đánh đổi. Một mô hình chạy hoàn toàn trong 600 MB–2.5 GB dung lượng đĩa, trên CPU laptop, nhỏ hơn các mô hình khổng lồ mà dịch vụ đám mây chạy trên GPU trung tâm dữ liệu. Với những tác vụ mở như viết toàn bộ bài luận từ đầu, mô hình đám mây khổng lồ vẫn có lợi thế về phạm vi sáng tạo thuần túy. Mức Cân bằng cần 8 GB bộ nhớ hệ thống; mức Tối đa cần card đồ họa rời có 8 GB bộ nhớ riêng và 16 GB bộ nhớ hệ thống.
Nhưng tính năng tự động hoàn thành cụm từ tiếp theo là tác vụ hẹp hơn việc tạo nội dung mở — nó dự đoán một phần tiếp nối ngắn, hợp lý cho câu bạn đã bắt đầu, chứ không soạn nội dung mới từ con số không. Mô hình cục bộ nhỏ được tinh chỉnh tốt có thể xử lý tốt tác vụ này; vì vậy, với trường hợp sử dụng này, sự đánh đổi về kích thước nhỏ hơn nhiều so với trò chuyện đa năng.
| Đặc tính | LLM cục bộ (Typeahead) | Tự động hoàn thành trên đám mây |
|---|---|---|
| Nơi chạy suy luận | Thiết bị của bạn | Máy chủ của nhà cung cấp |
| Văn bản được gửi qua mạng | Không bao giờ | Với mỗi gợi ý |
| Hoạt động ngoại tuyến | Có | Không |
| Cần tài khoản | Không | Thường là có |
| Mức độ lộ thông tin nếu nhà cung cấp bị tấn công | Không — không lưu văn bản ở phía máy chủ | Tùy thuộc vào chính sách lưu giữ dữ liệu |
Điều này quan trọng nhất trong trường hợp nào
Khoảng cách giữa xử lý cục bộ và trên đám mây không chỉ là lý thuyết đối với bất kỳ ai gõ nội dung nhạy cảm — chẳng hạn nhân viên hỗ trợ xử lý thông tin tài khoản, nhân viên y tế hoặc pháp lý soạn ghi chú, hay bất kỳ ai viết theo thỏa thuận bảo mật. Điều này cũng quan trọng nếu bạn đơn giản là viết trên tàu, trong văn phòng tầng hầm hoặc ở nơi kết nối không ổn định: công cụ đám mây sẽ im bặt, còn công cụ cục bộ thì không nhận ra sự khác biệt.
Typeahead coi đây là mặc định, không phải một tùy chọn cài đặt. Các trường mật khẩu luôn bị bỏ qua, còn ứng dụng quản lý mật khẩu và ứng dụng tài chính được bảo vệ ngay từ đầu; không có công tắc để tắt lớp bảo vệ đó — bên cạnh thực tế rằng văn bản đã gõ vốn không rời khỏi thiết bị ngay từ đầu.
Câu hỏi thường gặp
Typeahead có bao giờ gửi văn bản tôi gõ đi đâu không?
Tôi có thể kiểm chứng một công cụ thực sự chạy cục bộ chứ không chỉ tuyên bố như vậy không?
Mô hình cục bộ nhỏ có tốt bằng mô hình đám mây lớn không?
Typeahead có yêu cầu tài khoản hoặc đăng nhập không?
Nếu có, Typeahead tải gì từ Internet?
Tải Typeahead
Gợi ý được tạo trên thiết bị của bạn, không phải trên máy chủ. Dùng thử miễn phí $9.99, một lần trong 7 ngày.
Tải ứng dụng trên Microsoft Store