Công cụ phát hiện không thể biết phần mềm nào đang mở khi bạn nhập. Nó đọc văn bản hoàn chỉnh và ước tính mức độ dễ đoán của các lựa chọn từ ngữ. Dùng tính năng tự động hoàn thành không khiến văn bản bị nhận diện là sản phẩm của máy, nhưng các công cụ phát hiện vẫn có thể phân loại nhầm văn bản do người viết.
Công cụ phát hiện thực sự đo lường điều gì
Các công cụ này xem xét những đặc điểm thống kê của văn bản: mức độ dễ đoán của mỗi từ dựa trên những từ đứng trước, độ biến thiên của độ dài câu và độ phong phú của vốn từ. Văn bản do mô hình ngôn ngữ tạo ra thường nằm trong vùng có xác suất cao ở giữa các phân bố đó, vì đó là kiểu văn bản mà mô hình được thiết kế để tạo ra. Văn bản của con người thường biến hóa hơn.
Đó là đánh giá về văn bản, chứ không phải hồ sơ ghi lại cách văn bản được tạo ra. Không có gì trong tài liệu cho biết phím nào được nhập từ một gợi ý — và tương tự, cũng không có gì bảo vệ lối viết vốn tình cờ đơn giản, đều đặn.
Nghiên cứu cho thấy các công cụ phát hiện không đáng tin
Một đánh giá độc lập của Liang, Yuksekgonul, Mao, Wu và Zou tại Stanford đã được công bố trên tạp chí Patterns vào năm 2023. Họ thử nghiệm bảy công cụ phát hiện được sử dụng rộng rãi trên 91 bài luận TOEFL do người viết và 88 bài luận do học sinh lớp tám ở Mỹ viết; tất cả đều là bài viết của con người.
- Các bài luận của học sinh lớp tám được phân loại khá chính xác — khoảng 5.1% bị gắn cờ nhầm.
- Còn các bài luận TOEFL thì không: tỷ lệ dương tính giả trung bình là 61.3%.
- Cả bảy công cụ phát hiện đều đồng thuận khi gắn cờ nhầm 19.8% bài luận TOEFL.
- Ít nhất một công cụ đã gắn cờ 97.8% số bài luận này.
Các tác giả cho rằng kết quả này bắt nguồn từ những đặc điểm mà các công cụ phát hiện sử dụng. Vốn từ hạn chế và cấu trúc câu dễ đoán có thể trông giống văn bản máy móc đối với công cụ phát hiện, nhưng cũng phổ biến trong lối viết bằng ngôn ngữ thứ hai. Vì vậy, các công cụ này có nguy cơ phạt lối viết của con người vì đặc điểm thống kê đơn giản của nó.
Nghiên cứu đó được thực hiện năm 2023 và các công cụ phát hiện đã thay đổi kể từ đó. Nhưng bản chất vấn đề vẫn vậy: đây là những bộ phân loại xác suất, và không công cụ nào công bố tỷ lệ sai số cho từng tài liệu mà bạn có thể dựa vào để buộc tội ai đó.
Vậy tính năng tự động hoàn thành nằm ở đâu trong chuyện này?
Điều đó hoàn toàn phụ thuộc vào việc bao nhiêu phần văn bản là do bạn viết.
| Việc bạn đã làm | Điều công cụ phát hiện nhìn thấy |
|---|---|
| Chấp nhận vài gợi ý hoàn thành từ trong những câu do bạn tự viết | Bài viết của bạn, với cấu trúc và vốn từ của bạn |
| Thỉnh thoảng chấp nhận một cụm từ để hoàn tất câu thông thường | Phần lớn là bài viết của bạn; câu thông thường vốn vẫn là câu thông thường |
| Yêu cầu chatbot viết đoạn văn rồi dán vào | Văn bản được tạo ra, vì đúng là nó được tạo ra |
| Tự viết một cách đơn giản bằng ngôn ngữ thứ hai | Vẫn có thể bị gắn cờ — xem phần trên |
Điểm khác biệt quan trọng là bạn có tự viết văn bản hay không. Hoàn thành câu do chính mình viết bằng một gợi ý vẫn giữ nguyên phần sáng tác của bạn; còn yêu cầu tạo và chấp nhận cả một đoạn văn thì không.
Nếu bạn đang được đánh giá về tính nguyên bản
- Hãy tìm hiểu quy định thực tế. Nhiều cơ sở cho phép hỗ trợ chính tả, ngữ pháp và dự đoán văn bản, đồng thời cấm nội dung được tạo ra. Một số nơi cấm mọi hình thức hỗ trợ. Quy định bằng văn bản đáng tin hơn việc tự suy đoán theo bất kỳ hướng nào.
- Hãy lưu lại lịch sử phiên bản. Google Docs và Word đều lưu lịch sử này. Một tài liệu được viết dần trong nhiều giờ, với những phần được thêm vào, xóa đi và viết lại, là bằng chứng cho thấy quá trình viết đã diễn ra — một loại bằng chứng khác với điểm số, và điểm số không thể thay thế được.
- Đừng viết lại để đánh lừa công cụ phát hiện. Chèn những từ khác thường vào câu để hạ điểm số sẽ khiến bài viết của bạn tệ hơn và không khác gì cách một công cụ “nhân hóa” hoạt động. Nếu bị cáo buộc, hãy đưa ra lịch sử phiên bản.
- Hãy xem điểm số là điểm khởi đầu cho một cuộc trao đổi, không phải phán quyết. Với các tỷ lệ dương tính giả như trên, đó là tất cả những gì điểm số có thể được xem là một cách trung thực.
Điểm khác biệt của tính năng tự động hoàn thành chạy cục bộ
Có một khác biệt thực tế không liên quan gì đến việc phát hiện. Các trợ lý viết trên đám mây gửi nội dung bạn nhập lên máy chủ để tạo gợi ý. Typeahead chạy một mô hình nhỏ gọn trên chính PC của bạn thông qua llama.cpp. Vì vậy, sau khi tải mô hình xuống, không nội dung nào bạn viết được truyền đi đâu cả, và ứng dụng hoạt động hoàn toàn không cần kết nối.
Ứng dụng gợi ý một vài từ tiếp theo trong câu bạn đang viết, ngay cạnh con trỏ, và không chèn gì nếu bạn không nhấn Tab. Ứng dụng không tạo đoạn văn và không có chức năng “viết hộ tôi” — đây mới là tính năng thực sự đưa văn bản do máy tạo vào tài liệu của bạn.
Không điều nào trong số đó đảm bảo một kết quả cụ thể từ công cụ phát hiện. Câu chữ của bạn vẫn nằm trên máy và công cụ không có chức năng tạo đoạn văn thay bạn.