检测器无法知道你打字时打开了什么软件。它会读取完成后的文本,并估算词语选择的可预测程度。使用自动补全不会让文本被识别为机器生成,但检测器仍可能错误分类人工写作。

检测器实际测量的是什么

这些工具会查看文本的统计属性:给定前面的词后,每个词有多可预测;句子长度变化有多大;词汇范围有多广。语言模型生成的文本往往处于这些分布中高概率的中间区域,因为模型就是为生成这类文本而构建的。人类写作的变化更大。

这只是对文本的判断,并不是对文本生成方式的记录。文档中没有任何信息能说明哪些按键来自建议内容——同样,也没有任何东西能保护那些碰巧平实而规整的写作。

研究结果对检测器并不友好

斯坦福大学的 Liang、Yuksekgonul、Mao、Wu 和 Zou 进行了一项独立评估,研究结果发表在 Patterns (2023 年)。他们让 7 个广泛使用的检测器分析了 91 篇由人类撰写的 TOEFL 作文和 88 篇同样由人类撰写的美国八年级学生作文。

  • 八年级学生作文的分类准确度较高——约 5.1% 被错误标记。
  • TOEFL 作文则不是这样:平均误报率为 61.3%。
  • 7 个检测器都错误标记了 19.8% 的 TOEFL 作文。
  • 至少有一个检测器标记了其中 97.8% 的作文。

作者将这一结果归因于检测器使用的特征。有限的词汇范围和可预测的句子结构在检测器看来可能像机器生成,但它们也是使用第二语言写作时的常见特点。因此,这些工具可能仅因人工写作在统计上较为平实,就对其进行惩罚。

这项研究发表于 2023 年,此后检测器已经发生变化。但问题的本质并未改变:这些是概率分类器,而且没有任何一个检测器会公布可供你据此指控他人的逐文档错误率。

那么,自动补全属于哪一种情况?

这完全取决于文本有多少是你自己写的。

你做了什么 检测器看到的内容
在自己构思的句子中接受了几个词语补全你的写作,保留了你的结构和词汇
偶尔接受一个短语来完成常规句子主要是你的写作;无论如何,常规句子仍然是常规句子
让聊天机器人写好段落,然后粘贴进去生成的文本,因为它确实是生成的文本
自己用第二语言清楚地写出来仍有可能被标记——见上文

关键区别在于文本是否由你自己构思。用建议内容完成自己写的句子,仍然保留了你的创作;而要求生成并接受一个生成的段落则不然。

如果你正在接受原创性评估

  • 先弄清楚实际规定。 许多机构允许拼写、语法和预测文本辅助,但禁止生成内容。有些机构则全部禁止。书面规定比任何一方的假设都更有参考价值。
  • 保留版本历史记录。 Google Docs 和 Word 都会保留版本历史记录。一份经过数小时逐步形成、包含添加、删除和重复修改句子的文档,就是写作实际发生过的记录——这与评分属于不同类型的证据,而且评分无法回答这一点。
  • 不要为了骗过检测器而重写。 用不常见的词填充句子来降低评分,会让你的写作变差,而且与“人性化”工具的做法无法区分。如果你受到指控,版本历史记录就是答案。
  • 把评分当作展开对话的起点,而不是裁决。 鉴于上文所述的误报率,这就是它能够诚实代表的全部内容。

本地自动补全有何不同

其中一个实际差异与检测无关。云端写作助手会将你输入的内容发送到服务器,以生成建议。 Typeahead 则通过 llama.cpp 在你自己的电脑上运行紧凑型模型,因此模型下载完成后,你写下的任何内容都不会被传输到任何地方,而且完全无需连接网络也能工作。

它会在插入点旁边建议你正在书写的句子接下来的几个词,只有在你按下 Tab 后才会插入内容。它不会生成段落,也没有“替我写这个”功能——而后者才是真正会把生成文本放入文档的功能。

这些都不能保证某个检测器会给出特定结果。你的句子仍保留在自己的设备上,而且该工具不包含替你生成段落的功能。

来源

常见问题

AI 检测器能看出我使用了自动补全吗?
不能。检测器会分析完成后的文本,寻找统计模式。它们没有记录当时运行了哪些软件,也不知道哪些按键来自建议内容。
AI 检测器有多准确?
不可靠到不能把评分当作证据。在斯坦福大学发表在 Patterns Patterns(2023 年)的一项评估中,7 个检测器错误标记了平均 61.3% 的人工撰写 TOEFL 作文,同时错误标记了约 5.1% 的美国八年级学生作文。
为什么检测器经常标记非英语母语写作者?
它们会把有限的词汇范围和可预测的句子结构视为机器特征,而这些恰恰是使用第二语言进行熟练写作时的常见特点。偏见来自检测器所测量的内容。
使用预测文本算作弊吗?
这完全取决于学校或机构的书面规定,而且规定各不相同。许多规定禁止的是生成内容,而不是打字辅助。无论哪种情况,都应该先询问,而不是自行假定。
如果我被错误指控,应该怎么办?
展示文档的版本历史记录。Google Docs 和 Word 都会记录文件随时间逐步形成的过程,而编辑记录就是实际写作发生过的记录——概率评分无法说明这一点。
Typeahead 会替我写段落吗?
不会。它会建议你正在输入的句子接下来的几个词,只有在你按下 Tab 后才会插入这些词。它没有生成段落的命令。