Детектор не может знать, какое программное обеспечение было открыто во время набора текста. Он читает готовый текст и оценивает предсказуемость выбора слов. Использование автодополнения не выдаёт текст за машинный, но детекторы всё равно могут ошибочно классифицировать написанный человеком текст.
Что на самом деле измеряет детектор
Эти инструменты анализируют статистические свойства текста: насколько предсказуемо каждое слово с учётом предыдущих, насколько различается длина предложений и насколько широк словарный запас. Текст, созданный языковой моделью, обычно находится в середине распределений с высокой вероятностью, потому что именно такой текст модель предназначена создавать. Человеческий текст более непредсказуем.
Это оценка текста, а не запись того, как он был создан. В документе не указано, какие нажатия клавиш были введены из подсказки, — но столь же ничто не защищает текст, который случайно оказался простым и регулярным.
Исследования не в пользу детекторов
Независимое исследование Liang, Yuksekgonul, Mao, Wu и Zou из Stanford было опубликовано в Patterns в 2023 году. Исследователи проверили семь широко используемых детекторов на 91 эссе TOEFL, написанном людьми, и 88 эссе американских восьмиклассников, также написанных людьми.
- Эссе восьмиклассников были классифицированы точно — ошибочно отмечены около 5,1%.
- С эссе TOEFL всё было иначе: средняя доля ложноположительных результатов составила 61,3%.
- Все семь детекторов ошибочно отметили 19,8% эссе TOEFL.
- Как минимум один детектор отметил 97,8% из них.
Авторы связывают этот результат с признаками, которые используют детекторы. Ограниченный словарный запас и предсказуемая структура предложений могут выглядеть для детектора как признаки машинного текста, но они также характерны для письма на втором языке. Поэтому инструменты рискуют наказывать написанный человеком текст за его статистическую простоту.
Это исследование опубликовано в 2023 году, и с тех пор детекторы изменились. Но суть проблемы осталась прежней: это вероятностные классификаторы, и ни один из них не публикует надёжную для обвинений статистику ошибок по отдельным документам.
Так какое место занимает автодополнение
Всё зависит от того, какая часть текста принадлежит вам.
| Что вы сделали | Что видит детектор |
|---|---|
| Приняли несколько вариантов завершения слов в составленных вами предложениях | Ваш текст с вашей структурой и словарным запасом |
| Время от времени приняли фразу, чтобы закончить обычное предложение | В основном ваш текст; обычные предложения остаются обычными в любом случае |
| Попросили чат-бот написать абзац и вставили его | Сгенерированный текст, потому что он действительно сгенерирован |
| Написали всё сами, простым языком, на втором языке | Всё равно может быть отмечено — см. выше |
Важно, составили ли вы текст самостоятельно. Завершение собственного предложения с помощью подсказки сохраняет ваше авторство, а просьба создать и принятие сгенерированного абзаца — нет.
Если вашу работу оценивают по оригинальности
- Узнайте конкретное правило. Многие учреждения разрешают помощь с орфографией, грамматикой и предиктивным текстом, но запрещают сгенерированный контент. Некоторые запрещают всё. Письменное правило важнее предположений в любую сторону.
- Сохраняйте историю версий. Google Docs и Word сохраняют её. Документ, который создавался часами, с добавлениями, удалениями и предложениями, написанными по два раза, подтверждает сам процесс написания — это другой вид доказательства, на который результат детектора ответить не может.
- Не переписывайте текст ради обхода детектора. Заполнение предложений необычными словами ради снижения результата ухудшает текст и неотличимо от действий инструмента-“гуманизатора”. Если вас обвиняют, ответом служит история версий.
- Считайте результат отправной точкой для разговора, а не вердиктом. С учётом приведённых выше показателей ложноположительных результатов это единственное, чем он может быть по-честному.
Чем отличается локальное автодополнение
Одно практическое отличие не связано с обнаружением. Облачные помощники для письма отправляют набираемый текст на сервер, чтобы создавать подсказки. Typeahead Typeahead запускает компактную модель на вашем компьютере через llama.cpp, поэтому после загрузки модели ничто из написанного вами никуда не передаётся, и инструмент работает даже без подключения.
Он предлагает следующие несколько слов уже набираемого вами предложения рядом с курсором и ничего не вставляет, пока вы не нажмёте Tab. Он не создаёт абзацы и не имеет функции «напиши это за меня» — именно такая функция действительно помещала бы сгенерированный текст в документ.
Ничто из этого не гарантирует определённый результат у конкретного детектора. Ваши предложения остаются на вашем компьютере, а в инструменте нет функции, которая создаёт абзацы за вас.