Um detetor não pode saber que software estava aberto enquanto escrevia. Lê o texto final e estima quão previsíveis são as escolhas de palavras. Usar o preenchimento automático não identifica o texto como resultado de uma máquina, mas os detetores podem continuar a classificar incorretamente textos escritos por pessoas.
O que um detetor mede realmente
Estas ferramentas analisam propriedades estatísticas do texto: quão previsível é cada palavra tendo em conta as anteriores, quanto variam os comprimentos das frases e quão amplo é o vocabulário. O texto gerado por um modelo de linguagem tende a situar-se no centro de alta probabilidade dessas distribuições, porque é isso que o modelo foi criado para produzir. A escrita humana divaga mais.
Isso é uma avaliação do texto, não um registo da forma como foi produzido. Nada num documento indica que teclas resultaram de uma sugestão — e, da mesma forma, nada protege uma escrita que, por acaso, seja simples e regular.
A investigação não favorece os detetores
Uma avaliação independente de Liang, Yuksekgonul, Mao, Wu e Zou, de Stanford, foi publicada na revista Patterns em 2023. Os investigadores testaram sete detetores amplamente utilizados em 91 ensaios TOEFL escritos por pessoas e em 88 ensaios de alunos do 8.º ano dos EUA, também escritos por pessoas.
- Os ensaios do 8.º ano foram classificados corretamente — cerca de 5,1% foram assinalados erradamente.
- Os ensaios TOEFL não foram: a taxa média de falsos positivos foi de 61,3%.
- Os sete detetores concordaram ao assinalar erradamente 19,8% dos ensaios TOEFL.
- Pelo menos um detetor assinalou 97,8% deles.
Os autores atribuem este resultado às características utilizadas pelos detetores. Um vocabulário limitado e uma estrutura frásica previsível podem parecer características de uma máquina para um detetor, mas também são comuns na escrita produzida numa segunda língua. Assim, as ferramentas correm o risco de penalizar a escrita humana pela sua simplicidade estatística.
Esse estudo é de 2023 e os detetores mudaram desde então. O que não mudou foi a natureza do problema: são classificadores probabilísticos e nenhum publica uma taxa de erro por documento na qual pudesse basear-se para acusar alguém.
Então, onde se enquadra o preenchimento automático
Depende inteiramente de quanto do texto é seu.
| O que fez | O que o detetor vê |
|---|---|
| Aceitou algumas conclusões de palavras em frases que compôs | A sua escrita, com a sua estrutura e o seu vocabulário |
| Aceitou ocasionalmente uma expressão para terminar uma frase rotineira | Sobretudo a sua escrita; as frases rotineiras são rotineiras de qualquer forma |
| Pediu a um chatbot para escrever o parágrafo e colou-o | Texto gerado, porque é texto gerado |
| Escreveu-o sozinho, de forma simples, numa segunda língua | Pode ser assinalado na mesma — veja acima |
A distinção relevante é saber se foi o próprio a compor o texto. Terminar a sua própria frase com uma sugestão mantém a sua composição, enquanto pedir e aceitar um parágrafo gerado não a mantém.
Se estiver a ser avaliado quanto à originalidade
- Descubra qual é a regra efetiva. Muitas instituições permitem assistência ortográfica, gramatical e de texto preditivo e proíbem conteúdo gerado. Algumas proíbem tudo. Uma regra escrita vale mais do que uma suposição em qualquer dos sentidos.
- Mantenha o seu histórico de versões. O Google Docs e o Word mantêm ambos um. Um documento que cresceu ao longo de horas, com adições, eliminações e frases escritas duas vezes, é um registo da escrita que aconteceu — um tipo de prova diferente de uma pontuação e ao qual uma pontuação não pode responder.
- Não reescreva o texto para enganar um detetor. Encher as frases com palavras invulgares para baixar uma pontuação piora a sua escrita e é indistinguível do que uma ferramenta de “humanização” faz. Se for acusado, o histórico de versões é a resposta.
- Trate uma pontuação como o início de uma conversa, não como um veredicto. Tendo em conta taxas de falsos positivos como as acima, é tudo o que pode ser honestamente.
Onde um preenchimento automático local difere
Uma diferença prática não tem nada que ver com a deteção. Os assistentes de escrita na nuvem enviam o que escreve para um servidor para gerar as suas sugestões. Typeahead executa um modelo compacto no seu próprio PC através do llama.cpp, por isso, depois de um modelo ser transferido, nada do que escreve é transmitido para lado algum e funciona mesmo sem qualquer ligação.
Sugere as próximas palavras da frase que já está a escrever, junto ao cursor, e não insere nada a menos que prima Tab. Não gera parágrafos e não tem uma função “escreve isto por mim” — que é precisamente a funcionalidade que colocaria texto gerado no seu documento.
Nada disso garante um resultado específico num determinado detetor. As suas frases permanecem no seu computador e a ferramenta não inclui uma função que gere parágrafos por si.