Un rilevatore non può sapere quale software era aperto mentre digitavi. Legge il testo finito e stima quanto siano prevedibili le scelte delle parole. Usare l'autocompletamento non identifica il testo come prodotto da una macchina, ma i rilevatori possono comunque classificare erroneamente la scrittura umana.
Cosa misura davvero un rilevatore
Questi strumenti analizzano le proprietà statistiche del testo: quanto è prevedibile ogni parola date quelle precedenti, quanto variano le lunghezze delle frasi e quanto è ampio il vocabolario. Il testo generato da un modello linguistico tende a collocarsi nel centro ad alta probabilità di queste distribuzioni, perché è ciò per cui il modello è stato costruito. La scrittura umana è più irregolare.
È un giudizio sul testo, non una registrazione di come è stato prodotto. In un documento non c'è nulla che indichi quali tasti siano stati premuti a partire da un suggerimento — e, allo stesso modo, nulla protegge una scrittura che per caso è semplice e regolare.
La ricerca non è favorevole ai rilevatori
Una valutazione indipendente di Liang, Yuksekgonul, Mao, Wu e Zou a Stanford è stata pubblicata su Patterns nel 2023. Hanno sottoposto sette rilevatori ampiamente utilizzati a 91 saggi TOEFL scritti da persone e a 88 saggi scritti da studenti statunitensi di terza media, anch'essi scritti da persone.
- I saggi degli studenti di terza media sono stati classificati accuratamente: circa il 5,1% è stato segnalato erroneamente.
- I saggi TOEFL no: il tasso medio di falsi positivi è stato del 61,3%.
- Tutti e sette i rilevatori hanno concordato nel segnalare erroneamente il 19,8% dei saggi TOEFL.
- Almeno un rilevatore ne ha segnalato il 97,8%.
Gli autori attribuiscono questo risultato alle caratteristiche utilizzate dai rilevatori. Un vocabolario limitato e una struttura delle frasi prevedibile possono sembrare simili a quelle di una macchina per un rilevatore, ma sono anche comuni nella scrittura prodotta in una seconda lingua. Gli strumenti rischiano quindi di penalizzare la scrittura umana per la sua semplicità statistica.
Lo studio risale al 2023 e da allora i rilevatori sono cambiati. Ciò che non è cambiato è la natura del problema: si tratta di classificatori probabilistici e nessuno pubblica un tasso di errore per documento su cui potresti basarti per accusare qualcuno.
Quindi, dove si colloca l'autocompletamento
Dipende interamente da quanta parte del testo è tua.
| Cosa hai fatto | Cosa vede il rilevatore |
|---|---|
| Hai accettato il completamento di alcune parole in frasi che avevi composto | La tua scrittura, con la tua struttura e il tuo vocabolario |
| Hai accettato ogni tanto una frase per concludere una frase di routine | Per lo più la tua scrittura; le frasi di routine sono di routine comunque |
| Hai chiesto a un chatbot di scrivere il paragrafo e lo hai incollato | Testo generato, perché è testo generato |
| Lo hai scritto tu, in modo semplice, in una seconda lingua | Potrebbe comunque essere segnalato — vedi sopra |
La distinzione rilevante è se hai composto tu il testo. Completare una tua frase con un suggerimento mantiene la tua composizione, mentre chiedere e accettare un paragrafo generato no.
Se vieni valutato sull'originalità
- Scopri qual è la regola effettiva. Molte istituzioni consentono l'assistenza ortografica, grammaticale e del testo predittivo e vietano i contenuti generati. Alcune vietano tutto. Una regola scritta vale più di un'ipotesi in un senso o nell'altro.
- Conserva la cronologia delle versioni. Google Docs e Word la conservano entrambi. Un documento cresciuto nel corso di ore, con aggiunte, eliminazioni e frasi scritte due volte, registra la scrittura mentre avviene — una forma di prova diversa da un punteggio, a cui un punteggio non può rispondere.
- Non riscrivere il testo per battere un rilevatore. Riempire le frasi con parole insolite per abbassare un punteggio peggiora la tua scrittura ed è indistinguibile da ciò che fa uno strumento di “umanizzazione”. Se vieni accusato, la risposta è nella cronologia delle versioni.
- Considera un punteggio come il punto di partenza per una conversazione, non come un verdetto. Visti tassi di falsi positivi come quelli indicati sopra, è tutto ciò che può essere onestamente.
In cosa differisce l'autocompletamento locale
Una differenza pratica non ha nulla a che fare con il rilevamento. Gli assistenti di scrittura cloud inviano ciò che digiti a un server per generare i suggerimenti. Typeahead esegue un modello compatto sul tuo PC tramite llama.cpp, quindi, una volta scaricato un modello, nulla di ciò che scrivi viene trasmesso da nessuna parte e funziona anche senza alcuna connessione.
Suggerisce le parole successive della frase che stai già scrivendo, accanto al cursore, e non inserisce nulla a meno che tu non prema Tab. Non genera paragrafi e non dispone di una funzione “scrivilo tu per me”: è proprio questa la funzione che inserirebbe effettivamente testo generato nel tuo documento.
Nulla di tutto ciò garantisce un risultato specifico per un determinato rilevatore. Le tue frasi restano sul tuo computer e lo strumento non include una funzione che genera paragrafi al posto tuo.