Een detector kan niet weten welke software openstond terwijl je typte. Hij leest de uiteindelijke tekst en schat in hoe voorspelbaar de woordkeuzes zijn. Het gebruik van autocomplete identificeert tekst niet als machine-uitvoer, maar detectors kunnen menselijke tekst nog steeds verkeerd classificeren.
Wat een detector daadwerkelijk meet
Deze tools bekijken statistische eigenschappen van de tekst: hoe voorspelbaar elk woord is op basis van de voorafgaande woorden, hoeveel de zinslengte varieert en hoe groot de woordenschat is. Tekst die door een taalmodel is gegenereerd, valt doorgaans in het midden met hoge waarschijnlijkheid van die verdelingen, omdat het model daarvoor is gebouwd. Menselijke tekst dwaalt meer af.
Dat is een oordeel over de tekst, geen registratie van hoe die is gemaakt. Niets in een document vermeldt welke toetsaanslagen afkomstig waren van een suggestie — en evenmin beschermt iets tekst die toevallig eenvoudig en regelmatig is.
Het onderzoek is niet positief over detectors
Een onafhankelijke evaluatie van Liang, Yuksekgonul, Mao, Wu en Zou van Stanford werd gepubliceerd in Patterns in 2023. Ze lieten zeven veelgebruikte detectors 91 door mensen geschreven TOEFL-opstellen en 88 eveneens door mensen geschreven opstellen van Amerikaanse leerlingen uit groep 8 analyseren.
- De opstellen van leerlingen uit groep 8 werden nauwkeurig geclassificeerd — ongeveer 5,1% werd ten onrechte gemarkeerd.
- Dat gold niet voor de TOEFL-opstellen: het gemiddelde percentage fout-positieven was 61,3%.
- Alle zeven detectors waren het erover eens en markeerden ten onrechte 19,8% van de TOEFL-opstellen.
- Minstens één detector markeerde 97,8% ervan.
De auteurs schrijven dit resultaat toe aan de kenmerken die detectors gebruiken. Een beperkte woordenschat en een voorspelbare zinsstructuur kunnen voor een detector machinaal lijken, maar komen ook vaak voor in teksten die in een tweede taal zijn geschreven. De tools lopen daardoor het risico menselijke tekst te bestraffen vanwege de statistische eenvoud ervan.
Dat onderzoek dateert uit 2023 en detectors zijn sindsdien veranderd. Wat niet is veranderd, is de aard van het probleem: dit zijn probabilistische classificatiemodellen, en geen ervan publiceert een foutpercentage per document waarop je kunt vertrouwen om iemand te beschuldigen.
Waar autocomplete dan in past
Het hangt volledig af van hoeveel van de tekst van jou is.
| Wat je deed | Wat de detector ziet |
|---|---|
| Een paar woordaanvullingen geaccepteerd in zinnen die je zelf hebt geformuleerd | Jouw tekst, met jouw structuur en woordenschat |
| Af en toe een woordgroep geaccepteerd om een gewone zin af te maken | Grotendeels jouw tekst; gewone zinnen zijn hoe dan ook gewoon |
| Een chatbot gevraagd de alinea te schrijven en die geplakt | Gegenereerde tekst, omdat het gegenereerde tekst is |
| Zelf geschreven, eenvoudig, in een tweede taal | Mogelijk toch gemarkeerd — zie hierboven |
Het relevante onderscheid is of je de tekst zelf hebt geschreven. Je eigen zin afmaken met een suggestie betekent dat de tekst jouw compositie blijft; een gegenereerde alinea vragen en accepteren doet dat niet.
Als je wordt beoordeeld op originaliteit
- Zoek de daadwerkelijke regel op. Veel instellingen staan hulp bij spelling, grammatica en voorspellende tekst toe, maar verbieden gegenereerde inhoud. Sommige verbieden alles. Een schriftelijke regel is meer waard dan iets in een van beide richtingen aannemen.
- Bewaar je versiegeschiedenis. Google Docs en Word bewaren die allebei. Een document dat in de loop van uren is gegroeid, met toevoegingen, verwijderingen en zinnen die twee keer zijn geschreven, laat zien dat het schrijfproces heeft plaatsgevonden — een ander soort bewijs dan een score, en iets waarop een score geen antwoord kan geven.
- Herschrijf niet om een detector te slim af te zijn. Zinnen opvullen met ongebruikelijke woorden om een score te verlagen, maakt je tekst slechter en is niet te onderscheiden van wat een 'humanizer'-tool doet. Als je beschuldigd wordt, is de versiegeschiedenis het antwoord.
- Beschouw een score als het begin van een gesprek, niet als een oordeel. Gezien de percentages fout-positieven zoals hierboven is dat alles wat het eerlijk gezegd kan zijn.
Waar lokale autocomplete anders is
Er is één praktisch verschil dat niets met detectie te maken heeft. Schrijfassistenten in de cloud sturen wat je typt naar een server om hun suggesties te genereren. Typeahead draait een compact model op je eigen pc via llama.cpp. Zodra een model is gedownload, wordt niets wat je schrijft ergens naartoe verzonden en werkt het ook helemaal zonder verbinding.
Het stelt de volgende paar woorden voor van de zin die je al aan het schrijven bent, naast de cursor, en voegt niets in tenzij je op Tab drukt. Het genereert geen alinea's en heeft geen functie 'schrijf dit voor me' — de functie die daadwerkelijk gegenereerde tekst in je document zou zetten.
Niets daarvan garandeert een bepaalde uitkomst bij een detector. Je zinnen blijven op je computer staan en de tool heeft geen functie waarmee hij alinea's voor je genereert.