En detektor kan inte veta vilken programvara som var öppen medan du skrev. Den läser den färdiga texten och uppskattar hur förutsägbara ordvalen är. Användning av autokomplettering avslöjar inte texten som maskinskriven, men detektorer kan ändå felklassificera mänskligt skrivande.
Vad en detektor faktiskt mäter
De här verktygen tittar på textens statistiska egenskaper: hur förutsägbart varje ord är givet de föregående orden, hur mycket meningslängderna varierar och hur stort ordförrådet är. Text som genereras av en språkmodell tenderar att hamna i mitten av dessa fördelningar med hög sannolikhet, eftersom det är vad modellen är byggd för att producera. Mänskligt skrivande är mer omväxlande.
Det är en bedömning av texten, inte en uppteckning av hur den skapades. Det finns inget i ett dokument som visar vilka tangenttryckningar som kom från ett förslag – och lika lite något som skyddar text som råkar vara enkel och regelbunden.
Forskningen är inte nådig mot detektorerna
En oberoende utvärdering av Liang, Yuksekgonul, Mao, Wu och Zou vid Stanford publicerades i Patterns 2023. De testade sju ofta använda detektorer på 91 TOEFL-uppsatser skrivna av människor och 88 uppsatser skrivna av amerikanska åttondeklassare, också de skrivna av människor.
- Uppsatserna från åttondeklassarna klassificerades korrekt – ungefär 5,1 % flaggades felaktigt.
- Det gjorde inte TOEFL-uppsatserna: den genomsnittliga andelen falska positiva resultat var 61,3 %.
- Alla sju detektorerna var överens om att felaktigt flagga 19,8 % av TOEFL-uppsatserna.
- Minst en detektor flaggade 97,8 % av dem.
Författarna hänför resultatet till de egenskaper som detektorerna använder. Ett begränsat ordförråd och förutsägbar meningsbyggnad kan verka maskinlikt för en detektor, men är också vanligt i texter skrivna på ett andraspråk. Verktygen riskerar därför att straffa mänskligt skrivande för att det är statistiskt enkelt.
Studien är från 2023 och detektorerna har förändrats sedan dess. Det som inte har förändrats är problemets karaktär: det här är sannolikhetsbaserade klassificerare, och ingen av dem publicerar en felfrekvens per dokument som man kan lita på för att anklaga någon.
Var passar då autokomplettering in?
Det beror helt på hur mycket av texten som är din egen.
| Vad du gjorde | Vad detektorn ser |
|---|---|
| Accepterade några ordförslag i meningar som du själv formulerade | Ditt skrivande, med din struktur och ditt ordförråd |
| Accepterade då och då en fras för att avsluta en rutinmässig mening | Mestadels ditt eget skrivande; rutinmässiga meningar är rutinmässiga oavsett |
| Bad en chattbot skriva stycket och klistrade in det | Genererad text, eftersom den är genererad text |
| Skrev själv, enkelt och på ett andraspråk | Kan ändå flaggas – se ovan |
Den relevanta skillnaden är om du själv formulerade texten. Att avsluta din egen mening med ett förslag innebär fortfarande att du har formulerat den, medan det inte gäller om du ber om och godkänner ett genererat stycke.
Om du bedöms utifrån originalitet
- Ta reda på vad regeln faktiskt säger. Många institutioner tillåter hjälp med stavning, grammatik och prediktiv text, men förbjuder genererat innehåll. Vissa förbjuder allt. En skriftlig regel är mer värd än ett antagande åt endera hållet.
- Spara versionshistoriken. Både Google Docs och Word sparar den. Ett dokument som vuxit fram under flera timmar, med tillägg, strykningar och meningar som skrivits om två gånger, visar att skrivandet faktiskt ägde rum – en annan sorts bevis än en poäng, och något som en poäng inte kan bemöta.
- Skriv inte om texten för att lura en detektor. Att fylla ut meningar med ovanliga ord för att sänka poängen gör texten sämre och går inte att skilja från det som ett ”humanizer”-verktyg gör. Om du blir anklagad är versionshistoriken svaret.
- Se en poäng som början på ett samtal, inte som en dom. Med falska positiva resultat som de ovan är det allt den ärligt talat kan vara.
Där lokal autokomplettering skiljer sig
En praktisk skillnad har inget med detektering att göra. Molnbaserade skrivassistenter skickar det du skriver till en server för att skapa förslag. Typeahead kör en kompakt modell på din egen dator med llama.cpp. När en modell väl har laddats ner överförs inget av det du skriver någonstans, och verktyget fungerar helt utan internetanslutning.
Det föreslår de närmaste orden i meningen du redan skriver, intill markören, och infogar inget om du inte trycker på Tab. Det genererar inte stycken och har ingen funktion av typen ”skriv det här åt mig” – en sådan funktion skulle faktiskt lägga in genererad text i dokumentet.
Inget av detta garanterar ett visst resultat från någon detektor. Dina meningar stannar på din dator, och verktyget har ingen funktion som genererar stycken åt dig.