Ein Detektor kann nicht wissen, welche Software während Ihrer Eingabe geöffnet war. Er liest den fertigen Text und schätzt, wie vorhersehbar die Wortwahl ist. Die Verwendung der automatischen Vervollständigung weist den Text nicht als maschinell erzeugt aus, aber Detektoren können menschliche Texte trotzdem falsch klassifizieren.
Was ein Detektor tatsächlich misst
Diese Tools untersuchen statistische Eigenschaften des Textes: wie vorhersehbar jedes Wort angesichts der vorangegangenen Wörter ist, wie stark die Satzlängen variieren und wie groß der Wortschatz ist. Von einem Sprachmodell erzeugter Text liegt bei diesen Verteilungen tendenziell in der Mitte mit hoher Wahrscheinlichkeit, weil das Modell genau dafür entwickelt wurde. Menschliches Schreiben weicht stärker davon ab.
Das ist eine Beurteilung des Textes und kein Protokoll darüber, wie er erstellt wurde. In einem Dokument steht nicht, welche Tastenanschläge aus einem Vorschlag stammten – und ebenso schützt nichts einen Text, der zufällig schlicht und regelmäßig ist.
Die Forschung fällt für Detektoren nicht schmeichelhaft aus
Eine unabhängige Untersuchung von Liang, Yuksekgonul, Mao, Wu und Zou an der Stanford University wurde veröffentlicht in Patterns im Jahr 2023. Sie ließen sieben weitverbreitete Detektoren 91 von Menschen verfasste TOEFL-Aufsätze und 88 ebenfalls von Menschen verfasste Aufsätze von Achtklässlern aus den USA untersuchen.
- Die Aufsätze der Achtklässler wurden korrekt klassifiziert – etwa 5,1 % wurden fälschlicherweise markiert.
- Bei den TOEFL-Aufsätzen war das nicht der Fall: Die durchschnittliche Rate falsch positiver Ergebnisse lag bei 61,3 %.
- Alle sieben Detektoren markierten fälschlicherweise 19,8 % der TOEFL-Aufsätze.
- Mindestens ein Detektor markierte 97,8 % von ihnen.
Die Autoren führen dieses Ergebnis auf die von den Detektoren verwendeten Merkmale zurück. Ein begrenzter Wortschatz und eine vorhersehbare Satzstruktur können für einen Detektor maschinenähnlich wirken, sind aber auch beim Schreiben in einer Zweitsprache häufig. Die Tools riskieren daher, menschliche Texte wegen ihrer statistischen Schlichtheit zu benachteiligen.
Die Studie stammt aus dem Jahr 2023, und die Detektoren wurden seitdem verändert. Unverändert ist jedoch die Struktur des Problems: Es handelt sich um probabilistische Klassifikatoren, und keiner von ihnen veröffentlicht eine Fehlerrate pro Dokument, auf deren Grundlage Sie jemanden zuverlässig beschuldigen könnten.
Wo ist also die automatische Vervollständigung einzuordnen?
Das hängt vollständig davon ab, wie viel des Textes von Ihnen stammt.
| Was Sie getan haben | Was der Detektor sieht |
|---|---|
| Sie haben einige Wortvervollständigungen in von Ihnen formulierten Sätzen übernommen | Ihren Text mit Ihrer Struktur und Ihrem Wortschatz |
| Sie haben gelegentlich eine Phrase übernommen, um einen routinemäßigen Satz zu beenden | Größtenteils Ihren Text; routinemäßige Sätze bleiben unabhängig davon routinemäßig |
| Sie haben einen Chatbot gebeten, den Absatz zu schreiben, und ihn eingefügt | Generierter Text, weil es sich um generierten Text handelt |
| Sie haben den Text selbst und schlicht in einer Zweitsprache geschrieben | Möglicherweise trotzdem markiert – siehe oben |
Entscheidend ist, ob Sie den Text selbst formuliert haben. Wenn Sie Ihren eigenen Satz mit einem Vorschlag beenden, bleibt es Ihre Formulierung; wenn Sie dagegen um einen generierten Absatz bitten und ihn übernehmen, ist das nicht der Fall.
Wenn Ihre Originalität bewertet wird
- Finden Sie die tatsächliche Regel heraus. Viele Institutionen erlauben Unterstützung bei Rechtschreibung, Grammatik und Textvorhersage und untersagen generierte Inhalte. Manche untersagen alles. Eine schriftliche Regel ist mehr wert als eine Annahme in die eine oder andere Richtung.
- Bewahren Sie Ihren Versionsverlauf auf. Google Docs und Word speichern beide einen solchen Verlauf. Ein Dokument, das über Stunden hinweg mit Ergänzungen, Löschungen und doppelt geschriebenen Sätzen gewachsen ist, dokumentiert den tatsächlichen Schreibprozess – eine andere Art von Beleg als ein Ergebnis, auf das ein Ergebnis keine Antwort geben kann.
- Schreiben Sie Ihren Text nicht um, um einen Detektor auszutricksen. Sätze mit ungewöhnlichen Wörtern aufzublähen, um einen Wert zu senken, verschlechtert Ihren Text und ist nicht von dem zu unterscheiden, was ein „Humanizer“-Tool tut. Wenn Sie beschuldigt werden, ist der Versionsverlauf die Antwort.
- Betrachten Sie ein Ergebnis als Ausgangspunkt für ein Gespräch, nicht als Urteil. Bei Fehlerraten wie den oben genannten kann es ehrlich gesagt nicht mehr sein.
Worin sich eine lokale automatische Vervollständigung unterscheidet
Ein praktischer Unterschied hat nichts mit der Erkennung zu tun. Cloud-Schreibassistenten senden Ihre Eingaben an einen Server, um ihre Vorschläge zu generieren. Typeahead führt über llama.cpp ein kompaktes Modell auf Ihrem eigenen PC aus. Sobald ein Modell heruntergeladen wurde, wird nichts, was Sie schreiben, irgendwohin übertragen, und das Tool funktioniert vollständig ohne Verbindung.
Es schlägt die nächsten paar Wörter des Satzes vor, den Sie gerade schreiben, direkt neben dem Cursor, und fügt nichts ein, außer wenn Sie die Tab-Taste drücken. Es generiert keine Absätze und verfügt über keine Funktion „Schreib das für mich“ – und genau diese Funktion würde tatsächlich generierten Text in Ihr Dokument einfügen.
Nichts davon garantiert ein bestimmtes Ergebnis bei einem Detektor. Ihre Sätze bleiben auf Ihrem Rechner, und das Tool enthält keine Funktion, die Absätze für Sie generiert.