Detektor nemůže vědět, jaký software byl při psaní otevřený. Čte hotový text a odhaduje, nakolik jsou volby slov předvídatelné. Používání automatického doplňování neoznačuje text jako strojový výstup, detektory ale přesto mohou lidské psaní klasifikovat nesprávně.
Co detektor skutečně měří
Tyto nástroje sledují statistické vlastnosti textu: nakolik je každé slovo předvídatelné vzhledem k předchozím slovům, jak moc se liší délka vět a jak široká je slovní zásoba. Text vytvořený jazykovým modelem se obvykle nachází uprostřed těchto rozdělení, kde je pravděpodobnost vysoká, protože právě takový výstup je model navržen vytvářet. Lidské psaní více kolísá.
Jde o úsudek o textu, nikoli o záznam toho, jak vznikl. V dokumentu není nic, co by prozradilo, které stisky kláves pocházely z návrhu — a stejně tak nic nechrání text, který je prostě obyčejný a pravidelný.
Výzkum detektorům příliš nenahrává
Nezávislé vyhodnocení, které provedli Liang, Yuksekgonul, Mao, Wu a Zou ze Stanfordovy univerzity, vyšlo v časopise Patterns v roce 2023. Sedm široce používaných detektorů otestovali na 91 esejích TOEFL napsaných lidmi a na 88 esejích žáků osmých tříd v USA, které rovněž napsali lidé.
- Eseje žáků osmých tříd byly klasifikovány přesně — chybně bylo označeno přibližně 5,1 %.
- Eseje TOEFL na tom byly jinak: průměrná míra falešně pozitivních výsledků činila 61,3 %.
- Všech sedm detektorů se shodlo a chybně označilo 19,8 % esejí TOEFL.
- Alespoň jeden detektor označil 97,8 % z nich.
Autoři tento výsledek připisují vlastnostem, které detektory sledují. Omezená slovní zásoba a předvídatelná stavba vět mohou detektoru připadat jako znaky strojového textu, běžně se však vyskytují i v psaní v druhém jazyce. Nástroje proto mohou lidské psaní penalizovat za jeho statistickou jednoduchost.
Studie pochází z roku 2023 a detektory se od té doby změnily. Nezměnila se však podstata problému: jde o pravděpodobnostní klasifikátory a žádný z nich nezveřejňuje míru chybovosti pro jednotlivé dokumenty, na kterou byste se mohli spolehnout při obvinění někoho z podvádění.
Jak je to tedy s automatickým doplňováním
Zcela záleží na tom, kolik textu jste napsali sami.
| Co jste udělali | Co vidí detektor |
|---|---|
| Přijali jste několik doplněných slov ve větách, které jste sami sestavili | Vaše psaní, jeho stavba a slovní zásoba |
| Občas jste přijali frázi, která dokončila běžnou větu | Převážně vaše psaní; běžné věty jsou běžné tak jako tak |
| Požádali jste chatbota, aby napsal odstavec, a vložili jste ho | Generovaný text, protože byl vygenerován |
| Napsali jste text sami, jednoduše, v druhém jazyce | Přesto může být označen — viz výše |
Rozhodující je, zda jste text sestavili sami. Když dokončíte vlastní větu pomocí návrhu, zůstává autorem textu stále jeho tvůrce; když si vyžádáte a přijmete vygenerovaný odstavec, nikoli.
Pokud se hodnotí vaše originalita
- Zjistěte, jaké pravidlo skutečně platí. Mnohé instituce povolují pomoc s pravopisem, gramatikou a prediktivním textem, ale zakazují generovaný obsah. Některé zakazují veškerou pomoc. Písemné pravidlo má větší váhu než předpoklad jedním či druhým směrem.
- Uchovávejte historii verzí. Google Docs i Word ji uchovávají. Dokument, který vznikal několik hodin a obsahuje doplnění, smazání i věty napsané znovu, dokládá, že se psaní skutečně odehrávalo — jde o jiný druh důkazu než skóre, na které takový dokument dokáže odpovědět.
- Nepřepisujte text jen proto, abyste oklamali detektor. Vkládání neobvyklých slov do vět, aby se snížilo skóre, zhoršuje kvalitu textu a je k nerozeznání od toho, co dělá nástroj na „polidštění“ textu. Pokud vás někdo obviní, odpovědí je historie verzí.
- Považujte skóre za začátek rozhovoru, nikoli za rozsudek. Vzhledem k takové míře falešně pozitivních výsledků, jakou jsme uvedli výše, nemůže poctivě znamenat nic víc.
V čem se liší místní automatické doplňování
Jeden praktický rozdíl nemá s detekcí nic společného. Cloudoví asistenti pro psaní odesílají text, který zadáváte, na server, kde se z něj vytvářejí návrhy. Typeahead spouští kompaktní model na vašem vlastním počítači prostřednictvím llama.cpp. Po stažení modelu se tak nikam nepřenáší nic z toho, co píšete, a nástroj funguje i bez připojení.
Navrhuje několik dalších slov věty, kterou právě píšete, přímo u kurzoru, a nic nevloží, dokud nestisknete Tab. Nevytváří odstavce a nemá funkci „napiš to za mě“ — právě ta by do dokumentu skutečně vkládala generovaný text.
Nic z toho nezaručuje konkrétní výsledek u žádného detektoru. Vaše věty zůstávají ve vašem počítači a nástroj neobsahuje funkci, která by za vás vytvářela odstavce.