Detektor nie może wiedzieć, jakie oprogramowanie było otwarte podczas pisania. Odczytuje gotowy tekst i ocenia przewidywalność doboru słów. Używanie autouzupełniania nie identyfikuje tekstu jako wygenerowanego maszynowo, ale detektory nadal mogą błędnie sklasyfikować tekst napisany przez człowieka.
Co właściwie mierzy detektor
Narzędzia te analizują statystyczne właściwości tekstu: przewidywalność każdego słowa na podstawie słów, które je poprzedzają, zróżnicowanie długości zdań oraz szerokość zasobu słownictwa. Tekst wygenerowany przez model językowy zwykle znajduje się w środkowej części tych rozkładów, czyli w obszarze wysokiego prawdopodobieństwa, ponieważ właśnie do tego model jest zaprojektowany. Tekst pisany przez ludzi jest bardziej nieprzewidywalny.
To ocena tekstu, a nie zapis sposobu jego powstania. Dokument nie zawiera informacji o tym, które naciśnięcia klawiszy pochodziły z podpowiedzi — tak samo nic nie chroni tekstu, który przypadkiem jest prosty i regularny.
Wyniki badań nie przemawiają na korzyść detektorów
Niezależna ewaluacja przeprowadzona przez Lianga, Yuksekgonula, Mao, Wu i Zou ze Stanford została opublikowana w Patterns w 2023 roku. Badacze przepuścili przez siedem powszechnie używanych detektorów 91 napisanych przez ludzi esejów TOEFL oraz 88 esejów amerykańskich uczniów ósmej klasy, również napisanych przez ludzi.
- Eseje uczniów ósmej klasy zostały sklasyfikowane poprawnie — błędnie oznaczono około 5,1% z nich.
- Eseje TOEFL nie zostały sklasyfikowane poprawnie: średni odsetek fałszywie pozytywnych wyników wyniósł 61,3%.
- Wszystkie siedem detektorów zgodnie błędnie oznaczyło 19,8% esejów TOEFL.
- Co najmniej jeden detektor oznaczył 97,8% z nich.
Autorzy przypisują ten wynik cechom wykorzystywanym przez detektory. Ograniczony zasób słownictwa i przewidywalna struktura zdań mogą wyglądać dla detektora jak cechy tekstu maszynowego, ale są również częste w tekstach tworzonych w drugim języku. Narzędzia te narażają więc teksty napisane przez ludzi na karanie za ich statystyczną prostotę.
To badanie pochodzi z 2023 roku, a detektory od tamtej pory się zmieniły. Nie zmieniła się jednak natura problemu: są to klasyfikatory probabilistyczne, a żaden z nich nie publikuje wskaźnika błędu dla pojedynczego dokumentu, na którym można by polegać, oskarżając kogoś.
Jaką rolę odgrywa autouzupełnianie
To zależy wyłącznie od tego, jaka część tekstu jest Twojego autorstwa.
| Co zrobiłeś | Co widzi detektor |
|---|---|
| Zaakceptowałeś kilka uzupełnień słów w zdaniach, które samodzielnie ułożyłeś | Twój tekst, z Twoją strukturą i słownictwem |
| Od czasu do czasu zaakceptowałeś frazę, aby dokończyć rutynowe zdanie | W większości Twój tekst; rutynowe zdania pozostają rutynowe niezależnie od sposobu ich ukończenia |
| Poprosiłeś chatbota o napisanie akapitu i wkleiłeś go | Tekst wygenerowany, ponieważ został wygenerowany |
| Samodzielnie napisałeś tekst w prosty sposób, w drugim języku | Mimo to może zostać oznaczony — zobacz wyżej |
Najważniejsze jest to, czy samodzielnie ułożyłeś tekst. Dokończenie własnego zdania za pomocą podpowiedzi zachowuje Twoje autorstwo, natomiast poproszenie o wygenerowanie akapitu i zaakceptowanie go już nie.
Jeśli oceniana jest oryginalność Twojego tekstu
- Sprawdź, jakie są rzeczywiste zasady. Wiele instytucji zezwala na pomoc w ortografii, gramatyce i predykcyjnym wprowadzaniu tekstu, a zabrania korzystania z treści wygenerowanych. Niektóre zabraniają wszystkiego. Pisemna zasada jest cenniejsza niż założenie w którąkolwiek stronę.
- Zachowaj historię wersji. Google Docs i Word przechowują taką historię. Dokument, który powstawał przez wiele godzin, z dodawaniem, usuwaniem i dwukrotnym pisaniem zdań, jest zapisem rzeczywistego procesu pisania — to inny rodzaj dowodu niż wynik, na który sam wynik nie może odpowiedzieć.
- Nie przerabiaj tekstu, aby oszukać detektor. Wypełnianie zdań nietypowymi słowami w celu obniżenia wyniku pogarsza tekst i jest nie do odróżnienia od działania narzędzia typu „humanizer”. Jeśli zostaniesz oskarżony, odpowiedzią jest historia wersji.
- Traktuj wynik jako początek rozmowy, a nie wyrok. Przy takich odsetkach fałszywie pozytywnych wyników jak powyżej tylko tak można go uczciwie traktować.
Czym różni się lokalne autouzupełnianie
Jedna praktyczna różnica nie ma nic wspólnego z wykrywaniem. Asystenci pisania działający w chmurze wysyłają wpisywany tekst na serwer, aby wygenerować podpowiedzi. Typeahead uruchamia kompaktowy model na Twoim komputerze przez llama.cpp, więc po pobraniu modelu nic, co napiszesz, nie jest nigdzie przesyłane, a narzędzie działa całkowicie bez połączenia.
Podpowiada kilka kolejnych słów zdania, które już piszesz, obok kursora, i niczego nie wstawia, dopóki nie naciśniesz klawisza Tab. Nie generuje akapitów i nie ma funkcji „napisz to za mnie” — czyli funkcji, która rzeczywiście umieściłaby wygenerowany tekst w dokumencie.
Żadna z tych cech nie gwarantuje konkretnego wyniku detektora. Twoje zdania pozostają na Twoim komputerze, a narzędzie nie zawiera funkcji, która generowałaby za Ciebie akapity.