Bir dedektör, yazarken hangi yazılımın açık olduğunu bilemez. Bitmiş metni okur ve kelime seçimlerinin ne kadar öngörülebilir olduğunu tahmin eder. Otomatik tamamlama kullanmak metni makine çıktısı olarak tanımlamaz; ancak dedektörler insan yazısını yine de yanlış sınıflandırabilir.
Bir dedektör gerçekte neyi ölçer?
Bu araçlar metnin istatistiksel özelliklerine bakar: kendisinden önce gelen kelimeler verildiğinde her kelimenin ne kadar öngörülebilir olduğu, cümle uzunluklarının ne ölçüde değiştiği ve kelime dağarcığının ne kadar geniş olduğu. Bir dil modeli tarafından oluşturulan metin, modelin üretmek üzere tasarlandığı şey bu olduğundan, bu dağılımların yüksek olasılıklı orta bölümünde yer alma eğilimindedir. İnsan yazısı ise daha fazla sapma gösterir.
Bu, metnin nasıl üretildiğine dair bir kayıt değil, metin hakkında bir yargıdır. Bir belgede hangi tuş vuruşlarının bir öneriden geldiğini belirten hiçbir şey yoktur; aynı şekilde, tesadüfen sade ve düzenli olan yazıyı da hiçbir şey korumaz.
Araştırmalar dedektörler lehine değil
Liang, Yuksekgonul, Mao, Wu ve Zou tarafından Stanford’da yapılan bağımsız değerlendirme Patterns dergisinde 2023’te yayımlandı. Araştırmacılar, insanlar tarafından yazılmış 91 TOEFL kompozisyonu ile yine insanlar tarafından yazılmış 88 ABD sekizinci sınıf kompozisyonu üzerinde yaygın olarak kullanılan yedi dedektörü çalıştırdı.
- Sekizinci sınıf kompozisyonları doğru şekilde sınıflandırıldı — yaklaşık %5,1’i yanlışlıkla işaretlendi.
- TOEFL kompozisyonları için durum böyle değildi: yanlış pozitif oranı ortalama %61,3’tü.
- Yedi dedektörün tamamı TOEFL kompozisyonlarının %19,8’ini yanlışlıkla işaretleme konusunda aynı sonuca vardı.
- Dedektörlerin en az biri kompozisyonların %97,8’ini işaretledi.
Yazarlar bu sonucu, dedektörlerin kullandığı özelliklere bağlıyor. Sınırlı kelime dağarcığı ve öngörülebilir cümle yapısı bir dedektöre makine üretimi gibi görünebilir; ancak bunlar ikinci dilde üretilen yazılarda da yaygındır. Bu nedenle araçlar, insan yazısını istatistiksel sadeliği nedeniyle cezalandırma riski taşır.
Bu çalışma 2023 yılına ait ve dedektörler o zamandan beri değişti. Değişmeyen şey sorunun yapısıdır: bunlar olasılıksal sınıflandırıcılardır ve hiçbiri, birini suçlamak için güvenebileceğiniz belge başına hata oranı yayımlamaz.
Peki otomatik tamamlama bu tabloda nereye oturuyor?
Bu tamamen metnin ne kadarının size ait olduğuna bağlıdır.
| Yaptığınız şey | Dedektörün gördüğü |
|---|---|
| Oluşturduğunuz cümlelerde birkaç kelime tamamlamasını kabul ettiniz | Yapınız ve kelime dağarcığınız size ait olan yazınız |
| Rutin bir cümleyi tamamlamak için arada bir bir ifadeyi kabul ettiniz | Çoğunlukla sizin yazınız; rutin cümleler her iki durumda da rutindir |
| Bir sohbet robotundan paragraf yazmasını istediniz ve paragrafı yapıştırdınız | Üretilmiş metin; çünkü bu metin üretilmiştir |
| İkinci bir dilde, sade biçimde kendiniz yazdınız | Yine de işaretlenebilirsiniz — yukarıya bakın |
Önemli ayrım, metni kendiniz oluşturup oluşturmadığınızdır. Kendi cümlenizi bir öneriyle tamamlamak, cümlenin size ait olmasını sürdürür; üretilmiş bir paragraf istemek ve kabul etmek ise bunu yapmaz.
Özgünlüğünüz değerlendiriliyorsa
- Gerçek kuralı öğrenin. Birçok kurum yazım, dil bilgisi ve tahmine dayalı metin yardımına izin verir; üretilmiş içeriği yasaklar. Bazıları her şeyi yasaklar. Yazılı bir kural, her iki yönde de varsayımda bulunmaktan daha değerlidir.
- Sürüm geçmişinizi saklayın. Google Docs ve Word bunu saklar. Saatler içinde büyüyen; eklemeler, silmeler ve iki kez yazılan cümleler içeren bir belge, yazma eyleminin gerçekleştiğinin kaydıdır — bu, bir puandan farklı türde bir kanıttır ve puanın yanıtlayamayacağı bir şeydir.
- Bir dedektörü alt etmek için metninizi yeniden yazmayın. Bir puanı düşürmek için cümlelere alışılmadık kelimeler eklemek yazınızı kötüleştirir ve bir “insanlaştırıcı” aracın yaptığından ayırt edilemez. Suçlanırsanız yanıt sürüm geçmişidir.
- Bir puanı hüküm olarak değil, konuşma başlatmak için bir başlangıç noktası olarak değerlendirin. Yukarıdaki gibi yanlış pozitif oranları göz önüne alındığında, dürüstçe söylemek gerekirse yapabileceği tek şey budur.
Yerel otomatik tamamlama nerede farklılaşır?
Pratik bir farkın tespit ile hiçbir ilgisi yoktur. Bulut tabanlı yazma yardımcıları, önerilerini oluşturmak için yazdıklarınızı bir sunucuya gönderir. Typeahead llama.cpp aracılığıyla kendi bilgisayarınızda kompakt bir model çalıştırır; bu nedenle bir model indirildikten sonra yazdığınız hiçbir şey hiçbir yere aktarılmaz ve araç tamamen bağlantısız da çalışır.
Zaten yazmakta olduğunuz cümlenin sonraki birkaç kelimesini imlecin yanında önerir ve siz Tab tuşuna basmadıkça hiçbir şey eklemez. Paragraf oluşturmaz ve “bunu benim için yaz” işlevi yoktur — belgenize gerçekten üretilmiş metin ekleyecek özellik budur.
Bunların hiçbiri belirli bir dedektör sonucunu garanti etmez. Cümleleriniz makinenizde kalır ve araç sizin için paragraf oluşturan bir işlev içermez.