لا تستطيع أداة الكشف معرفة البرنامج المفتوح أثناء كتابتك. فهي تقرأ النص النهائي وتقدّر مدى قابلية التنبؤ باختيارات الكلمات. لا يحدد استخدام الإكمال التلقائي النص على أنه ناتج عن آلة، لكن أدوات الكشف قد تسيء مع ذلك تصنيف الكتابة البشرية.
ما الذي تقيسه أداة الكشف فعلًا
تنظر هذه الأدوات إلى الخصائص الإحصائية للنص: مدى قابلية التنبؤ بكل كلمة بالنظر إلى الكلمات التي سبقتها، ومدى اختلاف أطوال الجمل، واتساع المفردات. يميل النص الذي ينشئه نموذج لغوي إلى الوقوع في المنطقة الوسطى عالية الاحتمال من هذه التوزيعات، لأن هذا هو ما صُمم النموذج لإنتاجه. أما الكتابة البشرية فتتجول أكثر.
هذا حكم على النص، وليس سجلًا لكيفية إنتاجه. لا يوجد في المستند ما يوضح أي مفاتيح جاءت من اقتراح — وبالمثل، لا يحمي شيئًا الكتابة التي تصادف أن تكون بسيطة ومنتظمة.
الأبحاث لا تنصف أدوات الكشف
نُشر تقييم مستقل أجراه Liang وYuksekgonul وMao وWu وZou في Stanford في Patterns عام 2023. شغّلوا سبع أدوات كشف مستخدمة على نطاق واسع على 91 مقالة TOEFL كتبها أشخاص و88 مقالة كتبها طلاب الصف الثامن في الولايات المتحدة، وكانت هذه أيضًا مكتوبة من أشخاص.
- صُنّفت مقالات الصف الثامن بدقة — إذ صُنّف نحو 5.1% منها بالخطأ.
- أما مقالات TOEFL فلم تُصنّف بدقة: فقد بلغ متوسط معدل النتائج الإيجابية الكاذبة 61.3%.
- اتفقت أدوات الكشف السبع كلها على تصنيف 19.8% من مقالات TOEFL بالخطأ.
- صنّفت أداة كشف واحدة على الأقل 97.8% منها بالخطأ.
يعزو المؤلفون هذه النتيجة إلى السمات التي تستخدمها أدوات الكشف. فقد يبدو نطاق المفردات المحدود وبنية الجمل المتوقعة شبيهين بكتابة الآلة بالنسبة إلى أداة الكشف، لكنهما شائعان أيضًا في الكتابة المنتجة بلغة ثانية. ولذلك تخاطر هذه الأدوات بمعاقبة الكتابة البشرية بسبب بساطتها الإحصائية.
تعود هذه الدراسة إلى عام 2023، وقد تغيرت أدوات الكشف منذ ذلك الحين. لكن ما لم يتغير هو طبيعة المشكلة: فهذه مصنّفات احتمالية، ولا تنشر أي منها معدل خطأ لكل مستند يمكنك الاعتماد عليه لاتهام شخص ما.
إذًا، أين يقع الإكمال التلقائي؟
يعتمد الأمر بالكامل على مقدار النص الذي كتبته بنفسك.
| ما فعلته | ما تراه أداة الكشف |
|---|---|
| قبلت إكمال بضع كلمات في جمل صغتها بنفسك | كتابتك، ببنيتها ومفرداتها |
| قبلت عبارة من حين إلى آخر لإنهاء جملة اعتيادية | كتابتك في معظمها؛ فالجمل الاعتيادية تظل اعتيادية في كلتا الحالتين |
| طلبت من روبوت محادثة كتابة الفقرة ثم لصقتها | نص مُنشأ، لأنه نص مُنشأ |
| كتبت النص بنفسك وبوضوح، بلغة ثانية | قد يُصنّف بالخطأ على أي حال — راجع ما سبق |
التمييز المهم هو ما إذا كنت قد صغت النص بنفسك. إن إنهاء جملتك الخاصة باقتراح يحافظ على صياغتك، بينما لا يحافظ طلب فقرة مُنشأة وقبولها على ذلك.
إذا كنت تخضع لتقييم يعتمد على الأصالة
- اكتشف القاعدة الفعلية. تسمح مؤسسات كثيرة بالمساعدة في الإملاء والقواعد والنص التنبؤي، وتحظر المحتوى المُنشأ. وتحظر بعض المؤسسات كل شيء. القاعدة المكتوبة أفضل من الافتراض في أي من الاتجاهين.
- احتفظ بسجل إصداراتك. يحتفظ كل من Google Docs وWord بسجل للإصدارات. فالمستند الذي نما على مدار ساعات، مع إضافات وحذوفات وجمل كُتبت مرتين، يمثل سجلًا لحدوث الكتابة — وهو نوع مختلف من الأدلة عن النتيجة، ولا تستطيع النتيجة الإجابة عنه.
- لا تعِد كتابة النص للتحايل على أداة الكشف. إن حشو الجمل بكلمات غير مألوفة لخفض النتيجة يجعل كتابتك أسوأ، ولا يمكن تمييزه عما تفعله أداة “إضفاء الطابع البشري”. إذا اتُّهمت، فسجل الإصدارات هو الإجابة.
- تعامل مع النتيجة على أنها بداية لحوار، لا حكمًا نهائيًا. بالنظر إلى معدلات النتائج الإيجابية الكاذبة المذكورة أعلاه، فهذا كل ما يمكنها أن تكونه بصدق.
متى يختلف الإكمال التلقائي المحلي
هناك فرق عملي لا علاقة له بالكشف. ترسل مساعدات الكتابة السحابية ما تكتبه إلى خادم لإنشاء اقتراحاتها. Typeahead يشغّل Typeahead نموذجًا مدمجًا على جهاز الكمبيوتر الخاص بك عبر llama.cpp، لذلك، بعد تنزيل النموذج، لا يُرسل أي شيء تكتبه إلى أي مكان، ويعمل دون اتصال تمامًا.
يقترح الكلمات القليلة التالية من الجملة التي تكتبها بالفعل، بجوار المؤشر، ولا يُدرج شيئًا إلا إذا ضغطت على Tab. ولا ينشئ فقرات، ولا يملك وظيفة “اكتب هذا بالنيابة عني” — وهي الميزة التي كانت ستضع نصًا مُنشأ في مستندك فعلًا.
لا يضمن أي من ذلك نتيجة معينة لأداة كشف. تظل جملك على جهازك، ولا تتضمن الأداة وظيفة تنشئ فقرات بالنيابة عنك.