Ένας ανιχνευτής δεν μπορεί να γνωρίζει ποιο λογισμικό ήταν ανοιχτό όσο πληκτρολογούσατε. Διαβάζει το ολοκληρωμένο κείμενο και εκτιμά πόσο προβλέψιμες είναι οι επιλογές λέξεων. Η χρήση αυτόματης συμπλήρωσης δεν προσδιορίζει το κείμενο ως προϊόν μηχανής, αλλά οι ανιχνευτές μπορούν και πάλι να ταξινομήσουν λανθασμένα κείμενα γραμμένα από ανθρώπους.
Τι μετρά στην πραγματικότητα ένας ανιχνευτής
Αυτά τα εργαλεία εξετάζουν στατιστικές ιδιότητες του κειμένου: πόσο προβλέψιμη είναι κάθε λέξη με βάση τις προηγούμενες, πόσο ποικίλλει το μήκος των προτάσεων και πόσο ευρύ είναι το λεξιλόγιο. Το κείμενο που παράγεται από ένα γλωσσικό μοντέλο τείνει να βρίσκεται στη μέση των κατανομών υψηλής πιθανότητας, επειδή αυτό είναι που έχει σχεδιαστεί να παράγει το μοντέλο. Η ανθρώπινη γραφή παρεκκλίνει περισσότερο.
Αυτή είναι μια κρίση για το κείμενο, όχι καταγραφή του τρόπου παραγωγής του. Κανένα στοιχείο σε ένα έγγραφο δεν δείχνει ποια πλήκτρα πατήθηκαν κατόπιν υπόδειξης — και, αντίστοιχα, τίποτα δεν προστατεύει γραφή που τυχαίνει να είναι απλή και ομοιόμορφη.
Η έρευνα δεν είναι ευνοϊκή για τους ανιχνευτές
Μια ανεξάρτητη αξιολόγηση των Liang, Yuksekgonul, Mao, Wu και Zou στο Stanford δημοσιεύτηκε στο Patterns το 2023. Δοκίμασαν επτά ευρέως χρησιμοποιούμενους ανιχνευτές σε 91 εκθέσεις TOEFL γραμμένες από ανθρώπους και 88 εκθέσεις μαθητών της όγδοης τάξης στις ΗΠΑ, επίσης γραμμένες από ανθρώπους.
- Οι εκθέσεις της όγδοης τάξης ταξινομήθηκαν με ακρίβεια — περίπου το 5,1% επισημάνθηκε εσφαλμένα.
- Οι εκθέσεις TOEFL όχι: το μέσο ποσοστό ψευδώς θετικών αποτελεσμάτων ήταν 61,3%.
- Και οι επτά ανιχνευτές συμφώνησαν επισημαίνοντας εσφαλμένα το 19,8% των εκθέσεων TOEFL.
- Τουλάχιστον ένας ανιχνευτής επισήμανε το 97,8% τους.
Οι συγγραφείς αποδίδουν αυτό το αποτέλεσμα στα χαρακτηριστικά που χρησιμοποιούν οι ανιχνευτές. Το περιορισμένο εύρος λεξιλογίου και η προβλέψιμη δομή προτάσεων μπορεί να μοιάζουν με γραφή μηχανής σε έναν ανιχνευτή, αλλά είναι επίσης συνηθισμένα χαρακτηριστικά γραφής σε δεύτερη γλώσσα. Επομένως, τα εργαλεία κινδυνεύουν να τιμωρούν την ανθρώπινη γραφή επειδή είναι στατιστικά απλή.
Η μελέτη είναι του 2023 και οι ανιχνευτές έχουν αλλάξει έκτοτε. Αυτό που δεν έχει αλλάξει είναι η φύση του προβλήματος: πρόκειται για πιθανοτικούς ταξινομητές και κανένας τους δεν δημοσιεύει ποσοστό σφάλματος ανά έγγραφο στο οποίο θα μπορούσατε να βασιστείτε για να κατηγορήσετε κάποιον.
Πού εντάσσεται, λοιπόν, η αυτόματη συμπλήρωση;
Εξαρτάται αποκλειστικά από το πόσο από το κείμενο είναι δικό σας.
| Τι κάνατε | Τι βλέπει ο ανιχνευτής |
|---|---|
| Αποδεχτήκατε μερικές συμπληρώσεις λέξεων σε προτάσεις που συνθέσατε | Το δικό σας κείμενο, με τη δική σας δομή και το δικό σας λεξιλόγιο |
| Αποδεχτήκατε πού και πού μια φράση για να ολοκληρώσετε μια συνηθισμένη πρόταση | Κυρίως δικό σας κείμενο· οι συνηθισμένες προτάσεις παραμένουν συνηθισμένες έτσι κι αλλιώς |
| Ζητήσατε από ένα chatbot να γράψει την παράγραφο και την επικολλήσατε | Παραγόμενο κείμενο, επειδή είναι παραγόμενο κείμενο |
| Το γράψατε μόνοι σας, με απλό τρόπο, σε δεύτερη γλώσσα | Μπορεί και πάλι να επισημανθεί — δείτε παραπάνω |
Η σχετική διάκριση είναι αν συνθέσατε εσείς το κείμενο. Όταν ολοκληρώνετε τη δική σας πρόταση με μια υπόδειξη, η σύνθεση παραμένει δική σας· όταν ζητάτε και αποδέχεστε μια παραγόμενη παράγραφο, όχι.
Αν αξιολογείστε ως προς την πρωτοτυπία
- Μάθετε ποιος είναι ο πραγματικός κανόνας. Πολλά ιδρύματα επιτρέπουν τη βοήθεια στην ορθογραφία, τη γραμματική και το προγνωστικό κείμενο, αλλά απαγορεύουν το παραγόμενο περιεχόμενο. Ορισμένα απαγορεύουν τα πάντα. Ένας γραπτός κανονισμός αξίζει περισσότερο από οποιαδήποτε υπόθεση.
- Κρατήστε το ιστορικό εκδόσεων. Τόσο τα Έγγραφα Google όσο και το Word διατηρούν ιστορικό εκδόσεων. Ένα έγγραφο που αναπτύχθηκε επί ώρες, με προσθήκες, διαγραφές και προτάσεις που γράφτηκαν δύο φορές, καταγράφει τη συγγραφή καθώς συμβαίνει — ένα διαφορετικό είδος αποδεικτικού στοιχείου από μια βαθμολογία, για το οποίο η βαθμολογία δεν μπορεί να απαντήσει.
- Μην ξαναγράφετε το κείμενο για να ξεγελάσετε έναν ανιχνευτή. Το να γεμίζετε τις προτάσεις με ασυνήθιστες λέξεις για να μειώσετε τη βαθμολογία χειροτερεύει το κείμενό σας και δεν διαφέρει από αυτό που κάνει ένα εργαλείο «εξανθρωπισμού». Αν κατηγορηθείτε, η απάντηση είναι το ιστορικό εκδόσεων.
- Αντιμετωπίστε τη βαθμολογία ως αφετηρία για συζήτηση, όχι ως ετυμηγορία. Με ποσοστά ψευδώς θετικών αποτελεσμάτων όπως τα παραπάνω, μόνο έτσι μπορεί να χρησιμοποιηθεί με ειλικρίνεια.
Πού διαφέρει η τοπική αυτόματη συμπλήρωση
Υπάρχει μία πρακτική διαφορά που δεν έχει καμία σχέση με την ανίχνευση. Οι βοηθοί γραφής στο cloud στέλνουν σε έναν διακομιστή ό,τι πληκτρολογείτε, ώστε να δημιουργήσουν τις προτάσεις τους. Typeahead εκτελεί ένα συμπαγές μοντέλο στον δικό σας υπολογιστή μέσω του llama.cpp, οπότε, αφού κατεβάσετε ένα μοντέλο, τίποτα από όσα γράφετε δεν μεταδίδεται πουθενά και λειτουργεί χωρίς καμία σύνδεση.
Προτείνει τις επόμενες λίγες λέξεις της πρότασης που ήδη γράφετε, δίπλα στον δρομέα, και δεν εισάγει τίποτα αν δεν πατήσετε Tab. Δεν δημιουργεί παραγράφους και δεν διαθέτει λειτουργία «γράψε το για μένα» — δηλαδή τη δυνατότητα που πράγματι θα πρόσθετε παραγόμενο κείμενο στο έγγραφό σας.
Τίποτα από αυτά δεν εγγυάται συγκεκριμένο αποτέλεσμα από κάποιον ανιχνευτή. Οι προτάσεις σας παραμένουν στον υπολογιστή σας και το εργαλείο δεν περιλαμβάνει λειτουργία που να δημιουργεί παραγράφους για εσάς.