Το προγνωστικό κείμενο λειτουργεί υπολογίζοντας ποια γράμματα, λέξη ή φράση είναι πιθανότερο να ακολουθήσουν, με βάση όσα έχετε ήδη πληκτρολογήσει, και προτείνοντας τις καλύτερες εκτιμήσεις. Η εκτίμηση προκύπτει από ένα μοντέλο της γλώσσας. Στα πρώτα τηλέφωνα, το μοντέλο ήταν ένα λεξικό ταξινομημένο ανάλογα με το πόσο συχνή ήταν κάθε λέξη. Έπειτα, χρησιμοποιούνταν στατιστικά στοιχεία για το ποια λέξη ακολουθεί κάποια άλλη. Σήμερα, συνήθως πρόκειται για ένα νευρωνικό δίκτυο που διαβάζει ολόκληρη την πρόταση και εκτελείται στην ίδια τη συσκευή.
Τις οδηγός για την αυτόματη συμπλήρωση με τεχνητή νοημοσύνη στο Windows εξηγεί πώς μπορείτε να έχετε προτάσεις φράσεων σε PC. Αυτό το άρθρο εξηγεί πώς λειτουργούν, μία γενιά κάθε φορά.
Πρώτη γενιά: ένα λεξικό που αίρει την ασάφεια
Το T9 έλυσε ένα πρόβλημα υλικού. Το πληκτρολόγιο ενός τηλεφώνου έχει δώδεκα πλήκτρα και τα περισσότερα έχουν από τρία ή τέσσερα γράμματα το καθένα. Η Tegic Communications κατέθεσε το δίπλωμα ευρεσιτεχνίας της για έναν «υπολογιστή άρσης ασάφειας για μειωμένο πληκτρολόγιο» το 1995 και αυτό χορηγήθηκε το 1998. Κάθε πάτημα πλήκτρου είναι αμφίσημο. Το λογισμικό αναζητά στο λεξικό ποιες λέξεις αντιστοιχούν σε ολόκληρη την ακολουθία και εμφανίζει πρώτη την πιθανότερη.
Πατήστε 4-6-6-3 και η ακολουθία αντιστοιχεί στις λέξεις good, home και το gone. Το T9 δεν μπορεί να καταλάβει ποια εννοείτε μόνο από τα πλήκτρα. Προτείνει πρώτα την πιο συχνή λέξη και σας αφήνει να εναλλάσσεστε μεταξύ των υπόλοιπων. Εδώ τίποτα δεν κατανοεί τη γλώσσα: πρόκειται για αναζήτηση σε λεξικό με ταξινόμηση.
Δεύτερη γενιά: καταμέτρηση των λέξεων που ακολουθούν άλλες λέξεις
Η λωρίδα προτάσεων πάνω από το πληκτρολόγιο του τηλεφώνου εισήγαγε μια δεύτερη ιδέα: να προβλέπει την επόμενη λέξη πριν πληκτρολογήσετε έστω και ένα γράμμα της. Ο κλασικός τρόπος για να γίνει αυτό είναι ένα μοντέλο n-gram. Καταμετρά, σε ένα μεγάλο σύνολο κειμένων, πόσο συχνά κάθε λέξη ακολουθεί τη μία ή τις δύο προηγούμενες λέξεις και προτείνει τις συχνότερες συνέχειες.
Η SwiftKey βασίστηκε αρχικά στην τεχνολογία n-gram για το πληκτρολόγιό της. Όταν κυκλοφόρησε μια νευρωνική έκδοση το 2015, το TechCrunch ανέφερε την περιγραφή της ίδιας της εταιρείας για τον περιορισμό της παλιάς προσέγγισης: δεν μπορούσε να κατανοήσει το υποκείμενο νόημα των λέξεων. Ένα μοντέλο n-gram γνωρίζει ότι το «see you» ακολουθείται συχνά από το «soon». Δεν έχει ιδέα ότι τα «soon» και «shortly» σημαίνουν σχεδόν το ίδιο, και λαμβάνει υπόψη μόνο μερικές προηγούμενες λέξεις.
Τρίτη γενιά: νευρωνικά δίκτυα που μαθαίνουν ομοιότητες
Ένα νευρωνικό γλωσσικό μοντέλο αναπαριστά τις λέξεις ως σημεία σε έναν χώρο, όπου οι παρόμοιες λέξεις βρίσκονται κοντά η μία στην άλλη. Έτσι, μπορεί να κάνει μια εύλογη πρόβλεψη ύστερα από έναν συνδυασμό λέξεων που δεν έχει συναντήσει ποτέ στις καταμετρήσεις του. Το Neural Alpha της SwiftKey, που κυκλοφόρησε τον Οκτώβριο του 2015, ήταν το πρώτο πληκτρολόγιό της που κατασκευάστηκε με αυτόν τον τρόπο.
Η Google περιέγραψε το επόμενο βήμα για το Gboard σε μια εργασία του 2018, «Federated Learning for Mobile Keyboard Prediction». Το μοντέλο πρόβλεψης της επόμενης λέξης ήταν ένα επαναλαμβανόμενο νευρωνικό δίκτυο, εκπαιδευμένο σε τηλέφωνα και όχι σε διακομιστή: οι συσκευές βελτίωναν το μοντέλο με τοπικά δεδομένα πληκτρολόγησης και έστελναν πίσω ενημερώσεις του μοντέλου, όχι το κείμενο. Μια εργασία της Google για τα συστήματα αναφέρει ότι είχε περίπου 1,4 εκατομμύρια παραμέτρους, αριθμός μικροσκοπικός με τα σημερινά δεδομένα. Το 2023, η Google ανέφερε ότι όλα τα νευρωνικά μοντέλα πρόβλεψης επόμενης λέξης του Gboard παρέχουν πλέον εγγυήσεις διαφορικής ιδιωτικότητας.
Τέταρτη γενιά: μετασχηματιστές και ολόκληρες φράσεις
Η αρχιτεκτονική μετασχηματιστή, που παρουσιάστηκε στην εργασία του 2017 «Attention Is All You Need», επιτρέπει σε ένα μοντέλο να σταθμίζει κάθε προηγούμενη λέξη στο περιβάλλον κειμένου, όχι μόνο τις τελευταίες λίγες. Αυτό καθιστά πρακτικές τις προτάσεις ολόκληρων φράσεων: το μοντέλο μπορεί να λαμβάνει υπόψη το θέμα και τον τόνο ολόκληρης της πρότασης.
Η Apple μετέφερε την πληκτρολόγηση του iPhone σε αυτή την τεχνολογία με το iOS 17. Η ανακοίνωσή της το 2023 περιέγραφε την αυτόματη διόρθωση ως βασισμένη σε «ένα γλωσσικό μοντέλο μετασχηματιστή, ένα υπερσύγχρονο γλωσσικό μοντέλο μηχανικής μάθησης στη συσκευή για την πρόβλεψη λέξεων». Πρόσθεσε επίσης ενσωματωμένες προβλέψεις που συμπληρώνουν λέξεις ή προτάσεις με πάτημα του πλήκτρου διαστήματος.
Τα μεγάλα γλωσσικά μοντέλα λειτουργούν με τον ίδιο τρόπο, αλλά σε πολύ μεγαλύτερη κλίμακα. Προβλέπουν το επόμενο token, δηλαδή μια λέξη ή μέρος μιας λέξης, το προσθέτουν και προβλέπουν ξανά. Μια πρόταση φράσης αποτελείται από μερικούς γύρους αυτής της επανάληψης, η οποία διακόπτεται νωρίς και εμφανίζεται ως γκρίζο «αχνό κείμενο» που μπορείτε να αποδεχτείτε ή να αγνοήσετε. Ο οδηγός για το αχνό κείμενο εξηγεί πώς εμφανίζεται στο Windows.
| Γενιά | Τι εξετάζει | Τι προτείνει | Συνηθισμένη αστοχία |
|---|---|---|---|
| Άρση ασάφειας μέσω λεξικού (T9) | Τα πλήκτρα που πατήθηκαν για μία λέξη | Την πιο συχνή λέξη που αντιστοιχεί | Τη λάθος λέξη για τα ίδια πλήκτρα |
| Στατιστικά n-gram | Την τελευταία μία ή δύο λέξεις | Πιθανές επόμενες λέξεις | Γενικές προτάσεις που αγνοούν το θέμα |
| Επαναλαμβανόμενο νευρωνικό δίκτυο | Την πρόταση μέχρι εκείνη τη στιγμή, σε συμπυκνωμένη μορφή | Επόμενες λέξεις που ταιριάζουν στο νόημα | Χάνει τον ειρμό σε μεγάλες προτάσεις |
| Γλωσσικό μοντέλο μετασχηματιστή | Ολόκληρο το ορατό περιβάλλον κειμένου | Λέξεις, φράσεις ή το υπόλοιπο της πρότασης | Μια ομαλή φράση που δεν εννοούσατε |
Τι συμβαίνει από το πάτημα ενός πλήκτρου μέχρι την εμφάνιση μιας πρότασης
Όποιο κι αν είναι το μοντέλο, η διαδικασία έχει τα ίδια βήματα:
- Το πληκτρολόγιο ή η εφαρμογή διαβάζει το περιβάλλον κειμένου: συλλέγει το κείμενο πριν από τον δρομέα και, μερικές φορές, την εφαρμογή στην οποία βρίσκεστε.
- Το μοντέλο αποδίδει πιθανότητα σε πιθανές επόμενες λέξεις ή φράσεις.
- Το λογισμικό απορρίπτει προβλέψεις με χαμηλή βεβαιότητα, καθώς και προτάσεις σε σημεία όπου δεν πρέπει να εμφανίζονται, όπως σε πεδία κωδικών πρόσβασης.
- Εμφανίζει τις καλύτερες μία έως τρεις προτάσεις: τα τηλέφωνα χρησιμοποιούν μια λωρίδα λέξεων, ενώ τα εργαλεία φράσεων εμφανίζουν ενσωματωμένο αχνό κείμενο.
- Πολλά συστήματα στη συνέχεια προσαρμόζονται στις λέξεις και τις φράσεις που αποδέχεστε και πληκτρολογείτε συχνά.
Το φιλτράρισμα έχει μεγαλύτερη σημασία απ’ ό,τι φαίνεται. Αν ένα εργαλείο εμφανίζει πάντα κάτι, μαθαίνετε να το αγνοείτε. Αν παραμένει σιωπηλό όταν δεν είναι βέβαιο, προσέχετε όταν τελικά προτείνει κάτι.
Γιατί οι προβλέψεις είναι συχνά λανθασμένες
Μια πρόβλεψη είναι απλώς μια πιθανότητα. Το μοντέλο μπορεί να μαντέψει πώς διατυπώνεται μια ευγενική απάντηση. Δεν μπορεί να γνωρίζει ποια ημερομηνία πρόκειται να υποσχεθείτε ή ποιο άτομο εννοείτε. Οι πρώτες λέξεις ενός νέου μηνύματος είναι οι δυσκολότερες στην πρόβλεψη, επειδή δεν υπάρχει ακόμη σχεδόν καθόλου περιβάλλον κειμένου. Οι προτάσεις βελτιώνονται καθώς μεγαλώνει η πρόταση.
Αυτό που κάνει τις λανθασμένες προβλέψεις ανεκτές είναι ο τρόπος με τον οποίο προσφέρονται οι προτάσεις. Αν η αποδοχή απαιτεί ένα πλήκτρο και η αγνόηση κανένα, μια λανθασμένη πρόταση δεν κοστίζει τίποτα: συνεχίζετε να πληκτρολογείτε.
Πού εκτελείται το προγνωστικό κείμενο σε PC Windows
Το Windows διαθέτει προτάσεις κειμένου σε επίπεδο λέξης για το φυσικό πληκτρολόγιο. Ο οδηγός ρύθμισης της Microsoft αναφέρει ότι οι λέξεις προβλέπονται με βάση την ορθογραφία σας καθώς πληκτρολογείτε. Οι προβλέψεις κειμένου του Word προχωρούν περισσότερο και προτείνουν λέξεις ή φράσεις. Η Microsoft τις κατατάσσει μεταξύ των συνδεδεμένες εμπειρίες του Office που αναλύουν το περιεχόμενό σας, με βασικές δυνατότητες εκτός σύνδεσης μόνο σε ορισμένα σενάρια.
Το Typeahead εκτελεί ένα συμπαγές γλωσσικό μοντέλο στον δικό σας PC και προτείνει το υπόλοιπο της πρότασης σε εφαρμογές Windows, όπως το Word, το Outlook, το Chrome και το WhatsApp, ακόμη και όταν είστε εκτός σύνδεσης. Πατήστε Tab ή το δεξί βέλος για αποδοχή. Το άρθρο σχετικά με γιατί αρκεί ένα μικρό μοντέλο στη συσκευή εξηγεί γιατί αυτή η εργασία δεν χρειάζεται ένα μοντέλο μεγέθους cloud.
Συχνές ερωτήσεις
Είναι το προγνωστικό κείμενο μορφή τεχνητής νοημοσύνης;
Μαθαίνει το προγνωστικό κείμενο από όσα πληκτρολογώ;
Γιατί το Windows προτείνει μόνο μεμονωμένες λέξεις;
Γιατί η πρώτη πρόταση σε ένα μήνυμα είναι συνήθως κακή;
Το Typeahead φέρνει την πρόβλεψη φράσεων από τοπικό μοντέλο σε εφαρμογές επιφάνειας εργασίας Windows. Δοκιμάστε το στα δικά σας κείμενα για επτά ημέρες.
Αποκτήστε το Typeahead