Come funziona il testo predittivo: da T9 ai modelli sul dispositivo

Il testo predittivo funziona stimando quali lettere, parole o frasi hanno maggiori probabilità di venire dopo, in base a ciò che hai già digitato, e proponendo le ipotesi migliori. La stima deriva da un modello della lingua. Nei primi telefoni, quel modello era un dizionario ordinato in base alla frequenza di ciascuna parola. In seguito si è basato su statistiche riguardanti le parole che tendono a seguire le altre. Oggi, di solito, è una rete neurale che analizza l’intera frase e viene eseguita direttamente sul dispositivo.

Il guida al completamento automatico con IA su Windows spiega come ottenere suggerimenti di frasi su un PC. Questo articolo illustra il meccanismo che li rende possibili, una generazione alla volta.

Prima generazione: un dizionario che risolve le ambiguità

T9 risolveva un problema hardware. La tastiera di un telefono ha dodici tasti e la maggior parte di essi contiene tre o quattro lettere. Tegic Communications depositò nel 1995 il brevetto per un «computer per la disambiguazione di tastiere ridotte» che fu concesso nel 1998. Ogni pressione di un tasto è ambigua. Il software cerca nel dizionario le parole che corrispondono all’intera sequenza e mostra per prima quella più probabile.

Premi 4-6-6-3 e la sequenza corrisponde a good, home e gone. Con i soli tasti, T9 non può sapere quale intendi. Propone per prima la parola più frequente e ti permette di scorrere le altre. Qui non c’è alcuna comprensione della lingua: è una ricerca nel dizionario con un ordinamento per frequenza.

Seconda generazione: contare quale parola segue un’altra

La striscia di suggerimenti sopra la tastiera del telefono ha introdotto una seconda idea: prevedere la parola successiva prima ancora che tu inizi a digitarla. Il metodo classico per farlo è un modello n-gram. In un ampio corpus di testi, conta quante volte ogni parola segue quella o quelle due precedenti e suggerisce le continuazioni più frequenti.

SwiftKey ha basato la sua prima tastiera sulla tecnologia n-gram. Quando nel 2015 ha lanciato una versione neurale, TechCrunch ha riportato la descrizione che l’azienda stessa dava del limite del vecchio approccio: non era in grado di comprendere il significato intrinseco delle parole. Un modello n-gram sa che «ci vediamo» è spesso seguito da «presto». Non sa che «presto» e «tra poco» hanno quasi lo stesso significato e considera solo un paio di parole precedenti.

Terza generazione: reti neurali che imparano le somiglianze

Un modello linguistico neurale rappresenta le parole come punti in uno spazio, dove quelle simili si trovano vicine. Può quindi fare una previsione sensata anche dopo una combinazione di parole che non ha mai incontrato nei dati. Neural Alpha di SwiftKey, lanciata nell’ottobre 2015, è stata la prima tastiera dell’azienda costruita in questo modo.

Nel 2018 Google ha descritto il passo successivo per Gboard in un articolo, «Federated Learning for Mobile Keyboard Prediction». Il suo modello per la parola successiva era una rete neurale ricorrente addestrata sui telefoni anziché su un server: i dispositivi miglioravano il modello con i dati di digitazione locali e inviavano aggiornamenti del modello, non il testo. Un articolo sui sistemi di Google ne indica la dimensione: circa 1,4 milioni di parametri, pochi secondo gli standard odierni. Nel 2023 Google ha riferito che tutti i modelli neurali di Gboard per la previsione della parola successiva offrono ormai garanzie di privacy differenziale.

Quarta generazione: transformer e frasi intere

L’architettura transformer, presentata nell’articolo del 2017 «Attention Is All You Need», consente a un modello di attribuire un peso a ogni parola precedente nel contesto, non soltanto alle ultime. È questo che rende pratici i suggerimenti a livello di frase: il modello può tenere presente il soggetto e il tono dell’intera frase.

Apple è passata a questa tecnologia per la digitazione su iPhone con iOS 17. Il suo annuncio del 2023 descriveva una correzione automatica basata su «un modello linguistico transformer, un modello linguistico di machine learning all’avanguardia eseguito sul dispositivo per la previsione delle parole». Ha aggiunto anche suggerimenti in linea che completano parole o frasi premendo la barra spaziatrice.

I modelli linguistici di grandi dimensioni funzionano allo stesso modo, ma su scala molto più ampia. Prevedono il token successivo, cioè una parola o una sua parte, lo aggiungono e formulano un’altra previsione. Un suggerimento di frase consiste in alcuni passaggi di questo ciclo, interrotto in anticipo e mostrato come «testo fantasma» grigio, che puoi accettare o ignorare. La guida al testo fantasma spiega come appare su Windows.

Cosa succede tra la pressione di un tasto e un suggerimento

Qualunque sia il modello, il ciclo segue gli stessi passaggi:

1. La tastiera o l’app legge il contesto: raccoglie il testo prima del cursore e, a volte, anche l’app che stai usando.
2. Il modello assegna una probabilità alle possibili parole o frasi successive.
3. Il software elimina le ipotesi con un basso livello di affidabilità e i suggerimenti nei campi in cui non sono appropriati, come quelli per le password.
4. Mostra da uno a tre suggerimenti migliori: i telefoni usano una striscia di parole, mentre gli strumenti per le frasi mostrano testo fantasma in linea.
5. Molti sistemi poi si adattano alle parole e alle frasi che accetti e digiti spesso.

La fase di filtraggio conta più di quanto sembri. Uno strumento che mostra sempre qualcosa ti abitua a ignorarlo. Se invece resta in silenzio quando è incerto, presti attenzione quando propone un suggerimento.

Perché le previsioni sono spesso sbagliate

Una previsione è soltanto una probabilità. Il modello può indovinare la forma di una risposta cortese, ma non può sapere la data che stai per promettere o il nome della persona a cui ti riferisci. Le prime parole di un nuovo messaggio sono le più difficili da prevedere, perché non c’è ancora quasi nessun contesto. I suggerimenti migliorano man mano che la frase si allunga.

Il modo in cui vengono presentati rende tollerabili gli errori. Se per accettare basta premere un tasto e ignorare non richiede alcuna azione, una previsione sbagliata non costa nulla: continui a digitare.

Dove viene eseguito il testo predittivo su un PC Windows

Windows offre suggerimenti a livello di parola per la tastiera fisica. La guida alla configurazione di Microsoft afferma che le parole vengono previste in base a ciò che digiti. Le previsioni di testo di Word vanno oltre e suggeriscono parole o frasi. Microsoft le include tra le esperienze connesse di Office che analizzano i tuoi contenuti, con funzionalità offline di base solo in alcuni scenari.

Typeahead esegue un modello linguistico compatto sul tuo PC e suggerisce il resto della frase nelle app Windows, come Word, Outlook, Chrome e WhatsApp, anche quando sei offline. Puoi accettare il suggerimento con Tab o con la freccia destra. L’articolo su perché basta un piccolo modello sul dispositivo spiega perché per questa attività non serve un modello di dimensioni paragonabili a quelli usati nei servizi cloud.

Domande frequenti