Comment fonctionne le texte prédictif : de T9 aux modèles locaux

Le texte prédictif fonctionne en estimant quelles lettres, quel mot ou quelle phrase ont le plus de chances de suivre ce que vous avez déjà saisi, puis en proposant les meilleures options. Cette estimation provient d’un modèle linguistique. Sur les premiers téléphones, il s’agissait d’un dictionnaire trié selon la fréquence d’utilisation des mots. Ensuite, des statistiques ont permis de déterminer quels mots en suivent d’autres. Aujourd’hui, il s’agit généralement d’un réseau neuronal qui analyse toute la phrase et s’exécute sur l’appareil lui-même.

Mais Le guide sur la saisie semi-automatique par IA sur Windows explique comment obtenir des suggestions de phrases sur un PC. Celui-ci décrit le mécanisme qui les produit, génération après génération.

Première génération : un dictionnaire qui lève les ambiguïtés

T9 a résolu un problème matériel. Le clavier d’un téléphone comporte douze touches, dont la plupart portent trois ou quatre lettres. Tegic Communications a déposé son brevet pour un « ordinateur de désambiguïsation à clavier réduit » en 1995, et celui-ci lui a été accordé en 1998. Chaque pression sur une touche est ambiguë. Le logiciel cherche dans le dictionnaire les mots correspondant à la séquence entière et affiche d’abord le plus probable.

La séquence 4-6-6-3 correspond à good, home et gone. T9 ne peut pas savoir lequel vous voulez dire à partir des seules touches. Il propose d’abord le mot le plus fréquent et vous permet de faire défiler les autres. Rien ici ne comprend le langage : il s’agit d’une recherche dans un dictionnaire avec un classement.

Deuxième génération : compter les mots qui en suivent d’autres

La barre de suggestions au-dessus du clavier d’un téléphone a apporté une deuxième idée : prédire le mot suivant avant même que vous ne le saisissiez. La méthode classique consiste à utiliser un modèle n-gramme. Celui-ci compte, dans un vaste corpus de textes, la fréquence à laquelle chaque mot suit le mot ou les deux mots précédents, puis suggère les continuations les plus fréquentes.

SwiftKey a conçu son premier clavier à partir de la technologie des n-grammes. Lorsqu’il a lancé une version neuronale en 2015, TechCrunch a rapporté la description que l’entreprise faisait elle-même de la limite de l’ancienne méthode : elle ne pouvait pas comprendre le sens sous-jacent des mots. Un modèle n-gramme sait que « see you » est souvent suivi de « soon ». Il ignore que « soon » et « shortly » ont presque le même sens, et ne tient compte que de quelques mots précédents.

Troisième génération : les réseaux neuronaux qui apprennent les similarités

Un modèle de langage neuronal représente les mots sous forme de points dans un espace où les mots similaires sont proches les uns des autres. Il peut ainsi faire une supposition pertinente après une combinaison de mots qu’il n’a jamais rencontrée dans ses comptages. Neural Alpha de SwiftKey, lancé en octobre 2015, a été le premier clavier de l’entreprise conçu de cette manière.

Google a décrit l’étape suivante pour Gboard dans un article de 2018 intitulé « Apprentissage fédéré pour la prédiction sur clavier mobile ». Son modèle de prédiction du mot suivant était un réseau neuronal récurrent entraîné sur les téléphones plutôt que sur un serveur : les appareils amélioraient le modèle à partir des données de saisie locales et renvoyaient des mises à jour du modèle, pas le texte. Un article technique de Google indique qu’il comptait environ 1,4 million de paramètres, une taille minuscule selon les normes actuelles. En 2023, Google a indiqué que tous les modèles neuronaux de prédiction du mot suivant de Gboard offraient désormais des garanties de confidentialité différentielle.

Quatrième génération : les transformeurs et les phrases complètes

L’architecture des transformeurs, présentée dans l’article de 2017 « L’attention est tout ce dont vous avez besoin », permet à un modèle de pondérer tous les mots précédents du contexte, et pas seulement les derniers. C’est ce qui rend possibles les suggestions de phrases : le modèle peut tenir compte du sujet et du ton de toute une phrase.

Apple a fait évoluer la saisie sur iPhone dans ce sens avec iOS 17. Son annonce de 2023 décrivait une correction automatique fondée sur « un modèle de langage transformeur, un modèle d’apprentissage automatique de pointe exécuté sur l’appareil pour la prédiction de mots ». Apple a également ajouté des prédictions intégrées qui complètent des mots ou des phrases lorsque l’on appuie sur la barre d’espace.

Les grands modèles de langage fonctionnent de la même façon, mais à une échelle beaucoup plus grande. Ils prédisent le jeton suivant, qui peut être un mot ou une partie de mot, l’ajoutent, puis effectuent une nouvelle prédiction. Une suggestion de phrase correspond à quelques étapes de cette boucle, interrompues tôt et affichées sous forme de « texte fantôme » gris que vous pouvez accepter ou ignorer. Le guide sur le texte fantôme explique à quoi cela ressemble sur Windows.

Ce qui se passe entre une frappe et une suggestion

Quel que soit le modèle, le processus suit les mêmes étapes :

1. Le clavier ou l’application lit le contexte : il recueille le texte qui précède le curseur et, parfois, identifie l’application que vous utilisez.
2. Le modèle attribue une probabilité aux mots ou aux phrases qui pourraient suivre.
3. Le logiciel écarte les suppositions peu fiables, ainsi que les suggestions qui ne sont pas adaptées à certains endroits, comme les champs de mot de passe.
4. Il affiche les une à trois meilleures options : les téléphones présentent une rangée de mots, tandis que les outils de suggestion de phrases affichent du texte fantôme intégré.
5. De nombreux systèmes s’adaptent ensuite aux mots et aux expressions que vous acceptez et saisissez souvent.

L’étape de filtrage compte plus qu’il n’y paraît. Un outil qui affiche toujours quelque chose vous habitue à l’ignorer. Un outil qui reste silencieux lorsqu’il n’est pas sûr se fait remarquer lorsqu’il propose une suggestion.

Pourquoi les prédictions sont souvent erronées

Une prédiction n’est qu’une probabilité. Le modèle peut deviner la forme d’une réponse polie. Il ne peut pas connaître la date que vous êtes sur le point de promettre ni le nom de la personne à laquelle vous pensez. Les premiers mots d’un nouveau message sont les plus difficiles à prédire, car il n’y a presque pas encore de contexte. Les suggestions s’améliorent au fur et à mesure que la phrase s’allonge.

La manière de présenter les suggestions rend les mauvaises suppositions tolérables. Si leur acceptation nécessite une seule touche et que leur rejet n’en nécessite aucune, une mauvaise suggestion ne coûte rien : vous continuez à taper.

Où le texte prédictif fonctionne sur un PC Windows

Windows propose des suggestions de mots pour le clavier physique. Le guide de configuration de Microsoft indique que les mots sont prédits à partir de l’orthographe que vous saisissez. Les prédictions de texte de Word vont plus loin et suggèrent des mots ou des phrases. Microsoft les classe parmi les expériences connectées d’Office qui analysent votre contenu, avec des fonctions hors ligne de base uniquement dans certains scénarios.

Typeahead exécute un modèle de langage compact sur votre propre PC et suggère la suite de la phrase dans des applications Windows comme Word, Outlook, Chrome et WhatsApp, y compris lorsque vous êtes hors ligne. Vous pouvez accepter avec Tab ou la touche Flèche droite. L’article sur pourquoi un petit modèle sur l’appareil suffit explique pourquoi cette tâche n’a pas besoin d’un modèle de la taille du cloud.

Questions fréquentes