Voorspellende tekst werkt door in te schatten welke letter, welk woord of welke zin waarschijnlijk volgt op wat je al hebt getypt, en de beste opties voor te stellen. Die inschatting komt uit een taalmodel. Bij de eerste telefoons was dat model een woordenboek, gerangschikt op hoe vaak elk woord voorkwam. Daarna kwamen statistieken over welk woord op welk ander woord volgt. Tegenwoordig is het meestal een neuraal netwerk dat de hele zin leest en op het apparaat zelf draait.
Maar gids voor AI-autocomplete op Windows beschrijft hoe je zinsuggesties op een pc krijgt. Dit artikel legt uit hoe ze werken, generatie voor generatie.
Generatie één: een woordenboek dat dubbelzinnigheid oplost
T9 loste een hardwareprobleem op. Een telefoontoetsenbord heeft twaalf toetsen en de meeste daarvan bevatten elk drie of vier letters. Tegic Communications diende in 1995 een patentaanvraag in voor een ‘computer voor het oplossen van dubbelzinnigheid met een verkleind toetsenbord’ die in 1998 werd toegekend. Elke toetsaanslag is dubbelzinnig. De software zoekt op welke woorden uit het woordenboek overeenkomen met de volledige reeks en toont eerst het meest waarschijnlijke woord.
Druk op 4-6-6-3 en de reeks past bij good, home en gone. T9 kan op basis van alleen de toetsen niet weten welk woord je bedoelt. Het toont eerst het meest voorkomende woord en laat je door de andere mogelijkheden bladeren. Het systeem begrijpt hier niets van taal: het zoekt woorden op in een woordenboek en rangschikt ze.
Generatie twee: tellen welk woord op welk ander woord volgt
De suggestiebalk boven een telefoontoetsenbord voegde een tweede idee toe: het volgende woord voorspellen voordat je het typt. De klassieke manier om dat te doen is met een n-grammodel. Dat telt in een grote verzameling teksten hoe vaak elk woord volgt op het voorgaande woord of de twee voorgaande woorden, en stelt de meest voorkomende vervolgwoorden voor.
SwiftKey bouwde zijn eerste toetsenbord op n-gramtechnologie. Toen het bedrijf in 2015 een neurale versie uitbracht, berichtte TechCrunch over de beschrijving die het bedrijf zelf gaf van de beperking van de oude aanpak: die kon de onderliggende betekenis van woorden niet begrijpen. Een n-grammodel weet dat op ‘see you’ vaak ‘soon’ volgt. Het heeft geen idee dat ‘soon’ en ‘shortly’ bijna hetzelfde betekenen, en kijkt maar een paar woorden terug.
Generatie drie: neurale netwerken die overeenkomsten leren
Een neuraal taalmodel stelt woorden voor als punten in een ruimte, waarbij woorden met een vergelijkbare betekenis dicht bij elkaar liggen. Daardoor kan het een zinnige gok doen na een woordcombinatie die het nog nooit heeft geteld. Neural Alpha van SwiftKey, uitgebracht in oktober 2015, was het eerste toetsenbord van het bedrijf dat op deze manier was gebouwd.
Google beschreef de volgende stap voor Gboard in een artikel uit 2018, ‘Federated Learning for Mobile Keyboard Prediction’. Het model voor het volgende woord was een recurrent neuraal netwerk dat op telefoons werd getraind, in plaats van op een server: apparaten verbeterden het model met lokale typgegevens en stuurden modelupdates terug, niet de tekst. Een artikel van Google over de systemen vermeldt dat het ongeveer 1,4 miljoen parameters bevatte, piepklein naar de maatstaven van vandaag. Google meldde in 2023 dat alle neurale modellen van Gboard voor voorspellingen van het volgende woord nu garanties voor differentiële privacy bieden.
Generatie vier: transformers en volledige zinnen
Dankzij de transformerarchitectuur, geïntroduceerd in het artikel uit 2017 ‘Attention Is All You Need’, kan een model elk eerder woord in de context meewegen, niet alleen de laatste paar woorden. Daardoor zijn suggesties op zinsniveau praktisch haalbaar: het model kan het onderwerp en de toon van een hele zin in het oog houden.
Apple stapte in iOS 17 over op deze technologie voor typen op de iPhone. De aankondiging uit 2023 beschreef autocorrectie op basis van ‘een taalmodel met transformerarchitectuur, een geavanceerd machinelearningtaalmodel op het apparaat voor woordvoorspelling’. Apple voegde ook inline voorspellingen toe waarmee je woorden of zinnen kunt aanvullen door op de spatiebalk te tikken.
Grote taalmodellen werken op dezelfde manier, maar op veel grotere schaal. Ze voorspellen het volgende token, een woord of een deel van een woord, voegen het toe en voorspellen opnieuw. Een zinsuggestie bestaat uit een paar rondes van die lus, die vroeg wordt afgebroken en als grijze ‘spooktekst’ wordt getoond, die je kunt accepteren of negeren. De gids over spooktekst laat zien hoe dat eruitziet op Windows.
| Generatie | Waar het naar kijkt | Wat het voorstelt | Typische fout |
|---|---|---|---|
| Onderscheid maken met een woordenboek (T9) | De toetsen die voor één woord zijn ingedrukt | Het meest voorkomende woord dat bij de toetsen past | Het verkeerde woord bij dezelfde toetsen |
| N-gramstatistieken | De laatste een of twee woorden | Waarschijnlijke volgende woorden | Algemene suggesties die geen rekening houden met het onderwerp |
| Recurrent neuraal netwerk | De zin tot nu toe, samengevat | Volgende woorden die bij de betekenis passen | Raakt de draad kwijt in lange zinnen |
| Transformer-taalmodel | De volledige zichtbare context | Woorden, zinnen of de rest van de zin | Een vloeiende zin die je niet bedoelde |
Wat er gebeurt tussen een toetsaanslag en een suggestie
Welk model er ook wordt gebruikt, de stappen zijn hetzelfde:
- Het toetsenbord of de app leest de context: het verzamelt de tekst vóór de cursor en soms ook informatie over de app die je gebruikt.
- Het model kent een waarschijnlijkheid toe aan mogelijke volgende woorden of zinnen.
- De software laat voorspellingen met weinig vertrouwen vallen, evenals suggesties op plekken waar ze niet thuishoren, zoals wachtwoordvelden.
- Het toont de beste één tot drie opties: telefoons gebruiken een balk met woorden, zinstools tonen inline spooktekst.
- Veel systemen passen zich vervolgens aan de woorden en zinnen aan die je accepteert en vaak typt.
De filterstap is belangrijker dan je misschien denkt. Een tool die altijd iets laat zien, leert je de suggesties te negeren. Een tool die stil blijft als hij twijfelt, krijgt aandacht wanneer hij wel iets voorstelt.
Waarom voorspellingen vaak fout zijn
Een voorspelling is slechts een waarschijnlijkheid. Het model kan de vorm van een beleefd antwoord raden. Het kan niet weten welke datum je op het punt staat te beloven of welke persoon je bedoelt. De eerste woorden van een nieuw bericht zijn het moeilijkst te voorspellen, omdat er nog vrijwel geen context is. Suggesties worden beter naarmate de zin langer wordt.
Wat verkeerde voorspellingen draaglijk maakt, is de manier waarop suggesties worden aangeboden. Als accepteren één toetsaanslag kost en negeren geen enkele, kost een verkeerde voorspelling niets: je typt gewoon verder.
Waar voorspellende tekst op een Windows-pc beschikbaar is
Windows biedt woordsuggesties voor het fysieke toetsenbord. Volgens de installatiehandleiding van Microsoft worden woorden voorspeld op basis van je spelling terwijl je typt. De tekstvoorspellingen van Word gaan verder en stellen woorden of zinnen voor. Microsoft rekent deze functie tot de Office-verbonden ervaringen die je inhoud analyseren, met alleen in sommige situaties een beperkte offlinewerking.
Typeahead draait een compact taalmodel op je eigen pc en stelt het vervolg van de zin voor in Windows-apps zoals Word, Outlook, Chrome en WhatsApp, ook als je offline bent. Je accepteert de suggestie met Tab of de rechterpijltoets. Het artikel over waarom een klein model op je apparaat volstaat legt uit waarom je voor deze taak geen model van cloudformaat nodig hebt.
Veelgestelde vragen
Is voorspellende tekst een vorm van AI?
Leert voorspellende tekst van wat ik typ?
Waarom stelt Windows alleen losse woorden voor?
Waarom is de eerste suggestie in een bericht meestal slecht?
Typeahead brengt voorspellingen op zinsniveau met een lokaal model naar Windows-desktopapps. Probeer het zeven dagen uit met je eigen teksten.
Download Typeahead