Prediktiv text fungerar genom att uppskatta vilka bokstäver, vilket ord eller vilken fras som sannolikt kommer härnäst, utifrån det du redan har skrivit, och sedan erbjuda de bästa förslagen. Uppskattningen bygger på en språkmodell. I de första mobiltelefonerna var den modellen en ordbok sorterad efter hur vanliga orden var. Sedan började systemen använda statistik över vilket ord som följer efter ett annat. I dag är det oftast ett neuralt nätverk som läser hela meningen och körs direkt på enheten.
Dina guide till AI-autokomplettering på Windows handlar om hur du får frasförslag på en PC. Den här artikeln förklarar mekanismen bakom dem, generation för generation.
Generation ett: en ordbok som löser tvetydigheter
T9 löste ett hårdvaruproblem. En telefonknappsats har tolv knappar, och på de flesta finns tre eller fyra bokstäver. Tegic Communications lämnade in patentansökan för en ”dator för att lösa tvetydigheter med ett tangentbord med färre tangenter” 1995, och patentet beviljades 1998. Varje knapptryckning är tvetydig. Programvaran söker i en ordbok efter ord som passar hela sekvensen och visar det mest sannolika ordet först.
Tryck på 4-6-6-3 så passar sekvensen för good, home och gone. T9 kan inte avgöra vilket ord du menar utifrån knapparna ensamma. Det visar det vanligaste ordet först och låter dig bläddra bland de andra. Här finns ingen språkförståelse: det är en ordbokssökning med rangordning.
Generation två: att räkna ut vilket ord som följer efter ett annat
Förslagsraden ovanför ett mobiltelefontangentbord tillförde en andra idé: att förutsäga nästa ord innan du har skrivit någon del av det. Det klassiska sättet att göra det på är en n-grammodell. Den räknar, i en stor textmängd, hur ofta varje ord följer efter det föregående ordet eller de två föregående orden och föreslår de vanligaste fortsättningarna.
SwiftKey byggde sitt tidiga tangentbord med n-gramteknik. När företaget släppte en neural version 2015 rapporterade TechCrunch företagets egen beskrivning av begränsningen med den äldre metoden: den kunde inte förstå ordens underliggande betydelse. En n-grammodell vet att ”see you” ofta följs av ”soon”. Den har ingen aning om att ”soon” och ”shortly” betyder nästan samma sak, och den tittar bara ett par ord bakåt.
Generation tre: neurala nätverk som lär sig likheter
En neural språkmodell representerar ord som punkter i ett rum där ord med liknande betydelse ligger nära varandra. Då kan den göra en rimlig gissning efter en ordkombination som den aldrig har räknat på tidigare. SwiftKeys Neural Alpha, som släpptes i oktober 2015, var företagets första tangentbord byggt på det här sättet.
Google beskrev nästa steg för Gboard i en artikel från 2018, ”Federerad inlärning för mobil tangentbordsprediktion”. Modellen för nästa ord var ett återkommande neuralt nätverk som tränades på telefoner i stället för på en server: enheterna förbättrade modellen med lokala skrivdata och skickade tillbaka modelluppdateringar, inte texten. En artikel om Googles system anger att den hade omkring 1,4 miljoner parametrar, vilket är mycket lite med dagens mått. År 2023 rapporterade Google att alla neurala modeller för nästa ord i Gboard nu har garantier för differentiell integritet.
Generation fyra: transformatorer och hela fraser
Transformatorarkitekturen, som introducerades i artikeln från 2017 ”Attention Is All You Need”, låter en modell väga in varje tidigare ord i kontexten, inte bara de senaste. Det är det som gör förslag på frasnivå praktiska: modellen kan ta hänsyn till hela meningens ämne och ton.
Apple gick över till den här tekniken för iPhone-skrivande i iOS 17. Företagets tillkännagivande från 2023 beskrev autokorrigering baserad på ”en transformatorbaserad språkmodell, en avancerad maskininlärningsmodell på enheten för ordförutsägelse”. Företaget lade också till förslag direkt i texten som kompletterar ord eller meningar när du trycker på blanksteg.
Stora språkmodeller fungerar på samma sätt, men i mycket större skala. De förutsäger nästa token, det vill säga ett ord eller en del av ett ord, lägger till den och förutsäger sedan igen. Ett frasförslag består av några varv i den loopen, som avbryts i förtid och visas som grå ”spöktext” som du kan godkänna eller ignorera. Guiden om spöktext förklarar hur det ser ut på Windows.
| Generation | Vad den tittar på | Vad den föreslår | Typiskt fel |
|---|---|---|---|
| Ordboksbaserad tolkning (T9) | Tangenterna som tryckts ned för ett ord | Det vanligaste ordet som passar | Fel ord för samma tangentsekvens |
| N-gramstatistik | Det senaste eller de två senaste orden | Sannolika nästa ord | Generiska förslag som inte tar hänsyn till ämnet |
| Återkommande neuralt nätverk | Meningen hittills, i komprimerad form | Nästa ord som passar betydelsen | Tappar tråden i långa meningar |
| Transformatorbaserad språkmodell | Hela den synliga kontexten | Ord, fraser eller resten av meningen | En flytande fras som du inte menade |
Vad som händer mellan en tangenttryckning och ett förslag
Oavsett modell följer processen samma steg:
- Tangentbordet eller appen läser kontexten: den samlar in texten före markören och ibland även information om vilken app du använder.
- Modellen tilldelar möjliga nästa ord eller fraser en sannolikhet.
- Programvaran tar bort gissningar med låg säkerhet och förslag på platser där de inte hör hemma, som i lösenordsfält.
- Den visar de bästa ett till tre förslagen: telefoner använder en rad med ord, medan frasverktyg visar spöktext direkt i texten.
- Många system anpassar sig sedan efter ord och fraser som du godkänner och ofta skriver.
Filtreringen är viktigare än man kan tro. Ett verktyg som alltid visar något vänjer dig vid att ignorera det. Ett verktyg som är tyst när det är osäkert får uppmärksamhet när det faktiskt föreslår något.
Varför förutsägelser ofta är fel
En förutsägelse är bara en sannolikhet. Modellen kan gissa hur ett artigt svar brukar se ut. Den kan inte veta vilket datum du tänker lova eller vilken person du menar. De första orden i ett nytt meddelande är svårast att förutsäga, eftersom det nästan inte finns någon kontext än. Förslagen blir bättre i takt med att meningen växer.
Det som gör felaktiga gissningar acceptabla är hur förslagen visas. Om det räcker med en tangenttryckning för att godkänna ett förslag och inget tryck alls för att ignorera det kostar en felaktig gissning ingenting: du fortsätter bara skriva.
Var prediktiv text körs på en Windows-PC
Windows har textförslag på ordnivå för det fysiska tangentbordet. Microsofts installationsguide säger att ord förutsägs utifrån hur du stavar medan du skriver. Words textförslag går längre och föreslår ord eller fraser. Microsoft räknar in dem bland Office-anslutna upplevelser som analyserar ditt innehåll, med grundläggande offlinefunktion endast i vissa situationer.
Typeahead kör en kompakt språkmodell på din egen PC och föreslår resten av meningen i Windows-appar som Word, Outlook, Chrome och WhatsApp, även när du är offline. Du godkänner förslaget med Tab eller högerpilen. Artikeln om varför en liten modell på enheten räcker förklarar varför den här uppgiften inte kräver en enorm molnbaserad modell.
Vanliga frågor
Är prediktiv text en form av AI?
Lär sig prediktiv text av det jag skriver?
Varför föreslår Windows bara enstaka ord?
Varför är det första förslaget i ett meddelande oftast dåligt?
Typeahead tar prediktion på frasnivå från en lokal modell till Windows-skrivbordsappar. Prova den med dina egna texter i sju dagar.
Skaffa Typeahead