Jak funguje prediktivní text: od T9 po modely přímo v zařízení

Prediktivní textování funguje tak, že odhaduje, která písmena, slovo nebo fráze budou s ohledem na to, co jste již napsali, nejspíš následovat, a nabízí nejlepší odhady. Odhad vychází z jazykového modelu. U prvních telefonů šlo o slovník seřazený podle četnosti jednotlivých slov. Později systém využíval statistiky toho, které slovo následuje po kterém. Dnes jde obvykle o neuronovou síť, která čte celou větu a běží přímo v zařízení.

Ale průvodce automatickým doplňováním pomocí AI v Windows popisuje, jak získat návrhy celých frází na počítači. Tento článek vysvětluje mechanismus, který za nimi stojí, generaci po generaci.

První generace: slovník, který řeší nejednoznačnost

T9 řešil hardwarový problém. Telefonní klávesnice má dvanáct kláves a většina z nich obsahuje tři nebo čtyři písmena. Společnost Tegic Communications podala v roce 1995 patentovou přihlášku na „počítač pro rozlišování nejednoznačností na redukované klávesnici“ a patent jí byl udělen v roce 1998. Každý stisk klávesy je nejednoznačný. Software vyhledá ve slovníku slova odpovídající celé posloupnosti a nejpravděpodobnější z nich zobrazí jako první.

Stiskněte 4-6-6-3 a posloupnost odpovídá slovům good, home a gone. T9 nedokáže pouze podle kláves poznat, které z nich máte na mysli. Nejprve nabídne nejčastější slovo a umožní vám přepínat mezi ostatními. Nic tu jazyku nerozumí: jde o vyhledávání ve slovníku a řazení výsledků.

Druhá generace: počítání toho, které slovo následuje po kterém

Pruh návrhů nad klávesnicí telefonu přidal druhou myšlenku: předpovědět další slovo ještě předtím, než ho začnete psát. Klasickým způsobem, jak toho dosáhnout, je model n-gramů. Ten ve velkém množství textu počítá, jak často po daném slově nebo dvou předchozích slovech následují jednotlivá slova, a navrhuje nejčastější pokračování.

SwiftKey postavil svou první klávesnici na technologii n-gramů. Když v roce 2015 vydal neuronovou verzi, TechCrunch informoval o popisu omezení staršího přístupu, který uvedla sama společnost: nedokázal pochopit základní význam slov. Model n-gramů ví, že po „see you“ často následuje „soon“. Netuší, že „soon“ a „shortly“ znamenají téměř totéž, a bere v úvahu jen několik předchozích slov.

Třetí generace: neuronové sítě, které se učí podobnosti

Neuronový jazykový model představuje slova jako body v prostoru, kde si podobná slova leží blízko sebe. Díky tomu dokáže rozumně odhadnout pokračování i po kombinaci slov, kterou nikdy předtím nespočítal. Neural Alpha od SwiftKey, vydaná v říjnu 2015, byla první klávesnicí společnosti postavenou tímto způsobem.

Google popsal další krok pro Gboard v článku z roku 2018 s názvem „Federované učení pro predikci na mobilní klávesnici“. Jeho model pro predikci dalšího slova byl rekurentní neuronovou sítí trénovanou na telefonech, nikoli na serveru: zařízení model vylepšovala pomocí místních údajů o psaní a odesílala zpět aktualizace modelu, nikoli samotný text. Článek o systémech Google uvádí, že měl přibližně 1,4 milionu parametrů, což je podle dnešních měřítek velmi málo. V roce 2023 Google oznámil, že všechny neuronové modely Gboardu pro predikci dalšího slova nyní poskytují záruky diferenciálního soukromí.

Čtvrtá generace: transformery a celé fráze

Architektura transformerů, představená v článku z roku 2017 s názvem „Pozornost je vše, co potřebujete“, umožňuje modelu přikládat váhu každému dřívějšímu slovu v kontextu, nejen několika posledním. Díky tomu jsou praktické návrhy celých frází: model dokáže zohlednit podmět i tón celé věty.

Apple přešel na tuto technologii při psaní na iPhonu v systému iOS 17. Jeho oznámení z roku 2023 popisovalo automatické opravy založené na „jazykovém modelu typu transformer, nejmodernějším jazykovém modelu strojového učení v zařízení pro predikci slov“. Přibyly také průběžné návrhy, které klepnutím na mezerník doplní slova nebo věty.

Velké jazykové modely fungují stejně, jen v mnohem větším měřítku. Předpovídají další token, tedy slovo nebo jeho část, připojí ho a předpovídají znovu. Návrh fráze představuje několik opakování tohoto cyklu, který se předčasně zastaví a zobrazí se jako šedý „průsvitný text“, který můžete přijmout, nebo ignorovat. Průvodce průsvitným textem vysvětluje, jak to vypadá v Windows.

Co se děje mezi stiskem klávesy a návrhem

Ať už jde o jakýkoli model, postup má stejné kroky:

1. Klávesnice nebo aplikace načte kontext: shromáždí text před kurzorem a někdy také zjistí, v jaké aplikaci se nacházíte.
2. Model přiřadí pravděpodobnost možným dalším slovům nebo frázím.
3. Software vyřadí odhady s nízkou mírou jistoty i návrhy v místech, kam nepatří, například v polích pro hesla.
4. Zobrazí jeden až tři nejlepší návrhy: telefony používají pruh se slovy, nástroje pro návrhy frází zobrazují průsvitný text přímo vepsaném místě.
5. Mnohé systémy se pak přizpůsobují slovům a frázím, které přijímáte a často píšete.

Filtrování je důležitější, než se může zdát. Nástroj, který vždy něco zobrazí, vás naučí návrhy ignorovat. Když nástroj zůstane zticha, pokud si není jistý, jeho návrh si přečtete, když už se objeví.

Proč jsou předpovědi často špatné

Předpověď je pouze pravděpodobnostní odhad. Model může odhadnout podobu zdvořilé odpovědi. Nemůže vědět, jaké datum se chystáte slíbit ani koho máte na mysli. První slova nové zprávy se předpovídají nejobtížněji, protože téměř chybí kontext. Návrhy se zlepšují s tím, jak věta roste.

Chybné odhady jsou snesitelné díky způsobu, jakým se návrhy nabízejí. Pokud přijetí vyžaduje stisk jedné klávesy a ignorování žádný, chybný odhad nic nestojí: prostě píšete dál.

Kde na počítači Windows běží prediktivní textování

Windows nabízí návrhy jednotlivých slov pro fyzickou klávesnici. Průvodce nastavením od Microsoftu uvádí že se slova předpovídají podle toho, jak je píšete. Predikce textu ve Wordu jde dál a navrhuje slova nebo fráze. Microsoft je řadí mezi propojené funkce Office, které analyzují váš obsah, přičemž základní funkce offline jsou dostupné pouze v některých situacích.

Typeahead spouští kompaktní jazykový model přímo na vašem počítači a navrhuje zbytek věty v aplikacích Windows, jako jsou Word, Outlook, Chrome a WhatsApp, a to i offline. Návrh přijmete klávesou Tab nebo šipkou doprava. Článek o proč na automatické doplňování stačí malý model přímo v zařízení vysvětluje, proč tento úkol nevyžaduje cloudový model.

Časté dotazy