Jak działa przewidywanie tekstu: od T9 do modeli działających na urządzeniu

Tekst predykcyjny działa, szacując, które litery, słowo lub fraza najprawdopodobniej pojawią się jako następne na podstawie dotychczas wpisanego tekstu, i proponując najlepsze typy. Szacunek pochodzi z modelu języka. W pierwszych telefonach był to słownik uporządkowany według częstotliwości użycia słów. Później pojawiły się statystyki dotyczące tego, które słowa następują po których. Dziś jest to zwykle sieć neuronowa, która analizuje całe zdanie i działa bezpośrednio na urządzeniu.

Ale przewodnik po autouzupełnianiu AI w Windows wyjaśnia, jak uzyskać podpowiedzi fraz na komputerze. Ten artykuł opisuje mechanizm ich działania, generacja po generacji.

Pierwsza generacja: słownik rozstrzygający niejednoznaczności

T9 rozwiązywał problem sprzętowy. Klawiatura telefonu ma dwanaście klawiszy, a większość z nich przypisano do trzech lub czterech liter. Firma Tegic Communications zgłosiła patent na „komputer rozstrzygający niejednoznaczności w zredukowanej klawiaturze” w 1995 roku, a patent przyznano w 1998 roku. Każde naciśnięcie klawisza jest niejednoznaczne. Oprogramowanie sprawdza w słowniku, które słowa pasują do całej sekwencji, i jako pierwsze wyświetla najbardziej prawdopodobne.

Wpisz 4-6-6-3, a sekwencja może oznaczać dobry, dom oraz gonić. Na podstawie samych klawiszy T9 nie może stwierdzić, które słowo masz na myśli. Najpierw podaje słowo najczęściej używane, a pozostałe możesz wybrać, przechodząc przez listę. System niczego tu nie rozumie — przeszukuje słownik i porządkuje wyniki.

Druga generacja: zliczanie, które słowa następują po których

Pasek podpowiedzi nad klawiaturą telefonu wprowadził drugi pomysł: przewidywanie następnego słowa, zanim zaczniesz je wpisywać. Klasycznym rozwiązaniem jest model n-gramowy. Zlicza on w dużym zbiorze tekstów, jak często dane słowo występuje po jednym lub dwóch poprzedzających je słowach, i podpowiada najczęstsze dalsze ciągi.

SwiftKey zbudował swoją pierwszą klawiaturę w oparciu o technologię n-gramów. Gdy w 2015 roku firma udostępniła wersję neuronową, TechCrunch opisał własne wyjaśnienie firmy dotyczące ograniczeń wcześniejszego podejścia: nie potrafiło ono rozumieć podstawowego znaczenia słów. Model n-gramowy wie, że po „do zobaczenia” często następuje „wkrótce”. Nie wie, że „wkrótce” i „niedługo” znaczą niemal to samo, i uwzględnia tylko kilka poprzednich słów.

Trzecia generacja: sieci neuronowe uczące się podobieństw

Neuronowy model językowy przedstawia słowa jako punkty w przestrzeni, w której podobne słowa znajdują się blisko siebie. Dzięki temu potrafi sensownie zgadnąć, co nastąpi po kombinacji słów, której wcześniej nie zliczył. Neural Alpha od SwiftKey, udostępniony w październiku 2015 roku, był pierwszą klawiaturą firmy zbudowaną w ten sposób.

W artykule z 2018 roku Google opisało kolejny etap rozwoju Gboard: „Federated Learning for Mobile Keyboard Prediction”. Model przewidujący następne słowo był rekurencyjną siecią neuronową trenowaną na telefonach, a nie na serwerze: urządzenia ulepszały model na podstawie lokalnych danych wpisywania i odsyłały aktualizacje modelu, a nie tekst. Artykuł Google o systemach podaje, że model ma około 1.4 miliona parametrów, czyli niewiele według dzisiejszych standardów. W 2023 roku Google poinformowało, że wszystkie neuronowe modele Gboard do przewidywania następnego słowa zapewniają teraz gwarancje prywatności różnicowej.

Czwarta generacja: transformatory i całe frazy

Architektura transformera, przedstawiona w artykule z 2017 roku „Attention Is All You Need”, pozwala modelowi uwzględniać każde wcześniejsze słowo w kontekście, a nie tylko kilka ostatnich. Dzięki temu praktyczne stały się podpowiedzi całych fraz: model może brać pod uwagę podmiot i ton całego zdania.

Apple wprowadziło ją do pisania na iPhonie w iOS 17. W ogłoszeniu z 2023 roku firma opisała autokorektę opartą na „transformerowym modelu językowym — najnowocześniejszym, działającym na urządzeniu modelu uczenia maszynowego do przewidywania słów”. Dodano też podpowiedzi w tekście, które uzupełniają słowa lub zdania po naciśnięciu spacji.

Duże modele językowe działają tak samo, ale na znacznie większą skalę. Przewidują następny token — słowo lub jego część — dopisują go i ponownie przewidują kolejny. Podpowiedź frazy powstaje po kilku takich iteracjach, które są przerywane, a wynik pojawia się jako szary „ghost text”, który możesz zaakceptować lub zignorować. Przewodnik po ghost text wyjaśnia, jak wygląda to w Windows.

Co dzieje się między naciśnięciem klawisza a wyświetleniem podpowiedzi

Niezależnie od modelu przebieg jest taki sam:

1. Klawiatura lub aplikacja odczytuje kontekst: zbiera tekst znajdujący się przed kursorem, a czasami także informację o używanej aplikacji.
2. Model przypisuje prawdopodobieństwo możliwym następnym słowom lub frazom.
3. Oprogramowanie odrzuca przewidywania o niskim poziomie pewności oraz podpowiedzi w miejscach, do których nie pasują, takich jak pola haseł.
4. Wyświetla jedną do trzech najlepszych podpowiedzi: w telefonach pojawia się pasek słów, a narzędzia podpowiadające frazy wyświetlają ghost text w linii.
5. Wiele systemów dostosowuje się później do słów i fraz, które akceptujesz i często wpisujesz.

Etap filtrowania ma większe znaczenie, niż się wydaje. Narzędzie, które zawsze coś podpowiada, uczy ignorowania sugestii. Gdy narzędzie milczy, jeśli nie jest pewne, zwracasz uwagę, kiedy jednak coś podpowiada.

Dlaczego przewidywania często są błędne

Przewidywanie to tylko prawdopodobieństwo. Model może zgadnąć, jak będzie wyglądać uprzejma odpowiedź. Nie wie jednak, jaką datę zaraz obiecasz ani o jaką osobę Ci chodzi. Najtrudniej przewidzieć pierwsze słowa nowej wiadomości, ponieważ nie ma jeszcze prawie żadnego kontekstu. Podpowiedzi stają się lepsze w miarę rozwoju zdania.

Błędne podpowiedzi są łatwiejsze do zaakceptowania dzięki sposobowi ich prezentowania. Jeśli do zaakceptowania wystarczy jeden klawisz, a zignorowanie nie wymaga niczego, błędna podpowiedź nic nie kosztuje — po prostu piszesz dalej.

Gdzie działa tekst predykcyjny na komputerze Windows

Windows oferuje podpowiedzi pojedynczych słów dla klawiatury fizycznej. Zgodnie z instrukcją konfiguracji Microsoftu słowa są przewidywane na podstawie wpisywanych liter. Funkcja przewidywania tekstu w Wordzie idzie dalej i podpowiada słowa lub frazy. Microsoft wymienia ją wśród połączonych funkcji Office, które analizują Twoją zawartość, przy czym podstawowe funkcje offline są dostępne tylko w niektórych sytuacjach.

Typeahead uruchamia kompaktowy model językowy na Twoim komputerze i podpowiada dalszy ciąg zdania w aplikacjach Windows, takich jak Word, Outlook, Chrome i WhatsApp, również offline. Podpowiedź akceptujesz klawiszem Tab lub strzałką w prawo. Artykuł o Dlaczego wystarczy niewielki model działający na urządzeniu wyjaśnia, dlaczego do tego zadania nie jest potrzebny model o rozmiarach modeli działających w chmurze.

Często zadawane pytania