So funktioniert Textvorhersage: von T9 bis zu On-Device-Modellen

Bei der Textvorhersage wird anhand Ihrer bisherigen Eingabe geschätzt, welche Buchstaben, welches Wort oder welche Phrase am wahrscheinlichsten als Nächstes kommt. Anschließend werden die besten Vermutungen angeboten. Grundlage dafür ist ein Sprachmodell. Bei den ersten Mobiltelefonen war dieses Modell ein nach Häufigkeit sortiertes Wörterbuch. Später kamen Statistiken darüber hinzu, welches Wort auf ein anderes folgt. Heute handelt es sich meistens um ein neuronales Netzwerk, das den ganzen Satz verarbeitet und direkt auf dem Gerät läuft.

Der Leitfaden zur KI-Autovervollständigung unter Windows erklärt, wie Sie auf einem PC Phrasenvorschläge erhalten. In diesem Artikel geht es darum, wie die Technik dahinter funktioniert – Generation für Generation.

Generation eins: ein Wörterbuch löst Mehrdeutigkeiten auf

T9 löste ein Hardwareproblem. Eine Telefontastatur hat zwölf Tasten, von denen die meisten drei oder vier Buchstaben tragen. Tegic Communications reichte 1995 das Patent für einen „Computer zur Auflösung von Mehrdeutigkeiten bei reduzierten Tastaturen“ ein; 1998 wurde es erteilt. Jeder Tastendruck ist mehrdeutig. Die Software sucht im Wörterbuch nach Wörtern, die zur gesamten Tastensequenz passen, und zeigt das wahrscheinlichste zuerst an.

Drückt man 4-6-6-3, passt die Folge zu good, home und gone. Anhand der Tasten allein kann T9 nicht erkennen, welches Wort gemeint ist. Es bietet zuerst das häufigste Wort an und lässt Sie durch die übrigen blättern. Hier wird nichts verstanden: Es handelt sich um eine Wörterbuchsuche mit Rangfolge.

Generation zwei: zählen, welches Wort auf welches folgt

Die Vorschlagsleiste über einer Handytastatur brachte eine zweite Idee: das nächste Wort vorherzusagen, noch bevor Sie etwas davon eingegeben haben. Dafür verwendet man klassischerweise ein N-Gramm-Modell. Es zählt in einer großen Textsammlung, wie oft ein Wort auf das vorherige oder die vorherigen zwei Wörter folgt, und schlägt die häufigsten Fortsetzungen vor.

SwiftKey entwickelte seine erste Tastatur auf Grundlage der N-Gramm-Technologie. Als das Unternehmen 2015 eine neuronale Version veröffentlichte, berichtete TechCrunch über die eigene Beschreibung des Unternehmens zu den Einschränkungen des älteren Ansatzes: Er konnte die zugrunde liegende Bedeutung von Wörtern nicht verstehen. Ein N-Gramm-Modell weiß, dass auf „see you“ oft „soon“ folgt. Es weiß nicht, dass „soon“ und „shortly“ fast dasselbe bedeuten, und berücksichtigt nur wenige vorherige Wörter.

Generation drei: Neuronale Netze lernen Ähnlichkeiten

Ein neuronales Sprachmodell stellt Wörter als Punkte in einem Raum dar, in dem ähnliche Wörter nahe beieinanderliegen. Dadurch kann es auch nach einer Wortkombination, die es noch nie gezählt hat, eine sinnvolle Vermutung anstellen. SwiftKeys Neural Alpha, veröffentlicht im Oktober 2015, war die erste auf diese Weise entwickelte Tastatur des Unternehmens.

Google beschrieb den nächsten Schritt für Gboard in einer Arbeit aus dem Jahr 2018 mit dem Titel „Föderiertes Lernen für die Vorhersage auf mobilen Tastaturen“. Das Modell für das nächste Wort war ein rekurrentes neuronales Netzwerk, das nicht auf einem Server, sondern auf Smartphones trainiert wurde: Die Geräte verbesserten das Modell anhand lokaler Tippdaten und sendeten Modellaktualisierungen zurück, nicht den Text. Eine Arbeit zu Google-Systemen gibt seine Größe mit etwa 1,4 Millionen Parametern an – nach heutigen Maßstäben winzig. 2023 berichtete Google, dass alle neuronalen Modelle von Gboard zur Vorhersage des nächsten Wortes nun über Garantien für differenzielle Privatsphäre verfügen.

Generation vier: Transformer und ganze Phrasen

Die Transformer-Architektur, die 2017 in der Arbeit „Attention Is All You Need“vorgestellt wurde, ermöglicht es einem Modell, jedes frühere Wort im Kontext zu berücksichtigen, statt nur die letzten paar. Dadurch werden Vorschläge auf Phrasenebene praktisch umsetzbar: Das Modell kann Thema und Ton eines ganzen Satzes im Blick behalten.

Apple stellte die iPhone-Texteingabe mit iOS 17 darauf um. In seiner Ankündigung von 2023 beschrieb Apple die darauf basierende Autokorrektur als „ein Transformer-Sprachmodell, ein hochmodernes maschinelles Lernmodell auf dem Gerät zur Wortvorhersage“. Hinzu kamen Inline-Vorschläge, die Wörter oder Sätze durch Tippen auf die Leertaste vervollständigen.

Große Sprachmodelle funktionieren genauso, nur in wesentlich größerem Maßstab. Sie sagen das nächste Token voraus – ein Wort oder einen Wortteil –, hängen es an und treffen erneut eine Vorhersage. Ein Phrasenvorschlag besteht aus einigen Wiederholungen dieser Schleife, die vorzeitig abgebrochen und als grauer „Ghost-Text“ angezeigt wird, den Sie übernehmen oder ignorieren können. Der Ghost-Text-Leitfaden erklärt, wie das unter Windows aussieht.

Was zwischen einem Tastendruck und einem Vorschlag passiert

Unabhängig vom Modell besteht der Ablauf aus denselben Schritten:

1. Die Tastatur oder App liest den Kontext: Sie erfasst den Text vor dem Cursor und manchmal auch, in welcher App Sie sich befinden.
2. Das Modell weist möglichen nächsten Wörtern oder Phrasen Wahrscheinlichkeiten zu.
3. Die Software verwirft Vermutungen mit geringer Zuversicht sowie Vorschläge an Stellen, an die sie nicht gehören, etwa in Passwortfeldern.
4. Sie zeigt die ein bis drei besten Vorschläge an: Auf Smartphones erscheint eine Wortleiste, bei Phrasentools inline angezeigter Ghost-Text.
5. Viele Systeme passen sich anschließend an Wörter und Phrasen an, die Sie übernehmen und häufig eingeben.

Der Filterschritt ist wichtiger, als es zunächst scheint. Ein Tool, das immer etwas anzeigt, gewöhnt Sie daran, die Vorschläge zu ignorieren. Ein Tool, das bei Unsicherheit nichts anzeigt, wird beachtet, wenn es doch einmal einen Vorschlag macht.

Warum Vorhersagen oft falsch sind

Eine Vorhersage ist nur eine Wahrscheinlichkeit. Das Modell kann die Form einer höflichen Antwort erraten. Es kann nicht wissen, welches Datum Sie gleich zusagen oder welche Person Sie meinen. Die ersten Wörter einer neuen Nachricht sind am schwersten vorherzusagen, weil es noch fast keinen Kontext gibt. Je länger der Satz wird, desto besser werden die Vorschläge.

Falsche Vermutungen sind deshalb erträglich, weil Vorschläge auf eine bestimmte Weise angeboten werden. Wenn zum Übernehmen eine Taste genügt und zum Ignorieren gar nichts nötig ist, kostet eine falsche Vermutung nichts: Sie tippen einfach weiter.

Wo Textvorhersage auf einem Windows-PC läuft

Windows bietet Textvorschläge auf Wortebene für die physische Tastatur. Microsofts Einrichtungsanleitung besagt, dass Wörter anhand Ihrer Rechtschreibung während des Tippens vorhergesagt werden. Word-Textvorhersagen gehen weiter und schlagen Wörter oder Phrasen vor. Microsoft führt sie unter den Office-verbundenen Funktionen auf, die Ihre Inhalte analysieren..., mit grundlegenden Offline-Funktionen nur in einigen Szenarien.

Typeahead führt ein kompaktes Sprachmodell auf Ihrem eigenen PC aus und schlägt den Rest des Satzes in Windows-Apps wie Word, Outlook, Chrome und WhatsApp vor – auch offline. Sie übernehmen Vorschläge mit der Tabulatortaste oder der Rechtspfeiltaste. Der Artikel zu warum ein kleines Modell auf dem Gerät ausreicht erklärt, warum diese Aufgabe kein Modell in Cloud-Größe benötigt.

Häufig gestellte Fragen