Die Vorstellung, dass gute Textvorhersage ein riesiges Cloud-Modell mit hunderten Milliarden Parametern braucht, hält sich hartnäckig. Für die Aufgabe, die Typeahead für Windows löst – den Rest eines angefangenen Satzes plausibel zu Ende zu führen – ist das schlicht überdimensioniert. Ein kompaktes, quantisiertes Sprachmodell reicht aus, läuft vollständig auf dem eigenen Gerät und antwortet, bevor die nächste Taste gedrückt wird.

Der Unterschied liegt in der Aufgabenstellung. Ein Chat-Assistent muss Weltwissen abrufen, Code schreiben und mehrstufig argumentieren. Typeahead muss nur eine viel engere Frage beantworten: „Wie geht dieser Satz, den diese Person gerade tippt, wahrscheinlich weiter?" Das ist ein Mustererkennungsproblem mit kurzem Kontext – genau das, wofür kleine Sprachmodelle gebaut sind.

Was Quantisierung eigentlich bedeutet

Ein Sprachmodell besteht aus Millionen bis Milliarden Gewichten – Zahlenwerten, die bestimmen, wie das Modell Eingaben in Vorhersagen umrechnet. Im Training werden diese Gewichte üblicherweise mit hoher Präzision gespeichert (16 oder 32 Bit pro Zahl). Für den Einsatz auf einem gewöhnlichen PC ist das unnötig genau und unnötig groß.

Quantisierung reduziert die Präzision dieser Gewichte, meist auf 4 oder 8 Bit, ohne die Struktur des Modells zu verändern. Das Ergebnis: Die Modelldatei schrumpft auf einen Bruchteil ihrer ursprünglichen Größe, der Speicherbedarf im RAM sinkt entsprechend, und die Berechnung pro Vorhersage wird schneller – bei einem für Textvorschläge kaum wahrnehmbaren Qualitätsverlust. Typeahead nutzt dafür Qwen 3, ausgeführt über llama.cpp, eine der am weitesten verbreiteten Bibliotheken für quantisierte Inferenz auf gewöhnlicher CPU- und GPU-Hardware.

Zur Einordnung: Ein unquantisiertes Modell dieser Größenklasse würde mehrere Gigabyte mehr belegen und auf CPU spürbar langsamer rechnen. Quantisierung ist der Grund, warum ein Modell überhaupt in den Arbeitsspeicher eines normalen Laptops passt.

Was On-Device-Inferenz konkret heißt

„Inferenz" ist der Fachbegriff für den Moment, in dem ein trainiertes Modell tatsächlich eine Vorhersage berechnet. Bei Typeahead passiert das lokal: Sobald Sie tippen, liest der Hintergrunddienst den aktuellen Textkontext an der Schreibmarke, gibt ihn an das lokal geladene Modell weiter und erhält innerhalb von Millisekunden eine Fortsetzung zurück, die als graue Vorschlagstext eingeblendet wird.

Das steht im Gegensatz zu cloudbasierten Schreibassistenten, bei denen der getippte Text über das Netzwerk an einen Server geschickt, dort verarbeitet und die Antwort zurückgesendet wird. Dieser Umweg kostet Zeit, erzeugt eine Abhängigkeit von der Internetverbindung und bedeutet, dass Ihr Text zumindest kurzzeitig auf fremder Infrastruktur verarbeitet wird. Bei On-Device-Inferenz entfällt all das: Es gibt keine Serveranfrage, keine Warteschlange und keinen Text, der Ihr Gerät verlässt.

Geringe Latenz

Ohne Netzwerk-Roundtrip liegt die Antwortzeit im Bereich weniger Millisekunden – entscheidend, damit ein Vorschlag beim Tippfluss nicht stört, sondern hilft.

Funktioniert offline

Im Zug, im Flugzeug oder einfach mit deaktiviertem WLAN: Ist das Modell einmal heruntergeladen, braucht die Vorschlagsberechnung keine Internetverbindung mehr.

Keine Übertragung von Text

Vorschläge werden im Arbeitsspeicher erzeugt und wieder verworfen. Es gibt keinen Server, an den Ihre Eingaben geschickt werden könnten.

Drei Modellgrößen, eine Entscheidung: Geschwindigkeit gegen Qualität

Nicht jeder PC hat dieselbe Rechenleistung, und nicht jede Person legt denselben Wert auf maximale Vorschlagsqualität gegenüber minimaler Latenz. Deshalb bietet Typeahead drei Modellstufen zur Auswahl an, alle über dieselbe Oberfläche herunterladbar:

Modell Größe Charakteristik
Fast ~400 MB Standardeinstellung. Minimale Latenz, geringster Speicherbedarf, ideal für ältere oder leistungsschwächere Geräte.
Balanced ~1,1 GB Guter Mittelweg zwischen Antwortgeschwindigkeit und Vorschlagsqualität für die meisten modernen PCs.
Maximum ~2,5 GB Höchste Vorschlagsqualität bei mehr Rechenaufwand pro Vorhersage – empfehlenswert auf leistungsstärkerer Hardware.

Alle drei Modelle sind Teil desselben Kaufs – es gibt kein Feature-Gating nach Modellgröße. Sie können jederzeit zwischen den Stufen wechseln, etwa wenn Sie von einem Desktop-PC auf ein leichteres Notebook umsteigen.

Warum nicht einfach das größtmögliche Modell?

Für Fließtext-Fortsetzung bringt ein größeres Modell abnehmenden Grenznutzen. Die Aufgabe „Wie geht dieser angefangene Satz plausibel weiter?" braucht kein enzyklopädisches Wissen und keine komplexen Schlussfolgerungen – sie braucht ein Modell, das Sprachmuster gut genug gelernt hat, um typische Fortsetzungen zu erkennen. Ab einer gewissen Modellgröße verbessert sich diese spezifische Fähigkeit kaum noch, während Ladezeit, Speicherbedarf und Stromverbrauch weiter steigen.

Hinzu kommt: Ein 2,5-GB-Modell, das lokal auf CPU oder integrierter GPU läuft, muss innerhalb von Millisekunden antworten, damit der Vorschlag beim Tippen nicht störend nachhinkt. Ein Modell mit hundert Milliarden Parametern könnte diese Latenz auf gewöhnlicher Consumer-Hardware gar nicht einhalten – dafür bräuchte es spezialisierte Server-GPUs, also wieder die Cloud, mit allen damit verbundenen Kompromissen bei Datenschutz und Offline-Fähigkeit.

Praktisch bedeutet das: Wer viel textet und wenig Wartezeit toleriert, bleibt beim Fast-Modell. Wer auf einem leistungsfähigen Rechner arbeitet und Wert auf nuanciertere Formulierungsvorschläge legt, wechselt zu Balanced oder Maximum – ohne dabei die Offline- oder Datenschutz-Eigenschaften zu verlieren.

Mehrsprachigkeit ohne Modellwechsel

Das zugrunde liegende Modell ist mehrsprachig trainiert und deckt über 100 Sprachen ab. Typeahead erkennt automatisch, in welcher Sprache gerade getippt wird, und liefert Vorschläge in genau dieser Sprache – ohne dass Sie manuell umschalten müssen. Wer zwischen Deutsch und Englisch wechselt, etwa in einer internationalen Slack-Konversation, bekommt in beiden Sprachen passende Fortsetzungen aus demselben lokal geladenen Modell.

Ergänzend dazu arbeiten Snippet-basierte Autokorrektur und wörterbuchbasierte Autovervollständigung völlig ohne Sprachmodell – sie funktionieren bereits, bevor überhaupt ein Modell heruntergeladen wurde, und decken den einfacheren Fall fester Textbausteine ab. Ähnliche, aber eigenständige Funktionalität für feste Textersetzungen bietet auch Text Replacements für Windows.

Häufig gestellte Fragen

Muss ich verstehen, was Quantisierung ist, um Typeahead zu nutzen?
Nein. Die Modellauswahl in den Einstellungen zeigt einfach drei Optionen mit Größenangabe und einer kurzen Beschreibung von Geschwindigkeit gegen Qualität. Die technischen Details unter der Haube sind für die tägliche Nutzung nicht relevant.
Braucht Typeahead eine dedizierte Grafikkarte?
Nein. Dank Quantisierung und llama.cpp läuft die Inferenz auch auf gewöhnlicher CPU-Hardware in praxistauglicher Geschwindigkeit. Eine GPU kann die Berechnung beschleunigen, ist aber keine Voraussetzung.
Wie viel Arbeitsspeicher braucht das Modell zusätzlich zum Festplattenspeicher?
Typeahead setzt mindestens 8 GB RAM voraus. Der Festplattenbedarf variiert je nach gewähltem Modell zwischen etwa 0,4 GB (Fast) und 2,5 GB (Maximum); das geladene Modell belegt während der Nutzung einen Teil des Arbeitsspeichers.
Kann ich das Modell später wechseln?
Ja. Sie können in den Einstellungen jederzeit zu einem anderen Modell wechseln oder ein weiteres herunterladen, ohne die Software neu zu installieren.
Verschickt das Modell irgendwelche Daten, während es läuft?
Nein. Der einzige Netzwerkverkehr, den Typeahead erzeugt, ist der Download des Modells selbst und die Prüfung auf App-Updates. Die eigentliche Vorschlagsberechnung findet vollständig offline im Arbeitsspeicher statt.
Warum nicht einfach ein großes Cloud-Modell wie in einem Chat-Assistenten verwenden?
Weil die Aufgabe eine andere ist. Satzfortsetzung braucht kein breites Weltwissen, sondern schnelle, lokale Mustererkennung. Ein Cloud-Modell würde zusätzliche Latenz durch den Netzwerk-Roundtrip einführen und Ihren getippten Text an einen Server senden – beides vermeidet Typeahead bewusst.

Testen Sie es selbst

Sieben Tage kostenlos testen, alle drei Modellgrößen inklusive.

 Typeahead im Microsoft Store holen