„Es führt ein Sprachmodell auf Ihrem Gerät aus“ lässt viele an einen hochdrehenden Lüfter und einen warm werdenden Laptop denken, obwohl nichts passiert. Das ist nachvollziehbar, denn so sieht es aus, wenn man ein Chatmodell schlecht betreibt.
Tippvorschläge sind eine andere Art von Arbeitslast. Hier erfahren Sie, was sie tatsächlich kosten, damit Sie sie auf Ihr Gerät abstimmen können.
Vier Kostenfaktoren, aber nur einer ist konstant
Speicherplatz. Die Modelldatei – einmalig. Einige hundert Megabyte bis zu einigen Gigabyte, die beim Herunterladen anfallen.
Arbeitsspeicher. Die Gewichte müssen geladen im Arbeitsspeicher bleiben: ungefähr so groß wie die Datei, zuzüglich eines überschaubaren zusätzlichen Speicherbedarfs. Das ist der konstante Kostenfaktor und entscheidet darüber, ob ein Modell auf Ihr Gerät passt. Auf einem Laptop mit 16 GB sind ein Gigabyte für ein geladenes Modell unauffällig. Auf einem Laptop mit 8 GB und geöffnetem Browser sind drei Gigabyte erheblich.
Rechenleistung. Nur während ein Vorschlag erzeugt wird. Bei der Satzvervollständigung ist das ein kurzer Schub von einigen hundert Millisekunden, eine Handvoll Mal pro Minute, wobei die Pausen zwischen Ihren eigenen Tastenanschlägen den größten Teil der Zeit ausmachen. Vergleichen Sie das mit einem Chat-Assistenten, der sechshundert Wörter generiert und den Prozessor mehrere Sekunden lang voll auslastet.
Akku. Der Akkuverbrauch folgt der Rechenlast. Kurze Schübe kosten wenig. Fairerweise gilt aber: Ein Gerät, das nie in seine tiefen Energiesparzustände wechselt, verbraucht mehr als eines, das dies tut. Der Effekt ist also nicht exakt null.
Das Wichtigste: Die meiste Zeit ist die Tippvorhersage untätig. Der geladene Arbeitsspeicher ist der tatsächliche Kostenfaktor; alles andere ist vernachlässigbar, sofern das Modell nicht viel zu groß für das Gerät ist.
Warum die Datei kleiner ist, als Sie erwarten
Ein Modell, das mit einigen hundert Megabyte angegeben wird, hat nicht zwangsläufig einige hundert Millionen Parameter. Modelle werden quantisiert verteilt; dabei werden die Gewichte mit geringerer Genauigkeit gespeichert – üblicherweise mit vier oder fünf statt sechzehn Bit. Das verringert Größe und Speicherbedarf ungefähr auf ein Viertel, bei einem überschaubaren, messbaren Qualitätsverlust.
Bei offenem Schlussfolgern ist dieser Verlust wichtig. Beim Vervollständigen eines bereits begonnenen Satzes ist er meist unbedeutend, weil die Einschränkungen aus Ihrem eigenen Text kommen und nicht aus der Tiefe des Modells. Das ist der technische Grund, weshalb sich ein kleines lokales Modell für diese Aufgabe eignet, aber nicht für andere.
Die Latenz ist die tatsächliche Grenze, nicht die Qualität
Es gibt eine feste Frist. Ein Vorschlag, der erst erscheint, nachdem Sie die Wörter selbst getippt haben, ist schlechter als gar kein Vorschlag: Er erscheint genau dann, wenn Sie fertig sind, und Sie lesen ihn umsonst.
Diese Frist begrenzt die Modellgröße, egal wie viel Arbeitsspeicher Sie haben. Ab einem bestimmten Punkt ist ein besseres Modell langsamer, und langsamer bedeutet, dass es ungenutzt bleibt. Ziel ist ein Vorschlag, der erscheint, während Ihre Finger noch in der Lücke zwischen zwei Wörtern sind – also innerhalb einiger hundert Millisekunden, nicht nach anderthalb Sekunden.
Das kehrt die übliche Vorstellung um. Jenseits des Punkts, an dem es zu spät kommt, ist größer hier nicht besser. Die richtige Größe ist die größte, die auf Ihrer Hardware noch innerhalb der Lücke antwortet. Auf einem Ultrabook von 2019 fällt die Antwort anders aus als auf einem Desktop-PC mit dedizierter Grafikkarte.
Die passende Größe auswählen
Typeahead bietet drei Größen, die direkt dem jeweiligen Kompromiss entsprechen.
| Größe | Auf dem Datenträger | Angegebene Voraussetzung | Geeignet für |
|---|---|---|---|
| Schnell (Standard) | ~600 MB | — | Jedes unterstützte Gerät; der richtige Einstieg |
| Ausgewogen | ~1,2 GB | 8 GB Arbeitsspeicher | Geräte mit ausreichend Reserven: bessere Vorschläge, weiterhin angenehm schnell |
| Maximale Qualität | ~2,5 GB | Dedizierte Grafikkarte mit 8 GB eigenem Speicher, 16 GB Arbeitsspeicher | Desktop-PCs und Workstations mit einer leistungsfähigen GPU |
Zwei Dinge zu dieser Tabelle.
Beginnen Sie mit „Schnell“, auch wenn Ihr Gerät mehr schafft. Verwenden Sie es eine Woche lang. Wenn die Vorschläge ausreichend genau sind, bringt Ihnen ein größeres Modell beim Tippen einer Chatnachricht nichts, was Sie bemerken würden. Wenn sie merklich danebenliegen, wechseln Sie zur nächstgrößeren Größe – und wissen dann, wofür Sie die zusätzliche Latenz in Kauf nehmen.
Für die größte Stufe wird eine dedizierte Grafikkarte mit eigenen 8 GB benötigt, nicht 8 GB gemeinsam genutzter Arbeitsspeicher. Die integrierte Grafik eines Laptops erfüllt diese Voraussetzung nicht. Ein Modell auf Hardware zu zwingen, die es in den Auslagerungsspeicher verschieben muss, ist genau das, was den hochdrehenden Lüfter verursacht, von dem dieser Artikel eingangs sprach.
Geräte, deren Ressourcen wirklich knapp sind
- 8 GB RAM, während Browser, Teams und Office geöffnet sind. Schon bevor weitere Programme geladen werden, sind Sie nahe am Limit. Verwenden Sie das kleinste Modell und rechnen Sie damit, es stärker zu bemerken als jemand mit 16 GB. Wenn Ihr Gerät bei normaler Nutzung bereits auslagert, verschlimmert ein geladenes Modell das.
- Ältere Prozessoren ohne AVX2. Inferenzbibliotheken nutzen Vektorbefehle. Ein Prozessor aus der Zeit vor 2013 ist langsamer als alle angegebenen Werte, und dann macht sich die oben beschriebene Latenzgrenze bemerkbar.
- Dünne Laptops mit begrenzter Wärmeabfuhr. Die kurzen Rechenschübe allein dürften keine anhaltende Drosselung verursachen. Ein Gerät, das unter anderer Last bereits gedrosselt wird, hat aber keine Reserven.
- Akkubetrieb fernab einer Steckdose. Die Vorschläge funktionieren weiterhin, weil sie lokal ausgeführt werden und keine Verbindung benötigen. Wenn Sie für einen langen Flug den Verbrauch optimieren möchten, sollten Sie das kleinere Modell verwenden.
So überprüfen Sie es auf Ihrem eigenen Gerät
Messwerte vom Laptop einer anderen Person sagen wenig aus. Zwei Messungen, zehn Minuten.
- 1. Bevor Sie etwas installieren, öffnen Sie den Task-Manager → Leistung und notieren Sie den verwendeten Arbeitsspeicher bei einem normalen Arbeitsablauf: mit Ihren üblichen Browser-Tabs, E-Mail- und Chat-Programmen.
- 2. Nachdem Sie ein Modell installiert und geladen haben, sehen Sie sich denselben Wert sowie den Speicherverbrauch der App auf der Registerkarte „Prozesse“ an.
Wenn der Unterschied Sie noch komfortabel unter Ihrem Gesamtspeicher lässt, ist alles in Ordnung. Bringt er Sie an die Grenze, wählen Sie eine kleinere Größe.
Die Latenz lässt sich am besten subjektiv beurteilen: Tippen Sie einen Satz, den Sie normalerweise schreiben würden, und achten Sie darauf, ob der Vorschlag erscheint, wenn Ihre Finger pausieren, oder erst danach. Eine Testphase ist dafür ideal – die von Typeahead dauert sieben Tage und schaltet alle Modellgrößen frei.
Was Sie für die Kosten bekommen
- Nichts von dem, was Sie tippen, verlässt Ihr Gerät. Keine Richtlinie darüber, wie ein Server mit Ihren Texten umgeht, sondern eine Eigenschaft des Ortes, an dem sie verarbeitet werden.
- Funktioniert ohne Verbindung. Im Flugzeug, im Zug oder im Hotel, dessen WLAN keine DNS-Abfragen mehr auflöst.
- Kein Abonnement pro Nutzer und kein Konto, denn es gibt keinen Server, für den bezahlt werden muss.
- Keine schwankende Latenz. Ein lokales Modell ist um 9 Uhr genauso schnell wie um 17 Uhr – bei einem gemeinsam genutzten Dienst ist das nicht so.
Ob ein Gigabyte belegter Arbeitsspeicher den Nutzen wert ist, ist eine berechtigte Frage, die jeder für sich anders beantwortet. Die Frage ist weniger groß, als sie klingt, und lässt sich innerhalb einer Woche beantworten.