Je snadné předpokládat, že lepší návrhy vyžadují větší model — více parametrů, vyšší výpočetní výkon a serverovou grafickou kartu datacentra, která obslouží požadavek přes API. U generování otevřeného textu tento předpoklad často platí. Automatické doplňování následující fráze je ale zásadně odlišná a užší úloha, pro kterou se dobře hodí kompaktní kvantizovaný model běžící na procesoru notebooku.

Automatické doplňování je omezená, nikoli otevřená úloha

Když požádáte velký jazykový model, aby napsal esej na prázdné stránce, musí učinit tisíce rozhodnutí o struktuře, argumentaci a tónu, aniž by měl téměř jakákoli omezení. Právě v takovém případě se uplatní velikost modelu — více parametrů obecně znamená širší nabídku možných výstupů.

Predikce následující fráze je jiný problém. Model už zná začatou větu, okolní kontext a (v případě Typeahead) i aplikaci, ve které píšete — to vše jsou důležité vodítka. Nevytváří text z ničeho; doplňuje krátké pokračování, jehož podoba je už do značné míry omezená. Právě toto omezení umožňuje použití malého modelu: méně možných pokračování znamená, že k dobrému výběru není potřeba tak velká výpočetní kapacita.

Přirovnání: predikce dalšího řádku věty se podobá spíš dokončení myšlenky někoho jiného než psaní vlastní myšlenky od začátku. Druhá činnost je otevřená; u první je okruh rozumných odpovědí mnohem užší.

Co dělá kvantizace

Váhy nezpracovaného jazykového modelu se obvykle ukládají jako 16bitová nebo 32bitová čísla s plovoucí desetinnou čárkou. Kvantizace tyto váhy komprimuje na nižší přesnost — například na 4bitové nebo 8bitové hodnoty — za cenu mírného a obecně přijatelného snížení přesnosti. Výsledkem je modelový soubor o zlomku původní velikosti, který umožňuje dostatečně rychlé odvozování na běžném spotřebitelském hardwaru, včetně notebooku bez samostatné grafické karty.

Díky tomu je realistické nabízet model, který celý běží na počítači s Windows uživatele, nikoli na serverové farmě: kvantizovaný model o velikosti od několika set megabajtů po nižší jednotky gigabajtů se pohodlně vejde na disk i do paměti vedle ostatních spuštěných aplikací.

Velikosti modelů v Typeahead

Typeahead pro Windows nabízí tři volitelné modely, takže si můžete zvolit kompromis mezi rychlostí a kvalitou návrhů, který vyhovuje vašemu počítači:

Fast (~600 MB) — výchozí

Nejmenší model, optimalizovaný na nízkou latenci. Je aktivní hned po instalaci a pro většinu běžného dokončování frází postačuje.

Balanced (~1.2 GB)

Model s vyšší kapacitou pro počítače, které mají dostatek volné paměti a místa na disku; nabízí širší škálu návrhů za cenu mírně nižší rychlosti. Vyžaduje 8 GB operační paměti.

Maximum (~2.5 GB)

Největší ze tří možností pro uživatele, kteří chtějí nejlepší kvalitu návrhů, jakou Typeahead nabízí, a mají dostatečnou rezervu hardwarového výkonu. Vyžaduje samostatnou grafickou kartu s 8 GB vlastní paměti a 16 GB operační paměti.

Všechny tři modely běží prostřednictvím llama.cpp, modulu pro odvozování vytvořeného speciálně pro efektivní provoz jazykových modelů na běžných procesorech a spotřebitelských grafických kartách. Všechny tři jsou založeny na Qwen 3.5, vícejazyčné modelové řadě podporující více než 100 jazyků — jazyk návrhů se proto řídí tím, v jakém jazyce právě píšete, bez nutnosti ručního přepínání.

Proč to zároveň znamená nezávislost na cloudu

Protože je model dostatečně malý na to, aby běžel lokálně, Typeahead nepotřebuje server, který by za něj zajišťoval náročné výpočty. To má přímý dopad na soukromí — nic z toho, co napíšete, se nikam nepřenáší — ale i praktický přínos: návrhy fungují bez internetového připojení, limitů požadavků API i závislosti na dostupnosti vzdálené služby.

Model Přibližná velikost Kompromis
Fast ~600 MB Nejnižší latence, výchozí volba
Vyvážená ~1,2 GB Vyšší kapacita, stále nenáročný
Maximum ~2,5 GB Nejlepší dostupná kvalita návrhů

Co získáte ještě před stažením jakéhokoli modelu

Typeahead nabízí užitek hned od prvního dne i bez modelu. Vlastní textové úryvky a automatické doplňování podle slovníku fungují ihned po instalaci, ještě před stažením modelu — návrhy vět založené na AI se přidají po výběru jednoho ze tří modelů.

Často kladené dotazy

Je model o velikosti 600 MB opravdu dostatečně dobrý pro užitečné návrhy?
Pro predikci následující fráze — tedy dokončení věty, kterou jste už začali psát — ano. Jde o užší úlohu než psaní otevřeného textu a právě proto je rychlý model výchozí volbou Typeahead.
Co jednoduše znamená kvantizace?
Jde o techniku, která komprimuje vnitřní číselné hodnoty modelu na nižší přesnost. Tím zmenšuje velikost souboru a zrychluje odvozování, za cenu mírného snížení přesnosti, které je pro tento typ úlohy obecně přijatelné.
Který model mám vybrat?
Začněte s výchozím rychlým modelem (~600 MB). Pokud má váš počítač dostatek volné paměti a místa na disku a chcete kvalitnější návrhy v širším rozsahu, vyzkoušejte model Balanced nebo Maximum — přepnout můžete kdykoli.
Musím si vůbec stáhnout model, abych mohl používat Typeahead?
Ne. Vlastní textové úryvky a automatické doplňování podle slovníku fungují ještě před stažením jakéhokoli modelu. Funkce AI pro dokončování vět se zpřístupní po výběru modelu.
Jaký modul pro odvozování používá Typeahead?
llama.cpp, na kterém běží modelová řada Qwen 3.5. Byla vybrána speciálně pro efektivní odvozování na běžných spotřebitelských procesorech a grafických kartách, bez potřeby specializovaného hardwaru.

Získat Typeahead

Vyberte Fast, Balanced nebo Maximum. Vše je zahrnuto bez příplatku. Jednorázový nákup $9.99.

Získat na Microsoft Store