Každý nástroj pro automatické doplňování musí někde spouštět jazykový model. Právě ono „někde“ je podstatou celé otázky. Pokud ho spouštíte na serveru, vaše stisky kláves se tam nejprve musí odeslat. Pokud ho spouštíte na vlastním počítači, nikdy ho neopustí. Návrh na obrazovce může v obou případech vypadat stejně — rozdíl není vidět, dokud se nezeptáte, kde výpočet skutečně proběhl.
Nejde o abstraktní rozdíl. Určuje, co může společnost s vaším textem technicky dělat, jaké informace odhalí narušení zabezpečení jejích serverů a zda váš nástroj pro automatické doplňování funguje v letadle s vypnutou Wi-Fi. Tady jsou skutečné rozdíly pod povrchem.
Jak funguje cloudové automatické doplňování
Cloudový asistent pro psaní je obvykle odlehčený klient — rozšíření prohlížeče nebo malý proces na pozadí — propojený s velkým modelem běžícím na vzdáleném serveru. Postup vypadá takto:
- Do textového pole napíšete několik slov.
- Klient zachytí okolní text a odešle ho přes síť do rozhraní API poskytovatele.
- Velký model na jeho infrastruktuře vygeneruje pokračování.
- Návrh se odešle zpět a zobrazí se v poli jako přízračný text.
Tento přenos tam a zpět proběhne při každé pauze mezi stisky kláves, což znamená, že přes servery třetí strany prochází souvislý proud toho, co píšete — návrhy e-mailů, zprávy v chatu i interní poznámky. Někteří poskytovatelé tento provoz zaznamenávají kvůli vylepšování modelu, odhalování zneužití nebo ladění. Jiní ne. Jako uživatel obvykle nemůžete zvenčí ověřit, která možnost platí, a podmínky se mohou změnit spolu s aktualizací zásad ochrany soukromí.
Jak funguje lokální LLM
Nástroj fungující přímo v zařízení architekturu obrací. Na vašem počítači se nachází samotný model — nejen klient.
Model se stáhne jednou
Při nastavení se na disk stáhne kompaktní kvantizovaný soubor modelu. Poté už k jeho fungování není potřeba žádné další síťové připojení.
Inference probíhá na vašem CPU/GPU
Když při psaní uděláte pauzu, model se spustí lokálně prostřednictvím inferenčního enginu a přečte si okolní text přímo z paměti — nikdy neopustí daný proces.
Žádný síťový přenos tam a zpět
Není tu žádný server, na který by se dal text odeslat, takže není co zachytit, zaznamenat ani uchovávat. Návrh se vypočítá a zahodí v rámci stejného místního procesu.
Typeahead pro Windows Je postaven takto. Spouští lokální model — Qwen 3.5, který běží prostřednictvím llama.cpp — přímo ve vašem počítači. Jediné síťové připojení potřebuje ke stažení souboru modelu a kontrole aktualizací aplikace; generování návrhů nevyžaduje žádné připojení a text, který napíšete, se nikdy nikam nepřenáší.
Co ve skutečnosti znamená „žádná telemetrie“
Označení „šetrný k soukromí“ se používá u mnoha produktů, které mají pod povrchem velmi odlišné fungování. Je vhodné konkrétně popsat, co skutečně lokální architektura z technického hlediska vylučuje — nejen co slibuje smluvně:
Pokud se žádný server nepoužívá, není tu žádný proces pro zaznamenávání textu, který by se mohl chybně nastavit, žádný analytický panel, do kterého by se mohly omylem dostat obsahy zpráv, ani žádná datová sada uživatelských textů, která by se později mohla týkat bezpečnostního incidentu, akvizice nebo změny zásad používání dat. Absence cloudové cesty není příslib v zásadách — je to vlastnost architektury.
Kompromis: velikost a schopnosti modelu
Nic z toho není zadarmo. Model, který se celý vejde do 600 MB–2,5 GB místa na disku a běží na procesoru notebooku, je menší než obrovské modely, které cloudové služby spouštějí na serverových GPU. U otevřených úloh, jako je napsání celé eseje od začátku, má obří cloudový model stále navrch v šíři tvůrčích možností. Vyvážená varianta vyžaduje 8 GB systémové paměti; maximální varianta vyžaduje samostatnou grafickou kartu s vlastní 8GB pamětí a 16 GB systémové paměti.
Automatické doplňování další části věty je ale užší úkol než otevřené generování — předvídá věrohodné krátké pokračování věty, kterou jste už začali, místo aby tvořilo nový obsah od nuly. Takový úkol malý, dobře vyladěný lokální model zvládá dobře, a proto je kompromis ohledně velikosti u tohoto použití mnohem menší než u univerzálního chatu.
| Vlastnost | Lokální LLM (Typeahead) | Cloudové automatické doplňování |
|---|---|---|
| Kde probíhá inference | Vaše zařízení | Server poskytovatele |
| Text odesílaný přes síť | Nikdy | Při každém návrhu |
| Funguje offline | Ano | Ne |
| Vyžaduje účet | Ne | Obvykle |
| Vystavení riziku při narušení zabezpečení u poskytovatele | Žádné — na straně serveru se neukládá žádný text | Záleží na zásadách uchovávání dat |
Kde na tom záleží nejvíc
Rozdíl mezi lokálním a cloudovým řešením není jen teoretický pro nikoho, kdo píše citlivé informace — například pro pracovníky zákaznické podpory, kteří zpracovávají údaje o účtech, zdravotnický nebo právní personál píšící poznámky či kohokoli, kdo píše na základě smlouvy o mlčenlivosti. Důležitý je také pro ty, kdo píší ve vlaku, v suterénní kanceláři nebo kdekoli s nespolehlivým připojením: cloudový nástroj zmlkne, zatímco lokální si ničeho nevšimne.
Typeahead to považuje za výchozí stav, nikoli za nastavení. Pole pro hesla jsou vždy ignorována a aplikace pro správu hesel a finance jsou chráněné hned od začátku; tuto ochranu nelze vypnout přepínačem — a to navíc k tomu, že zadaný text zařízení vůbec neopouští.
Často kladené dotazy
Odesílá Typeahead někdy někam text, který napíšu?
Mohu ověřit, že je nástroj skutečně lokální, a nejen to tvrdí?
Je malý lokální model stejně dobrý jako velký cloudový model?
Vyžaduje Typeahead účet nebo přihlášení?
Co případně Typeahead stahuje z internetu?
Získat Typeahead
Návrhy se generují ve vašem zařízení, nikoli na serveru. Jednorázová 7denní bezplatná zkušební verze $9.99,.
Získat na Microsoft Store