„Spouští jazykový model ve vašem počítači“ je věta, při které si lidé představí roztočený ventilátor a notebook, který se zahřívá, i když nic nedělá. Taková představa je pochopitelná, protože popisuje, co se stane, když špatně spustíte chatovací model.
Návrhy při psaní představují jiný typ zátěže. Tady je přehled jejich skutečných nároků, abyste mohli zvolit velikost vhodnou pro svůj počítač.
Čtyři náklady, ale jen jeden je stálý
Disk. Soubor modelu, jednou. Několik set megabajtů až několik gigabajtů, které se stáhnou.
Paměť. Váhy musí po dobu načtení modelu zůstat v paměti: přibližně tolik, kolik zabírá soubor, plus mírná režie při práci. Jde o stálý náklad, který rozhoduje o tom, zda se model do vašeho počítače vejde. Na notebooku se 16 GB paměti není jeden gigabajt pro načtený model nic neobvyklého. Na notebooku s 8 GB paměti a otevřeným prohlížečem už tři gigabajty znát budou.
Výpočetní výkon. Využívá se pouze při vytváření návrhu. U dokončování vět jde o krátký výpočet trvající několik set milisekund, který proběhne několikrát za minutu a jehož většinu času tvoří pauzy mezi vašimi vlastními stisky kláves. Pro srovnání, chatovací asistent při generování šesti set slov vytěžuje procesor naplno po dobu několika sekund.
Baterie. Spotřeba baterie souvisí s výpočetním výkonem. Krátké výpočty stojí málo energie; poctivé upozornění však je, že počítač, který se nikdy nepřepne do hlubokých úsporných režimů, spotřebuje víc než počítač, který do nich přechází. Vliv tedy není úplně nulový.
Zapamatujte si hlavně toto: predikce při psaní je téměř pořád nečinná. Skutečným nákladem je trvale obsazená paměť; všechno ostatní je zanedbatelné, pokud model není pro daný počítač příliš velký.
Proč je soubor menší, než čekáte
Model propagovaný jako model o velikosti několika set megabajtů neobsahuje jen několik set milionů parametrů. Modely se distribuují kvantizované, s váhami uloženými v nižší přesnosti — obvykle na čtyřech nebo pěti bitech místo šestnácti. To znamená přibližně čtyřnásobné zmenšení velikosti a nároků na paměť za cenu mírného, měřitelného poklesu kvality.
U otevřeného uvažování je tato ztráta důležitá. Při dokončování věty, kterou jste už začali psát, na ní většinou nezáleží, protože omezení vycházejí z vašeho vlastního textu, nikoli z hloubky modelu. To je technický důvod, proč se pro tento úkol hodí malý lokální model, ale pro jiné úkoly ne.
Skutečným omezením je latence, nikoli kvalita
Časový limit je pevně daný. Návrh, který dorazí až poté, co jste slova napsali sami, je horší než žádný návrh: objeví se právě ve chvíli, kdy skončíte, a čtete ho zbytečně.
Tento časový limit omezuje velikost modelu bez ohledu na to, kolik máte paměti. Za určitou hranicí znamená lepší model pomalejší model a pomalejší znamená, že ho nebudete používat. Praktickým cílem je návrh, který se objeví, dokud máte prsty ještě v mezeře mezi slovy — v řádu několika set milisekund, ne sekundy a půl.
Tím se obrací obvyklá intuice. Tady větší neznamená lepší, pokud už návrh dorazí pozdě. Správná velikost je ta největší, která na vašem hardwaru stále odpoví během mezery mezi slovy — a to bude jiná odpověď pro ultrabook z roku 2019 a pro stolní počítač se samostatnou grafickou kartou.
Výběr velikosti
Typeahead dodává tři varianty, které přímo odpovídají tomuto kompromisu.
| Velikost | Na disku | Uvedené požadavky | Pro koho je určena |
|---|---|---|---|
| Rychlá (výchozí) | ~600 MB | — | Každý podporovaný počítač; je to správná volba pro začátek |
| Vyvážená | ~1,2 GB | 8 GB systémové paměti | Počítače s dostatečnou rezervou: lepší návrhy, stále pohodlně rychlé |
| Maximální kvalita | ~2,5 GB | Samostatná grafická karta s vlastní 8GB pamětí, 16 GB systémové paměti | Stolní počítače a pracovní stanice se skutečným GPU |
K této tabulce dvě poznámky.
Začněte s variantou Rychlá, i když váš počítač zvládne víc. Používejte ji týden. Pokud jsou návrhy dostatečně přesné, větší model vám při psaní zprávy v chatu nepřinese nic, čeho byste si všimli. Pokud se znatelně netrefují, přejděte na vyšší variantu — a už budete vědět, za co výměnou za rychlost platíte.
Varianta s maximální kvalitou vyžaduje samostatnou kartu s vlastní 8GB pamětí, nikoli 8 GB sdílené systémové paměti. Integrovaná grafika v notebooku tento požadavek nesplňuje a vynucené spuštění modelu na hardwaru, který ho musí odkládat do stránkovacího souboru, je přesně způsob, jak dosáhnout zážitku s roztočeným ventilátorem, kterým tento článek začínal.
Počítače, které mají opravdu málo prostředků
- 8 GB RAM, s otevřeným prohlížečem, Teams a Office. Už před načtením čehokoli dalšího jste blízko limitu. Používejte nejmenší model a počítejte s tím, že jeho dopadu si všimnete víc než někdo se 16 GB. Pokud váš počítač už při běžném pracovním dni používá stránkovací soubor, rezidentní model situaci zhorší.
- Starší procesory bez AVX2. Knihovny pro inferenci využívají vektorové instrukce. Procesor vyrobený před rokem 2013 bude pomalejší než jakýkoli uváděný výsledek a projeví se na něm právě výše popsaný limit latence.
- Tenké notebooky s omezeným chlazením. Jednotlivé výpočty jsou natolik krátké, že je nepravděpodobné, že by tato zátěž sama o sobě způsobila dlouhodobé omezení výkonu. Počítač, který už omezuje výkon kvůli jiné zátěži, ale žádnou rezervu nemá.
- Na baterii, mimo dosah napájení. Návrhy stále fungují, protože se zpracovávají lokálně a nepotřebují připojení. Pokud chcete optimalizovat výdrž při dlouhém letu, zvolte menší model.
Jak to ověřit na vlastním počítači
Údaje naměřené na notebooku někoho jiného vám toho moc neřeknou. Dvě měření, deset minut.
- 1. Než cokoli nainstalujete, otevřete Správce úloh → Výkon a poznamenejte si využití paměti při běžném pracovním nastavení: obvyklé karty prohlížeče, poštu a chat.
- 2. Po instalaci a načtení modelu, podívejte se na stejný údaj a také na využití paměti samotnou aplikací na kartě Procesy.
Pokud po této změně zůstáváte pohodlně pod celkovým limitem, je vše v pořádku. Pokud se blížíte k maximu, přejděte o velikost níž.
Latenci vnímá každý subjektivně, a to je dobře: napište větu, kterou byste běžně napsali, a všimněte si, zda se návrh objeví, když se vaše prsty zastaví, nebo až potom. Správným způsobem, jak to zjistit, je zkušební období — u Typeahead trvá sedm dní a jsou během něj odemčeny všechny velikosti modelu.
Co za tuto cenu získáte
- Nic z toho, co napíšete, neopustí počítač. Nejde o zásadu popisující, jak server nakládá s vaším textem, ale o vlastnost místa, kde se text zpracovává.
- Funguje bez připojení. V letadle, ve vlaku, na hotelové Wi-Fi, která přestala překládat DNS.
- Žádné předplatné za jednotlivé uživatele ani účet, protože není třeba platit za žádný server.
- Žádná proměnlivá latence. Lokální model je stejně rychlý v 9 ráno jako v 5 odpoledne, což o sdílené službě neplatí.
Zda to stojí za gigabajt rezidentní paměti, je skutečná otázka, na kterou má každý jinou odpověď. Je to ale menší otázka, než se zdá, a za týden na ni můžete najít odpověď.