”Den kör en språkmodell på din dator” är en mening som får folk att föreställa sig en fläkt som går på högvarv och en bärbar dator som blir varm fast den inte gör något. Det är en rimlig bild, eftersom den beskriver vad som händer när man kör en chattmodell på ett dåligt sätt.
Skrivförslag är en annan typ av belastning. Här är vad de faktiskt kostar, så att du kan anpassa dem efter den dator du har.
Fyra kostnader, och bara en är konstant
Disk. Modellfilen, en gång. Några hundra megabyte till några gigabyte, när den laddas ned.
Minne. Vikterna måste ligga kvar i minnet medan modellen är inläst: ungefär lika mycket som filens storlek, plus ett måttligt arbetsutrymme. Det här är den konstanta kostnaden och den som avgör om en viss storlek passar datorn. På en bärbar dator med 16 GB minne är en modell på en gigabyte inget märkvärdigt. På en bärbar dator med 8 GB och en webbläsare öppen är tre gigabyte mycket.
Beräkningskraft. Bara när ett förslag skapas. För att slutföra en mening handlar det om en kort arbetsinsats på några hundra millisekunder, ett fåtal gånger i minuten, med pauserna mellan dina egna tangenttryckningar som den största delen. Jämför med en chattassistent som genererar sexhundra ord och belastar processorn fullt i flera sekunder.
Batteri. Följer beräkningsbelastningen. Korta arbetsinsatser drar lite ström. Det ärliga förbehållet är att en dator som aldrig går ned i sina djupa vilolägen drar mer ström än en som gör det, så påverkan är inte exakt noll.
Kom ihåg detta: prediktiv text är inaktiv nästan hela tiden. Det verkliga priset är minnet som modellen använder, och allt annat är försumbart om modellen inte är alldeles för stor för datorn.
Varför filen är mindre än du tror
En modell som anges vara på några hundra megabyte innehåller inte bara några hundra miljoner parametrar. Modeller distribueras kvantiserade, med vikterna lagrade med lägre precision — vanligtvis fyra eller fem bitar i stället för sexton. Det ger ungefär fyra gånger mindre storlek och minnesanvändning, med en måttlig men mätbar kvalitetsförlust.
För resonemang med öppet slut spelar den förlusten roll. När du avslutar en mening som du redan har börjat spelar den för det mesta ingen roll, eftersom begränsningarna kommer från din egen text snarare än från modellens kapacitet. Det är den tekniska anledningen till att en liten lokal modell fungerar för den här uppgiften, men inte för andra.
Latensen är den verkliga begränsningen, inte kvaliteten
Det finns en hård tidsgräns. Ett förslag som kommer efter att du själv har skrivit orden är sämre än inget förslag alls: det dyker upp precis när du är klar, och du läser det helt i onödan.
Den tidsgränsen sätter ett tak för modellstorleken, oavsett hur mycket minne du har. Efter en viss punkt innebär en bättre modell en långsammare modell, och långsammare betyder att den inte används. Det praktiska målet är ett förslag som dyker upp medan fingrarna fortfarande befinner sig i mellanrummet mellan två ord — inom några hundra millisekunder, inte en och en halv sekund.
Det här vänder upp och ner på den vanliga intuitionen. Här är större inte bättre när modellen väl är så långsam att den kommer för sent. Rätt storlek är den största modell som fortfarande hinner svara under pausen på din maskin. Svaret blir olika på en ultrabook från 2019 och en stationär dator med ett separat grafikkort.
Välja storlek
Typeahead levereras med tre storlekar, som direkt motsvarar avvägningen.
| Storlek | På disk | Angivet krav | Vem den passar för |
|---|---|---|---|
| Snabb (standard) | ~600 MB | — | Alla maskiner som stöds, och rätt ställe att börja på |
| Balanserad | ~1.2 GB | 8 GB systemminne | Maskiner med marginal: bättre förslag, fortfarande bekvämt snabb |
| Maximal kvalitet | ~2.5 GB | Separat grafikkort med 8 GB eget minne, 16 GB systemminne | Stationära datorer och arbetsstationer med ett riktigt GPU |
Två saker om den tabellen.
Börja med Snabb även om din maskin klarar mer. Använd den i en vecka. Om förslagen är tillräckligt träffsäkra för att vara användbara ger en större modell dig inget som du märker när du skriver ett chattmeddelande. Om förslagen märkbart missar målet kan du gå upp en storlek — då vet du vad du byter latens mot.
Den maximala nivån kräver ett separat grafikkort med 8 GB eget minne, inte 8 GB delat systemminne. Integrerad grafik i en bärbar dator uppfyller inte kravet, och att tvinga en modell att köras på maskinvara som måste växla ut den till disk är precis så du får den fläktvarvande upplevelse som den här artikeln började med.
Maskiner med verkligt knappa resurser
- 8 GB RAM med en webbläsare, Teams och Office öppna. Du ligger redan nära gränsen innan något annat har startats. Använd den minsta modellen och räkna med att märka av den mer än någon med 16 GB. Om din maskin redan använder växlingsfilen under en vanlig arbetsdag blir det värre med en modell som ligger kvar i minnet.
- Äldre processorer utan AVX2. Inferensbibliotek använder vektorinstruktioner. En processor från före 2013 blir långsammare än alla angivna siffror, och det är då latensgränsen ovan blir avgörande.
- Tunna bärbara datorer med termiska begränsningar. Arbetsperioderna är så korta att den här belastningen ensam sannolikt inte leder till ihållande strypning av prestandan, men en maskin som redan stryps vid annan belastning har inget utrymme kvar.
- På batteri, utan tillgång till ström. Förslagen fungerar fortfarande, eftersom de körs lokalt och inte behöver någon anslutning. Om du optimerar för en lång flygresa är den mindre modellen rätt val.
Så här kontrollerar du det på din egen maskin
Siffror uppmätta på någon annans bärbara dator säger dig väldigt lite. Två mätningar, tio minuter.
- 1. Innan du installerar något, öppna Aktivitetshanteraren → Prestanda och notera hur mycket minne som används under en vanlig arbetsdag: dina vanliga webbläsarflikar, e-post och chatt.
- 2. När du har installerat och läst in en modell, tittar du på samma siffra och på appens egen minnesanvändning under fliken Processer.
Om skillnaden gör att du fortfarande ligger bekvämt under den totala mängden minne är det lugnt. Om du hamnar vid gränsen kan du gå ner en storlek.
Latens är subjektiv, och det är en fördel: skriv en mening som du normalt skulle skriva och märk efter om förslaget finns där när fingrarna pausar, eller om det kommer efteråt. En provperiod är rätt sätt att ta reda på det — Typeaheads varar i sju dagar, med alla modellstorlekar upplåsta.
Vad du får för kostnaden
- Inget du skriver lämnar maskinen. Det handlar inte om en policy för hur en server hanterar din text, utan om var den behandlas.
- Det fungerar utan anslutning. På ett flygplan, på ett tåg eller på ett hotell-Wi-Fi där DNS-uppslagningen har slutat fungera.
- Ingen prenumeration per användare och inget konto, eftersom det inte finns någon server att betala för.
- Ingen varierande latens. En lokal modell är lika snabb klockan 9 som klockan 17, vilket inte gäller för en delad tjänst.
Om det är värt en gigabyte minne som alltid används är en genuin fråga med olika svar för olika personer. Frågan är mindre än den låter, och den går att besvara på en vecka.