«Esegue un modello linguistico sul tuo computer» è una frase che fa immaginare una ventola che si mette a girare e un portatile che si scalda mentre non fai nulla. È un’immagine ragionevole, perché descrive ciò che accade quando si esegue male un modello conversazionale.
I suggerimenti di digitazione comportano un carico di lavoro diverso. Ecco quanto consumano davvero, così puoi scegliere una dimensione adatta alla macchina che hai.
Quattro costi, ma solo uno è costante
Disco. Il file del modello, una volta sola. Da qualche centinaio di megabyte a qualche gigabyte, occupati al momento del download.
Memoria. I pesi devono restare in memoria mentre il modello è caricato: all’incirca la dimensione del file, più un modesto overhead di lavoro. Questo è il costo costante ed è quello che determina se una certa dimensione è adatta alla tua macchina. Su un portatile da 16 GB, un modello che occupa un gigabyte di memoria non è nulla di insolito. Su un portatile da 8 GB con il browser aperto, tre gigabyte sono tanti.
Potenza di calcolo. Solo durante la generazione di un suggerimento. Per completare una frase bastano alcune centinaia di millisecondi, una manciata di volte al minuto, con pause tra una digitazione e l’altra che superano di gran lunga il tempo di calcolo. Confrontalo con un assistente di chat che genera seicento parole e impegna al massimo il processore per diversi secondi.
Batteria. Dipende dal calcolo. Gli intervalli brevi consumano poco; la precisazione onesta è che una macchina che non entra mai negli stati di risparmio energetico più profondi consuma più di una che ci entra, quindi l’effetto non è esattamente nullo.
Il dato da tenere a mente è questo: la previsione durante la digitazione è inattiva quasi tutto il tempo. La memoria occupata è il costo effettivo; tutto il resto è trascurabile, a meno che il modello non sia decisamente troppo grande per la macchina.
Perché il file è più piccolo del previsto
Un modello presentato come grande poche centinaia di megabyte non contiene poche centinaia di milioni di parametri. I modelli vengono distribuiti quantizzati, con i pesi memorizzati a precisione ridotta, comunemente a quattro o cinque bit anziché sedici. Questo riduce all’incirca di quattro volte la dimensione e l’uso della memoria, a fronte di una perdita di qualità modesta ma misurabile.
Per il ragionamento a risposta aperta questa perdita conta. Per completare una frase che hai già iniziato, perlopiù no, perché i vincoli derivano dal tuo testo e non dalla profondità del modello. Ecco la ragione tecnica per cui un piccolo modello locale è adatto a questa attività, ma non ad altre.
Il vero limite è la latenza, non la qualità
C’è una scadenza rigida. Un suggerimento che arriva dopo che hai già digitato le parole è peggio di nessun suggerimento: compare proprio quando hai finito e lo leggi inutilmente.
Questa scadenza limita la dimensione del modello, indipendentemente dalla quantità di memoria disponibile. Oltre un certo punto, un modello migliore è un modello più lento, e un modello più lento non viene usato. L’obiettivo pratico è un suggerimento che compaia mentre le tue dita sono ancora nella pausa tra una parola e l’altra: nell’ordine di alcune centinaia di millisecondi, non di un secondo e mezzo.
Questo capovolge l’intuizione abituale. Qui, oltre il punto in cui il suggerimento arriva in ritardo, più grande non significa migliore. La dimensione giusta è la maggiore che riesce ancora a rispondere durante la pausa sul tuo hardware: una risposta diversa per un ultrabook del 2019 e per un desktop con scheda grafica dedicata.
Scegliere una dimensione
Typeahead ne offre tre, che corrispondono direttamente ai diversi compromessi.
| Dimensione | Su disco | Requisito dichiarato | A chi è destinato |
|---|---|---|---|
| Veloce (predefinito) | ~600 MB | — | Qualsiasi macchina supportata; il punto giusto da cui iniziare |
| Equilibrato | ~1,2 GB | 8 GB di memoria di sistema | Macchine con risorse disponibili: suggerimenti migliori, ma ancora decisamente rapidi |
| Massima qualità | ~2,5 GB | Scheda grafica dedicata con 8 GB di memoria propria, 16 GB di memoria di sistema | Desktop e workstation con una GPU vera e propria |
Due cose da notare nella tabella.
Inizia con Veloce anche se la tua macchina può gestire di più. Usalo per una settimana. Se i suggerimenti sono abbastanza precisi da essere utili, un modello più grande non ti offrirà nulla che noterai mentre scrivi un messaggio in chat. Se sono chiaramente imprecisi, passa a una versione più grande: a quel punto saprai a cosa stai rinunciando in termini di latenza.
Il livello Massima qualità richiede una scheda dedicata con 8 GB di memoria propria, non 8 GB di memoria di sistema condivisa. La grafica integrata di un portatile non è sufficiente, e forzare un modello su un hardware che deve trasferirlo continuamente da e verso il disco è proprio il modo per ottenere l’esperienza con la ventola a tutta velocità descritta all’inizio dell’articolo.
Macchine davvero a corto di risorse
- 8 GB di RAM con browser, Teams e Office aperti. Sei già vicino al limite prima ancora di caricare altro. Usa il modello più piccolo e aspettati di notarne l’impatto più di chi ha 16 GB. Se durante una normale giornata la tua macchina usa già la memoria virtuale, un modello residente peggiorerà la situazione.
- Processori meno recenti senza AVX2. Le librerie di inferenza sfruttano le istruzioni vettoriali. Un processore precedente al 2013 sarà più lento di qualsiasi valore dichiarato e il limite di latenza descritto sopra si farà sentire.
- Portatili sottili con limiti termici. Gli intervalli di calcolo sono abbastanza brevi da rendere improbabile una riduzione prolungata delle prestazioni dovuta al calore con questo solo carico di lavoro; tuttavia, una macchina che sta già riducendo le prestazioni sotto un altro carico non ha risorse da risparmiare.
- A batteria, lontano da una presa. I suggerimenti continuano a funzionare perché sono locali e non richiedono una connessione. Se vuoi ottimizzare la macchina per un lungo volo, scegli il modello più piccolo.
Come verificarlo sulla tua macchina
I numeri misurati sul portatile di qualcun altro ti dicono ben poco. Bastano due misurazioni e dieci minuti.
- 1. Prima di installare qualsiasi cosa,apri Gestione attività → Prestazioni e annota la memoria in uso durante una normale sessione di lavoro: le schede del browser che usi di solito, la posta e la chat.
- 2. Dopo aver installato e caricato un modello,controlla lo stesso valore e la memoria usata dall’app nella scheda Processi.
Se la differenza ti lascia un buon margine rispetto alla memoria totale, va bene. Se ti porta al limite, passa a una dimensione più piccola.
La latenza è soggettiva, ed è meglio così: digita una frase che scriveresti normalmente e nota se il suggerimento è già presente quando fai una pausa o se arriva dopo. Il modo giusto per capirlo è provarlo: il periodo di prova di Typeahead dura sette giorni e include tutte le dimensioni del modello.
Cosa ottieni in cambio del costo
- Niente di ciò che digiti lascia la macchina. Non è una politica su come un server gestisce il tuo testo, ma una caratteristica del luogo in cui viene elaborato.
- Funziona senza connessione. In aereo, in treno o con il Wi-Fi dell’hotel che ha smesso di risolvere i nomi DNS.
- Nessun abbonamento per utente e nessun account, perché non c’è nessun server da pagare.
- Nessuna latenza variabile. Un modello locale è altrettanto veloce alle 9 del mattino e alle 5 del pomeriggio, a differenza di un servizio condiviso.
Se valga la pena occupare un gigabyte di memoria residente è una domanda legittima, con una risposta diversa per ogni persona. È una questione più semplice di quanto sembri e puoi risolverla in una settimana.