“Ele executa um modelo de linguagem na sua máquina” é uma frase que leva as pessoas a imaginar uma ventoinha acelerando e um laptop esquentando sem fazer nada. É razoável imaginar isso, porque descreve o que acontece quando se executa mal um modelo de chat.
As sugestões de digitação são uma carga de trabalho diferente. Veja quanto elas realmente custam para escolher o tamanho adequado à sua máquina.
Quatro custos, e apenas um é constante
Disco. O arquivo do modelo, uma única vez. De algumas centenas de megabytes a alguns gigabytes, consumidos no download.
Memória. Os pesos precisam permanecer na memória enquanto o modelo está carregado: aproximadamente o tamanho do arquivo, mais uma pequena margem de trabalho. Esse é o custo constante e o que determina se um tamanho cabe na sua máquina. Em um laptop com 16 GB, um gigabyte de modelo residente é algo corriqueiro. Em um laptop com 8 GB e um navegador aberto, três gigabytes não são.
Processamento. Apenas enquanto uma sugestão está sendo produzida. Para completar frases, isso ocorre em rajadas de algumas centenas de milissegundos, algumas vezes por minuto, e o tempo total é dominado pelas pausas entre as suas próprias teclas. Compare isso com um assistente de chat gerando seiscentas palavras, que usa o processador no máximo por vários segundos.
Bateria. Acompanha o processamento. Períodos curtos consomem pouco; a ressalva honesta é que uma máquina que nunca entra em estados de baixo consumo mais profundos gasta mais do que uma que entra, então o efeito não é exatamente zero.
O número a ter em mente: a previsão de texto fica ociosa quase o tempo todo. A memória residente é o custo real, e todo o resto é insignificante, a menos que o modelo seja grande demais para a máquina.
Por que o arquivo é menor do que você espera
Um modelo anunciado como tendo algumas centenas de megabytes não tem algumas centenas de milhões de parâmetros. Os modelos são distribuídos quantizados, com os pesos armazenados em precisão reduzida — normalmente quatro ou cinco bits, em vez de dezesseis. Isso reduz o tamanho e o uso de memória em aproximadamente quatro vezes, com uma perda de qualidade modesta e mensurável.
Para raciocínio aberto, essa perda importa. Para completar uma frase que você já começou, em geral não importa muito, porque as restrições vêm do seu próprio texto, não da capacidade do modelo. Esse é o motivo técnico pelo qual um modelo local pequeno é viável para essa tarefa, mas não para outras.
O limite real é a latência, não a qualidade
Há um prazo rígido. Uma sugestão que chega depois que você já digitou as palavras é pior do que nenhuma sugestão: ela aparece justamente quando você termina, e você a lê sem necessidade.
Esse prazo limita o tamanho do modelo, independentemente da quantidade de memória disponível. Depois de certo ponto, um modelo melhor é um modelo mais lento, e mais lento significa que ele não será usado. O objetivo prático é que a sugestão apareça enquanto seus dedos ainda estão na pausa entre palavras — na ordem de algumas centenas de milissegundos, não um segundo e meio.
Isso inverte a intuição habitual. Aqui, maior não é melhor quando a sugestão chega tarde. O tamanho certo é o maior que ainda responde durante a pausa no seu hardware, e isso varia entre um ultrabook de 2019 e um computador de mesa com placa de vídeo dedicada.
Como escolher um tamanho
Typeahead oferece três opções, que correspondem diretamente às diferentes combinações possíveis.
| Tamanho | No disco | Requisito indicado | Para quem é |
|---|---|---|---|
| Rápido (padrão) | ~600 MB | — | Qualquer máquina compatível; é a opção certa para começar |
| Equilibrado | ~1,2 GB | 8 GB de memória do sistema | Máquinas com capacidade sobrando: sugestões melhores, ainda bem rápidas |
| Qualidade máxima | ~2,5 GB | Placa de vídeo dedicada com 8 GB de memória própria, 16 GB de memória do sistema | Computadores de mesa e estações de trabalho com uma GPU de verdade |
Duas observações sobre essa tabela.
Comece com Rápido, mesmo que sua máquina dê conta de mais. Use por uma semana. Se as sugestões forem úteis e precisas, um modelo maior não trará nada que você perceba ao digitar uma mensagem de chat. Se estiverem visivelmente erradas, passe para um modelo maior — e agora você sabe o que está trocando por menor latência.
A categoria de qualidade máxima exige uma placa dedicada com 8 GB próprios, não 8 GB de memória compartilhada do sistema. Os gráficos integrados de um laptop não atendem a esse requisito, e forçar um modelo a funcionar em um hardware que precisa recorrer à memória virtual é exatamente como provocar a experiência de ventoinha acelerada que motivou o início deste artigo.
Máquinas que realmente têm pouca capacidade
- 8 GB de RAM com navegador, Teams e Office abertos. Você já está perto do limite antes de carregar qualquer outra coisa. Use o menor modelo e espere notar mais a diferença do que alguém com 16 GB. Se a sua máquina já usa memória virtual durante um dia normal, um modelo residente vai piorar a situação.
- Processadores antigos sem AVX2. As bibliotecas de inferência dependem de instruções vetoriais. Um processador anterior a 2013 será mais lento do que qualquer número citado, e o limite de latência mencionado acima será o problema.
- Laptops finos com limitações térmicas. Os períodos de atividade são curtos o suficiente para que, só por causa dessa carga de trabalho, a redução sustentada de desempenho seja improvável. Mas uma máquina que já reduz o desempenho com outras cargas não tem capacidade sobrando.
- Na bateria, longe de uma tomada. As sugestões continuam funcionando, porque são locais e não precisam de conexão. Se você quer otimizar para um voo longo, use o modelo menor.
Como verificar na sua própria máquina
Os números medidos no laptop de outra pessoa dizem muito pouco. Duas medições, dez minutos.
- 1. Antes de instalar qualquer coisa, abra o Gerenciador de Tarefas → Desempenho e anote a memória em uso durante uma configuração normal de trabalho: as abas habituais do navegador, e-mail, chat.
- 2. Depois de instalar e carregar um modelo, observe o mesmo número e também o uso de memória do próprio app na aba Processos.
Se a diferença deixar você com bastante espaço abaixo do total, está tudo bem. Se levar você ao limite, escolha um tamanho menor.
A latência é subjetiva, e isso é uma vantagem: digite uma frase que você normalmente escreveria e observe se a sugestão aparece quando seus dedos param ou se chega depois. O período de teste é a maneira certa de descobrir — o do Typeahead dura sete dias, com todos os tamanhos de modelo desbloqueados.
O que você ganha pelo custo
- Nada do que você digita sai da máquina. Não é uma política sobre como um servidor trata seu texto, mas uma característica do local onde ele é processado.
- Funciona sem conexão. No avião, no trem, no Wi-Fi do hotel que parou de resolver DNS.
- Sem assinatura por usuário e sem conta, porque não há servidor pelo qual pagar.
- Sem latência variável. Um modelo local funciona na mesma velocidade às 9h e às 17h, ao contrário de um serviço compartilhado.
Se isso vale um gigabyte de memória residente é uma pergunta legítima, cuja resposta muda de pessoa para pessoa. É uma questão menor do que parece e pode ser respondida em uma semana.