Como funciona o texto preditivo: do T9 aos modelos no dispositivo

O texto preditivo funciona estimando quais letras, palavra ou frase têm mais probabilidade de vir a seguir, considerando o que você já digitou, e oferecendo as melhores opções. Essa estimativa vem de um modelo de linguagem. Nos primeiros telefones, esse modelo era um dicionário organizado pela frequência de cada palavra. Depois, passou a usar estatísticas sobre qual palavra costuma vir depois de outra. Hoje, geralmente é uma rede neural que lê a frase inteira e funciona no próprio dispositivo.

Mas o guia sobre preenchimento automático com IA no Windows explica como obter sugestões de frases em um PC. Este artigo explica o mecanismo por trás delas, uma geração de cada vez.

Primeira geração: um dicionário que resolve ambiguidades

O T9 resolveu um problema de hardware. Um teclado de telefone tem doze teclas, e a maioria delas contém três ou quatro letras. A Tegic Communications registrou sua patente de um “computador para desambiguação de teclado reduzido” em 1995, e ela foi concedida em 1998. Cada pressionamento de tecla é ambíguo. O software consulta quais palavras do dicionário correspondem à sequência inteira e mostra primeiro a mais provável.

Pressione 4-6-6-3 e a sequência corresponde a good, home e gone. O T9 não consegue saber qual delas você quer dizer apenas pelas teclas. Ele oferece primeiro a palavra mais frequente e permite percorrer as outras. Nada aqui compreende a linguagem: é uma consulta a um dicionário com classificação.

Segunda geração: contar qual palavra vem depois de outra

A faixa de sugestões acima do teclado do celular trouxe uma segunda ideia: prever a próxima palavra antes que você digite qualquer parte dela. A maneira clássica de fazer isso é com um modelo de n-gramas. Ele conta, em um grande conjunto de textos, com que frequência cada palavra vem depois de uma ou duas palavras anteriores e sugere as continuações mais frequentes.

A SwiftKey construiu seu primeiro teclado com tecnologia de n-gramas. Quando lançou uma versão neural em 2015, a TechCrunch relatou a descrição da própria empresa sobre a limitação da antiga abordagem: ela não conseguia compreender o significado subjacente das palavras. Um modelo de n-gramas sabe que “see you” costuma ser seguido de “soon”. Ele não faz ideia de que “soon” e “shortly” têm significados quase iguais, e considera apenas algumas palavras anteriores.

Terceira geração: redes neurais que aprendem semelhanças

Um modelo de linguagem neural representa as palavras como pontos em um espaço, no qual palavras semelhantes ficam próximas umas das outras. Assim, ele consegue fazer uma previsão sensata depois de uma combinação de palavras que nunca encontrou antes. O Neural Alpha da SwiftKey, lançado em outubro de 2015, foi o primeiro teclado da empresa desenvolvido dessa forma.

O Google descreveu o próximo passo do Gboard em um artigo de 2018, “Aprendizado federado para previsão em teclados móveis”. Seu modelo de próxima palavra era uma rede neural recorrente treinada em telefones, e não em um servidor: os dispositivos aprimoravam o modelo com dados locais de digitação e enviavam atualizações do modelo, não o texto. Um artigo técnico do Google informa que ele tinha cerca de 1,4 milhão de parâmetros, um número minúsculo segundo os padrões atuais. Em 2023, o Google informou que todos os modelos neurais de previsão da próxima palavra do Gboard agora têm garantias de privacidade diferencial.

Quarta geração: transformers e frases inteiras

A arquitetura transformer, apresentada no artigo de 2017 “Atenção é tudo de que você precisa”, permite que um modelo pondere todas as palavras anteriores do contexto, e não apenas as últimas. Isso torna práticas as sugestões de frases: o modelo consegue levar em conta o sujeito e o tom de uma frase inteira.

A Apple passou a usar essa tecnologia para a digitação no iPhone com o iOS 17. Seu anúncio de 2023 descreveu o corretor automático como baseado em “um modelo de linguagem transformer, um modelo de aprendizado de máquina de última geração executado no dispositivo para previsão de palavras”. A atualização também adicionou previsões em linha que completam palavras ou frases com um toque na barra de espaço.

Os grandes modelos de linguagem funcionam da mesma maneira, em uma escala muito maior. Eles preveem o próximo token — uma palavra ou parte de uma palavra —, acrescentam-no e fazem outra previsão. Uma sugestão de frase corresponde a algumas repetições desse ciclo, interrompidas antes do fim e exibidas como “texto fantasma” cinza, que você pode aceitar ou ignorar. O guia sobre texto fantasma explica como isso funciona no Windows.

O que acontece entre uma tecla pressionada e uma sugestão

Independentemente do modelo, o ciclo segue as mesmas etapas:

1. O teclado ou aplicativo lê o contexto: coleta o texto antes do cursor e, às vezes, identifica em qual aplicativo você está.
2. O modelo atribui uma probabilidade às possíveis próximas palavras ou frases.
3. O software descarta previsões com baixa confiança e sugestões em lugares onde não cabem, como campos de senha.
4. Ele mostra as melhores uma a três opções: os celulares usam uma faixa de palavras; as ferramentas de frases mostram texto fantasma em linha.
5. Muitos sistemas então se ajustam às palavras e frases que você aceita e digita com frequência.

A etapa de filtragem é mais importante do que parece. Uma ferramenta que sempre mostra alguma coisa faz com que você aprenda a ignorá-la. Se a ferramenta fica em silêncio quando não tem certeza, você presta atenção quando ela sugere algo.

Por que as previsões costumam estar erradas

Uma previsão é apenas uma probabilidade. O modelo pode adivinhar como seria uma resposta educada. Não pode saber a data que você está prestes a prometer nem o nome da pessoa a que se refere. As primeiras palavras de uma mensagem nova são as mais difíceis de prever, porque ainda há muito pouco contexto. As sugestões melhoram à medida que a frase cresce.

O que torna toleráveis as previsões erradas é a maneira como as sugestões são oferecidas. Se aceitar exige uma tecla e ignorar não exige nenhuma, uma previsão errada não custa nada: você continua digitando.

Onde o texto preditivo é executado em um PC Windows

O Windows oferece sugestões de palavras para o teclado físico. O guia de configuração da Microsoft diz que as palavras são previstas a partir da sua ortografia enquanto você digita. As previsões de texto do Word vão além e sugerem palavras ou frases. A Microsoft as inclui entre os experiências conectadas do Office que analisam o seu conteúdo, com apenas funcionalidades offline básicas em alguns cenários.

Typeahead executa um modelo de linguagem compacto no seu próprio PC e sugere o restante da frase em apps Windows, como Word, Outlook, Chrome e WhatsApp, inclusive quando você está offline. Você aceita com Tab ou com a tecla de seta para a direita. O artigo sobre por que um modelo pequeno no dispositivo é suficiente explica por que essa tarefa não precisa de um modelo do tamanho dos usados na nuvem.

Perguntas frequentes