Como funciona um modelo de linguagem, explicado sem jargão

Peça a um chatbot a biografia de um artesão pouco conhecido da sua cidade, sem dar a ele acesso à web. Há boas chances de você receber um texto fluido, com uma data de abertura da oficina, um aprendizado com um mestre marceneiro e uma anedota sobre o ateliê. Tudo pode ser falso, e o tom não vai deixar transparecer nada.

Esse comportamento parece mentira. Na verdade, ele se explica pela própria mecânica dessas ferramentas. Depois que você a entende, sabe o que esperar: por que é preciso colar suas fontes, por que uma conversa longa se degrada, por que duas respostas à mesma pergunta diferem. Nenhuma fórmula matemática abaixo, só as ideias que mudam o seu jeito de usar a ferramenta.

Uma máquina de prever a continuação de um texto

Um modelo de linguagem faz uma única coisa, numa escala enorme: a partir de um texto, estima o que tem mais chance de vir em seguida.

Pegue esta frase: “O padeiro tira o pão do”. Você completa com “forno” sem pensar. O modelo faz o mesmo, só que não escolhe uma palavra única. Ele calcula uma probabilidade para cada continuação possível: “forno” muito alta, “balcão” razoavelmente alta, “saco” mais baixa, “freezer” quase nula. Ele escolhe uma continuação, a acrescenta ao texto e recomeça com a frase mais longa, e assim por diante até o fim da resposta.

Tudo o que você vê vem desse laço: o e-mail de cobrança, o código Python, a receita, o resumo de contrato. Quando você faz uma pergunta, o modelo produz o texto que mais se parece com o que vem depois dessa pergunta em tudo o que ele aprendeu. Ele responde porque, estatisticamente, uma pergunta é seguida de uma resposta.

A comparação com o texto preditivo do celular é útil, mas tem limites. O seu celular olha as duas ou três últimas palavras. Um modelo de linguagem leva em conta todo o texto que tem diante dos olhos, e absorveu regularidades suficientes para traduzir, raciocinar sobre um problema ou imitar um estilo. Essa diferença de escala muda o que ele é capaz de fazer.

O modelo entende o que escreve? Os pesquisadores debatem, e a questão continua em aberto. Para o seu uso, basta uma resposta prática: ele manipula muito bem o sentido das palavras e não tem ligação direta com a realidade. Ele só sabe o que os textos dizem.

O que significa “treinar” um modelo

Ninguém escreve as regras à mão. Ninguém programou que “forno” vem depois de “pão do”. O modelo as deduz sozinho, lendo uma quantidade colossal de textos: páginas da web, livros, código, fóruns, conforme o que cada empresa reuniu.

O treinamento lembra um exercício de completar lacunas repetido infinitamente. Esconde-se a continuação de uma frase, o modelo tenta adivinhá-la, compara-se com a continuação verdadeira e depois se ajustam levemente os parâmetros internos dele para que erre um pouco menos. Esses ajustes se chamam parâmetros, e os grandes modelos têm bilhões deles. Imagine uma mesa de som com um número absurdo de botões, cada um girado um fiozinho a cada tentativa.

Ao fim dessa etapa, obtém-se um modelo que prolonga qualquer texto, mas que ainda não é um assistente. Se você escreve uma pergunta, ele pode muito bem emendar com outras perguntas, como num questionário. Uma segunda fase ensina então a se comportar como assistente, apoiando-se em particular em exemplos de boas respostas e em avaliações humanas. É nesse momento que ele também aprende a recusar certos pedidos e a adotar um tom prestativo.

Três consequências muito concretas decorrem disso.

O modelo não é um banco de dados. Ele não guarda os textos arrumados em arquivos que iria consultar. Guarda regularidades, dissolvidas nos parâmetros. Uma frase muito repetida pode reaparecer quase palavra por palavra, mas uma informação rara, como o telefone da prefeitura da sua cidadezinha, pode ter deixado um rastro fraco demais para ser reproduzida corretamente.

O conhecimento dele para numa data. O treinamento é feito com dados congelados, e tudo o que aconteceu depois lhe é desconhecido, a menos que a ferramenta dê acesso à web ou que você forneça a informação.

Ele não aprende com você enquanto você conversa. Suas mensagens não modificam os parâmetros dele ao vivo. Algumas empresas podem reutilizar conversas em treinamentos futuros, conforme as suas configurações, daí o interesse de conferir o que você cola ali. As funções de “memória” oferecidas por certas ferramentas são outra coisa: anotações salvas à parte e reinseridas na conversa.

Também é preciso distinguir o modelo do produto. O modelo é o motor de previsão. O chatbot que você usa o cerca de instruções ocultas, pesquisa na web, execução de código, leitura de arquivos. Quando uma ferramenta lhe dá um número certo tirado de uma página recente, muitas vezes foi esse conjunto de recursos que trabalhou, e o modelo que redigiu. Essas funções variam de uma ferramenta e de um plano para outro: confira o que está ativo na sua.

Como palavras viram números

Um computador calcula, não lê. É preciso, portanto, traduzir o texto em números, e essa tradução se faz em dois tempos.

Primeiro, o texto é cortado em pedaços chamados tokens: uma palavra curta, parte de uma palavra longa, um sinal de pontuação. Esse corte explica muitos limites práticos, detalhados no artigo sobre os tokens e a janela de contexto.

Depois, cada pedaço recebe uma longa lista de números, que podemos imaginar como coordenadas num mapa imenso. O treinamento aproxima, nesse mapa, os elementos que aparecem em contextos parecidos. “Fatura” acaba perto de “orçamento”, “gato” perto de “cachorro”, e os dois grupos ficam distantes um do outro. O sentido vira uma questão de distância.

Resta o caso das palavras com vários sentidos. Compare estas duas frases:

A manga rasgou quando ele vestiu o casaco.

A manga estava madura demais para a salada.

A mesma palavra, duas realidades. O mecanismo que resolve esse problema se chama atenção. Para processar cada pedaço do texto, o modelo olha todos os outros e pondera os que contam. Aqui, “rasgou” e “casaco” puxam “manga” para a roupa, “madura” e “salada” puxam para a cozinha. A arquitetura que generaliza essa ideia, chamada Transformer, foi descrita em 2017 por pesquisadores do Google num artigo que ficou famoso, “Attention Is All You Need”. A maioria dos grandes modelos atuais descende dela.

Esse mecanismo tem um efeito direto nos seus prompts: o modelo pondera tudo o que está no texto, inclusive as suas digressões. Uma frase fora do assunto ou um detalhe mal colocado influencia a resposta, mesmo que pouco.

Por que ele inventa com tanta convicção

Voltemos ao nosso artesão imaginário. O modelo leu milhares de biografias de artesãos. Sabe como elas são: uma data, uma formação, uma transmissão de ofício, um apego ao gesto. Quando não dispõe de nenhuma informação sobre a pessoa, produz mesmo assim a continuação mais plausível, porque é essa a função dele. Nada no laço de previsão verifica se a frase corresponde a um fato.

É o que se chama de alucinação. A palavra engana, pois nada foi “visto”. Trata-se antes de uma extrapolação com a forma de uma resposta segura de si.

Um pedido de natureza contábil mostra bem a armadilha. Se você pede o artigo do Code général des impôts (o código tributário francês) que regula uma dedução específica, o modelo sabe que uma resposta desse tipo contém um número de artigo bem formado. Pode produzir um de boa aparência, que não trata do assunto ou que mudou desde então. O formato é perfeito e o conteúdo precisa ser conferido.

Duas ideias prontas merecem ser descartadas:

• A segurança do tom não diz nada sobre a confiabilidade. Um modelo não fica mais hesitante por estar errado. O estilo assertivo faz parte do que ele aprendeu.
• Perguntar se ele tem certeza não basta. O modelo pode manter o erro ou, ao contrário, abandonar uma resposta certa porque a sua pergunta sugere uma dúvida. Ele tende a ir na direção do interlocutor.

Os modelos recentes erram com menos frequência, e muitos sinalizam melhor suas incertezas. O risco diminui sem desaparecer. Para reduzi-lo, dá para agir no prompt, como explica nosso guia para reduzir as alucinações, e depois controlar o resultado.

As esquisitices do dia a dia, decifradas

A maioria dos comportamentos estranhos se explica pelo que vimos acima.

O ponto sobre as respostas diferentes vem de uma configuração que você às vezes pode usar, descrita no artigo sobre a temperatura e os outros parâmetros. O ponto sobre a memória costuma surpreender: a cada mensagem, o aplicativo reenvia ao modelo o texto da conversa. Ele não se lembra no sentido em que você se lembra, ele relê.

O que isso muda nos seus prompts

Entendida a mecânica, o bom hábito se resume assim: seu prompt é o começo de um texto, e o modelo vai prolongá-lo. Quanto mais esse começo se parece com o de um bom documento, maiores as chances de a continuação ser boa.

Eis um pedido típico de uma responsável por associação:

Escreva uma mensagem avisando da nossa assembleia geral.

O modelo não tem nada em que se agarrar na realidade. Vai então produzir a média de todas as mensagens de assembleia geral que leu, com um tom genérico e provavelmente um local deixado em branco ou inventado. A mesma necessidade, escrita levando em conta o funcionamento dele:

Aqui estão as informações exatas sobre a nossa assembleia geral. Use somente estas informações e não acrescente nenhuma.

Associação: [NOME E ATIVIDADE]
Data, horário e local: [DETALHES]
Pauta: [PONTOS]
O que se espera dos associados: [VOTO, PROCURAÇÃO, CONFIRMAÇÃO DE PRESENÇA]

Redija um e-mail de menos de 150 palavras para nossos [NÚMERO] associados, muitos dos quais são aposentados e leem no celular. O tom é caloroso e simples. Comece pela data. Termine com o que eles precisam fazer e o prazo.

Se faltar uma informação indispensável, escreva [A COMPLETAR] no lugar dela, em vez de adivinhar.

Cada mudança responde a um mecanismo visto acima:

• Os fatos estão no texto, então o modelo não precisa reconstruí-los de memória, onde ele é mais frágil.
• O público, o tamanho e o tom reduzem o número de continuações plausíveis. A resposta se afasta da média.
• A instrução sobre [A COMPLETAR] dá a ele uma saída permitida. Sem ela, o texto plausível vence o vazio.

Esse prompt melhora bastante as chances, sem garantir nada. O modelo ainda pode escorregar um detalhe não pedido, e será preciso rever cada data e cada nome. Para essa revisão, tenha à mão nosso método para verificar uma resposta da IA.

Refaça agora o teste do artesão: peça ao seu chatbot, com a pesquisa na web desativada, a biografia de uma pessoa que você conhece bem e que não é famosa. Leia a resposta, anote o que está errado e depois cole, numa conversa nova, três fatos exatos sobre essa pessoa com a instrução “use somente estas informações”. A diferença entre os dois textos vale mais do que todas as explicações.