Temperatura da IA: o que os ajustes realmente mudam

Temperatura, top-p, comprimento máximo: para que servem esses controles, quando mexer neles e como obter o mesmo efeito sem ter acesso a eles.

6 min de leitura

Mostrador de sintonia de um rádio antigo
Foto: Denis Bourez · CC BY 3.0, recortada

Um restaurateur pede dez nomes para o novo cardápio de outono e recebe dez variações de “Sabores de outono”. No dia seguinte, pede a uma ferramenta que extraia os valores das faturas dos fornecedores, e o formato muda de uma linha para outra. No primeiro caso, ele gostaria de mais ousadia. No segundo, gostaria que a ferramenta parasse de improvisar.

Essas duas necessidades opostas dependem de um mesmo parâmetro: a temperatura. Para entender para que ela serve, basta um lembrete: um modelo de linguagem calcula probabilidades para a continuação do texto e depois escolhe uma delas. É o princípio descrito no nosso artigo sobre o funcionamento de um modelo de linguagem.

Onde ficam esses ajustes

Comecemos por um esclarecimento que evita procurar à toa: nos aplicativos de uso geral, esses controles em geral não são oferecidos. Você os encontra sobretudo nos ambientes destinados a desenvolvedores, nos “playgrounds” das empresas (Google AI Studio, por exemplo) e nas chamadas à API. No momento em que estas linhas são escritas, essa é a situação mais comum, mas confira na sua ferramenta, pois as interfaces mudam com frequência.

Circulam dicas dizendo que bastaria escrever “temperatura 0,2” em um chatbot. Não conte com isso. Essa frase não mexe no ajuste: no máximo, o modelo a interpreta como um desejo de sobriedade, como qualquer instrução comum. A última seção mostra uma forma mais confiável de obter esse efeito.

A temperatura: prudência ou disposição a arriscar

Voltemos ao mecanismo. O modelo quer continuar a frase “Nosso restaurante oferece uma cozinha...”. Ele vê “tradicional” como muito provável, “generosa” como bastante provável, “tagarela” como muito improvável.

Em temperatura baixa, a escolha se concentra nas continuações mais prováveis. A resposta é comportada, regular, às vezes sem graça.

Em temperatura alta, as probabilidades se aproximam: continuações menos esperadas têm a sua chance. A resposta fica mais variada, mais surpreendente e também mais exposta a sair do assunto ou a incoerências.

A tabela resume os usos habituais. São tendências, a testar no seu próprio caso.

TarefaTemperaturaPor quê
Extrair dados de uma faturaBaixaVocê quer a mesma estrutura toda vez
Resumir uma ataBaixa a médiaFidelidade antes de tudo, com uma redação fluida
Redigir um e-mailMédiaO ajuste padrão funciona muito bem
Buscar nomes, chamadasAltaA variedade conta, e você faz a triagem depois

A escala varia conforme o fornecedor, de 0 a 1 em alguns, de 0 a 2 em outros, e um dado valor não tem exatamente o mesmo efeito de um modelo para outro. Alguns modelos recentes até restringem ou ignoram esse parâmetro. Consulte a documentação antes de copiar um valor achado em um fórum.

Dois erros aparecem com muita frequência.

Achar que uma temperatura zero torna a resposta verdadeira. O ajuste influencia a variedade, nunca a exatidão. Em temperatura zero, o modelo pega a continuação favorita dele, inclusive quando ela é falsa. Uma informação inventada pode, portanto, voltar idêntica a cada tentativa, o que lhe dá uma falsa aparência de solidez.

Achar que ela torna a resposta perfeitamente reproduzível. Uma temperatura muito baixa reduz fortemente as variações, sem sempre eliminá-las. Algumas APIs oferecem um parâmetro seed para melhorar a repetibilidade, sem garantia absoluta.

Os outros ajustes que você vai encontrar

Top-p limita a escolha às continuações mais prováveis, até atingir uma parte determinada da probabilidade total. Em 0,9, o modelo escolhe entre as continuações que representam 90% dessa probabilidade e ignora as demais. O efeito se parece com o da temperatura, por isso as documentações geralmente recomendam modificar um ou outro, não os dois.

O comprimento máximo (muitas vezes max_tokens) limita o tamanho da resposta. Ele corta o texto abruptamente quando o limite é atingido: nem por isso o modelo redige uma resposta mais concisa. Para um texto curto e completo, peça isso no prompt, seguindo nossas dicas para impor um formato de resposta. Se você trabalha com documentos longos, tenha em mente também o limite descrito no nosso artigo sobre tokens e janela de contexto.

As sequências de parada indicam ao modelo uma sequência de caracteres na qual ele deve se interromper. Servem sobretudo a desenvolvedores que integram um modelo a um aplicativo.

As penalidades de frequência e de presença, oferecidas por algumas APIs, desestimulam a repetição de palavras já empregadas. Podem ajudar em textos longos que ficam andando em círculos, mas não estão disponíveis em todo lugar e seu efeito continua difícil de prever.

A instrução de sistema não é um ajuste numérico, mas costuma estar nas mesmas telas. É muitas vezes a que tem mais efeito sobre o resultado.

Para um uso corrente, a ordem de ação é simples: melhore o prompt primeiro, ajuste a temperatura depois e deixe o resto no padrão enquanto você não tiver um problema específico a resolver.

Obter o mesmo efeito sem controle deslizante

A maioria das pessoas não tem acesso a esses parâmetros, e isso não atrapalha muito: o prompt permite ir na mesma direção.

Para a variedade, o prompt fraco seria “Proponha nomes para o meu cardápio de outono”. O modelo produz então o que vê de mais provável. Obrigue-o a explorar direções distintas:

Prompt
Tenho [TIPO DE RESTAURANTE] em [CIDADE]. Meus clientes: [DESCRIÇÃO]. Procuro um nome para [O CARDÁPIO OU O PRATO], que contém [INGREDIENTES OU IDEIA].

Proponha 12 nomes divididos em 4 abordagens bem diferentes: poética, humor, identidade local e uma abordagem inesperada à sua escolha, que você vai nomear.

Restrições:
- menos de 5 palavras;
- evite as palavras [PALAVRAS GASTAS, EX.: SABORES, DELÍCIAS, TRADIÇÃO];
- fáceis de pronunciar em voz alta por um garçom.

Para cada nome, indique em poucas palavras o que ele evoca. Termine apontando os dois nomes mais arriscados e explique o que poderia desagradar.

O ganho vem da obrigação de procurar em outro lugar: as abordagens impostas e as palavras proibidas afastam as continuações mais esperadas. Você também pode gerar várias respostas em conversas separadas e compará-las, o que equivale a aproveitar a parte de acaso em vez de sofrê-la.

Para a regularidade, é o contrário: reduza a liberdade. Dê um formato estrito, um exemplo do resultado esperado e uma instrução para os casos ambíguos.

Prompt
Extraia as informações da fatura abaixo. Responda apenas com uma tabela com estas colunas, nesta ordem: Fornecedor | Data (DD/MM/AAAA) | Número da fatura | Valor sem impostos | Impostos | Valor total.

Regras:
- copie os valores como aparecem, sem recalcular;
- se um valor estiver ausente ou ilegível, escreva “NÃO ENCONTRADO”;
- não acrescente nenhum comentário.

Fatura:
"""
[TEXTO DA FATURA]
"""

Mesmo assim, confira as primeiras extrações à mão e depois uma amostra regular. Se a necessidade se tornar repetitiva e um software precisar ler o resultado, passe antes para uma saída JSON estruturada.

O teste a fazer com o seu próximo prompt

Rode seu prompt habitual três vezes, cada uma em uma conversa nova, e compare as respostas. Se elas se parecerem demais quando você queria ideias, imponha abordagens diferentes. Se divergirem quando você queria um resultado estável, aperte o formato. Nos dois casos, você saberá o que corrigir sem tocar em um único controle.

Entender a IA

Tokens e janela de contexto: por que a IA perde o fio da meada

Se o seu chatbot perde o fio depois de trinta mensagens, é mecânico. O que são tokens e como manter uma conversa longa.

6 min de leitura

Entender a IA

Verificar uma resposta da IA: o que checar e como

Datas, números, fontes inventadas, código: como checar uma resposta da IA conforme o risco, sem gastar o seu dia nisso.

5 min de leitura

Entender a IA

O AI Act explicado de forma simples: o que muda para você

O regulamento europeu de IA classifica os usos por nível de risco. O que isso muda se você usa um chatbot no trabalho, e um prompt de inventário.

5 min de leitura