Reduzir as alucinações da IA: os métodos que funcionam

Em 2023, em Nova York, advogados apresentaram a um tribunal federal uma petição que citava decisões judiciais inexistentes. Elas tinham sido geradas pelo ChatGPT, e o juiz os sancionou (caso Mata v. Avianca). As referências pareciam perfeitas: nomes das partes, números, resumos.

Esse caso resume bem o problema. Uma alucinação, o termo corrente para uma informação falsa produzida com segurança, é difícil de perceber porque tem a forma de uma boa resposta. Nenhum prompt faz o fenômeno desaparecer. Em contrapartida, você pode torná-lo nitidamente menos frequente e, sobretudo, mais fácil de detectar.

Por que a IA inventa sem saber

Um modelo de linguagem não consulta uma base de fatos quando responde sozinho. Ele prevê uma sequência de texto plausível a partir do que aprendeu. Num assunto muito documentado, plausível e verdadeiro costumam coincidir. Num detalhe raro, ele continua produzindo um texto plausível, porque nada o obriga a parar. Para a mecânica completa, leia como funciona um modelo de linguagem.

Isso explica onde olhar em primeiro lugar:

• as referências: artigos, livros, decisões, links da web;
• as citações entre aspas atribuídas a alguém;
• os números precisos, as datas e os valores;
• as informações locais ou recentes, como um horário, uma taxa ou uma regulamentação;
• os detalhes técnicos de nicho: uma função de biblioteca que parece existir, uma opção de software.

Se o seu pedido toca em um desses pontos, a instrução deve mudar. Para reformular um e-mail, você não precisa de tudo isso.

Autorizar explicitamente o “não sei”

Um assistente procura responder. Se o seu prompt não prevê outra saída, ele produz uma. Dar a ele o direito de não saber costuma reduzir as invenções, desde que você diga isso com precisão.

Antes:

Dê-me 5 estudos recentes sobre o efeito da semana de 4 dias na produtividade, com os autores e os números principais.

Esse prompt exige cinco resultados precisos: empurra para completar a lista aconteça o que acontecer.

Estou procurando estudos sérios sobre [ASSUNTO].

Liste somente aqueles cuja existência você tem razoável certeza, mesmo que sejam menos de cinco, ou nenhum. Para cada um, indique o que você sabe com certeza (autores, ano, instituição) e escreva “a verificar” para todo o resto. Não dê link, número nem citação exata se não tiver certeza.

Termine com as palavras-chave e as bases de dados em que eu mesmo posso verificar.

A última frase dá uma saída útil mesmo quando o modelo não tem nada sólido. Uma resposta em “a verificar” informa mais do que uma lista limpa e falsa.

Responder a partir de um texto fornecido

O método mais eficaz consiste em mudar a pergunta. Em vez de perguntar à IA o que ela sabe, pergunte o que diz um documento que você dá a ela. O trabalho vira leitura, um exercício muito mais confiável que a memória.

Exemplo: a secretária de uma associação quer verificar o que o estatuto prevê para convocar uma assembleia geral.

Responda à minha pergunta usando somente o documento abaixo.

Regras:
- Comece citando palavra por palavra o trecho ou os trechos em que você se baseia, indicando o artigo ou a página.
- Responda em seguida em no máximo 3 frases.
- Se o documento não permitir responder, escreva “O documento não especifica” e não acrescente nenhum conhecimento externo.

Pergunta: [SUA PERGUNTA]

Documento:
[TEXTO DO DOCUMENTO]

A ordem importa. Ao citar primeiro, a resposta se apoia nos trechos selecionados, e você pode conferir as citações com uma simples busca no documento. Uma citação que não se encontra sinaliza que é preciso desconfiar do resto. Para documentos de várias dezenas de páginas, o método se complica um pouco, e o artigo sobre documentos longos o detalha.

Conectar a IA a fontes reais

Várias ferramentas podem pesquisar na web ou nos seus arquivos antes de responder e exibir suas fontes. Essa opção reduz o risco em assuntos recentes, sem eliminá-lo. Um link exibido pode existir sem dizer o que a IA o faz dizer, ou vir de uma página de má qualidade.

O reflexo a manter: abra o link para toda informação que você vai reutilizar e procure a frase precisa na página. Para desenvolvedores, o equivalente é fornecer a documentação da versão certa da biblioteca, executar o código e rodar os testes. A chamada a uma função inventada aparece logo na execução, desde que você execute.

Fazer listar as afirmações a verificar

Depois que o texto é produzido, uma segunda passada ajuda a saber onde concentrar a sua releitura. Os modelos avaliam mal a própria confiabilidade: não tome essa triagem por uma prova. Ela serve para ordenar as verificações e poupar você de reler cada linha com a mesma atenção.

Aqui está um texto produzido por uma IA. Preciso verificá-lo antes da publicação.

Monte uma tabela das afirmações verificáveis que ele contém (números, datas, nomes, citações, relações de causa e efeito). Para cada uma, indique:
- a frase em questão;
- o tipo de fonte que permitiria verificá-la;
- o risco de erro: alto, médio ou baixo, com uma razão curta.

Ordene a tabela por risco decrescente. Não corrija nada e não afirme que uma informação é verdadeira.

Texto:
[COLE O TEXTO]

Você obtém uma lista de verificação. Para o método de verificação em si, leia como verificar uma resposta da IA.

O que nenhum prompt resolve

Essas instruções fazem o risco diminuir, mas não o anulam. Um modelo pode escrever “tenho certeza” e errar, assim como pode distorcer um documento que acabou de ler, sobretudo quando a resposta exige combinar vários trechos. Num assunto médico, jurídico ou financeiro, o resultado serve de ponto de partida a ser verificado em uma fonte oficial ou com um profissional.

A pergunta a se fazer antes de usar uma resposta cabe em uma linha: se essa informação estiver errada, o que acontece? Se a resposta for “quase nada”, siga em frente. Se a resposta envolver um cliente, dinheiro ou a sua assinatura, abra a fonte você mesmo e depois anote no seu prompt habitual a menção “escreva ‘a verificar’ para tudo de que você não tiver certeza”.