Verificar uma resposta da IA: o que checar e como

Em 2023, em Nova York, advogados foram punidos por um juiz federal por terem apresentado uma petição que citava decisões judiciais que não existiam. Elas haviam sido produzidas pelo ChatGPT, e o caso Mata v. Avianca virou o exemplo clássico. As referências pareciam irrepreensíveis: um nome de tribunal, um número, uma data. Ninguém tinha lido essas decisões antes de citá-las.

Essa história ensina uma lição simples. O que engana é a forma: uma resposta bem escrita desperta a nossa confiança. Verificar tudo é impossível e inútil. Você precisa de um jeito de decidir o que verificar, com que esforço e em que fonte.

Comece estimando quanto custaria um erro

Antes de checar qualquer coisa, faça-se uma única pergunta: se esta resposta estiver errada, o que acontece?

Um slogan ruim para um cartaz se percebe na hora e custa pouco. Uma alíquota de imposto errada no orçamento de um artesão pode custar caro e passar despercebida. Uma menção de alérgenos falsa no cardápio de um restaurante pode afetar a saúde de um cliente. O esforço de verificação deve acompanhar esse risco, não o tamanho do texto.

Três níveis bastam na prática. Quando o erro não tem consequência, uma leitura rápida basta. Quando ele compromete a sua credibilidade, como num artigo ou numa apresentação a um cliente, você checa cada fato. Quando ele toca em direito, dinheiro ou saúde, a IA serve só de ponto de partida: a referência é a fonte oficial ou o profissional competente.

A checagem conforme o tipo de afirmação

Um texto de IA mistura frases que não pedem a mesma checagem. Uma opinião ou uma reformulação se julga na leitura. Uma afirmação factual exige uma fonte. Esta tabela indica onde concentrar sua atenção.

Quanto a este último ponto, um teste rápido consiste em pedir a citação exata que sustenta cada ideia do resumo e depois procurar essas frases com Ctrl+F no original.

As fontes: abrir, ler, comparar

As ferramentas conectadas à web, como o Perplexity e suas pesquisas com fontes, melhoraram as coisas, mas uma citação exibida ao lado de uma frase não é prova. O link pode existir e dizer outra coisa, ou dizer o mesmo com ressalvas que a resposta fez desaparecer.

Para uma fonte, quatro perguntas bastam:

1. O documento existe de verdade?
2. Ele diz o que lhe atribuem, com a mesma nuance?
3. Quem o publicou, e tem interesse no assunto?
4. É recente o bastante para o seu tema?

Atenção também à falsa confirmação. Vários sites que repetem a mesma informação podem todos se apoiar numa única fonte de origem, às vezes ela própria produzida por uma IA. Várias cópias de um mesmo texto não valem duas fontes. Remonte à primeira publicação.

O que a IA pode fazer para ajudar você a verificar

Perguntar “você tem certeza?” não rende muito. O modelo pode pedir desculpas e mudar uma boa resposta, ou defender uma ruim. Como explica nosso artigo sobre o funcionamento dos modelos de linguagem, ele não tem conexão direta com os fatos.

Em compensação, é muito útil para preparar o seu trabalho de checagem: isolar o que deve ser verificado e indicar onde olhar. Cole o texto numa conversa nova, para que ele o leia sem tentar defender a própria resposta.

Você vai me ajudar a revisar o texto abaixo antes da publicação. Não o reescreva nem o corrija.

Monte uma tabela com estas colunas:
1. Afirmação verificável, copiada palavra por palavra.
2. Tipo: número, data, nome, citação, regra jurídica ou tributária, fato técnico, outro.
3. Gravidade se estiver errada para [PÚBLICO OU USO]: baixa, média, alta.
4. Fonte a consultar para verificá-la, descrevendo o tipo de órgão ou de documento.

Ordene a tabela por gravidade decrescente. Nunca indique que uma afirmação é verdadeira: sua tarefa consiste unicamente em me mostrar o que devo checar. Acrescente no final as afirmações implícitas, isto é, o que o texto pressupõe sem dizer.

País e data em questão: [PAÍS, DATA].

Texto:
"""
[TEXTO A VERIFICAR]
"""

Esse prompt não substitui a sua checagem. Ele pode esquecer uma afirmação, e as fontes que sugere devem ser tomadas como pistas. Sobretudo, evita que você releia no instinto.

Recorrer a uma segunda ferramenta tem interesse, desde que você não confie nela às cegas. Se dois modelos divergem, você sabe onde cavar. Se concordam, talvez tenham aprendido o mesmo erro nos mesmos textos. Você encontra como reduzir esses erros desde a origem no nosso guia para limitar as alucinações.

As armadilhas que sobrevivem a uma leitura rápida

Certos erros passam até por revisores atentos.

O verdadeiro e o falso na mesma frase. Uma data certa acompanhada de um local errado conquista a confiança do leitor. Se você verificou metade da frase, não verificou a frase.

A ausência. O mais difícil de perceber é o que falta: uma exceção, uma condição, um prazo. Uma regra apresentada sem o seu limite de aplicação pode ser exata em geral e falsa para o seu caso. Faça a pergunta: “Em que casos essa regra não se aplica?”, e depois verifique a resposta.

Os detalhes perfeitos demais. Um número muito preciso sem fonte, uma citação que cai exatamente a calhar, o nome de um estudo bem conveniente são sinais de alerta.

O cansaço. Depois de cinco respostas corretas, a atenção relaxa. É justamente o momento em que o erro passa, sobretudo quando se usa a ferramenta todo dia. Uma curta lista de verificação escrita ajuda a se manter firme, pois não depende da sua vigilância do momento.

Crie o hábito com o seu próximo texto

No próximo texto que a IA escrever para você, destaque cada número, nome próprio e data, e depois abra ao menos uma fonte para os três elementos que mais prejudicariam você se estivessem errados. Anote o que encontrar. Depois de alguns textos, você conhecerá os pontos fracos da sua ferramenta nos seus assuntos, e saberá exatamente onde olhar.