Dar nota às respostas da IA com uma grade de avaliação

A gerente de um camping responde às avaliações dos clientes, principalmente as ruins. Ela escreveu dois prompts para que a IA redija essas respostas e está em dúvida entre os dois. Testa-os em uma avaliação, acha a resposta A “mais calorosa” e a B “mais profissional”, e escolhe A. No dia seguinte, em outra avaliação, relê B e muda de ideia. O julgamento dela depende do humor do momento, da avaliação que tem diante dos olhos e do que leu logo antes.

Uma grade de avaliação corrige isso. Ela não torna você objetivo, mas torna você regular: você olha as mesmas coisas, na mesma ordem, todas as vezes.

O que uma boa grade contém

Quatro ou cinco critérios, não mais. Acima disso, você deixa de aplicá-los com seriedade. Cada critério deve ser concreto, ou seja, outra pessoa chegaria ao mesmo veredito que você ao ler a resposta.

Aqui está uma grade para as respostas do camping:

O que torna a grade utilizável é a coluna de descrição: para cada nota, você sabe o que a justifica. Uma escala de 1 a 10 sem descrição é um sentimento transformado em número, e o seu 7 de hoje não é o de amanhã.

Escreva os critérios antes de olhar as respostas. Senão, você vai ajustá-los, sem perceber, para favorecer a que lhe agradou de cara. É a mesma disciplina do artigo sobre o teste de um prompt, que também detalha a escolha dos casos.

Comparar dois prompts em vários casos

O princípio: você pega cinco avaliações reais, roda o prompt A e o prompt B em cada uma, dá nota às dez respostas com a grade e soma. Cinco casos é pouco, mas é cinco vezes mais que um só, e principalmente você vê se a diferença vem de uma única avaliação difícil ou se se repete. Pegue pelo menos uma avaliação agressiva e uma injusta.

Você também pode dar as notas sem saber qual prompt produziu o quê. Peça a alguém próximo que misture as respostas, ou numere-as ao acaso. É um detalhe que parece exagerado até o dia em que você se flagra dando um ponto a mais ao seu prompt preferido.

Pedir à IA que dê as notas: possível, com salvaguardas

Dar nota a dez respostas à mão leva tempo. A IA pode fazer uma primeira passada, desde que você não deixe a ela a última palavra. Aqui está um prompt para rodar em uma conversa nova, porque uma IA tende a achar boa a resposta que acabou de escrever.

Você avalia respostas de um camping a avaliações de clientes, segundo a grade abaixo. Você não reescreve nada.

Grade:
- Reconhece o problema específico: 0 se não é mencionado, 1 se é mencionado em termos gerais, 2 se é retomado com as palavras do cliente.
- Fatos exatos: 0 se um fato é inventado, 1 se nenhum fato é inventado, mas nada é concreto, 2 se os fatos vêm da avaliação ou das anotações.
- Ação proposta: 0 nenhuma, 1 vaga, 2 precisa.
- Tom: 0 defensivo ou servil, 1 correto, mas rígido, 2 direto e educado.
- Tamanho: 0 acima de 120 palavras, 1 de 90 a 120, 2 abaixo de 90.

Avaliação do cliente:
"""
[AVALIAÇÃO]
"""

Anotações do camping (única fonte de fatos autorizada):
"""
[ANOTAÇÕES]
"""

Resposta a avaliar:
"""
[RESPOSTA]
"""

Para cada critério, dê a nota e cite a passagem da resposta que a justifica. Se estiver em dúvida entre duas notas, fique com a mais baixa. Termine com a lista dos fatos da resposta que não constam nem da avaliação nem das anotações.

Três precauções:

• Releia uma amostra. Pegue três respostas avaliadas pela IA, dê as suas próprias notas e compare. Se as notas de vocês divergem com frequência, a sua grade está vaga demais ou a IA não a aplica como você pretende.
• Desconfie do tamanho. Os avaliadores automáticos às vezes têm uma queda pelas respostas mais longas e mais recheadas. Ponha o tamanho na grade, como aqui, para que ele não passe por qualidade.
• Nos fatos, confira você mesmo. A IA é útil para detectar fatos ausentes das anotações, mas pode deixar passar alguns. Como no artigo sobre a verificação, o controle de números e nomes continua sendo humano.

Fazer a grade evoluir

A primeira versão da sua grade terá defeitos. Você vai perceber quando duas respostas receberem a mesma nota, embora uma seja claramente melhor: falta um critério. Ou quando uma nota lhe parecer injusta: a descrição está mal formulada. Corrija, passe de novo as mesmas respostas e guarde a grade junto com o seu prompt.

Quando tiver uma grade que funciona, ela também serve para ler o que você compra. Em um prompt do marketplace, você pode aplicar a sua ao exemplo de resultado mostrado na ficha, antes de decidir.

Para fazer agora

Pegue uma tarefa que você confia regularmente à IA. Escreva três critérios que você sempre verifica sem pensar, com o que vale 0 e o que vale 2. Aplique-os a três respostas reais sem olhar o prompt que as produziu. Depois ajuste os critérios em que ficou em dúvida e guarde a grade ao lado do prompt.