Meta-prompting: peça à IA que escreva os seus prompts

Peça a uma IA “escreva um prompt para criar exercícios de matemática” e você receberá um belo bloco de texto: “Você é um professor de matemática experiente e apaixonado, com vinte anos de experiência...” Ele parece sério, é longo e não sabe nada da sua turma. Você terá ganhado um texto mais impressionante, sem um resultado melhor.

O meta-prompting, ou seja, usar a IA para criar seus prompts, funciona muito bem quando se muda de método. Um modelo conhece bem os conselhos habituais para escrever prompts, mas ignora tudo sobre a sua necessidade. Seu trabalho é fazê-lo preencher essa lacuna antes de deixá-lo escrever.

Comece fazendo-a perguntar

Quando você pede um prompt na hora, a IA preenche as lacunas com suposições medianas. Inverta o processo: ela interroga você, você responde, e só depois ela escreve.

Quero construir um prompt reutilizável para esta tarefa: [DESCREVA A TAREFA EM UMA OU DUAS FRASES].

Não redija o prompt ainda. Faça-me primeiro as perguntas de que você precisa, uma por uma, aguardando minha resposta a cada uma. No máximo seis perguntas. Concentre-se em:
- para que servirá o resultado e quem vai lê-lo;
- o que varia de um uso para outro;
- um exemplo de bom resultado, se eu tiver um;
- o que tornaria o resultado inutilizável;
- as informações que a IA não terá e que ela não deve inventar.

Quando tiver informações suficientes, escreva o prompt final com variáveis entre [COLCHETES]. O prompt deve ser o mais curto possível. Elimine qualquer frase que não mude o resultado e não use papel lisonjeiro nem fórmulas como “especialista de renome mundial”.

Na prática, as perguntas às vezes valem tanto quanto o prompt final. Uma professora do 5º ano a quem a IA pergunta “o que tornaria esses exercícios inutilizáveis?” talvez responda que os alunos ainda não conhecem as frações decimais, ou que cada ficha precisa caber em uma página fotocopiada. Sem essa pergunta, essas restrições nunca teriam chegado ao prompt.

Responda como falaria com um colega, e responda com detalhes. Três linhas precisas valem mais que uma palavra. Se você tem um exemplo de bom resultado, cole-o: ajuda mais que qualquer descrição (o artigo sobre few-shot prompting explica por quê).

Reconheça os defeitos de um prompt gerado

Os prompts escritos por uma IA compartilham alguns cacoetes. Depois que você os conhece, pode eliminar boa parte deles em poucos segundos.

O teste a ter em mente é o mesmo de um prompt escrito à mão: retire uma frase, rode de novo, compare. Se nada mudar em duas ou três tentativas, a frase não servia para nada.

Peça uma crítica em vez de uma reescrita

Você já tem um prompt que funciona pela metade? Não peça “melhore-o”: você receberá uma versão mais longa, sem diagnóstico. Peça primeiro uma análise a partir de um resultado real, o que obriga o modelo a explicar o que está errado.

Antes:

Melhore este prompt.

Depois:

Aqui estão um prompt que eu uso e um resultado que ele produziu. Esse resultado não me satisfaz.

PROMPT:
[SEU PROMPT]

RESULTADO OBTIDO:
[O RESULTADO]

O QUE NÃO ESTÁ BOM:
[DESCREVA EM UMA OU DUAS FRASES, POR EXEMPLO: GENÉRICO DEMAIS, TOM COMERCIAL DEMAIS, IGNORA A RESTRIÇÃO DE EXTENSÃO]

Proceda assim:
1. Identifique o que, no prompt, provavelmente explica esse defeito. Cite a frase em questão ou aponte o que está faltando.
2. Proponha a menor modificação possível, em forma de frases a acrescentar, retirar ou substituir.
3. Reescreva em seguida o prompt completo apenas com essas modificações.

Não altere mais nada e não alongue o prompt sem motivo.

O dono de uma pousada que obtém respostas pomposas demais para seus hóspedes talvez descubra que a palavra “prestígio”, colocada na descrição, contamina todo o resto. Uma correção de uma palavra vale mais que uma reescrita completa, porque você entende o que mudou. Você pode encadear essas correções como em qualquer método para melhorar um prompt por iterações.

Teste o prompt com casos capazes de quebrá-lo

Um prompt gerado parece pronto. Não está, enquanto não enfrentar casos reais. A IA também pode ajudar aqui, imaginando as situações que você não teria considerado.

Aqui está um prompt que quero usar regularmente:

[SEU PROMPT]

Proponha 6 entradas de teste para verificar sua solidez, em uma tabela com três colunas: a entrada a usar, o que ela busca pôr em falha, o comportamento esperado.

Inclua: um caso normal, uma entrada muito curta, uma entrada incompleta, um pedido fora do assunto, um caso ambíguo e um caso em que a resposta certa seria recusar ou fazer uma pergunta.

Rode esses casos em uma conversa nova, só com o prompt. Leia os resultados você mesmo: a IA que escreveu o prompt não é uma boa juíza do próprio trabalho. Anote o que falha e volte ao prompt de crítica. O método de teste oferece um quadro simples para guardar o registro das suas tentativas.

Os limites a ter em mente

Um prompt gerado não dispensa você de saber o que quer. Se a sua necessidade é vaga, a IA vai produzir um texto vago, bem apresentado. Ele também não contém o seu conhecimento profissional: um padeiro sabe que determinada formulação de alérgenos é problemática, e o modelo pode ignorar isso.

Um prompt escrito por um modelo também não é necessariamente ideal para outro. Se você trocar de ferramenta, teste-o de novo. E, para um prompt que você vai reutilizar com frequência, guarde a versão validada em algum lugar: ele merece um lugar na sua biblioteca de prompts.

Inicie a entrevista com a sua tarefa mais repetitiva

Escolha uma tarefa que você faz pelo menos uma vez por semana, copie o primeiro prompt e responda às perguntas. Compare depois o resultado com o que você costuma obter em um caso recente. Se a diferença for nítida, fique com o prompt. Se não, veja qual pergunta da entrevista mais ajudou você e responda a ela com mais detalhes da próxima vez.