Viés da IA: como identificar e reduzir

Uma professora pede a um chatbot que escreva um comentário de boletim sobre um aluno tagarela, mas brilhante. Ela faz um teste com o nome Louis e outro com o nome Karim, mantendo exatamente as mesmas notas e as mesmas observações. Se os dois textos diferirem no tom, no nível de ambição sugerido ou no vocabulário sobre o comportamento, ela encontrou um viés, e um jeito de enxergá-lo.

Essa comparação não tem nada de sofisticado, e vale mais do que longos discursos sobre ética. Sozinha, ela não prova uma discriminação, porque as respostas também variam por acaso, mas é o bom ponto de partida para o uso cotidiano.

De onde vêm os vieses de um modelo

Um modelo de linguagem aprende a partir de uma imensa massa de textos. Ele herda, portanto, o que esses textos contêm e o que omitem: os clichês sobre profissões, o peso desproporcional de certos idiomas e de certos países, os pontos de vista mais publicados. O funcionamento dele está descrito no nosso artigo sobre os modelos de linguagem. Guarde isto: ele reproduz o que é frequente, o que não é a mesma coisa que o que é correto.

O exemplo mais conhecido, aliás, não vem de um chatbot. Em 2018, a Reuters revelou que a Amazon havia abandonado uma ferramenta experimental de triagem de currículos. Treinada com candidaturas anteriores, majoritariamente masculinas, ela aprendeu a prejudicar currículos que continham a palavra “women's”, como em “capitã de um clube de xadrez feminino”. Ninguém a programou para isso, ela simplesmente aprendeu o passado.

As empresas que desenvolvem os modelos trabalham para reduzir esses efeitos, e os modelos costumam ser mais bem ajustados nos temas mais vigiados. Esse trabalho, aliás, pode deslocar o problema: uma correção mecânica demais às vezes produz outra distorção. Nenhum modelo pode se dizer neutro, e a própria neutralidade é discutível.

Quatro formas de viés para ficar de olho

Os estereótipos

É a forma mais citada. Uma história com “um médico e uma enfermeira” reproduz rapidamente os papéis de sempre, e uma lista de “grandes inventores” pode esquecer as mulheres e boa parte do mundo. O viés também se esconde nas escolhas padrão: quem recebe um nome, quem é descrito, quem tem voz.

O reflexo anglo-saxão

O risco mais subestimado para quem escreve em português. Sem indicação, um modelo pode responder com reflexos americanos: direito do trabalho, tributação, formatos de currículo, normas de cortesia. Um artesão que pergunta como redigir uma nota fiscal ou um contrato pode receber conselhos inadequados para o Brasil, em um português impecável.

A bajulação

Os modelos tendem a concordar com você. Se você escreve “minha estratégia de preços é excelente, não é?”, a formulação empurra para a aprovação. Esse viés se soma ao seu.

O viés da sua pergunta

O seu prompt carrega as suas hipóteses. “Por que o home office prejudica a produtividade?” já pressupõe a resposta, e o modelo vai se apressar em justificá-la. O prompt fraco nem sempre é o que carece de detalhes: pode ser também o que já chegou a uma conclusão.

O teste da substituição

Esse método se chama teste contrafactual, e qualquer pessoa pode aplicá-lo a uma tarefa sensível. Você muda uma única variável, mantém todo o resto e compara.

Rode cada versão em uma conversa nova, para que as respostas não se influenciem entre si. Faça várias tentativas por versão, pois uma diferença isolada pode ser fruto do acaso. Um método desse tipo é detalhado no nosso guia para testar um prompt.

Tarefa	Variável a mudar	O que observar
Carta de recomendação	Nome masculino ou feminino	Adjetivos sobre competência ou sobre simpatia
Comentário sobre um aluno	Nome com conotação diferente	Ambição sugerida, severidade do tom
Resposta a um cliente insatisfeito	Idade ou origem presumidas	Nível de educação, de paciência, de gesto comercial
Conselho financeiro	Homem ou mulher, idade	Nível de risco recomendado, tom condescendente

Depois você pode pedir uma análise das diferenças, em uma conversa nova.

Prompt

Aqui estão dois textos produzidos por uma IA a partir do mesmo pedido. Uma única informação mudou entre os dois: [VARIÁVEL ALTERADA].

Texto 1:
"""
[TEXTO 1]
"""

Texto 2:
"""
[TEXTO 2]
"""

Compare-os sem presumir que existe um viés. Aponte apenas as diferenças observáveis: palavras empregadas, extensão, nível de exigência, conselhos dados. Cite os trechos envolvidos.

Para cada diferença, diga se ela pode ser um efeito do acaso ou se segue um estereótipo conhecido, e indique seu grau de certeza. Se as diferenças forem desprezíveis, diga isso.

Em seguida, proponha uma instrução a acrescentar ao pedido inicial para que as duas respostas sejam equivalentes no essencial.

Essa análise tem as mesmas fraquezas do modelo que a realiza. Ela ajuda você a olhar, mas o julgamento final continua sendo seu.

Escrever prompts que limitam os danos

Você não vai eliminar os vieses do modelo, mas pode reduzi-los bastante dando menos espaço aos reflexos padrão.

Retire o que não serve. O nome, o gênero ou a idade muitas vezes são inúteis para a tarefa. Para um comentário de boletim, você pode escrever “o aluno” e substituir depois.

Delimite o país e o contexto. “No Brasil, para uma empresa artesanal com menos de 10 funcionários, segundo a legislação brasileira” elimina boa parte do reflexo americano. Quanto ao resto, nosso artigo sobre o contexto a dar à IA detalha o que importa.

Faça uma pergunta aberta. Troque “Por que X é ruim?” por “Quais são os efeitos observados de X, favoráveis e desfavoráveis, e em que se baseiam?”.

Peça a contradição. Antes de uma decisão, obrigue o modelo a resistir a você:

Prompt

Aqui estão minha decisão e meu raciocínio: [DECISÃO E MOTIVOS].

Não concorde comigo. Faça o papel de um interlocutor competente que acha que estou errado.

1. Identifique as hipóteses que considero certas sem tê-las comprovado.
2. Apresente as três objeções mais sérias, não as mais fáceis de descartar.
3. Indique as pessoas ou situações que meu raciocínio esquece.
4. Diga qual informação concreta me faria mudar de ideia.

Se algum ponto do meu raciocínio lhe parecer sólido, diga isso brevemente e explique por quê.

Os casos em que a atenção deve subir um nível

Certos usos afetam diretamente a vida das pessoas: recrutamento, avaliação escolar, acesso a moradia ou a crédito, saúde. Nesses casos, não deixe um chatbot triar ou decidir. O regulamento europeu sobre IA, aliás, classifica vários desses usos entre os sistemas de alto risco, especialmente nas áreas de emprego e educação, e o RGPD regula as decisões inteiramente automatizadas. Se a sua organização pretende fazer esse tipo de tratamento, peça a um advogado que verifique o enquadramento ou consulte os recursos da CNIL, a autoridade francesa de proteção de dados.

O controle humano também precisa continuar sendo real. Folhear às pressas cem currículos já triados por uma máquina não corrige quase nada, porque tendemos a confiar na classificação proposta. Um viés se verifica como um erro factual: com o nosso método para verificar uma resposta da IA, voltamos aos fatos e às fontes.

Escolha agora a tarefa mais sensível que você confia à IA, escreva duas versões do mesmo prompt mudando um único detalhe sobre a pessoa envolvida e rode cada uma três vezes. Em um quarto de hora você vai saber se há motivo para se preocupar.