Detectores de texto de IA: dá para confiar?

Uma estudante de mestrado entrega uma dissertação que escreveu sozinha, ao longo de seis semanas. A ferramenta de detecção da universidade mostra “68% provavelmente gerado por IA”. Ela é convocada. Não tem nenhum rascunho datado nem histórico de alterações, porque escreve em um único arquivo que sobrescreve a cada salvamento. Ela se vê tendo que provar que não fez nada.

Esse tipo de situação é relatado regularmente no ensino. Ela vem de um mal-entendido sobre o que um detector mede.

O que um detector faz

Um detector não encontra no seu texto o rastro de uma ferramenta. Não existe nenhum, a não ser que o fornecedor tenha acrescentado uma marcação voluntária, e a maioria dos textos não tem. O detector é ele próprio um modelo treinado para reconhecer regularidades: frases de comprimento parecido, palavras muito esperadas, um estilo liso. Dali ele tira uma probabilidade.

O problema é que essas regularidades não são exclusivas das máquinas. Um texto administrativo, uma redação escolar, um resumo factual, um texto escrito em um idioma que não é o seu se parecem com o que uma IA produz. Pesquisadores chegaram a mostrar que textos de pessoas que não têm o inglês como língua materna eram sinalizados por engano com mais frequência que os de falantes nativos. Por outro lado, um texto gerado e depois um pouco reescrito, ou produzido com um prompt que pede um estilo mais irregular, passa sem dificuldade.

A OpenAI publicou em 2023 o seu próprio detector de textos e o retirou alguns meses depois, alegando sua baixa taxa de precisão. Quando o criador de um modelo não consegue reconhecer de forma confiável os próprios textos, é melhor não fazer disso uma prova.

Uma porcentagem não é um veredito

Dois erros são possíveis, e eles não custam o mesmo.

• O falso positivo: um texto humano é sinalizado como gerado. É o caso da estudante, e é o mais grave, porque acusa alguém de trapacear.
• O falso negativo: um texto gerado passa por humano. Ele faz acreditar que a ferramenta funciona melhor do que funciona.

Uma pontuação de “68%” não significa que 68% do texto foi escrito por uma IA, nem que há 68% de chance de o texto ser gerado. As ferramentas nem sempre explicam isso com clareza, e vários fornecedores esclarecem eles mesmos que a pontuação não deve servir como única base para uma sanção. Leia a documentação da ferramenta que você usa: é o documento mais revelador.

Os detectores não valem o mesmo entre si, e duas ferramentas podem dar pontuações diferentes ao mesmo texto. Faça o teste com um texto cuja origem você conhece.

Se você é professor ou responsável

Use a pontuação, se a consultar, como um sinal para fazer uma pergunta, nunca como uma prova. O que funciona melhor:

• pedir um histórico de versões, rascunhos, anotações ou fontes;
• conversar oralmente com o autor sobre o texto dele;
• adaptar a proposta para que ela recaia sobre um percurso pessoal (uma experiência vivida, um caso da turma, uma etapa a mostrar) em vez de um texto genérico;
• definir de antemão, e por escrito, o que é permitido com a IA e o que não é.

O que mais compensa é a conversa. Uma IA pode ajudar você a prepará-la a partir do próprio trabalho:

Aqui está o trabalho de um aluno do ensino médio sobre [ASSUNTO]:

[TEXTO DO TRABALHO]

Prepare cinco perguntas orais para verificar se o aluno entende o que escreveu: duas sobre as escolhas de argumentação dele, duas que peçam que explique uma passagem com as próprias palavras, uma que peça que desenvolva um exemplo. Não faça nenhum julgamento sobre a origem do texto.

A última frase importa. O objetivo é abrir uma discussão, não montar um processo. Evite também colar o trabalho de um aluno identificável em uma ferramenta cujas regras de armazenamento você não conhece. Mais pistas no guia de prompts para professores.

Se você foi acusado injustamente

Mantenha-se factual e reúna o que você tem: rascunhos, histórico do documento (os editores de texto online costumam guardar as versões), anotações, fontes consultadas, conversas com um orientador. Proponha uma conversa para explicar o seu trabalho, que muitas vezes é a melhor defesa. Pergunte qual ferramenta foi usada, qual pontuação e com base em quê, e confira o que a documentação da ferramenta diz sobre a confiabilidade da pontuação. Se o procedimento for sério, peça ajuda a um representante (diretório estudantil, ouvidoria, assessoria jurídica).

Para o futuro, pegue o hábito de escrever em um documento que guarde o histórico de alterações e de conservar suas anotações. É também uma boa prática se você usa a IA de forma autorizada, por exemplo para reformular: guarde as duas versões. O artigo para estudantes explica como usar essas ferramentas sem se colocar em dificuldade.

E se você quer escrever um texto que “não pareça IA”

Não tente enganar um detector: isso não ensina nada a você e a regra da sua instituição ou do seu cliente continua a mesma. Se a IA ajuda você, o que torna um texto realmente seu é a matéria que você coloca nele: seus exemplos, seus números conferidos, o seu jeito de dizer, o que você encontra no artigo sobre o seu estilo. Os vieses das ferramentas, inclusive os dos detectores, são tratados no artigo sobre os vieses da IA.

Para a próxima vez

Se a sua instituição ou a sua empresa usa um detector, pergunte por escrito como a pontuação é utilizada e se ela pode ser a única base de uma decisão. E, se você está redigindo um documento importante, ative o histórico de versões hoje mesmo.