Detectores de texto de IA: ¿te puedes fiar?

Una estudiante de máster entrega un trabajo que ha escrito ella sola durante seis semanas. La herramienta de detección de su universidad muestra «68 % probablemente generado por IA». La convocan. No tiene ni borradores con fecha ni historial de modificaciones, porque escribe en un único archivo que sobrescribe cada vez que guarda. Se encuentra teniendo que demostrar que no ha hecho nada.

Este tipo de situación se describe con regularidad en la enseñanza. Se debe a un malentendido sobre lo que mide un detector.

Qué hace un detector

Un detector no encuentra el rastro de una herramienta en tu texto. No lo hay, salvo que el proveedor haya añadido una marca voluntaria, y la mayoría de los textos no la llevan. El detector es a su vez un modelo entrenado para reconocer regularidades: frases de longitud parecida, palabras muy previsibles, un estilo liso. De ahí saca una probabilidad.

El problema es que esas regularidades no son exclusivas de las máquinas. Un texto administrativo, una redacción escolar, un resumen factual o un texto escrito en una lengua que no es la propia se parecen a lo que produce una IA. De hecho, unos investigadores mostraron que los textos de angloparlantes no nativos se marcaban erróneamente con más frecuencia que los de hablantes nativos. Y al revés, un texto generado y luego reescrito un poco, o producido con un prompt que pide un estilo más irregular, pasa sin dificultad.

OpenAI publicó en 2023 su propio detector de textos y lo retiró unos meses después alegando su baja tasa de precisión. Si el creador de un modelo no consigue reconocer de forma fiable sus propios textos, más vale no convertir esa herramienta en una prueba.

Un porcentaje no es un veredicto

Hay dos errores posibles, y no cuestan lo mismo.

• El falso positivo: un texto humano se marca como generado. Es el caso de la estudiante, y es el más grave, porque acusa a alguien de hacer trampa.
• El falso negativo: un texto generado pasa por humano. Hace creer que la herramienta funciona mejor de lo que funciona.

Una puntuación del «68 %» no significa que el 68 % del texto lo haya escrito una IA, y tampoco que haya un 68 % de probabilidades de que el texto esté generado. Las herramientas no siempre lo explican con claridad, y varios editores precisan ellos mismos que la puntuación no debe servir como única base para una sanción. Lee la documentación de la herramienta que uses: es el documento más elocuente.

Los detectores no valen todos lo mismo, y dos herramientas pueden dar puntuaciones distintas al mismo texto. Haz la prueba con un texto cuyo origen conozcas.

Si eres docente o responsable

Usa la puntuación, si la consultas, como una señal para hacer una pregunta, nunca como una prueba. Lo que funciona mejor:

• pedir un historial de versiones, borradores, notas o fuentes;
• conversar oralmente con el autor sobre su texto;
• adaptar la consigna para que trate de un recorrido personal (una experiencia vivida, un caso de la clase, una etapa que haya que mostrar) en lugar de un texto genérico;
• fijar de antemano, y por escrito, lo que está permitido con la IA y lo que no.

Lo más rentable es la entrevista. Una IA puede ayudarte a prepararla a partir del propio trabajo:

Este es el trabajo de un alumno de primero de bachillerato sobre [TEMA]:

[TEXTO DEL TRABAJO]

Prepara cinco preguntas orales para comprobar que el alumno entiende lo que ha escrito: dos sobre sus elecciones de argumentación, dos que le pidan explicar un pasaje con sus propias palabras, una que le pida ampliar un ejemplo. No emitas ningún juicio sobre el origen del texto.

La última frase importa. El objetivo es abrir una conversación, no montar un expediente. Evita además pegar el trabajo de un alumno identificable en una herramienta cuyas reglas de conservación de datos no conoces. Más ideas en la guía de prompts para docentes.

Si te acusan sin razón

Mantente en los hechos y reúne lo que tengas: borradores, historial del documento (los procesadores de texto en línea suelen conservar las versiones), notas, fuentes consultadas, intercambios con un tutor. Propón una entrevista para explicar tu trabajo, que a menudo es la mejor defensa. Pregunta qué herramienta se ha utilizado, qué puntuación ha dado y sobre qué base, y comprueba lo que dice la documentación de la herramienta sobre la fiabilidad de su puntuación. Si el procedimiento va en serio, hazte ayudar por un representante (sindicato de estudiantes, defensor universitario, asesoramiento jurídico).

De cara al futuro, acostúmbrate a escribir en un documento que conserve el historial de modificaciones y a guardar tus notas. También es una buena práctica si usas la IA de forma autorizada, por ejemplo para reformular: conserva las dos versiones. El artículo para estudiantes explica cómo usar estas herramientas sin ponerte en apuros.

Y si quieres escribir un texto que no «parezca de IA»

No intentes engañar a un detector: no te enseña nada y la norma de tu centro o de tu cliente sigue siendo la misma. Si la IA te ayuda, lo que hace que un texto sea realmente tuyo es la materia que le pones: tus ejemplos, tus cifras verificadas, tu manera de decir las cosas, lo que encontrarás en el artículo sobre tu estilo. Los sesgos de las herramientas, incluidos los de los detectores, se tratan en el artículo sobre los sesgos de la IA.

Para la próxima vez

Si tu centro o tu empresa utiliza un detector, pregunta por escrito cómo se usa la puntuación y si puede ser la única base de una decisión. Y si estás redactando un documento importante, activa hoy mismo el historial de versiones.