Sesgos de la IA: cómo detectarlos y limitarlos

Una profesora le pide a un chatbot que redacte la valoración de un alumno charlatán pero brillante. Hace una prueba con el nombre Luis y otra con el nombre Karim, manteniendo exactamente las mismas notas y las mismas observaciones. Si los dos textos difieren en el tono, en el nivel de ambición que se plantea o en el vocabulario sobre el comportamiento, tiene entre manos un sesgo, y una forma de verlo.

Esta comparación no tiene nada de sofisticado, y vale más que largos discursos sobre ética. Por sí sola no prueba una discriminación, porque las respuestas también varían por puro azar, pero es el buen punto de partida para un uso cotidiano.

De dónde vienen los sesgos de un modelo

Un modelo de lenguaje aprende a partir de una inmensa masa de textos. Por eso hereda lo que esos textos contienen y lo que omiten: los clichés sobre los oficios, el peso desproporcionado de ciertos idiomas y de ciertos países, los puntos de vista más publicados. Su funcionamiento se explica en nuestro artículo sobre los modelos de lenguaje. Quédate con esto: reproduce lo que es frecuente, que no es lo mismo que lo que es justo.

El ejemplo más conocido, por cierto, no viene de un chatbot. En 2018, Reuters reveló que Amazon había abandonado una herramienta experimental de selección de currículums. Entrenada con candidaturas anteriores, mayoritariamente masculinas, había aprendido a penalizar los currículums que contenían la palabra «women's», como en «capitana de un club de ajedrez femenino». Nadie la había programado para eso: simplemente había aprendido el pasado.

Los desarrolladores trabajan para reducir estos efectos, y los modelos suelen estar mejor ajustados en los temas más vigilados. Ese trabajo, además, puede desplazar el problema: una corrección demasiado mecánica produce a veces otra distorsión. Ningún modelo puede presumir de ser neutral, y la propia neutralidad es discutible.

Cuatro formas de sesgo que conviene vigilar

Los estereotipos

Es la forma más citada. Una historia protagonizada por «un médico y una enfermera» reproduce enseguida los roles habituales, y una lista de «grandes inventores» puede olvidar a las mujeres y a buena parte del mundo. El sesgo también se esconde en las decisiones por defecto: quién tiene nombre, a quién se describe, quién toma la palabra.

El reflejo anglosajón

El riesgo más subestimado para un lector hispanohablante. Si no precisas nada, un modelo puede responder con reflejos estadounidenses: derecho laboral, fiscalidad, formatos de currículum, normas de cortesía. Un autónomo que pregunta cómo redactar una factura o un contrato puede recibir consejos que no encajan con su país, en un español impecable.

La complacencia

Los modelos tienden a darte la razón. Si escribes «mi estrategia de precios es excelente, ¿verdad?», la formulación empuja hacia la aprobación. Este sesgo se suma al tuyo.

El sesgo de tu pregunta

Tu prompt lleva tus hipótesis. «¿Por qué el teletrabajo perjudica la productividad?» da por supuesta la respuesta, y el modelo se apresurará a justificarla. El prompt débil no siempre es el que carece de detalles: también puede ser el que ya ha llegado a una conclusión.

La prueba de la sustitución

Este método se llama prueba contrafactual, y cualquiera puede aplicarlo a una tarea sensible. Cambias una sola variable, mantienes todo lo demás y comparas.

Lanza cada versión en una conversación nueva, para que las respuestas no se influyan entre sí. Haz varios intentos con cada versión, porque una diferencia aislada puede deberse al azar. En nuestra guía para probar un prompt se detalla un método de este tipo.

Después puedes pedir que se analicen las diferencias, en una conversación nueva.

Aquí tienes dos textos producidos por una IA a partir de la misma petición. Entre los dos ha cambiado un solo dato: [VARIABLE MODIFICADA].

Texto 1:
"""
[TEXTO 1]
"""

Texto 2:
"""
[TEXTO 2]
"""

Compáralos sin dar por supuesto que existe un sesgo. Señala únicamente las diferencias observables: palabras empleadas, longitud, nivel de exigencia, consejos dados. Cita los pasajes correspondientes.

Para cada diferencia, indica si podría ser fruto del azar o si sigue un estereotipo conocido, y precisa tu grado de certeza. Si las diferencias son insignificantes, dilo.

Propón a continuación una instrucción que añadir a la petición inicial para que las dos respuestas sean equivalentes en lo esencial.

Este análisis tiene las mismas debilidades que el modelo que lo realiza. Te ayuda a mirar, pero el juicio final es tuyo.

Escribir prompts que limiten los daños

No vas a eliminar los sesgos del modelo, pero puedes reducirlos de forma notable si das menos pie a los reflejos por defecto.

Quita lo que no hace falta. El nombre, el género o la edad suelen ser innecesarios para la tarea. Para una valoración escolar, puedes escribir «el alumno» y sustituirlo después.

Acota el país y el contexto. «En España, para una empresa artesanal de menos de 10 empleados, con arreglo a la legislación española» elimina buena parte del reflejo estadounidense. Para el resto, nuestro artículo sobre el contexto que hay que darle a la IA detalla lo que importa.

Haz una pregunta abierta. Sustituye «¿Por qué X es malo?» por «¿Cuáles son los efectos observados de X, favorables y desfavorables, y en qué se basan?».

Pide la contradicción. Antes de tomar una decisión, obliga al modelo a plantarte cara:

Esta es mi decisión y mi razonamiento: [DECISIÓN Y MOTIVOS].

No me des la razón. Haz el papel de un interlocutor competente que piensa que me equivoco.

1. Identifica las hipótesis que doy por sentadas sin haberlas demostrado.
2. Presenta las tres objeciones más serias, no las más fáciles de descartar.
3. Indica las personas o situaciones que mi razonamiento olvida.
4. Dime qué información concreta me haría cambiar de opinión.

Si algún punto de mi razonamiento te parece sólido, dilo brevemente y explica por qué.

Los casos en que la vigilancia debe subir un grado

Ciertos usos afectan directamente a la vida de las personas: selección de personal, evaluación escolar, acceso a una vivienda o a un crédito, salud. En esos casos, no dejes que un chatbot clasifique o decida. El reglamento europeo sobre IA clasifica, de hecho, varios de estos usos entre los sistemas de alto riesgo, en particular en el empleo y la educación, y el RGPD regula las decisiones totalmente automatizadas. Si tu organización contempla este tipo de tratamiento, haz que un jurista revise el marco aplicable o consulta los recursos de la CNIL (la autoridad francesa de protección de datos).

El control humano también debe seguir siendo real. Echar un vistazo rápido a cien currículums ya clasificados por una máquina no corrige gran cosa, porque tendemos a fiarnos de la clasificación propuesta. Un sesgo se comprueba como un error factual: con nuestro método para verificar una respuesta de la IA, se vuelve a los hechos y a las fuentes.

Elige ahora mismo la tarea más sensible que le confías a la IA, escribe dos versiones del mismo prompt cambiando un solo detalle sobre la persona afectada y lanza cada una tres veces. En un cuarto de hora sabrás si hay motivos para preocuparse.