Cómo funciona un modelo de lenguaje, explicado sin jerga

Pídele a un chatbot la biografía de un artesano poco conocido de tu ciudad, sin darle acceso a la web. Es muy probable que obtengas un texto fluido, con una fecha de instalación, un aprendizaje con un maestro ebanista y una anécdota sobre el taller. Todo puede ser falso, y el tono no dejará traslucir nada.

Este comportamiento parece una mentira. En realidad se explica por la propia mecánica de estas herramientas. Cuando la entiendes, sabes qué esperar: por qué hay que pegar tus fuentes, por qué una conversación larga se degrada, por qué dos respuestas a la misma pregunta son distintas. Aquí no hay ninguna fórmula matemática, solo las ideas que cambian tu manera de usarlos.

Una máquina que predice la continuación de un texto

Un modelo de lenguaje hace una sola cosa, a una escala enorme: a partir de un texto, estima qué es lo más probable que venga a continuación.

Toma esta frase: «El panadero saca el pan del». Completas con «horno» sin pensar. El modelo hace lo mismo, solo que no elige una única palabra. Calcula una probabilidad para cada continuación posible: «horno» muy alta, «obrador» bastante alta, «saco» más baja, «frigorífico» casi nula. Se queda con una, la añade al texto y vuelve a empezar con la frase alargada, y así hasta el final de la respuesta.

Todo lo que ves sale de este bucle: el correo de recordatorio, el código en Python, la receta, el resumen de un contrato. Cuando haces una pregunta, el modelo produce el texto que más se parece a lo que sigue a esa pregunta en todo lo que ha aprendido. Responde porque, estadísticamente, a una pregunta le sigue una respuesta.

La comparación con el autocompletado del teléfono es útil, pero tiene sus límites. Tu teléfono mira las dos o tres últimas palabras. Un modelo de lenguaje tiene en cuenta todo el texto que tiene delante, y ha absorbido suficientes regularidades como para traducir, razonar sobre un problema o imitar un estilo. Esta diferencia de escala cambia lo que es capaz de hacer.

¿Entiende el modelo lo que escribe? Los investigadores debaten sobre ello y la cuestión sigue abierta. Para tu uso basta una respuesta práctica: maneja muy bien el sentido de las palabras y no tiene un vínculo directo con la realidad. Solo sabe lo que dicen los textos.

Qué significa «entrenar» un modelo

Nadie escribe las reglas a mano. Nadie ha programado que «horno» siga a «pan del». El modelo las deduce él mismo, leyendo una cantidad colosal de textos: páginas web, libros, código, foros, según lo que haya reunido cada editor.

El entrenamiento se parece a un ejercicio de texto con huecos repetido hasta el infinito. Se oculta la continuación de una frase, el modelo intenta adivinarla, se compara con la continuación real y se ajustan ligeramente sus parámetros internos para que se equivoque un poco menos. Esos ajustes se llaman parámetros, y los grandes modelos cuentan con miles de millones. Imagina una mesa de mezclas con un número disparatado de botones, cada uno girado un pelo en cada intento.

Al terminar esta etapa se obtiene un modelo que prolonga cualquier texto, pero que todavía no es un asistente. Si le escribes una pregunta, puede perfectamente encadenar otras preguntas, como en un cuestionario. Una segunda fase le enseña, por tanto, a comportarse como un asistente, apoyándose en particular en ejemplos de buenas respuestas y en evaluaciones humanas. Es en ese momento cuando aprende también a rechazar ciertas peticiones y a adoptar un tono servicial.

De ahí se derivan tres consecuencias muy concretas.

El modelo no es una base de datos. No guarda los textos archivados en ficheros a los que acudiría a consultar. Guarda regularidades, disueltas en sus parámetros. Una frase muy repetida puede salir casi palabra por palabra, pero una información poco frecuente, como el teléfono del ayuntamiento de tu pueblo, puede haber dejado una huella demasiado débil para reproducirse bien.

Sus conocimientos se detienen en una fecha. El entrenamiento se hace con datos congelados, y todo lo que ocurrió después le es desconocido, salvo que la herramienta le dé acceso a la web o que tú le proporciones la información.

No aprende de ti mientras le hablas. Tus mensajes no modifican sus parámetros en directo. Algunos editores pueden reutilizar conversaciones para futuros entrenamientos, según tus ajustes, de ahí el interés de comprobar lo que pegas. Las funciones de «memoria» que ofrecen algunas herramientas son otra cosa: notas guardadas aparte y reinyectadas en la conversación.

Conviene también distinguir entre el modelo y el producto. El modelo es el motor de predicción. El chatbot que usas lo rodea de instrucciones ocultas, búsqueda web, ejecución de código, lectura de archivos. Cuando una herramienta te da una cifra correcta sacada de una página reciente, a menudo ha sido ese equipamiento el que ha trabajado, y el modelo el que ha redactado. Estas funciones varían de una herramienta y de un plan a otro: comprueba qué está activo en la tuya.

Cómo las palabras se convierten en números

Un ordenador calcula, no lee. Hay que traducir, pues, el texto a números, y esa traducción se hace en dos tiempos.

Primero, el texto se trocea en fragmentos llamados tokens: una palabra corta, una parte de una palabra larga, un signo de puntuación. Este troceado explica muchos límites prácticos, que se detallan en el artículo sobre los tokens y la ventana de contexto.

Después, cada fragmento recibe una larga lista de números, que se pueden imaginar como coordenadas en un mapa inmenso. El entrenamiento acerca en ese mapa los elementos que aparecen en contextos parecidos. «Factura» acaba no muy lejos de «presupuesto», «gato» no muy lejos de «perro», y los dos grupos permanecen alejados entre sí. El sentido se convierte en una cuestión de distancia.

Queda el caso de las palabras con varios sentidos. Compara estas dos frases:

El banco aprobó el préstamo esta mañana.

El banco del parque estaba recién pintado.

La misma palabra, dos realidades. El mecanismo que resuelve este problema se llama atención. Para tratar cada fragmento del texto, el modelo mira todos los demás y pondera los que cuentan. Aquí, «préstamo» tira de «banco» hacia las finanzas, mientras que «parque» y «pintado» lo tiran hacia el mobiliario urbano. La arquitectura que generaliza esta idea, llamada Transformer, fue descrita en 2017 por investigadores de Google en un artículo que sigue siendo célebre, «Attention Is All You Need». La mayoría de los grandes modelos actuales descienden de ella.

Este mecanismo tiene un efecto directo en tus prompts: el modelo pondera todo lo que hay en el texto, incluidas tus digresiones. Una frase fuera de tema o un detalle mal colocado influye en la respuesta, aunque sea poco.

Por qué inventa con tanto aplomo

Volvamos a nuestro artesano imaginario. El modelo ha leído miles de biografías de artesanos. Sabe cómo son: una fecha, una formación, una transmisión, un apego al gesto. Cuando no dispone de ninguna información sobre la persona, produce igualmente la continuación más plausible, porque esa es su función. Nada en el bucle de predicción comprueba que la frase corresponda a un hecho.

Es lo que se llama una alucinación. La palabra engaña, porque no se ha «visto» nada. Se trata más bien de una extrapolación con la forma de una respuesta segura de sí misma.

Una consulta contable muestra bien la trampa. Si preguntas por el artículo del Code général des impôts francés que regula una deducción concreta, el modelo sabe que una respuesta de este tipo contiene un número de artículo bien formado. Puede producir uno de buena apariencia que no trate del tema, o que ha cambiado desde entonces. El formato es perfecto y el contenido hay que comprobarlo.

Conviene descartar dos ideas preconcebidas:

• La seguridad del tono no dice nada sobre la fiabilidad. Un modelo no se vuelve más titubeante porque esté equivocado. El estilo asertivo forma parte de lo que ha aprendido.
• Preguntarle si está seguro no basta. El modelo puede mantener su error o, al contrario, abandonar una respuesta correcta porque tu pregunta sugiere una duda. Tiende a darle la razón a su interlocutor.

Los modelos recientes se equivocan menos a menudo, y muchos señalan mejor sus incertidumbres. El riesgo baja sin desaparecer. Para reducirlo se puede actuar sobre el prompt, como explica nuestra guía para reducir las alucinaciones, y después controlar el resultado.

Las rarezas del día a día, descifradas

La mayoría de los comportamientos extraños se explican por lo anterior.

El punto sobre las respuestas distintas viene de un ajuste que a veces puedes usar, descrito en el artículo sobre la temperatura y los demás parámetros. El punto sobre la memoria suele sorprender: en cada mensaje, la aplicación le reenvía al modelo el texto de la conversación. No se acuerda en el sentido en que tú te acuerdas, relee.

Qué cambia esto en tus prompts

Una vez entendida la mecánica, el buen hábito se resume así: tu prompt es el comienzo de un texto, y el modelo lo va a prolongar. Cuanto más se parezca ese comienzo al de un buen documento, más probabilidades hay de que la continuación sea buena.

Esta es una petición típica de una responsable de asociación:

Escribe un mensaje para anunciar nuestra asamblea general.

El modelo no tiene nada a lo que agarrarse en lo real. Producirá, pues, la media de todos los mensajes de asamblea general que ha leído, con un tono comodín y probablemente un lugar dejado en blanco o inventado. La misma necesidad, escrita teniendo en cuenta cómo funciona:

Aquí tienes la información exacta sobre nuestra asamblea general. Usa solo esta información y no añadas ninguna.

Asociación: [NOMBRE Y ACTIVIDAD]
Fecha, hora y lugar: [DETALLES]
Orden del día: [PUNTOS]
Lo que se espera de los socios: [VOTO, DELEGACIÓN DE VOTO, CONFIRMACIÓN DE ASISTENCIA]

Redacta un correo de menos de 150 palabras para nuestros [NÚMERO] socios, muchos de los cuales son jubilados y leen en el móvil. El tono es cálido y sencillo. Empieza por la fecha. Termina con lo que tienen que hacer y la fecha límite.

Si falta una información indispensable, escribe [POR COMPLETAR] en su lugar en vez de adivinarla.

Cada cambio responde a un mecanismo visto más arriba:

• Los hechos están en el texto, así que el modelo no tiene que reconstruirlos de memoria, que es donde es más frágil.
• El público, la extensión y el tono reducen el número de continuaciones plausibles. La respuesta se aleja de la media.
• La instrucción sobre [POR COMPLETAR] le da una salida autorizada. Sin ella, el texto plausible se impone al vacío.

Este prompt mejora claramente las probabilidades, sin garantizar nada. El modelo todavía puede colar un detalle que no se ha pedido, y habrá que revisar cada fecha y cada nombre. Para esa revisión, ten a mano nuestro método para verificar una respuesta de la IA.

Repite ahora la prueba del artesano: pídele a tu chatbot, con la búsqueda web desactivada, la biografía de una persona que conozcas bien y que no sea famosa. Lee la respuesta, anota lo que es falso y, después, pega en una conversación nueva tres hechos exactos sobre esa persona con la instrucción «usa solo esta información». La diferencia entre los dos textos vale más que todas las explicaciones.