Puntuar las respuestas de la IA con una rúbrica

La gerente de un camping responde a las reseñas de los clientes, sobre todo a las malas. Ha escrito dos prompts para que la IA redacte esas respuestas y duda entre los dos. Los prueba con una reseña, encuentra la respuesta A «más cálida» y la B «más profesional», y elige A. Al día siguiente, con otra reseña, relee B y cambia de opinión. Su juicio depende del humor del momento, de la reseña que tiene delante y de lo que ha leído justo antes.

Una rúbrica de puntuación corrige eso. No te vuelve objetivo, pero sí constante: miras las mismas cosas, en el mismo orden, cada vez.

Qué contiene una buena rúbrica

Cuatro o cinco criterios, no más. Por encima de eso, dejas de aplicarlos en serio. Cada criterio debe ser concreto, es decir, que otra persona llegaría al mismo veredicto que tú leyendo la respuesta.

Esta es una rúbrica para las respuestas del camping:

Lo que hace utilizable la rúbrica es la columna de descripción: para cada nota, sabes qué la justifica. Una escala del 1 al 10 sin descripción es una sensación convertida en cifra, y tu 7 de hoy no es el de mañana.

Escribe los criterios antes de mirar las respuestas. Si no, los ajustarás, sin darte cuenta, para que favorezcan a la que te gustó de entrada. Es la misma disciplina que en el artículo sobre la prueba de un prompt, que detalla también la elección de los casos.

Comparar dos prompts en varios casos

El principio: coges cinco reseñas reales, ejecutas el prompt A y el prompt B en cada una, puntúas las diez respuestas con la rúbrica y sumas. Cinco casos son pocos, pero son cinco veces más que uno, y sobre todo ves si la diferencia viene de una sola reseña difícil o se repite. Incluye al menos una reseña agresiva y una injusta.

También puedes puntuar sin saber qué prompt ha producido qué. Pídele a alguien cercano que mezcle las respuestas, o numéralas al azar. Es un detalle que parece excesivo hasta el día en que te sorprendes dando un punto más a tu prompt favorito.

Hacer que puntúe la IA: posible, con salvaguardas

Puntuar diez respuestas a mano lleva tiempo. La IA puede hacer una primera pasada, siempre que no le dejes la última palabra. Este es un prompt para lanzar en una conversación nueva, porque una IA tiende a encontrar buena la respuesta que acaba de escribir.

Evalúas respuestas de un camping a reseñas de clientes, según la rúbrica de abajo. No reescribes nada.

Rúbrica:
- Reconoce el problema concreto: 0 si no se menciona, 1 si se menciona en términos generales, 2 si se retoma con las palabras del cliente.
- Datos exactos: 0 si hay un dato inventado, 1 si no hay ningún dato inventado pero nada concreto, 2 si los datos proceden de la reseña o de las notas.
- Acción propuesta: 0 ninguna, 1 vaga, 2 precisa.
- Tono: 0 a la defensiva o servil, 1 correcto pero rígido, 2 directo y educado.
- Longitud: 0 más de 120 palabras, 1 de 90 a 120, 2 menos de 90.

Reseña del cliente:
"""
[RESEÑA]
"""

Notas del camping (única fuente de datos permitida):
"""
[NOTAS]
"""

Respuesta que evaluar:
"""
[RESPUESTA]
"""

Para cada criterio, da la nota y cita el pasaje de la respuesta que la justifica. Si dudas entre dos notas, quédate con la más baja. Termina con la lista de los datos de la respuesta que no figuran ni en la reseña ni en las notas.

Tres precauciones:

• Revisa una muestra. Coge tres respuestas puntuadas por la IA, puntúalas tú, compara. Si vuestras notas divergen a menudo, tu rúbrica es demasiado imprecisa o la IA no la aplica como tú quieres.
• Desconfía de la longitud. Los evaluadores automáticos a veces tienen debilidad por las respuestas más largas y más cargadas. Pon la longitud en la rúbrica, como aquí, para que no pase por calidad.
• En los datos, verifica tú. La IA es útil para detectar datos ausentes de las notas, pero puede dejar pasar alguno. Como en el artículo sobre la verificación, el control de las cifras y de los nombres sigue siendo humano.

Hacer evolucionar la rúbrica

La primera versión de tu rúbrica tendrá defectos. Lo verás cuando dos respuestas obtengan la misma nota aunque una sea claramente mejor: falta un criterio. O cuando una nota te parezca injusta: la descripción está mal formulada. Corrige, vuelve a pasar las mismas respuestas y guarda la rúbrica junto a tu prompt.

Cuando tengas una rúbrica que funcione, también sirve para leer lo que compras. En un prompt del marketplace, puedes aplicar la tuya al ejemplo de resultado que se muestra en la ficha, antes de decidir.

Para hacer ahora

Elige una tarea que encargues con regularidad a la IA. Escribe tres criterios que compruebas siempre sin pensarlo, con lo que vale 0 y lo que vale 2. Aplícalos a tres respuestas reales sin mirar el prompt que las ha producido. Ajusta después los criterios en los que dudes, y guarda la rúbrica junto al prompt.