Noter les réponses de l'IA avec une grille

La gérante d'un camping répond aux avis des clients, surtout les mauvais. Elle a écrit deux prompts pour que l'IA rédige ces réponses et hésite entre les deux. Elle les essaie sur un avis, trouve la réponse A « plus chaleureuse » et la B « plus professionnelle », et choisit A. Le lendemain, sur un autre avis, elle relit B et change d'avis. Son jugement dépend de l'humeur du moment, de l'avis qu'elle a sous les yeux, et de ce qu'elle a lu juste avant.

Une grille de notation corrige ça. Elle ne te rend pas objectif, mais elle te rend régulier : tu regardes les mêmes choses, dans le même ordre, à chaque fois.

Ce qu'une bonne grille contient

Quatre ou cinq critères, pas plus. Au-delà, tu ne les appliques plus sérieusement. Chaque critère doit être concret, c'est-à-dire qu'une autre personne arriverait au même verdict que toi en lisant la réponse.

Voici une grille pour les réponses du camping :

Ce qui rend la grille utilisable, c'est la colonne de description : pour chaque note, tu sais ce qui la justifie. Une échelle de 1 à 10 sans description est un sentiment chiffré, et ton 7 d'aujourd'hui n'est pas celui de demain.

Écris les critères avant de regarder les réponses. Sinon tu les ajusteras, sans t'en rendre compte, pour qu'ils favorisent celle qui t'a plu d'emblée. C'est la même discipline que dans l'article sur le test d'un prompt, qui détaille aussi le choix des cas.

Comparer deux prompts sur plusieurs cas

Le principe : tu prends cinq avis réels, tu fais tourner le prompt A et le prompt B sur chacun, tu notes les dix réponses avec la grille, et tu additionnes. Cinq cas, c'est peu, mais c'est cinq fois plus qu'un seul, et surtout tu vois si l'écart vient d'un seul avis difficile ou se répète. Prends au moins un avis agressif et un avis injuste.

Tu peux aussi noter sans savoir quel prompt a produit quoi. Demande à un proche de mélanger les réponses, ou numérote-les au hasard. C'est un détail qui paraît excessif jusqu'au jour où tu te surprends à donner un point de plus à ton prompt préféré.

Faire noter par l'IA : possible, avec des garde-fous

Noter dix réponses à la main prend du temps. L'IA peut faire une première passe, à condition de ne pas lui laisser le dernier mot. Voici un prompt à lancer dans une conversation neuve, parce qu'une IA a tendance à trouver bonne la réponse qu'elle vient d'écrire.

Tu évalues des réponses d'un camping à des avis clients, selon la grille ci-dessous. Tu ne réécris rien.

Grille :
- Reconnaît le problème précis : 0 s'il n'est pas mentionné, 1 s'il l'est en termes généraux, 2 s'il est repris avec les mots du client.
- Faits exacts : 0 si un fait est inventé, 1 si aucun fait inventé mais rien de concret, 2 si les faits viennent de l'avis ou des notes.
- Action proposée : 0 aucune, 1 vague, 2 précise.
- Ton : 0 défensif ou servile, 1 correct mais raide, 2 direct et poli.
- Longueur : 0 au-delà de 120 mots, 1 de 90 à 120, 2 sous 90.

Avis du client :
"""
[AVIS]
"""

Notes du camping (seule source de faits autorisée) :
"""
[NOTES]
"""

Réponse à évaluer :
"""
[RÉPONSE]
"""

Pour chaque critère, donne la note et cite le passage de la réponse qui la justifie. Si tu hésites entre deux notes, retiens la plus basse. Termine par la liste des faits de la réponse qui ne figurent ni dans l'avis ni dans les notes.

Trois précautions :

• Relis un échantillon. Prends trois réponses notées par l'IA, note-les toi-même, compare. Si vos notes divergent souvent, ta grille est trop floue ou l'IA ne l'applique pas comme tu l'entends.
• Méfie-toi de la longueur. Les évaluateurs automatiques ont parfois un penchant pour les réponses plus longues et plus fournies. Mets la longueur dans la grille, comme ici, pour qu'elle ne passe pas pour de la qualité.
• Sur les faits, vérifie toi-même. L'IA est utile pour repérer des faits absents des notes, mais elle peut en laisser passer. Comme dans l'article sur la vérification, le contrôle des chiffres et des noms reste humain.

Faire évoluer la grille

La première version de ta grille aura des défauts. Tu le verras quand deux réponses obtiendront la même note alors que l'une est clairement meilleure : il manque un critère. Ou quand une note te paraîtra injuste : la description est mal formulée. Corrige, refais passer les mêmes réponses, et garde la grille avec ton prompt.

Quand tu as une grille qui marche, elle sert aussi à lire ce que tu achètes. Sur un prompt de la place de marché, tu peux appliquer la tienne à l'exemple de résultat montré sur la fiche, avant de décider.

À faire maintenant

Prends une tâche que tu confies régulièrement à l'IA. Écris trois critères que tu vérifies toujours sans y penser, avec ce qui vaut 0 et ce qui vaut 2. Applique-les à trois vraies réponses sans regarder le prompt qui les a produites. Ajuste ensuite les critères où tu hésites, et garde la grille à côté du prompt.