Vérifier une réponse de l'IA : quoi contrôler, et comment

En 2023, à New York, des avocats ont été sanctionnés par un juge fédéral pour avoir déposé un mémoire citant des décisions de justice qui n'existaient pas. Elles avaient été produites par ChatGPT, et l'affaire Mata v. Avianca est devenue l'exemple classique. Les références avaient l'air irréprochables : un nom de tribunal, un numéro, une date. Personne n'avait lu ces décisions avant de les citer.

Cette histoire enseigne une leçon simple. Ce qui trompe, c'est la forme : une réponse bien écrite déclenche notre confiance. Vérifier tout est impossible et inutile. Il te faut une façon de décider quoi vérifier, avec quel effort et à quelle source.

Commence par estimer ce que coûterait une erreur

Avant de contrôler quoi que ce soit, pose-toi une seule question : si cette réponse est fausse, que se passe-t-il ?

Un slogan raté pour une affiche se voit tout de suite et coûte peu. Un taux de TVA erroné sur le devis d'un artisan peut coûter cher et passer inaperçu. Une mention d'allergènes fausse sur la carte d'un restaurant peut toucher à la santé d'un client. L'effort de vérification doit suivre ce risque, pas la longueur du texte.

Trois niveaux suffisent dans la pratique. Quand l'erreur est sans conséquence, une relecture rapide suffit. Quand elle engage ta crédibilité, comme pour un article ou une présentation à un client, tu contrôles chaque fait. Quand elle touche au droit, à l'argent ou à la santé, l'IA ne sert que de point de départ : la référence, c'est la source officielle ou le professionnel concerné.

Le contrôle selon le type d'affirmation

Un texte de l'IA mélange des phrases qui n'appellent pas le même contrôle. Une opinion ou une reformulation se juge à la lecture. Une affirmation factuelle demande une source. Ce tableau indique où concentrer ton attention.

Sur ce dernier point, un test rapide consiste à demander la citation exacte qui appuie chaque idée du résumé, puis à chercher ces phrases avec Ctrl+F dans l'original.

Les sources : ouvrir, lire, comparer

Les outils connectés au web, comme Perplexity et ses recherches sourcées, ont amélioré les choses, mais une citation affichée à côté d'une phrase n'est pas une preuve. Le lien peut exister et dire autre chose, ou dire la même chose avec des réserves que la réponse a fait disparaître.

Pour une source, quatre questions suffisent :

1. Le document existe-t-il vraiment ?
2. Dit-il ce qu'on lui fait dire, avec la même nuance ?
3. Qui l'a publié, et a-t-il un intérêt dans l'affaire ?
4. Est-il assez récent pour ton sujet ?

Attention aussi à la fausse confirmation. Plusieurs sites qui répètent la même information peuvent tous s'appuyer sur une unique source d'origine, parfois elle-même produite par une IA. Plusieurs copies d'un même texte ne valent pas deux sources. Remonte à la première publication.

Ce que l'IA peut faire pour t'aider à vérifier

Demander « tu es sûr ? » n'apporte pas grand-chose. Le modèle peut s'excuser et changer une bonne réponse, ou défendre une mauvaise. Comme l'explique notre article sur le fonctionnement des modèles de langage, il n'a pas de connexion directe avec les faits.

Il est en revanche très utile pour préparer ton travail de contrôle : isoler ce qui doit être vérifié et indiquer où regarder. Colle le texte dans une conversation neuve, pour qu'il le lise sans chercher à défendre sa propre réponse.

Tu vas m'aider à relire le texte ci-dessous avant publication. Ne le réécris pas et ne le corrige pas.

Dresse un tableau avec ces colonnes :
1. Affirmation vérifiable, recopiée mot pour mot.
2. Type : chiffre, date, nom, citation, règle juridique ou fiscale, fait technique, autre.
3. Gravité si elle est fausse pour [PUBLIC OU USAGE] : faible, moyenne, élevée.
4. Source à consulter pour la vérifier, en décrivant le type d'organisme ou de document.

Classe le tableau par gravité décroissante. N'indique jamais qu'une affirmation est vraie : ta tâche consiste uniquement à me montrer ce que je dois contrôler. Ajoute à la fin les affirmations implicites, c'est-à-dire ce que le texte suppose sans le dire.

Pays et date concernés : [PAYS, DATE].

Texte :
"""
[TEXTE À VÉRIFIER]
"""

Ce prompt ne remplace pas ton contrôle. Il peut oublier une affirmation, et les sources qu'il suggère sont à prendre comme des pistes. Il évite surtout de relire à l'instinct.

Le recours à un second outil a de l'intérêt, à condition de ne pas s'y fier aveuglément. Si deux modèles divergent, tu sais où creuser. S'ils sont d'accord, ils ont peut-être appris la même erreur sur les mêmes textes. Tu trouveras comment réduire ces erreurs en amont dans notre guide pour limiter les hallucinations.

Les pièges qui survivent à une relecture rapide

Certaines erreurs passent même chez les relecteurs attentifs.

Le vrai et le faux dans la même phrase. Une date juste accompagnée d'un lieu faux emporte la confiance du lecteur. Si tu as vérifié la moitié de la phrase, tu n'as pas vérifié la phrase.

L'absence. Le plus dur à repérer, c'est ce qui manque : une exception, une condition, un délai. Une règle présentée sans son seuil d'application peut être exacte en général et fausse pour ton cas. Pose la question : « Dans quels cas cette règle ne s'applique-t-elle pas ? », puis vérifie la réponse.

Les détails trop parfaits. Un chiffre très précis sans source, une citation qui tombe exactement à pic, un nom d'étude bien commode sont des signaux d'alerte.

La fatigue. Après cinq réponses correctes, on relâche son attention. C'est justement le moment où l'erreur passe, surtout quand on utilise l'outil tous les jours. Une courte liste de contrôle écrite aide à tenir, car elle ne dépend pas de ta vigilance du moment.

Prends l'habitude sur ton prochain texte

Sur le prochain texte que l'IA écrit pour toi, surligne chaque chiffre, nom propre et date, puis ouvre au moins une source pour les trois éléments qui te feraient le plus de tort s'ils étaient faux. Note ce que tu trouves. Au bout de quelques textes, tu connaîtras les points faibles de ton outil sur tes sujets, et tu sauras exactement où regarder.