Réduire les hallucinations de l'IA : les méthodes qui marchent

En 2023, à New York, des avocats ont déposé devant un tribunal fédéral un mémoire citant des décisions de justice qui n'existaient pas. Elles avaient été générées par ChatGPT, et le juge les a sanctionnés (affaire Mata v. Avianca). Les références avaient l'air parfaites : noms de parties, numéros, résumés.

Ce cas résume bien le problème. Une hallucination, le terme courant pour une information fausse produite avec assurance, se repère mal parce qu'elle a la forme d'une bonne réponse. Aucun prompt ne fait disparaître le phénomène. En revanche, tu peux le rendre nettement moins fréquent et surtout plus facile à détecter.

Pourquoi l'IA invente sans le savoir

Un modèle de langage ne consulte pas une base de faits quand il répond seul. Il prédit une suite de texte plausible à partir de ce qu'il a appris. Sur un sujet très documenté, plausible et vrai se recoupent souvent. Sur un détail rare, il continue à produire un texte plausible, parce que rien ne l'oblige à s'arrêter. Pour la mécanique complète, lis comment fonctionne un modèle de langage.

Ça explique où regarder en priorité :

• les références : articles, ouvrages, décisions, liens web ;
• les citations entre guillemets attribuées à quelqu'un ;
• les chiffres précis, les dates et les montants ;
• les informations locales ou récentes, comme un horaire, un taux ou une réglementation ;
• les détails techniques de niche : une fonction de bibliothèque qui semble exister, une option de logiciel.

Si ta demande touche l'un de ces points, la consigne doit changer. Sur une reformulation d'e-mail, tu n'as pas besoin de tout ça.

Autoriser explicitement « je ne sais pas »

Un assistant cherche à répondre. Si ton prompt ne prévoit pas d'autre issue, il en produit une. Lui donner le droit de ne pas savoir réduit souvent les inventions, à condition de le dire précisément.

Avant :

Donne-moi 5 études récentes sur l'effet de la semaine de 4 jours sur la productivité, avec les auteurs et les chiffres clés.

Ce prompt exige cinq résultats précis : il pousse à compléter la liste quoi qu'il arrive.

Je cherche des études sérieuses sur [SUJET].

Liste uniquement celles dont tu es raisonnablement sûr qu'elles existent, même s'il y en a moins de cinq, ou aucune. Pour chacune, indique ce que tu sais avec certitude (auteurs, année, organisme) et écris « à vérifier » pour tout le reste. Ne donne ni lien, ni chiffre, ni citation exacte si tu n'en es pas sûr.

Termine par les mots-clés et les bases de données où je peux vérifier moi-même.

La dernière phrase donne une sortie utile même quand le modèle n'a rien de solide. Une réponse en « à vérifier » te renseigne plus qu'une liste nette et fausse.

Répondre à partir d'un texte fourni

La méthode la plus efficace consiste à changer la question. Au lieu de demander à l'IA ce qu'elle sait, demande-lui ce que dit un document que tu lui donnes. Le travail devient de la lecture, un exercice bien plus fiable que la mémoire.

Exemple : la secrétaire d'une association veut vérifier ce que les statuts prévoient pour convoquer une assemblée générale.

Réponds à ma question en utilisant uniquement le document ci-dessous.

Règles :
- Commence par citer mot pour mot le ou les passages sur lesquels tu t'appuies, en indiquant l'article ou la page.
- Réponds ensuite en 3 phrases maximum.
- Si le document ne permet pas de répondre, écris « Le document ne le précise pas » et n'ajoute aucune connaissance extérieure.

Question : [TA QUESTION]

Document :
[TEXTE DU DOCUMENT]

L'ordre a son importance. En citant d'abord, la réponse s'appuie sur les passages sélectionnés, et tu peux contrôler les citations avec une simple recherche dans le document. Une citation introuvable signale qu'il faut se méfier du reste. Pour les documents de plusieurs dizaines de pages, la méthode se complique un peu, et l'article sur les longs documents la détaille.

Connecter l'IA à des sources réelles

Plusieurs outils peuvent chercher sur le web ou dans tes fichiers avant de répondre, et afficher leurs sources. Cette option réduit le risque sur les sujets récents, sans l'éliminer. Un lien affiché peut exister sans dire ce que l'IA lui fait dire, ou provenir d'une page de mauvaise qualité.

Le réflexe à garder : ouvre le lien pour toute information que tu vas réutiliser, et cherche la phrase précise dans la page. Pour les développeurs, l'équivalent consiste à donner la documentation de la bonne version de la bibliothèque, à exécuter le code et à lancer les tests. Un appel à une fonction inventée se voit tout de suite à l'exécution, à condition d'exécuter.

Faire lister les affirmations à vérifier

Une fois le texte produit, une seconde passe aide à savoir où concentrer ta relecture. Les modèles estiment mal leur propre fiabilité : ne prends pas ce tri pour une preuve. Il sert à classer les vérifications, et à t'éviter de relire chaque ligne avec la même attention.

Voici un texte produit par une IA. Je dois le vérifier avant publication.

Dresse un tableau des affirmations vérifiables qu'il contient (chiffres, dates, noms, citations, relations de cause à effet). Pour chacune, indique :
- la phrase concernée ;
- le type de source qui permettrait de la vérifier ;
- le risque d'erreur : élevé, moyen ou faible, avec une raison courte.

Classe le tableau par risque décroissant. Ne corrige rien et n'affirme pas qu'une information est vraie.

Texte :
[COLLE LE TEXTE]

Tu obtiens une liste de contrôle. Pour la méthode de vérification elle-même, lis comment vérifier une réponse de l'IA.

Ce qu'aucun prompt ne règle

Ces consignes font baisser le risque, elles ne l'annulent pas. Un modèle peut écrire « je suis sûr » et se tromper, comme il peut déformer un document qu'il vient de lire, surtout quand la réponse exige de combiner plusieurs passages. Sur un sujet médical, juridique ou financier, le résultat sert de point de départ à vérifier auprès d'une source officielle ou d'un professionnel.

La question à te poser avant d'utiliser une réponse tient en une ligne : si cette information est fausse, qu'est-ce qui se passe ? Si la réponse est « pas grand-chose », avance. Si la réponse implique un client, de l'argent ou ta signature, ouvre la source toi-même, puis note dans ton prompt habituel la mention « écris "à vérifier" pour tout ce dont tu n'es pas sûr ».