Comment fonctionne un modèle de langage, expliqué sans jargon

Demande à un chatbot la biographie d'un artisan peu connu de ta ville, sans lui donner accès au web. Il y a de bonnes chances que tu obtiennes un texte fluide, avec une date d'installation, un apprentissage chez un maître ébéniste et une anecdote sur l'atelier. Tout peut être faux, et le ton ne laissera rien paraître.

Ce comportement a l'air d'un mensonge. Il s'explique en fait par la mécanique même de ces outils. Une fois que tu la comprends, tu sais à quoi t'attendre : pourquoi il faut coller tes sources, pourquoi une longue conversation se dégrade, pourquoi deux réponses à la même question diffèrent. Aucune formule mathématique ci-dessous, seulement les idées qui changent ta façon de t'en servir.

Une machine à prédire la suite d'un texte

Un modèle de langage fait une chose, à une échelle énorme : à partir d'un texte, il estime ce qui a le plus de chances de venir ensuite.

Prends cette phrase : « Le boulanger sort le pain du ». Tu complètes par « four » sans réfléchir. Le modèle fait pareil, sauf qu'il ne choisit pas un mot unique. Il calcule une probabilité pour chaque suite possible : « four » très haut, « fournil » assez haut, « sac » plus bas, « réfrigérateur » presque nul. Il retient une suite, l'ajoute au texte, puis recommence avec la phrase rallongée, et ainsi de suite jusqu'à la fin de la réponse.

Tout ce que tu vois vient de cette boucle : l'e-mail de relance, le code Python, la recette, le résumé de contrat. Quand tu poses une question, le modèle produit le texte qui ressemble le plus à ce qui suit cette question dans tout ce qu'il a appris. Il répond parce qu'une question est, statistiquement, suivie d'une réponse.

La comparaison avec la saisie automatique du téléphone est utile, mais elle a ses limites. Ton téléphone regarde les deux ou trois derniers mots. Un modèle de langage tient compte de tout le texte qu'il a sous les yeux, et il a absorbé assez de régularités pour traduire, raisonner sur un problème ou imiter un style. Cette différence d'échelle change ce qu'il est capable de faire.

Le modèle comprend-il ce qu'il écrit ? Les chercheurs en débattent et la question reste ouverte. Pour ton usage, une réponse pratique suffit : il manipule très bien le sens des mots, et il n'a pas de lien direct avec la réalité. Il ne sait que ce que les textes en disent.

Ce que veut dire « entraîner » un modèle

Personne n'écrit les règles à la main. Personne n'a programmé que « four » suit « pain du ». Le modèle les déduit lui-même, en lisant une quantité colossale de textes : pages web, livres, code, forums, selon ce que chaque éditeur a réuni.

L'entraînement ressemble à un exercice de texte à trous répété à l'infini. On cache la suite d'une phrase, le modèle tente de la deviner, on compare avec la vraie suite, puis on ajuste légèrement ses réglages internes pour qu'il se trompe un peu moins. Ces réglages s'appellent des paramètres, et les grands modèles en comptent des milliards. Imagine une table de mixage avec un nombre délirant de boutons, chacun tourné d'un cheveu à chaque essai.

À la sortie de cette étape, on obtient un modèle qui prolonge n'importe quel texte, mais qui n'est pas encore un assistant. Si tu lui écris une question, il peut très bien enchaîner sur d'autres questions, comme dans un questionnaire. Une seconde phase lui apprend donc à se comporter en assistant, en s'appuyant notamment sur des exemples de bonnes réponses et sur des évaluations humaines. C'est à ce moment-là qu'il apprend aussi à refuser certaines demandes et à adopter un ton serviable.

Trois conséquences très concrètes en découlent.

Le modèle n'est pas une base de données. Il ne garde pas les textes rangés dans des fichiers qu'il irait consulter. Il garde des régularités, dissoutes dans ses paramètres. Une phrase très répétée peut ressortir presque mot pour mot, mais une information rare, comme le numéro de téléphone de la mairie de ton village, a pu laisser une trace trop faible pour être restituée correctement.

Ses connaissances s'arrêtent à une date. L'entraînement est fait sur des données figées, et tout ce qui s'est passé ensuite lui est inconnu, sauf si l'outil lui donne un accès au web ou si tu lui fournis l'information.

Il n'apprend pas de toi pendant que tu lui parles. Tes messages ne modifient pas ses paramètres en direct. Certains éditeurs peuvent réutiliser des conversations pour de futurs entraînements, selon tes réglages, d'où l'intérêt de vérifier ce que tu y colles. Les fonctions de « mémoire » proposées par certains outils sont autre chose : des notes enregistrées à côté et réinjectées dans la conversation.

Il faut aussi distinguer le modèle et le produit. Le modèle, c'est le moteur de prédiction. Le chatbot que tu utilises l'entoure d'instructions cachées, de recherche web, d'exécution de code, de lecture de fichiers. Quand un outil te donne un chiffre juste issu d'une page récente, c'est souvent cet outillage qui a travaillé, et le modèle qui a rédigé. Ces fonctions varient d'un outil et d'une offre à l'autre, vérifie ce qui est actif dans le tien.

Comment des mots deviennent des nombres

Un ordinateur calcule, il ne lit pas. Il faut donc traduire le texte en nombres, et cette traduction se fait en deux temps.

D'abord, le texte est découpé en morceaux appelés tokens : un mot court, une partie de mot long, un signe de ponctuation. Ce découpage explique beaucoup de limites pratiques, détaillées dans l'article sur les tokens et la fenêtre de contexte.

Ensuite, chaque morceau reçoit une longue liste de nombres, qu'on peut se représenter comme des coordonnées sur une carte immense. L'entraînement rapproche sur cette carte les éléments qui apparaissent dans des contextes semblables. « Facture » finit non loin de « devis », « chat » non loin de « chien », et les deux groupes restent éloignés l'un de l'autre. Le sens devient une affaire de distance.

Reste le cas des mots à plusieurs sens. Compare ces deux phrases :

L'avocat a plaidé toute la matinée.

L'avocat était trop mûr pour la salade.

Le même mot, deux réalités. Le mécanisme qui règle ce problème s'appelle l'attention. Pour traiter chaque morceau du texte, le modèle regarde tous les autres et pèse ceux qui comptent. Ici, « plaidé » tire « avocat » vers le tribunal, « mûr » et « salade » le tirent vers la cuisine. L'architecture qui généralise cette idée, appelée Transformer, a été décrite en 2017 par des chercheurs de Google dans un article resté célèbre, « Attention Is All You Need ». La plupart des grands modèles actuels en descendent.

Ce mécanisme a un effet direct sur tes prompts : le modèle pèse tout ce qui se trouve dans le texte, y compris tes digressions. Une phrase hors sujet ou un détail mal placé influence la réponse, même un peu.

Pourquoi il invente avec autant d'aplomb

Revenons à notre artisan imaginaire. Le modèle a lu des milliers de biographies d'artisans. Il sait à quoi elles ressemblent : une date, une formation, une transmission, un attachement au geste. Quand il ne dispose d'aucune information sur la personne, il produit quand même la suite la plus plausible, parce que c'est sa fonction. Rien dans la boucle de prédiction ne vérifie que la phrase correspond à un fait.

C'est ce qu'on appelle une hallucination. Le mot est trompeur, car rien n'a été « vu ». Il s'agit plutôt d'une extrapolation qui a la forme d'une réponse sûre d'elle.

Une demande comptable montre bien le piège. Si tu demandes l'article du Code général des impôts qui encadre une déduction précise, le modèle sait qu'une réponse de ce genre contient un numéro d'article bien formé. Il peut en produire un de la bonne allure, qui ne parle pas du sujet, ou qui a changé depuis. Le format est parfait et le contenu est à vérifier.

Deux idées reçues méritent d'être écartées :

• L'assurance du ton ne dit rien de la fiabilité. Un modèle ne se fait pas plus hésitant parce qu'il a tort. Le style assertif fait partie de ce qu'il a appris.
• Lui demander s'il est sûr ne suffit pas. Le modèle peut maintenir son erreur, ou au contraire abandonner une réponse juste parce que ta question suggère un doute. Il tend à aller dans le sens de son interlocuteur.

Les modèles récents se trompent moins souvent, et beaucoup signalent mieux leurs incertitudes. Le risque baisse sans disparaître. Pour le réduire, on peut agir sur le prompt, comme l'explique notre guide pour réduire les hallucinations, puis contrôler le résultat.

Les bizarreries du quotidien, décodées

La plupart des comportements étranges s'expliquent par ce qui précède.

Le point sur les réponses différentes vient d'un réglage dont tu peux parfois te servir, décrit dans l'article sur la température et les autres paramètres. Le point sur la mémoire surprend souvent : à chaque message, l'application renvoie au modèle le texte de la conversation. Il ne se souvient pas au sens où toi tu te souviens, il relit.

Ce que ça change dans tes prompts

Une fois la mécanique comprise, la bonne habitude se résume ainsi : ton prompt est le début d'un texte, et le modèle va le prolonger. Plus ce début ressemble à celui d'un bon document, plus la suite a des chances d'être bonne.

Voici une demande typique d'une responsable d'association :

Écris un message pour annoncer notre assemblée générale.

Le modèle n'a rien pour se raccrocher au réel. Il va donc produire la moyenne de tous les messages d'assemblée générale qu'il a lus, avec un ton passe-partout et probablement un lieu laissé vide ou inventé. Le même besoin, écrit en tenant compte de son fonctionnement :

Voici les informations exactes sur notre assemblée générale. N'utilise que ces informations et n'en ajoute aucune.

Association : [NOM ET ACTIVITÉ]
Date, heure et lieu : [DÉTAILS]
Ordre du jour : [POINTS]
Ce qui est attendu des adhérents : [VOTE, PROCURATION, CONFIRMATION DE PRÉSENCE]

Rédige un e-mail de moins de 150 mots pour nos [NOMBRE] adhérents, dont beaucoup sont retraités et lisent sur leur téléphone. Le ton est chaleureux et simple. Commence par la date. Termine par ce qu'ils doivent faire et la date limite.

S'il manque une information indispensable, écris [À COMPLÉTER] à sa place au lieu de la deviner.

Chaque changement répond à un mécanisme vu plus haut :

• Les faits sont dans le texte, donc le modèle n'a pas à les reconstruire de mémoire, là où il est le plus fragile.
• Le public, la longueur et le ton réduisent le nombre de suites plausibles. La réponse s'éloigne de la moyenne.
• La consigne sur [À COMPLÉTER] lui donne une sortie autorisée. Sans elle, le texte plausible l'emporte sur le vide.

Ce prompt améliore nettement les chances, sans rien garantir. Le modèle peut encore glisser un détail non demandé, et il faudra relire chaque date et chaque nom. Pour cette relecture, garde sous la main notre méthode pour vérifier une réponse de l'IA.

Refais maintenant le test de l'artisan : demande à ton chatbot, recherche web désactivée, une biographie d'une personne que tu connais bien et qui n'est pas célèbre. Lis la réponse, note ce qui est faux, puis recolle dans une nouvelle conversation trois faits exacts sur cette personne avec la consigne « n'utilise que ces informations ». La différence entre les deux textes vaut toutes les explications.