Détecteurs de texte IA : peut-on s'y fier ?

Une étudiante en master rend un mémoire qu'elle a écrit seule, pendant six semaines. L'outil de détection de son université affiche « 68 % probablement généré par IA ». Elle est convoquée. Elle n'a ni brouillon daté ni historique de modifications, parce qu'elle écrit dans un seul fichier qu'elle écrase à chaque sauvegarde. Elle se retrouve à devoir prouver qu'elle n'a rien fait.

Ce genre de situation est régulièrement rapporté dans l'enseignement. Il tient à un malentendu sur ce que mesure un détecteur.

Ce que fait un détecteur

Un détecteur ne retrouve pas la trace d'un outil dans ton texte. Il n'y en a pas, sauf si le fournisseur a ajouté un marquage volontaire, et la plupart des textes n'en portent pas. Le détecteur est lui-même un modèle entraîné à reconnaître des régularités : des phrases d'une longueur proche, des mots très attendus, un style lisse. Il en tire une probabilité.

Le problème est que ces régularités ne sont pas propres aux machines. Un texte administratif, une rédaction scolaire, un résumé factuel, un texte écrit dans une langue qui n'est pas la sienne ressemblent à ce que produit une IA. Des chercheurs ont d'ailleurs montré que des textes d'anglophones non natifs étaient plus souvent signalés à tort que ceux de locuteurs natifs. À l'inverse, un texte généré puis un peu réécrit, ou produit avec un prompt qui demande un style plus irrégulier, passe sans difficulté.

OpenAI avait publié en 2023 son propre détecteur de textes, et l'a retiré quelques mois plus tard en invoquant son faible taux de précision. Quand l'éditeur d'un modèle ne parvient pas à reconnaître ses propres textes de façon fiable, mieux vaut ne pas en faire une preuve.

Un pourcentage n'est pas un verdict

Deux erreurs sont possibles, et elles ne coûtent pas la même chose.

• Le faux positif : un texte humain est signalé comme généré. C'est le cas de l'étudiante, et c'est le plus grave, puisqu'il accuse quelqu'un de tricher.
• Le faux négatif : un texte généré passe pour humain. Il fait croire que l'outil fonctionne mieux qu'il ne le fait.

Un score de « 68 % » ne veut pas dire que 68 % du texte a été écrit par une IA, et pas davantage qu'il y a 68 % de chances que le texte soit généré. Les outils ne l'expliquent pas toujours clairement, et plusieurs éditeurs précisent eux-mêmes que le score ne doit pas servir de seule base à une sanction. Lis la notice de l'outil que tu utilises : c'est le document le plus parlant.

Les détecteurs ne se valent pas entre eux, et deux outils peuvent donner des scores différents au même texte. Fais le test avec un texte dont tu connais l'origine.

Si tu es enseignant ou responsable

Utilise le score, si tu le consultes, comme un signal pour poser une question, jamais comme une preuve. Ce qui fonctionne mieux :

• demander un historique de versions, des brouillons, des notes ou des sources ;
• échanger oralement avec l'auteur sur son texte ;
• adapter la consigne pour qu'elle porte sur une démarche personnelle (une expérience vécue, un cas de la classe, une étape à montrer) plutôt que sur un texte générique ;
• fixer à l'avance, et par écrit, ce qui est permis avec l'IA et ce qui ne l'est pas.

Le plus rentable est l'entretien. Une IA peut t'aider à le préparer à partir du devoir lui-même :

Voici le devoir d'un élève de première sur [SUJET] :

[TEXTE DU DEVOIR]

Prépare cinq questions orales pour vérifier que l'élève comprend ce qu'il a écrit : deux sur ses choix d'argumentation, deux qui lui demandent d'expliquer un passage avec ses propres mots, une qui lui demande d'étendre un exemple. Ne porte aucun jugement sur l'origine du texte.

La dernière phrase compte. Le but est d'ouvrir une discussion, pas de monter un dossier. Évite aussi de coller le devoir d'un élève identifiable dans un outil dont tu ne connais pas les règles de conservation. Plus de pistes dans le guide des prompts pour enseignants.

Si tu es accusé à tort

Reste factuel et rassemble ce que tu as : brouillons, historique du document (les traitements de texte en ligne conservent souvent les versions), notes, sources consultées, échanges avec un encadrant. Propose un entretien pour expliquer ton travail, ce qui est souvent la meilleure défense. Demande quel outil a été utilisé, quel score et sur quelle base, et vérifie ce que dit la notice de l'outil sur la fiabilité de son score. Si la procédure est sérieuse, fais-toi aider par un représentant (syndicat étudiant, médiateur, conseil juridique).

Pour la suite, prends l'habitude d'écrire dans un document qui garde l'historique des modifications, et de conserver tes notes. C'est aussi une bonne pratique si tu utilises l'IA de façon autorisée, par exemple pour reformuler : garde les deux versions. L'article pour les étudiants précise comment utiliser ces outils sans te mettre en difficulté.

Et si tu veux écrire un texte qui ne « fasse pas IA »

Ne cherche pas à tromper un détecteur : ça ne t'apprend rien et la règle de ton établissement ou de ton client reste la même. Si l'IA t'aide, ce qui rend un texte réellement le tien est la matière que tu y mets : tes exemples, tes chiffres vérifiés, ta façon de dire, ce qu'on trouve dans l'article sur ton style. Les biais des outils, y compris ceux des détecteurs, sont abordés dans l'article sur les biais de l'IA.

Pour la prochaine fois

Si ton établissement ou ton entreprise utilise un détecteur, demande par écrit comment le score est utilisé et s'il peut être la seule base d'une décision. Et si tu rédiges un document important, active l'historique des versions dès aujourd'hui.