Affaire Thélyson Orélien : que prouve vraiment un score à 97 % IA ? Nous avons fait le test

Peut-on déterminer si un texte a été écrit avec ChatGPT en le soumettant à un détecteur d’IA ? Après l’affaire Thélyson Orélien, nous avons voulu repartir de cas dont nous connaissions précisément l’origine. Textes écrits bien avant ChatGPT, productions entièrement générées par IA, simples corrections ou réécritures beaucoup plus profondes : Pangram et GPTZero reconnaissent plutôt bien les situations les plus tranchées. Dès que l’humain et la machine commencent à partager l’écriture, leurs verdicts racontent une histoire beaucoup moins nette.

En quelques jours, Pangram s’est retrouvé au cœur de la rentrée littéraire. Le 21 septembre, après l’attribution du Prix du roman Fnac à C’était ça ou mourir, des captures publiées sur X accusent le roman de Thélyson Orélien d’avoir été largement produit par IA. Le Monde mène ensuite ses propres essais : plus de la moitié du livre est soumise au détecteur, qui classe plus de 95 % du texte comme généré par IA, avec un niveau de confiance élevé.

Quatre jours plus tard, l’Académie Goncourt retire le roman de sa sélection. Elle invoque les plagiats anciens révélés entre-temps, mais aussi plusieurs analyses qu’elle juge convergentes sur l’usage de l’IA. Orélien conteste ces accusations. Son éditeur québécois, Le Boréal, se montre plus prudent : il affirme qu’aucune IA n’a été utilisée pendant son propre travail éditorial, sans pouvoir certifier ce qui s’est passé avant la remise du manuscrit.

C’est là que le sujet nous intéresse vraiment. Que prouve un score de 97, 99 ou 100 % affiché par un détecteur ? Pour le savoir, nous avons soumis Pangram et GPTZero à des textes dont, cette fois, nous connaissions précisément l’origine.

Sur les cas les plus simples, Pangram et GPTZero retrouvent généralement la bonne piste

Nous avons confronté Pangram 4.0 et GPTZero 4.1m à dix textes en français.
Trois sont extraits d’articles Clubic publiés en 2021, avant l’arrivée de ChatGPT. Quatre autres ont été intégralement générés avec ChatGPT Sol 6.1. Nous avons ensuite préparé deux situations intermédiaires : un article humain auquel l’IA n’a apporté que six petites corrections et un autre dont ChatGPT a beaucoup plus profondément réécrit les formulations. Enfin, Demain, dès l’aube de Victor Hugo a servi de témoin court, traité à part en raison de sa longueur et de sa nature très différentes.

Il faut prendre quelques secondes pour comprendre ce que ces pourcentages signifient, car Pangram et GPTZero ne mesurent pas exactement la même chose.

Chez Pangram, les pourcentages que nous avons relevés correspondent à la fraction du document attribuée à chacune de ses catégories : Human Written, AI-Assisted ou AI-Generated. Le "AI assistance score" que Pangram calcule par ailleurs est un indice continu d’implication de l’IA, et non la probabilité que l’étiquette affichée soit correcte. GPTZero fonctionne différemment : les valeurs affichées correspondent aux probabilités attribuées à différentes classes pour l’ensemble du document. Dans les deux cas, lire « 60 % » comme « 60 % des mots ont été écrits par une machine » serait donc une erreur.

Les textes humains ne leur posent guère de problème

Sur nos témoins les plus simples, les deux services sont plutôt difficiles à prendre en défaut. Les trois articles Clubic de 2021 ressortent 100 % humains dans les deux outils. Même Victor Hugo échappe au scénario, souvent évoqué à propos des détecteurs, du classique littéraire pris pour ChatGPT : Pangram et GPTZero considèrent tous deux Demain, dès l’aube comme humain, même si Pangram prévient que la faible longueur du poème réduit la confiance accordée au résultat.

Il faut néanmoins ajouter une limite à ces bons résultats. Nos témoins humains ne sont pas inédits. Les articles Clubic sont accessibles sur le Web depuis 2021 et le poème de Victor Hugo est largement diffusé. Rien ne permet d’affirmer que ces textes précis aient figuré dans les données ayant servi à développer les détecteurs, mais nous ne pouvons pas non plus écarter totalement ce biais potentiel.

Trois textes d’un même auteur ne permettent de toute façon pas d’en tirer un taux de faux positifs représentatif. Dans notre petit corpus, le constat est simplement plus modeste : aucun de nos témoins humains n’a été pris pour un texte généré par IA.

ChatGPT brut est lui aussi assez facile à repérer

Les textes intégralement générés sont bien reconnus la plupart du temps, à une exception notable sur laquelle nous reviendrons.

T06 obtient 100 % IA dans les deux outils. T02 est identifié à 99 % comme IA par GPTZero et très majoritairement comme tel par Pangram. Notre tentative la plus simple pour brouiller les pistes ne change pas grand-chose non plus. Pour T09, nous avions demandé à ChatGPT d’éviter un rythme trop régulier, de varier davantage ses phrases et de réduire certains marqueurs stylistiques associés aux productions automatiques. Pangram répond 100 % IA, GPTZero 97 % IA.

Demander simplement à ChatGPT d’écrire « plus humainement » n’a donc pas suffi, dans notre essai, à disparaître des radars. Cela ne signifie pas qu’une génération plus travaillée ou une véritable stratégie de contournement échouerait toujours. Une seule tentative ne permet pas de trancher, mais… nous y reviendrons plus en détail dans un prochain article.

Les résultats se sont aussi montrés stables lorsque nous avons renouvelé les analyses. Pangram a rendu exactement les mêmes scores et segmentations sur les trois cas dont nous avons documenté une seconde passe : T01, T02 et T08. Nous avons également relancé manuellement les analyses dans GPTZero ; les résultats obtenus étaient identiques à ceux de la première passe.

Le contraste avec les débuts de ChatGPT est assez frappant. Clubic avait déjà tenté l’expérience en février 2023. GPTZero avait correctement reconnu un texte humain, mais s’était trompé sur le second, produit par ChatGPT, en estimant qu’il avait été entièrement écrit à la main. Copyleaks avait lui aussi classé ce même texte à 99,9 % comme humain.

Trois ans et demi plus tard, reconnaître une génération brute ne semble plus constituer le principal défi. Les choses deviennent beaucoup plus intéressantes lorsque les deux origines commencent à se mélanger.

Quand l’humain et ChatGPT écrivent ensemble, la frontière se brouille

Le test T07 constitue notre premier pas dans cette zone grise. Nous sommes partis d’un article écrit par un humain et n’avons laissé ChatGPT y effectuer que six petites corrections. Le résultat reste 100 % humain chez Pangram comme chez GPTZero.

Est-ce vraiment une erreur ? Pas forcément. Si l’auteur a produit l’intégralité du texte avant d’utiliser une IA pour corriger quelques formulations, doit-on attendre d’un détecteur qu’il considère soudainement le document comme artificiel ? Ce cas très simple montre déjà que l’opposition « humain ou IA » ne correspond plus forcément aux usages réels.

Une réécriture profonde suffit à séparer les deux détecteurs

T08 pousse beaucoup plus loin l’expérience. À l’origine, il s’agit là encore d’un véritable article Clubic publié en 2021. Mais nous l’avons cette fois confié à ChatGPT avec une consigne de réécriture : conserver les informations et le sens, tout en pouvant modifier le vocabulaire, les transitions et la construction des phrases afin d'améliorer la qualité rédactionnelle de l'article.

Pangram détecte cette intervention. Son verdict est « Mixed / AI Detected », avec 38 % classé IA et 62 % humain. GPTZero donne de son côté 98 % humain, avec une forte confiance.

Si nous ignorions la manière dont ce texte avait été préparé, les deux résultats pourraient conduire à des interprétations assez différentes. Or, dans ce cas précis, nous savons que ChatGPT est intervenu assez lourdement sur la version finale. Pangram semble donc mieux percevoir la réécriture. Mais son analyse ne constitue pas davantage une radiographie exacte du travail effectué. Dans sa segmentation, les deux premiers paragraphes sont classés comme IA et les deux suivants comme humains. Les quatre appartiennent pourtant à la même version profondément retravaillée par ChatGPT.

C’est ici que se dessine le principal enseignement de notre expérience : détecter dans un texte des caractéristiques associées à l’IA et reconstituer la façon dont ce texte a été fabriqué sont deux choses différentes.

Un score ne raconte pas forcément l’histoire du texte

Passons à T02, qui apporte une autre nuance. Ce texte a été entièrement généré par ChatGPT. GPTZero l’identifie à 99 % comme IA. Pangram repère lui aussi très clairement une implication artificielle, mais répartit son verdict entre 67 % AI-Generated et 33 % AI-Assisted, et cette seconde catégorie mérite de s’y arrêter.

Pangram 4.0 distingue trois provenances : Human Written, AI-Assisted et AI-Generated. Sa documentation explique que le modèle apprend notamment à reconnaître les textes humains ensuite modifiés par IA, afin de distinguer ces cas de contenus générés de bout en bout. Or T02 n’a jamais possédé de première version humaine. ChatGPT l’a produit intégralement.

Pangram repère donc correctement une forte présence d’IA, mais une partie de sa segmentation ne correspond pas à la genèse de notre texte. Le logiciel voit juste sur le signal général sans restituer exactement la manière dont le document a été produit.

Quand les détecteurs ne sont même plus d’accord sur le signal

T04 maintenant. Lui aussi a été intégralement généré par ChatGPT. Pangram répond sans ambiguïté : 100 % AI Generated. GPTZero hésite beaucoup plus : 40 % IA, 1 % mixte et 59 % humain. L’outil présente le résultat comme incertain plutôt que de conclure catégoriquement à une origine humaine.

Il serait donc excessif de résumer ce test par « GPTZero a déclaré humain un texte ChatGPT ». Mais le contraste reste saisissant : face au même document dont nous connaissons l’origine, un détecteur ne manifeste quasiment aucun doute quand l’autre ne parvient pas à choisir entre humain et IA.

Dans notre expérience, ce désaccord ne prête guère à conséquence. Sur le devoir d’un étudiant, un manuscrit soumis à une maison d’édition ou un texte autour duquel apparaissent publiquement des soupçons de fraude, le même désaccord devient beaucoup plus sensible. Pangram reconnaît d’ailleurs lui-même que son modèle conserve un taux d’erreur non nul et souligne que les faux positifs peuvent avoir des conséquences sérieuses, notamment sur la réputation des personnes concernées.

Ce que ces scores permettent vraiment d'affirmer

Au terme de nos essais, affirmer que les détecteurs ne servent à rien serait difficile à défendre. Dans les situations les plus tranchées de notre petit corpus, Pangram et GPTZero ont généralement retrouvé la bonne piste. Nos trois témoins humains n’ont pas déclenché de faux positif, plusieurs générations ChatGPT ont été repérées avec une forte confiance, et une simple consigne demandant à ChatGPT d’adopter un style plus naturel n’a pas suffi à masquer la génération.

Mais la question posée à ces outils a changé. Une correction orthographique, la reformulation de quelques phrases, un premier jet ChatGPT entièrement remanié par un humain ou un manuscrit produit de bout en bout par une IA ne représentent pas le même degré d’intervention. Pourtant, au moment du scan, le détecteur n’a plus devant lui qu’un seul objet : le texte terminé.

Il ne voit pas les brouillons, l’historique Word ou Google Docs, il ne connaît ni les prompts ni les allers-retours entre l’auteur et la machine. Il analyse le résultat final et tente d’en inférer la provenance.

Nos tests ne permettent donc en rien de trancher l’affaire Thélyson Orélien, ils n'ont de toute façon pas été menés dans ce but. Ils permettent en revanche de comprendre pourquoi la précision apparente d’un score de détection ne doit pas être confondue avec une preuve matérielle de la manière dont un texte a été produit.

Et pour en revenir à C’était ça ou mourir, l’Académie Goncourt a considéré que les analyses dont elle disposait, ajoutées aux autres éléments du dossier, justifiaient de supprimer le roman de sa première sélection. Le Boréal, après avoir travaillé avec l’auteur pour tenter de documenter la période précédant son intervention éditoriale, déclarait de son côté ne pas pouvoir confirmer ou infirmer les accusations.

Entre ces deux positions se trouve peut-être la bonne place à donner aujourd’hui à ces outils : un détecteur peut attirer l’attention sur un texte. Il ne remplace pas l’histoire de ce texte.