OpenAI a développé un outil qui pourrait grandement faciliter la tâche des enseignants en leur permettant de détecter le texte généré par ChatGPT. Problème, le dispositif cause des frictions en interne. Certains veulent le déployer, quand d'autres estiment qu'il serait trop préjudiciable.
Selon une enquête du Wall Street Journal, l'outil est en développement depuis 2022, avant même la sortie officielle de l'agent conversationnel. À l'instar de SynthID de Google, actuellement en phase de test, le système proposé par OpenAI modifierait subtilement la façon dont ChatGPT choisit ses mots, créant une signature invisible dans le texte généré qui permettrait de l'identifier comme provenant de l'IA, sans altérer le contenu du message. Dans un billet de blog, la start-up a confirmé qu'elle travaillait sur une telle technologie, dont l'efficacité est de 99,99 %.
Le système serait préjudiciable à ceux qui ne parlent pas l'anglais, estime OpenAI
Pourtant, OpenAI hésite à la lancer pour le grand public. La société sait qu'un tel dispositif serait particulièrement utile pour les enseignants par exemple, ChatGPT étant de plus en plus utilisé par les étudiants. Mais elle sait aussi que certains pourraient rechigner à exploiter l'IA si un filigrane y est déployé. Dans un sondage, 30 % de ses usagers ont déclaré qu'ils utiliseraient moins le logiciel si le système est mis en œuvre.
Par ailleurs, OpenAI estime que sa technologie pourrait être préjudiciable pour certains utilisateurs, notamment ceux dont l'anglais n'est pas la langue maternelle. Elle admet également que l'outil peut facilement être altéré, par « l'utilisation de systèmes de traduction, la reformulation avec un autre modèle génératif, ou le fait de demander au modèle d'insérer un caractère spécial entre chaque mot, puis de supprimer ce caractère ». Cela « le rend facile à contourner par de mauvais acteurs », assure l'entreprise.
Une autre alternative étudiée
OpenAI dispose déjà d'un outil, en test depuis le printemps, permettant de détecter les images générées par DALL-E. La société priorise les filigranes audio et visuels, estimant que leurs dommages sont potentiellement plus importants, en particulier en période d'élections.
Le P.-D.G. de la firme, Sam Altman, ainsi que Mira Murati, la directrice de la technologie, ont participé à des discussions sur l'outil. S'ils ont encouragé son développement, ils n'ont pas forcément insisté sur la nécessité de le déployer. En parallèle, OpenAI étudie une alternative au filigrane : les métadonnées. Elles lui permettraient d'éviter les répercussions négatives de celui-ci.
« Contrairement au filigrane, les métadonnées sont signées cryptographiquement, ce qui signifie qu'il n'y a pas de faux positifs. Nous pensons que cet aspect sera de plus en plus important à mesure que le volume de texte généré augmentera. Si le filigrane textuel a un faible taux de faux positifs, son application à de grands volumes de texte conduirait à un grand nombre d'entre eux », détaille-t-elle. Néanmoins, la start-up n'en est qu'aux « premiers stades de l'exploration » de cette solution.
- Chat dans différentes langues, dont le français
- Générer, traduire et obtenir un résumé de texte
- Générer, optimiser et corriger du code
Sources : The Wall Street Journal, OpenAI
