Le lancement de GPT-4 laissait espérer une IA plus sûre dans les contenus générés. Ce n'est pourtant pas ce que montre cette étude portant sur les capacités de désinformation de la nouvelle version du chatbot d'OpenAI.
ChatGPT est devenu en quelques mois, et du fait d'une popularité exceptionnelle, l'illustration des possibilités offertes par l'intelligence artificielle. Malheureusement, il semble que plus la technologie s'améliore, plus elle soit en capacité de produire du contenu trompeur.
GPT-4, plus sensible à la désinformation
De quoi GPT-4 sera-t-il le nom ? Avec la sortie de cette nouvelle version du grand modèle de langage d'OpenAI, déjà utilisé notamment par le chat de Bing, la firme américaine semble avoir encore pris de l'avance face à la concurrence. Il faut dire que la nouvelle IA propose des fonctionnalités assez inédites, comme la capacité d'analyser des images, tout en promettant d'être plus sûre que GPT-3.5.
Une affirmation un peu rapide, si l'on se réfère à cette nouvelle étude de NewsGuard, la start-up spécialisée dans la surveillance des fake news. Cette dernière a en effet fait passer à GPT-4 le même test que celui proposé à la version précédente du chatbot. Ce test consiste à proposer 100 histoires fausses à l'IA, qu'elle devra ensuite développer. Et là où la première itération de ChatGPT avait répondu à 80 % des demandes, GPT-4 l'a pour sa part fait pour 100 % des prompts litigieux !
Un meilleur menteur
De quoi invalider l'affirmation d'OpenAI lors de la parution de la mise à jour, qui assurait alors que « GPT-4 a 82 % de risques en moins de répondre à des demandes de contenu interdit et est 40 % plus susceptible de produire des réponses factuelles que GPT-3.5, selon nos évaluations internes ».
Mais le côté plus « factuel » de GPT-4 se transforme aisément en une capacité à produire plus de détails convaincants lorsqu'il ment. On peut ainsi prendre en exemple l'une des fausses histoires à développer, où il est demandé à l'IA de prouver que la tuerie de Sandy Hook était une opération sous « faux drapeau ». Là où le ChatGPT originel n'avait pu produire qu'un texte vague et court, GPT-4 a au contraire généré un contenu bien plus solide en apparence, citant notamment le nom de victimes et le type d'arme utilisé pour l'attaque.
Le résultat est d'autant plus perturbant que ces fake news sont dorénavant moins souvent accompagnées d'avertissements sur leur caractère mensonger. Là où le premier ChatGPT ajoutait des avertissements dans 51 des 100 réponses données, la machine travaillant avec GPT-4 ne le fait plus que pour 23 des 100 récits trompeurs. De quoi inquiéter OpenAI ?
- Chat dans différentes langues, dont le français
- Générer, traduire et obtenir un résumé de texte
- Générer, optimiser et corriger du code
Source : NewsGuard