L'intelligence artificielle qui en sait trop, mais finalement pas assez pour qu'on puisse correctement s'y fier. Une affirmation qui résume assez bien l'un des paradoxes des chatbots IA dans leur état actuel.
Voilà déjà presque deux ans que les chatbots se sont imposés comme des acteurs incontournables dans la sphère du numérique. Un essor indéniable, débuté avec la sortie de ChatGPT en novembre 2022 (décliné en plusieurs versions depuis, dont ChatGPT o1-mini, la petite dernière). De nombreux lui ont emboité le pas : Gemini de Google, le chabot tricolore Le Chat ou encore Claude 3 d'Anthropic. Un véritable raz de marée.
Cette augmentation fulgurante a déjà soulevé de nombreuses questions sur la fiabilité de l'information qu'ils dispensent (comme lorsque ChatGPT 4 fut lancé) ; un état de fait qui ne semble pas s'arranger. Une étude publiée il y a deux jours dans la revue Nature vient de mettre en exergue un paradoxe un peu dérangeant : plus ces assistants virtuels deviennent « intelligents », plus ils risquent de propager des erreurs avec une assurance déconcertante.
Répondre à tout prix : le piège de la surconfiance artificielle
« La culture, c'est comme la confiture, moins on en a, plus on l'étale ». Doit-on appliquer cette maxime aux chatbots ? L'équipe de recherche dirigée par José Hernández-Orallo, professeur à l'Université Polytechnique de Valence, a analysé le comportement de plusieurs familles d'IA, dont les célèbres GPT d'OpenAI et LLaMA de Meta. Leur constat est sans appel : à mesure que ces modèles s'améliorent, ils ont tendance à répondre à un éventail toujours plus large de questions… y compris celles dépassant leurs compétences réelles.
« Ils essaient de répondre à tout et n'importe quoi. Du coup, ils ont plus de chances d'avoir raison, mais aussi plus de chance de se tromper » observe Hernández-Orallo. Cette propension à l'omniscience apparente cache un revers de médaille préoccupant : une augmentation du taux de réponses erronées, délivrées avec une assurance trompeuse.
L'effet boule de neige : quand l'humain s'y perd
Le phénomène ne s'arrête pas là, puisque si un chatbot répond à une requête, c'est qu'un être humain est aussi dans l'équation. Nous sommes aussi le maillon faible dans ces interactions erratiques. Les chercheurs ont découvert que les utilisateurs peinent à discerner le vrai du faux dans ce flot d'informations. Entre 10 et 40 % des réponses inexactes sont perçues comme parfaitement justes par les testeurs.
Face à ce constat, l'équipe de recherche préconise une approche nuancée pour les développeurs. L'idée, c'est d'améliorer les chatbots pour qu'ils soient efficaces sur les questions basiques, mais qu'ils évitent de répondre à celles qui sont trop compliquées pour eux. En d'autres termes, de reconnaître leurs propres limites. Dans de (trop) rares situations, cela peut être le cas comme avec Gemini, qui refuse toujours poliment de se mouiller et de répondre quoique ce soit sur les personnalités politiques.
Cependant, dans un marché hyperconcurrentiel où la performance est reine, les développeurs d'IA seront-ils prêts à brider volontairement leurs modèles ? Un chatbot qui oserait répondre « je ne sais pas » serait-il toujours aussi rentable pour son créateur ? Difficile de répondre. En attendant une hypothétique autorégulation du secteur, la responsabilité incombe d'abord à nous autres, utilisateurs ; la sagesse repose en grande partie sur notre capacité à douter. Une force intellectuelle que les chatbots n'ont pas (encore) détrôné.
