Malgré la puissance des chatbots, ceux-ci ont encore tendance à produire de fausses informations. Dans le langage courant, on appelle cela des hallucinations. Iris.ai, une start-up européenne, développe actuellement un outil pour contrer ce phénomène.
Ce n'est pas nouveau et cet effet particulier présent chez certains chatbots est déjà connu depuis un moment. Au mois de juin, des chercheurs annonçaient déjà une perte de fiabilité du modèle ChatGPT et une tendance à se tromper dans des réponses à des questions assez simples. Il y a trois ans déjà, ce phénomène d'hallucinations artificielles avait été découvert par une équipe de scientifiques du laboratoire de Los Alamos. Loin d'être anodin, cet effet peut provoquer de réels préjudices : désinformations, erreurs lors de recherches ou perte de confiance envers les systèmes d'IA.
Les enjeux derrière les hallucinations artificielles
Un exemple très récent est celui du plantage complet lors du lancement de Microsoft Bing AI. Celui-ci a pondu une analyse du rapport financier de la marque Gap. Le problème : celui-ci était truffé d'erreurs et n'était absolument pas représentatif de la réalité.
Dans le monde de la recherche, c'est encore pire et la réputation des chatbots n'est pas vraiment à envier. Dans un questionnaire adressé à 500 employés travaillant en Recherche & Développement dans le privé, seulement 22 % déclarent faire confiance à ChatGPT. Toutefois, ils sont 84 % à l'utiliser comme outil principal d'IA pour faire avancer leur travail.
Iris.ai et leur solution aux hallucinations
Plus l'IA générative devient courante dans le paysage numérique, plus ces manifestations sont logiquement nombreuses. C'est dans ce contexte qu'une équipe de quatre chercheurs ont voulu s'engager afin de trouver un remède pour contrer ce mal virtuel. Très récemment, elle vient de dévoiler sa solution, qui vise à réduire drastiquement la proportion d'erreurs et d'hallucinations à un pourcentage à un chiffre seulement. Un objectif trop optimiste ?
Cette solution émerge donc d'une start-up située à Oslo (sud de la Norvège) qui a été fondée en 2015 : Iris.ai. Leur objectif ? Développer un outil alimenté par intelligence artificielle spécialisée dans la compréhension de publications scientifiques. Leur programme est capable de naviguer à travers une très vaste quantité de données, de les catégoriser et de les résumer.
La méthode d'Iris.ai pour mesurer la précision
Utiliser une IA pour vérifier qu'une autre IA ne se trompe pas, ce n'est pas l'équivalent d'un serpent se mordant la queue ? En tout cas, cette start-up utilise plusieurs méthodes pour mesurer la précision des données générées par les modèles d'intelligences artificielles. Leur technique principale se nomme « validating factual correctness » (validation de correction factuelle) : l'équipe établit les concepts à l'avance qu'elle souhaite voir apparaître dans une réponse valide. Ensuite, elle vérifie si l'IA est capable d'intégrer ces concepts dans la réponse et examine ensuite si la source sur laquelle elle se base est fiable. Une sorte de fact-checking en somme.
D'autres méthodes appuient également celles-ci. Par exemple, la comparaison entre une « vérité fondamentale » et la réponse donnée par l'IA. Grâce à l'usage d'une métrique propriétaire (évaluation spécifique pour évaluer la performance d'un modèle) baptisée WISDM, leur logiciel établit des similitudes sémantiques du contenu généré par l'IA en parallèle à celui de la « vérité fondamentale ».
Difficile de savoir aujourd'hui s'il sera un jour possible d'atteindre le risque zéro en matière d'hallucinations pour les modèles d'IA. Iris.ai semble être sur une bonne voie, en cumulant plusieurs techniques de correction et en analysant en amont les causes plus profondes des hallucinations. Leurs résultats commencent à être probants selon leurs déclarations. Seulement, la start-up s'oriente clairement vers un usage de son programme pour le domaine de la recherche, et non pour le grand public.
Sources : 01net, The Next Web
