La BBC a mené une enquête en testant les principaux services d'intelligence artificielle sur ses propres articles. Le résultat est sans appel : vérifiez bien les informations délivrées par l'IA, qui commet encore de très grosses erreurs.
L'intelligence artificielle est définitivement entrée dans le quotidien de nombreux internautes, et notamment pour résumer des pages web, et plus précisément des articles de presse. L'IA générative peut, en quelques secondes, condenser une ou plusieurs sources d'actualité en quelques lignes qui permettent d'obtenir les points les plus importants d'un article de presse. L'IA est-elle seulement infaillible ? La BBC s'est livrée à une expérience pour évaluer sa pertinence, et les résultats sont bien plus contrastés que ne nous les vendent les plus grands acteurs du secteur.
ChatGPT, Gemini et Perplexity à l'épreuve du fact-checking
La BBC a mis à l'épreuve quatre technologies d'intelligence artificielle, à savoir ChatGPT d'OpenAI, Copilot de Microsoft, Google Gemini et enfin Perplexity. Pour ce faire, la BBC a autorisé temporairement différentes technologies d'intelligence à utiliser ses propres articles et ses archives, en entrainant l'IA à utiliser autant que possible ses contenus d'actualité pour répondre aux demandes.
Les journalistes à l'origine de cette étude ont ensuite posé 100 questions d'actualité à chaque agent d'intelligence artificielle, en lui demandant de résumer l'information en la contextualisant. Pour chaque réponse donnée, ils ont enfin procédé à une évaluation de la pertinence de l'information résumée selon sept critères, à savoir la précision, l'attribution des sources, l'impartialité, la distinction entre opinion et fait, l'éditorialisation, le contexte et la représentation fidèle du contenu produit par la BBC.
Les résultats sont loin d'être satisfaisants. Selon les données de l'étude, 51% des réponses contenaient des erreurs significatives. Plus inquiétant encore, 19% des réponses citant la BBC comportaient des erreurs factuelles et 13% des citations étaient modifiées ou inexistantes dans les sources citées.
Tous les chatbots font des erreurs, mais Gemini plus que les autres
Sur les quatre technologies d'intelligence artificielle testées, Perplexity est le meilleur élève de groupe sur presque tous les critères évalués, même si le service pose quelques problèmes en matière d'éditorialisation et des approximations lorsqu'il s'agit d'ajouter les citations des personnes interrogées dans les articles. Microsoft Copilot quant à lui utilise des sources datées, avec des informations qui ne sont plus d'actualité aujourd'hui pouvant conduire à des erreurs d'interprétation. ChatGPT n'est pas en reste, avec des erreurs de dates et quelques biais éditoriaux dans certaines réponses.
Gemini de Google récolte quant à lui le bonnet d'âne, avec le plus d'erreurs ou d'approximations générées lors de la génération d'un résumé d'actualité. A titre d'exemple, la BBC indique que Gemini affirme que le NHS (l'institution de santé publique au Royaume-Uni) déconseille la cigarette électronique lors d'un sevrage tabacologique, ce qui est faux puisque au contraire cette dernière la recommande parmi tous les dispositifs à utiliser lors d'un arrêt du tabac. Près de 34% des réponses de Google Gemini comportaient des erreurs importantes et la BBC donne d'autres exemples éloquents.
La BBC ne se contente pas d'un simple constat, mais livre également des pistes de réflexion pour améliorer la pertinence de l'IA dans le traitement de l'actualité. La vénérable institution invite les grands groupes technologiques à se rapprocher des éditeurs pour améliorer la qualité des réponses générées. Elle invite également les autorités à offrir un cadre de régulation à l'IA pour garantir la fiabilité des informations diffusées via ces outils.
En attendant que des dispositions soient mises en œuvre, nous ne pouvons que vous inviter à vérifier par deux fois les informations données par une intelligence artificielle et à ne pas prendre ces résumés pour argent comptant. Consultez les sources mentionnées, et donnez la priorité au travail des journalistes qui délivrent une information de qualité et contextualisée. Nous ne vous conseillons pas de bannir l'intelligence artificielle de votre quotidien, qui reste très pratique pour gagner du temps, mais seulement de faire attention à ce qu'elle raconte.
Source : BBC
04 février 2025 à 14h11
