Si vous ne faites pas entièrement confiance à Doctissimo pour diagnostiquer les maux dont vous souffrez, ne croyez pas non plus ChatGPT quand il s’agit de diagnostiquer votre enfant.
C’est une illustration parfaite des risques et des progrès qu’il reste à accomplir dans le domaine de l’IA. Une étude publiée dans la revue médicale américaine JAMA Pediatrics illustre à quel point ChatGPT est loin de remplacer votre médecin traitant quand il s’agit de trouver ce qui cloche niveau santé chez votre enfant.
Un diagnostic erroné dans 83 % des cas
Interrogé sur une centaine de cas de maladie infantile, le chatbot (dans sa version 4.0) s’est planté dans 83 % des diagnostics. Dans 72 % des cas, c’est l’intégralité de la réponse donnée par ChatGPT qui était erronée et, sur les 11 % restants, le chatbot a établi un diagnostic partiel, mais insuffisant. Cette étude fait suite à une autre publiée en juillet 2023 qui montrait que ChatGPT se trompait dans 61 % des diagnostics pour les cas médicaux complexes.
L’incapacité de ChatGPT à correctement diagnostiquer les maladies infantiles tient en partie au fait que le robot est incapable d’extrapoler ou d’analyser à partir des symptômes partiels déclarés par un enfant (souvent moins précis dans l’identification des maux qu’un patient adulte). « Les diagnostics pédiatriques nécessitent la prise en compte de l’âge du patient en parallèle des symptômes », explique l’étude.
L’IA est également incapable d’établir des connexions entre certains problèmes préexistants. Par exemple, ChatGPT n’a pas été capable de faire un lien entre autisme et carence vitaminique, alors que ces dernières sont plus fréquentes chez les personnes avec un trouble du spectre autistique. Dans ce cas précis, le robot d’OpenAI s’est trompé en diagnostiquant une maladie auto-immune rare.
L’IA fait son trou dans la médecine
Les problèmes que rencontre ChatGPT avec les diagnostics médicaux ne sont pas exactement surprenants. L’IA a été nourrie par des téraoctets de données plus ou moins fiables piochés sur Internet. La littérature scientifique étant souvent moins accessible que les blogs et autres contenus disponibles gratuitement, l’IA s’est donc débrouillé avec ce qu’elle avait sous le coude. Le robot n’a clairement pas été pensé pour effectuer ce genre de tâches.
L’usage de large modèle de langage dans le milieu médical a pourtant le vent en poupe comme le montrent certaines expérimentations faites aux Pays-Bas ou certains programmes mis en place par les milliardaires de la Silicon Valley. La solution pourrait se trouver dans la construction d’une IA spécialisée dans le diagnostic de cas médicaux et qui aurait accès à toute la littérature scientifique actuelle. Mais même là, le risque de biais est présent. Pas sûr, donc, que les IA remplacent nos médecins tout de suite.
Source : Jama Pediatrics via Ars Technica
