GPT-3, l'IA d'OpenAI dont est issu le très populaire ChatGPT, a été utilisée par une association apportant un soutien moral aux personnes en difficulté. Évidemment, lorsque l'information est tombée, les critiques ont commencé à se multiplier.
L'association Koko a cessé d'utiliser le bot, admettant que c'était assez « étrange ».
Une IA comme soutien émotionnel
Koko est une association à but non lucratif dont l'objectif est d'aider les personnes en souffrance en leur donnant des conseils et en apportant un soutien. Récemment, cette association a décidé d'utiliser GPT-3 pour tenter une expérience bien précise : générer des messages de soutien et voir s'ils étaient efficaces auprès des interlocuteurs. 4 000 personnes ont été impliquées, mais Koko a rapidement fait l'objet de vives critiques. Face aux diverses réactions, le cofondateur de l'association, Rob Morris, a publié un certain nombre de tweets et une vidéo pour faire le bilan de l'expérience.
« Les messages composés par l'IA (et supervisés par des humains) ont été notés significativement plus élevés que ceux écrits par des humains eux-mêmes. Les temps de réponse ont diminué de 50 %, bien en dessous d'une minute. […] Mais une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a plus fonctionné. L'empathie simulée semble bizarre, vide », explique-t-il.
Plus loin dans son fil, Morris explique que les messages générés par GPT-3 étaient « nettement » mieux notés que les messages écrits par un être humain. La bonne impression s'est cependant dissipée lorsque les utilisateurs ont compris qu'ils avaient eu affaire à un chatbot.
Des experts dubitatifs et inquiets
Lorsque l'utilisation de GPT-3 par Koko a été connue de tous, plusieurs experts, notamment issus du milieu universitaire, se sont inquiétés au sujet de l'expérience. Ils ont notamment pointé du doigt le manque d'éthique et les risques pour la prise en charge des personnes en difficulté. Elizabeth Marquis, chercheuse chez MathWorks et doctorante à l'université du Michigan, s'est dit alarmée par l'absence de consentement éclairé ou d'examen éthique préalables. De son côté, Emily M. Bender, professeur de linguistique à l'université de Washington, s'inquiète du potentiel préjudice mental subi par les personnes qui ont participé à l'expérience, et de l'absence d'examen institutionnel.
« [Les bots] n'ont aucune empathie, aucune compréhension du langage qu'ils produisent ni aucune compréhension de la situation dans laquelle ils se trouvent. Mais le texte qu'ils produisent semble plausible, et les gens sont donc susceptibles de lui attribuer un sens. Proposer quelque chose comme ça dans des situations sensibles, c'est prendre des risques inconnus », a-t-elle ainsi déclaré.
Se pose également la question de la responsabilité dans le cas de messages induisant en erreur ou publiant des suggestions dites nuisibles. En réponse, Rob Morris a déclaré que tous les utilisateurs étaient informés du fait que GTP-3 répondait aux questions en collaboration avec des êtres humains. La fonctionnalité a tout de même été retirée afin d'éviter que l'affaire ne prenne trop d'ampleur.
Source : Vice
