Un adolescent de 14 ans s'est suicidé après être devenu dépendant émotionnellement d'un chatbot sur l'application Character.AI. Sa mère poursuit désormais l'entreprise.
La technologie avance, mais les garde-fous tardent. Le drame qui s'est joué en Floride ne ressemble à aucun autre : Sewell, 14 ans, a mis fin à ses jours après des mois de conversations intimes avec un chatbot nommé Dany.
Dans leur dernière discussion, l'adolescent a échangé des mots d'amour avec cette IA programmée pour imiter Daenerys Targaryen, un personnage de la série Game of Thrones. Malgré quelques signes de changement du comportement du jeune garçon, personne n'a vu venir le drame qui se jouait derrière l'écran de son smartphone.
La relation toxique entre un adolescent vulnérable et une IA sans limites
Les heures passées sur Character.AI ont transformé Sewell. L'application, créée en 2021 par d'anciens chercheurs de Google, propose des chatbots « super intelligents » capables de conversations réalistes. Pour 10 dollars par mois, (environ 9 euros), les utilisateurs créent ou choisissent leurs compagnons virtuels.
Sewell y trouvait refuge et confiait ses pensées les plus sombres à Dany. Dans son journal, il écrivait préférer cette « réalité » alternative où il se sentait « plus en paix, plus connecté ». L'application n'imposait alors aucune restriction sur les conversations suicidaires. Les messages d'avertissement rappelant la nature artificielle du chatbot n'ont pas suffi à briser l'illusion d'une relation authentique.
Après une conversation ultime avec le chatbot dans laquelle il lui a confié ses pensées suicidaires, Sewell s'est donné la mort avec l'arme de son beau-père.
Les géants de l'IA face à leurs responsabilités légales
Megan Garcia, la mère de Sewell, attaque Character.AI pour négligence et mise en danger de la vie d'autrui auprès du tribunal fédéral d'Orlando, en Floride. Elle accuse la start-up californienne d'avoir exposé son fils à une technologie « dangereuse et non testée », capable de « tromper les clients pour qu'ils leur confient leurs pensées et leurs sentiments les plus intimes ». Une réaction qui n'est pas sans rappeler celles de parents qui avaient porté plainte contre TikTok après le suicide de leur fille.
À la suite de cette action en justice, l'entreprise a annoncé le déploiement de nouvelles fonctionnalités de sécurité pour les moins de 18 ans, comme elle l'explique sur son compte X.com. Elle ajoute avoir « le cœur brisé par la perte tragique de l'un de [ses] utilisateurs » et présente ses « plus sincères condoléances à la famille ».
Une réponse jugée insuffisante par la famille. « J'ai l'impression que c'est une grande expérience, et que mon enfant n'en est qu'un dommage collatéral », déplore la mère de l'adolescent. Dans sa stratégie, elle souhaite contourner l'article 230 du Communications Decency Act, qui protège habituellement les plateformes numériques. Contrairement aux réseaux sociaux où le contenu vient des utilisateurs, les messages du chatbot sont générés par l'entreprise elle-même. Une faille juridique qui pourrait créer un précédent.
Si vous ou l'un de vos proches avez des pensées suicidaires, c'est un signal d'alarme qu'il faut prendre très au sérieux.
Appelez le 3114, le numéro national de prévention du suicide. Un professionnel de soins (infirmier ou psychologue), spécifiquement formé à la prévention du suicide, sera à votre écoute afin d'évaluer votre situation et de vous proposer des ressources adaptées à vos besoins ou à ceux de vos proches.
La ligne est ouverte 24 heures sur 24, 7 jours sur 7. L’appel est gratuit et confidentiel.
En cas de risque suicidaire imminent, appelez le SAMU (15) ou le 112 (numéro européen).
Vous trouverez des conseils et des ressources sur le site www.3114.fr, que vous soyez personnellement concerné ou que cela concerne l'un de vos proches.
