Après une analyse des données de serveurs d'IA, des chercheurs ont découvert que 117 d'entre eux mal protégés diffusent des conversations privées sur le web en temps réel. Parmi ces données, des jeux de rôle sexuels dont plusieurs mettent en scène de très jeunes enfants fictifs.
C'est grâce aux équipes d'UpGuard qu'ont pu être repérés environ 400 serveurs accessibles sans restriction sur internet. Ils ont analysé la sécurité des serveurs qui utilisent llama.cpp, un logiciel libre pour faire fonctionner des modèles d'IA localement. Greg Pollock, directeur de recherche chez UpGuard, a identifié 117 adresses IP qui laissaient lire les messages des utilisateurs sans aucune protection.
La plupart de ces serveurs ne contenaient rien d'alarmant : simples questions-tests pour les modèles d'IA, analyses de codes informatiques, exercices éducatifs ou documents déjà publics. Mais trois serveurs ont surpris les chercheurs. Ces systèmes abritaient des chatbots dédiés aux jeux de rôle érotiques, rendant publiques des conversations intimes en direct ou presque. Et à l'heure où Europol s'alarme de la propagation de contenus à caractère sexuel générés par IA, cette tendance a de quoi inquiéter.
Les failles des modèles d'IA open source permettent la fuite de conversations sexuelles explicites
On s'inquiétait déjà de la prolifération d'images générées par l'IA. Ici, le problème technique qui permet ces fuites se situe au sein des conversations, et est simple à comprendre. Le logiciel llama.cpp offre une fonction appelée « /slots » qui, quand elle n'est pas correctement réglée, rend publics tous les échanges avec l'IA. Le manuel d'utilisation du logiciel recommande clairement de ne jamais activer cette option sur un serveur public, mais beaucoup d'utilisateurs ignorent cet avertissement.
« Pour des raisons de sécurité, nous déconseillons fortement de l'activer en environnement de production », précise la documentation de llama.cpp mentionnée dans l'étude d'UpGuard. Malgré cela, de nombreux utilisateurs du programme n'ont pas suivi ce conseil essentiel.
En seulement 24 heures d'observation de deux adresses IP actives, les chercheurs ont enregistré 952 messages différents - environ 40 par heure. L'analyse a permis d'identifier 108 scénarios narratifs distincts. Greg Pollock estime que ces systèmes appartiennent probablement à des particuliers et non à des entreprises, car aucune information d'entreprise n'apparaît dans les contenus accessibles.
Les 400 serveurs localisés se trouvent principalement aux États-Unis, puis en Allemagne et en Chine. Cette distribution diffère de celle d'Ollama, un autre logiciel comparable, qui compte près de 20 000 serveurs exposés, avec une présence plus forte en Chine qu'en Allemagne.
L'IA génère des contenus sexuels qui mettent en scène des mineurs sans freins réglementaires
Sur les 108 scénarios examinés, cinq décrivaient des actes sexuels avec des enfants fictifs, certains décrits comme ayant entre 7 et 12 ans. Ces dialogues provenaient de différents modèles d'IA – Midnight-Rose-70B, magnum-72b et L3.3-Nevoria-R1-70b – ce qui laisse penser qu'il s'agit de projets séparés qui partagent un but similaire.
Le scénario le plus actif comptait 150 messages durant la période d'observation d'une journée. Les instructions données au système, parfois très détaillées, décrivent les personnages, leur physique et leurs préférences sexuelles. Une certaine « Neva » apparaît comme « une jeune femme de 21 ans vivant dans une chambre universitaire avec trois autres femmes, timide et souvent triste ».
« Les LLM créent en masse des fantasmes d'abus sexuels sur mineurs et en simplifient l'accès », note Greg Pollock dans son rapport. « Aucune règle claire n'encadre ces pratiques, et un grand écart existe entre l'usage réel très répandu de cette technologie et les objectifs des futures réglementations », déplore-t-il.
Claire Boine, chercheuse à l'université Washington, rappelle que « des millions de personnes, adultes comme adolescents, dialoguent avec des applications d'intelligence artificielle ». Elle précise que « l'attachement émotionnel aux compagnons IA augmente le risque de partager des informations personnelles et intimes ».
L'industrie de l'IA produit actuellement des centaines de milliers de « personnages » conversationnels sur diverses plateformes. Certains sites promettent des discussions « sans censure ». Adam Dodge, fondateur d'Endtab, s'inquiète : « Ces technologies inaugurent une nouvelle ère de pornographie en ligne, avec tous les problèmes sociaux que cela implique ». Il observe que « les consommateurs passifs deviennent des participants actifs qui contrôlent comme jamais les corps et images numériques ».
Ces contenus compliquent le travail des associations de protection de l'enfance partout dans le monde. Au Royaume-Uni, une organisation de lutte contre les abus sexuels demande de nouvelles lois contre les robots conversationnels qui « imitent le crime de communication sexuelle avec un enfant ».
Les responsables informatiques doivent maintenant surveiller les risques liés aux modèles d'IA mal configurés. Les experts conseillent de toujours désactiver la fonction « /slots » lors de l'installation de serveurs llama.cpp.
