© Stable Diffusion
© Stable Diffusion

La start-up ActiveFence, spécialisée dans la modération des contenus internet, a annoncé que plusieurs utilisateurs se servaient des outils pour créer et diffuser du contenu pédopornographiques.

La production n'a pas (encore) explosé, mais une nette augmentation a déjà été observée sur divers forums surveillés.

Une très nette augmentation en deux trimestres

Malgré les mises à jour de certaines IA pour lutter contre la création de contenu pornographique, des failles demeurent. Aux États-Unis, le National Center for Missing and Exploited Children (NCMEC) a récemment publié un avertissement indiquant que les prédateurs sexuels utilisaient désormais à grande échelle les outils génératifs pilotés par intelligence artificielle afin de créer et de publier des images pédopornographiques de plus en plus réalistes.

Ces derniers partagent également des guides pour que les autres puissent obtenir des résultats satisfaisants et évitent d'être détectés. D'après ActiveFence, dont les résultats ont été présentés par Avi Jager, les utilisateurs d'un important forum pédopornographique ont partagé 68 lots d'images durant les quatre premiers mois de l'année. L'augmentation est importante, puisque cette même start-up avait identifié 25 lots sur les quatre derniers mois de l'année.

Pour d'évidentes raisons de sécurité, ce forum n'a pas été nommé. Malheureusement, ce n'est pas tout. Les pédocriminels utilisent également le forum pour échanger des astuces et des scripts dans le but de générer des personnages fictifs à même de gagner la confiance de potentielles victimes.

© Stability AI
© Stability AI

« Cela ne fait que commencer »

Le phénomène est donc incontestablement en hausse, mais Yiota Souras, directrice juridique du NCMEC, indique que l'on ne peut pas encore parler d'explosion du phénomène, mais que ça ne saurait tarder. Selon elle, « nous sommes au bord de quelque chose de nouveau ». De son côté, Bloomberg a débusqué un forum utilisant Stable Diffusion et Stability AI. Les plateformes font leur maximum pour supprimer les contenus qui contreviennent aux règles et disposer d'outils efficaces :

« Au cours des sept derniers mois, nous avons pris de nombreuses mesures pour considérablement atténuer le risquer d'exposition au contenu Not Safe For Work de nos modèles. Il s'agit notamment d'installer des filtres qui bloquent le contenu dangereux et inapproprié dans toutes nos applications […] », a indiqué Motez Bishara, directeur de la communication pour Stability AI.

Cependant, les entreprises et le NCMEC prévoient de voir émerger une très forte quantité d'images pédopornographiques générées par IA dans les semaines et mois à venir. D'après Avi Jager, le phénomène ne fait que commencer et va prochainement s'aggraver. En guise d'exemple, ActiveFence estime à 80 000 le nombre de signalements quotidiens liés à des abus ou à la diffusion de photographies à caractère pédopornographique. Pour l'heure, la génération de fausses images pédopornographiques n'est pas illégale aux États-Unis, mais elle l'est déjà dans plusieurs pays dont le Royaume-Uni, le Canada, ou encore l'Australie.

Source : Bloomberg