Lorsque vous mélangez la couleur politique de certains utilisateurs de 4chan et l'utilisation d'IA générative d'images, le résultat n'est franchement pas beau à voir.
Créé en 2003 par Christopher Poole, le forum 4chan a joué un rôle crucial dans la diffusion de la mème culture sur le web. Des mèmes très célèbres sont issus de l'activité de ses membres comme Pepe the Frog ou Rickroll. Mais 4chan, c'est aussi une histoire sulfureuse et teintée de scandales divers. Contenus très provocateurs proposés grâce à l'anonymat des membres, raids organisés contre d'autres sites web ou catalyseur de théories du complot ou de mouvements contestataires. Même si le site a vu son heure de gloire passer, il draine toujours des millions de visites par mois. Avec l'essor de l'IA générative d'images comme Midjourney, Bing Chat, ou DALL-E, certains de ses utilisateurs utilisent ces modèles pour générer toujours plus de contenus racistes.
Une utilisation perverse d'outils puissants
Les membres concernés s'organisent et ne font pas ça au hasard. En publiant des posts qui incitent à partager du contenu raciste généré automatiquement par IA, ils poussent d'autres utilisateurs à suivre le mouvement. Ces outils sont logiquement modérés et comportent des systèmes de sécurité pour éviter ce type d'utilisation, mais il faut croire que quelques techniques bien rodées suffisent à les contourner.
Une méthode affinée
Les directives qui sont ainsi formulées sur le site sont plutôt claires : créer le contenu en question, le modifier et le partager le plus possible. Il y a même un guide visuel pour aider à la création de ces contenus interdits, hébergé sur le célèbre site Imgur (voir capture ci-dessus). Celui-ci donne la procédure détaillée pour permettre à quiconque le veut de générer des images à caractère raciste. Et l'affaire ne s'arrête pas là, puisque le but est que ces contenus sortent des frontières de 4chan et soient partagés sur d'autres réseaux de plus grande ampleur : Instagram, X.com ou Telegram par exemple. Pour la grande majorité, les membres de 4chan qui s'essaient à cette activité utilisent Bing Chat qui repose sur le modèle DALL-E 3.
Certes, ni 4chan ni même le Web dans son entièreté n'aura attendu l'IA pour générer ce type de contenu. En revanche, son utilisation détournée de ses fonctions de base permet de rendre plus rapide l'édition d'images et de simplifier la tâche à ceux qui souhaitent diffuser des messages de haine. Ce qui est très, très inquiétant. C'est à se demander s'il existera réellement un jour une IA générative entièrement sûre d'utilisation.
Source : 404 Media
