Ces contenus, générés par IA, sont mis en avant par l'algorithme de Facebook, permettant aux escrocs de piéger leurs victimes.
Le réalisme impressionnant dont peuvent faire preuve les générateurs d'images DALL-E et Midjourney est parfois déroutant. Ces modèles peuvent produire des images parfois photoréalistes qui captivent l'attention du public dont une certaine partie, qualifiée affectueusement de « boomers », n'a pas conscience des dangers à les partager.
De récentes recherches menées par le Stanford Internet Observatory ont mis en évidence les graves conséquences pour la sécurité et l'intégrité des utilisateurs, notamment les enfants. Des craintes déjà observées quant à l'utilisation abusive de ces technologies pour injecter de fausses informations dans le discours politique, à l'approche d'échéances électorales en Europe ou aux États-Unis.
Le surréalisme captivant de l'IA
Le surréalisme magnifique de « Shrimp Jesus » illustre parfaitement la capacité de l'IA à produire des images captivantes, nouvelles et immersives. En clair, des centaines de pages de spam générées par l'IA sont publiées à plusieurs reprises chaque jour et sont favorisées par l'algorithme de recommandation de Facebook. En conséquence, des contenus de plus en plus farfelus deviennent viraux et sont ensuite proposés aux personnes qui les ont appréciés. Certaines de ces pages, initialement créées pour attirer un grand nombre d'abonnés, ont depuis été redirigées vers des sites Web saturés de publicités, parfois générées par l'IA, ou vers des sites vendant des produits bon marché ou proposant des escroqueries.
De plus, certaines pages ont commencé à acheter des publicités Facebook mettant en avant des sujets comme Jésus ou incitant à aimer des pages telles que « Si vous respectez l'armée américaine ».
« Ces images représentent au total des centaines de millions d'interactions et sont présentées via le fil d'actualité de Facebook à certains utilisateurs de Facebook qui ne suivent pas les pages », explique Renee DiResta de l'Observatoire Internet de Stanford.
L'IA dans la croissance des pages et des escroqueries
Pour comprendre comment la technologie est utilisée pour la croissance des pages et intégrée au spam et aux escroqueries, les chercheurs ont examiné plus de 100 pages Facebook publiant chacune plus de 50 images générées par IA. Certains de ces comptes forment des clusters coordonnés, qui publient un grand nombre d'images générées par l'IA. Les motivations apparentes semblent être d'attirer les utilisateurs vers des sites web hors plateforme, de vendre des produits et de créer un plus grand nombre d'abonnés.
Ils se sont concentrés sur les spammeurs dont les comptes et pages poussent leur audience vers une ferme de contenu, et les fraudeurs qui tentent soit de vendre des produits qui ne semblent pas exister, qui volent les pages qu'ils exploitent, ou qui tentent de manipuler leur public dans les commentaires. Ces images représentent au total des centaines de millions d'interactions et sont présentées via le fil d'actualité de Facebook à certains utilisateurs qui ne suivent pas ces pages.
Ce phénomène assez récent n'a pas encore suscité de réponse de la part de Meta qui semblait pourtant engagée dans la lutte contre les deepfakes. Mais cela pourrait changer sous peu, à l'instar de Google, qui a récemment ajusté son algorithme principal pour éliminer les contenus de moindre qualité de ses résultats.
07 novembre 2024 à 14h16
Source : Futurism, Stanford Internet Observatory
