Midjourney, DALL-E et les autres IA génératives d'images pourraient devenir bien moins efficaces avec Nightshade, une technologie qui empoisonne les données d'entraînement des modèles.
Les plateformes de génération d'images basées sur l'intelligence artificielle produisent des résultats impressionnants. Problème, elles ont été entraînées sur des bases de données constituées d'œuvres dont le consentement de leurs auteurs n'a pas été accordé. Un nouvel outil visant à tromper ces modèles pourrait remettre en cause ce mode de fonctionnement.
« Un chat ? Mais j'avais demandé un chien »
Une équipe de chercheurs, menée par Ben Zhao, professeur à l'Université de Chicago, a mis au point Nightshade. Ce dispositif permet aux créateurs de protéger leur art contre l'IA en apportant des modifications invisibles aux pixels avant de publier la création en ligne.
Les œuvres intégrant Nightshade vont ainsi empoisonner les données d'entraînement des modèles d'IA, dont les performances pourraient en être sévèrement affectées. Avec Nightshade, un chien devient un chat, une voiture devient une vache, et un chapeau devient un gâteau.
L'étude indique que cette méthode se révèle très efficace pour faire totalement dysfonctionner les IA génératives d'images. 300 échantillons empoisonnés suffisent par exemple à faire déjouer l'IA Stable Diffusion. Les chercheurs exploitent la capacité des modèles à établir des liens entre des concepts pour infecter tout un champ sémantique à partir d'un seul mot. En visant uniquement le terme « chien », Nightshade va donc également infecter des mots proches, comme « chiot », « husky » ou « loup ».
Glaze intègre Nightshade
Nightshade a été rendu open source. Ses créateurs encouragent d'autres développeurs à mettre au point des versions dérivées afin de rendre l'outil encore plus puissant. Des banques d'images pourraient donc l'exploiter afin de protéger les œuvres qu'elles hébergent.
La bibliothèque d'images Glaze, de l'Université de Chicago également, va prochainement prendre en charge Nightshade. Les artistes auront le choix de protéger leurs créations contre les modèles d'IA générative ou non.
Si Nightshade ou une autre initiative de ce genre devient populaire, les sociétés d'IA devront s'adapter, sous peine de voir leurs plateformes perdre en fiabilité et en crédibilité. Elles pourraient développer des outils qui parviennent à détecter cette couche de protection, et soit la supprimer, soit exclure l'œuvre en question de l'entraînement de leur modèle. Elles pourraient aussi enfin respecter les droits des artistes et s'asseoir à la table des négociations pour trouver une solution qui contente toutes les parties.
Source : MIT Technology Review
