Les robots qui aident les intelligence artificielles à progresser pullulent sur le Web. Les sites internet ne sont pas forcément d'accord avec cette pratique intrusive, contre laquelle Cloudflare a la solution.
La popularité de l'IA générative est telle que les entreprises spécialisées dans le secteur utilisent des robots pour faire ce que l'on appelle du « scraping », c'est-à-dire de l'extraction de contenus. Cette méthode, qui permet aux intelligences artificielles d'apprendre plus vite, est intrusive et n'est pas toujours très transparente. Les propriétaires de sites internet recherchent donc des solutions pour éviter de servir les intérêts de ces IA. Société majeure de sécurité et de performance du Web, Cloudflare, sait désormais comment bloquer ces robots.
Cloudflare veut aider ses utilisateurs à contrer les nombreux robots d'exploration d'IA
Cloudflare en a conscience, nombreux sont ses clients à refuser de laisser des robots d'IA, même ceux qui suivent les règles, se balader librement sur leurs sites et plateformes. Bytespider (du groupe ByteDance, propriétaire de TikTok), Amazonbot, ClaudeBot et GPTBot sont les quatre principaux robots d'exploration d'IA, en termes de volume de requêtes.
Les risques sont trop grands, et les dérives nombreuses : de Scarlett Johansson qui peste contre OpenAI qui a utilisé sa voix pour son nouvel assistant personnel à Perplexity qui aurait usurpé l'identité de visiteurs légitimes pour extraire du contenu de sites, les exemples ne manquent pas.
Face à la demande grandissante appelant à un blocage des robots pour une meilleure protection de la propriété intellectuelle, l'hébergeur de sites Cloudflare a lancé une nouvelle fonctionnalité, très simple d'utilisation, qui permet de bloquer en un petit clic tous les robots IA.
Un outil mis à jour à mesure que de nouvelles empreintes de robots formateurs d'IA sont détectées
Dans l'onglet Sécurité de son service, section Robots, Cloudflare a ajouté un nouveau bouton, intitulé « AI Scrapers and Crawlers », que l'on pourrait traduire par « moissonneurs et robots d'exploration IA » en français. Cloudflare explique qu'il « empêche les robots de récupérer votre contenu pour des applications d'IA telles que la formation des modèles ».
Pour activer cette option, il suffit d'appuyer sur le bouton correspondant. Détail intéressant, il est accessible aussi bien pour les clients payants que les utilisateurs gratuits de Cloudflare. Mieux vaut donc ne pas s'en priver.
Cloudflare indique aussi, dans un billet de blog, être prêt à mettre à jour la fonctionnalité régulièrement, dès lors que de « nouvelles empreintes de robots » parcourant le Web dans le seul but de former des modèles seront identifiées.
18 novembre 2024 à 15h14
Source : Blog Cloudflare
