La dernière étude du Campus Cyber, publiée mercredi, nous montre comment la technologie « RAG » améliore la fiabilité des chatbots d'intelligence artificielle générative, en créant aussi de nouveaux problèmes de sécurité.
Le groupe de travail « Sécurité de l'IA » du Campus Cyber et dy Hub France IA a publié, le mercredi 2 avril 2025 en marge du FIC, une analyse approfondie des cyberattaques qui visent les systèmes d'intelligence artificielle. Parmi les technologies examinées, nous avons décidé de nous intéresser à la RAG (Retrieval Augmented Generation), la génération augmentée de récupération. Il s'agit d'une technique qui se distingue par sa capacité à rendre les IA génératives plus fiables, mais aussi et malheureusement, par les nouvelles vulnérabilités qu'elle introduit.
Comment la RAG améliore les chatbots d'IA
Imaginez un chatbot classique comme ChatGPT, Gemini ou Claude, qui invente parfois des informations. La technologie RAG est censée, sous le papier, résoudre ce problème en fonctionnant un peu comme une bibliothèque personnalisée pour l'IA. Au lieu de se fier uniquement à ce qu'elle a appris durant son entraînement, l'IA équipée de RAG peut consulter des documents spécifiques pour répondre avec plus de précision.
Concrètement, quand vous posez une question à un système RAG, il cherche d'abord dans sa bibliothèque de documents les passages les plus pertinents. Il les ajoute ensuite à votre question, avant de la soumettre à l'IA, qui peut ainsi s'appuyer sur ces informations pour formuler sa réponse.
Pour les entreprises, c'est presque comme donner à l'IA un manuel spécifique à leur domaine. Une banque peut connecter son robot conversationnel à sa documentation financière interne, ce qui assure des réponses précises et conformes à ses procédures, sans avoir à créer une IA spécialisée de zéro.
Les risques de sécurité et les protections recommandées
L'étude du Campus Cyber nous alerte sur un danger majeur : la possibilité de « piéger » cette bibliothèque numérique. De quoi parle-t-on ? Comme l'explique le rapport, un cybercriminel pourrait très bien modifier les documents de référence, pour transformer la RAG en source de désinformation.
Par exemple, dans un service client qui utilise cette technologie, un pirate informatique pourrait altérer les informations sur certains produits. Les clients recevraient alors des conseils erronés, ou carrément dangereux. Et cela nuirait évidemment à la réputation de l'entreprise, puis potentiellement à la sécurité des utilisateurs.
Les experts du Campus Cyber recommandent donc plusieurs mesures de protection pour se faire piéger. D'abord, ils encouragent la sauvegarde régulière de la base de connaissances. Ils recommandent aussi de limiter strictement la liste des personnes qui peuvent y accéder, et de mettre en place des vérifications régulières pour détecter toute modification suspecte.
03 avril 2025 à 08h48
