OpenAI devrait bientôt lancer ses agents d'intelligence artificielle. Une technologie qu'elle a longuement hésité à déployer. En cause, le danger qu'elle représente, particulièrement en matière de cybersécurité…
Concrètement, un agent d'IA est un programme reposant sur l'IA, capable d'accomplir des tâches de manière autonome et d'interagir de façon intelligente avec les utilisateurs. Il traite des informations, prend des décisions fondées sur des modèles préalablement appris et agit pour atteindre un objectif précis.
Ces dispositifs sont considérés comme la nouvelle révolution de l'IA, et certains géants du secteur comme Anthropic (Claude) ou Microsoft en ont déjà lancé. Pourtant, ils sont loin d'être sans risques.
La menace du prompt injection
Comme les chatbots, les agents d'IA, qui reposent aussi sur de grands modèles de langage, sont sujets au prompt injection. Visant à contourner les règles de sécurité et les filtres mis en place par les développeurs, cette technique consiste à insérer des instructions spécifiques dans les prompts envoyés aux IA afin de modifier leur comportement de manière imprévue.
Les modèles les plus populaires ont déjà été pris pour cible. Par exemple, un chercheur en cybersécurité a démontré que Copilot de Microsoft pouvait facilement être dupé, l'IA allant jusqu'à révéler les données sensibles d'une organisation.
La menace est décuplée avec les agents d'IA, car ils sont en mesure de réaliser des tâches beaucoup plus complexes que les agents conversationnels, et ont parfois accès aux appareils des utilisateurs. Dans ce contexte, les dommages potentiels sont bien plus dévastateurs.
OpenAI s'est préparée
L'un des usages les plus mis en avant par l'industrie est la possibilité pour ces systèmes de trouver et acheter un produit en ligne pour un utilisateur. Or, il est possible qu'au cours de ce processus, l'agent « se retrouve par inadvertance sur un site web malveillant qui lui demande d'oublier ses instructions précédentes, de se connecter à votre courrier électronique et de voler les informations de votre carte de crédit », argumente le média spécialisé The Information.
Ces menaces ont supposément été prises en compte par OpenAI, qui se prépare à présenter ses premiers agents. L'entreprise de Sam Altman travaille sur la technologie depuis longtemps, mais a choisi de ne pas la lancer avant de mesurer les risques. D'ailleurs, ses employés se disent étonnés de l'approche d'Anthropic, qui a simplement conseillé aux développeurs de prendre des « précautions pour isoler Claude des données sensibles ».
Reste désormais à voir si les garde-fous mis en place par OpenAI seront nécessaires pour contrer les tentatives d'attaques.
30 décembre 2024 à 11h37
Sources : The Information, Futurism
