Microsoft qui dévoile un outil capable de naviguer et d'interagir automatiquement avec vos applications Windows. Ce nouvel ajout à Copilot Studio, baptisé « Computer Use », marque l'entrée du géant de Redmond dans l'ère de l'IA agentique, capable d'exécuter des tâches complexes sans intervention humaine.

L'intelligence artificielle ne se contente plus de répondre à vos questions. Elle commence désormais à agir concrètement sur votre environnement numérique. Microsoft vient d'annoncer un nouvel outil dans Copilot Studio appelé « Computer Use », permettant aux agents IA d'interagir directement avec n'importe quelle application ou site web, comme si ces programmes étaient eux-mêmes des outils à leur disposition.
Un assistant numérique qui prend les commandes
Le nouvel outil « Computer Use » permet aux agents Copilot Studio de cliquer sur des boutons, sélectionner des options dans les menus et remplir des champs de texte dans n'importe quelle application Windows ou site web. Cette fonctionnalité marque une évolution significative par rapport aux assistants IA classiques, car elle peut opérer même lorsqu'aucune API n'est disponible pour l'intégration programmatique.

Alimenté par un grand modèle de langage (LLM), « Computer Use » peut s'adapter automatiquement aux changements dans les interfaces des applications et des sites web. Cette capacité d'adaptation lui permet de continuer à fonctionner même lorsque les interfaces évoluent ou se mettent à jour. Microsoft a également intégré des capacités de raisonnement autonome, permettant à l'outil de résoudre les problèmes qu'il rencontre sans intervention humaine. Une fonctionnalité qui rappelle fortement ce que nous avions vu dans l'interface de Dia, ce navigateur nativement IA développé par The Browser Company.
L'IA agentique, la nouvelle frontière technologique
Cette annonce s'inscrit dans la tendance émergente de l'IA « agentique » ou semi-autonome, comme nous l'avions évoqué lors de la présentation du Browser Operator d'Opera. Ce type d'intelligence artificielle se caractérise par sa capacité non seulement à comprendre et interpréter des instructions complexes, mais aussi à les transformer en actions concrètes.
Contrairement aux chatbots traditionnels comme ChatGPT dans sa version standard, qui se contentent généralement de fournir des informations ou du contenu, ces nouveaux agents IA peuvent effectuer des tâches avec une intervention humaine minimale. Ils sont capables d'apprendre des interactions pour s'améliorer et de prendre des décisions basées sur les préférences de l'utilisateur. OpenAI n'est d'ailleurs pas étrangère à cette nouvelle tendance puisqu'elle a dévoilé Operator il y a quelques mois.
03 décembre 2024 à 05h37
Microsoft met l'accent sur la sécurité et la confidentialité, en précisant que l'outil fonctionne sur l'infrastructure hébergée par Microsoft, éliminant ainsi le besoin pour les organisations de gérer leurs propres serveurs. Les données des clients restent dans les limites du Microsoft Cloud et ne sont pas utilisées pour entraîner les modèles d'IA.
Une stratégie pour rivaliser avec ChatGPT
Cette innovation arrive à point nommé pour Microsoft, alors que Copilot peine encore à s'imposer face à ChatGPT, en dépit d'excellentes mises à jour. Comme nous l'avons récemment rapporté, le chatbot d'OpenAI dominait le marché en février dernier avec 43,16% de parts de marché, tandis que Copilot se classait seulement au 11e rang avec à peine 0,82%. En proposant des fonctionnalités d'automatisation avancées, Microsoft espère sans doute créer une offre unique dans un secteur de plus en plus concurrentiel.
Pour l'instant, « Computer Use » est disponible en version preview et les organisations intéressées peuvent remplir un formulaire pour recevoir une invitation de Microsoft et tester ce nouvel outil. Cette approche progressive permet à Microsoft de recueillir des retours d'utilisateurs avant un déploiement à plus grande échelle. Une étape nécessaire pour une technologie aussi sensible.
Source : Microsoft