Copilot Vision s'invite gratuitement dans le navigateur Edge

Microsoft repousse un peu plus l'intégration de Copilot au sein du navigateur Edge. L'IA est désormais en mesure de lire votre écran.

Parler avec un assistant pendant que vous surfez, c'est ce que propose désormais Microsoft avec l'intégration de Copilot Vision dans son navigateur.

Microsoft donne des yeux à son navigateur

Copilot Vision est une brique à l'assistant de Microsoft ajoutant une analyse visuelle aux contenus en cours de consultation. Les textes, les images, les éléments graphiques présents à l'écran peuvent ainsi être analysés. Jusqu'à présent, Microsoft activait cette vision artificielle pour proposer des interactions avec plusieurs logiciels comme ceux de la suite Office ou Photoshop. La vision artificielle était réservée aux abonnés payants.

Dans un message publié sur le réseau Bluesky, Mustafa Suleyman, directeur de Microsoft AI, explique que le dispositif est désormais activé au sein du navigateur Edge. La fonctionnalité est proposée gratuitement en opt-in.

Les interactions se font par la voix après avoir cliqué sur l'icône Copilot dans le coin supérieur droit de Edge. Pour tester le fonctionnement, rendez-vous sur cette page au sein de Edge. Un message vous invitera à activer les interactions vocales au sein du panneau latéral de droite. L'IA pourra ainsi résumer un long texte ou identifier les éléments composant une image.

Notons qu'il ne s'agit pas d'une IA agentique. Copilot n'est en effet pas en mesure d'interagir avec les éléments de la page Web. Microsoft s'intéresse tout juste au sujet avec l'outil Computer Use qui vient d'être ajouté à Copilot Studio. Opera et Perplexity se tournent également vers des navigateurs réellement interactifs.

Microsoft explique que Copilot Vision effectue les traitements en local :

Lors de l'utilisation de Vision, seules les réponses de Copilot sont enregistrées pour permettre la surveillance des interactions et des réponses. Les requêtes des utilisateurs, les images et le contenu de la page ne sont ni enregistrés ni stockés. Une fois la session Voix terminée, ces données sont supprimées.