Capture d'écran de la vidéo de démonstration de GAZEploit. En haut à gauche, l'avatar créé par le Vision Pro lors d'un appel vidéo. L'algorithme analyse les mouvements du regard pour déterminer les touches du clavier qui sont regardées. © Gazeploit
Capture d'écran de la vidéo de démonstration de GAZEploit. En haut à gauche, l'avatar créé par le Vision Pro lors d'un appel vidéo. L'algorithme analyse les mouvements du regard pour déterminer les touches du clavier qui sont regardées. © Gazeploit

Des chercheurs en sécurité ont mis au point une technique qui permet de découvrir les mots de passe et autres codes PIN des utilisateurs de Vision Pro en observant les mouvements des yeux de leurs avatars pendant les appels vidéo.

Le casque de réalité mixte Vision Pro utilise le suivi du regard pour déterminer les actions que l’utilisateur souhaite effectuer. Cela permet, entre autres, de taper du texte sur le clavier virtuel de l’ordinateur spatial d’Apple. Des chercheurs en sécurité ont trouvé comment exploiter cette fonctionnalité pour espionner ce qu’une personne écrit.

Baptisée GAZEploit, il s’agit d’une méthode qui parvient à découvrir ce que les utilisateurs saisissent à l’aide du clavier virtuel du Vision Pro lors d’appels vidéo type FaceTime, Skype ou Zoom. Durant ces conversations, le casque Apple crée un avatar qui reproduit fidèlement le mouvement des yeux de la personne.

Un niveau de précision élevé, selon les chercheurs

GAZEploit observe le regard de l’avatar pour déterminer les touches que l’usager fixe pour taper du texte. Les chercheurs ont entraîné un algorithme d’apprentissage automatique à partir des mouvements oculaires de 30 utilisateurs de Vision Pro. Ils revendiquent des taux de précision très élevés.

Selon les informations qu’ils ont partagées avec Wired, GAZEPloit « a identifié les lettres correctes que les personnes avaient tapées dans les mots de passe dans 77 % des cas en moins de cinq essais et dans 92 % des cas dans les messages ».

Il ne s’agit pas d’un hacking du matériel ou du logiciel du Vision Pro par infiltration mais d’une technique d’observation pointue. Les chercheurs ont prévenu Apple de leur découverte en avril dernier. L’entreprise a publié un correctif en juillet qui suspend l’avatar lorsque l’utilisateur se sert du clavier virtuel durant un appel vidéo.

Source : Wired