Interfaces vidéo, capteurs de mouvement, chaleur... La manipulation d'objets virtuels en 3D est relativement bien représentée au salon Ceatec 2010 de Tokyo. Mais avec son Multi-Sensory Interaction System (MSenS), le NICT (National Institute of Information and Communications Technologies) démontre une solution aussi intuitive que réaliste.
Au centre du projet, encore à l'état de recherche, on retrouve un travail des chercheurs sur l'intégration de quatre des cinq sens. La vue, évidemment, avec une image 3D de bonne qualité, réfléchie sur un miroir et visible à travers des lunettes polarisantes. Pour sa démonstration, le NICT utilise une pièce tirée d'un trésor archéologique de la période Nara (VIIIe siècle). Ginkuro est une boule pour parfumer le linge, issue du Trésor de Shosoin. Sur l'image, les reliefs sont bien gérés, l'image est nette et présente un bon confort.
La gestion du mouvement est assurée par un joystick. L'objet virtuel peut être touché, manipulé. Il peut tourner sur lui-même, et ainsi être regardé sous toutes ses coutures. Le retour de force fait très bien illusion, on croirait vraiment appuyer sur l'objet ou le manipuler. Le son n'y est pas pour rien. Ce troisième sens est intégré en fonction de l'objet, et Ginkuro tinte d'un son métallique à chaque fois qu'on le percute.
Dernier sens, enfin, l'odeur. Car que serait une boule à parfumer le linge sans le parfum. Le NICT a donc conçu un diffuseur intégré à sa machine, pour créer une illusion réaliste de la manipulation de Ginkuro.
Evidemment, le premier intérêt que l'on peut y voir est pédagogique. Manipuler des objets conçus il y a des centaines, voire des milliers d'années, dans n'importe quel musée, quelque soit l'endroit où est la pièce réelle, est une perspective intéressante. Mais le NICT, qui se limite à la recherche appliquée, propose quelques pistes supplémentaires d'utilisations envisageables dans le futur. Outre les oeuvres historiques, le laboratoire imagine qu'on pourra enseigner les sciences pratiques avec sa machine. Manipulation de composés chimiques dangereux, par exemple, sans quitter la sécurité du virtuel.
En médecine, aussi, le MSenS pourrait être utilisé pour le diagnostic médical, la simulation d'opération, ou l'entraînement des docteurs. En commerce, enfin, la machine pourra trouver son utilité. Manipulation d'objets à distance pour en vérifier la qualité et les spécifications, ou aide à l'achat en ligne... Les possibilités sont multiples. A condition que le MSenS sorte des laboratoires du NICT, et qu'il soit conçu sous une forme un peu plus pratique que la machine présentée au Ceatec.