Neuralangelo est la dernière innovation technologique de NVIDIA. Grâce à cet outil, nous pouvons rapidement obtenir un modèle de conception 3D à partir d'une simple vidéo 2D filmée au smartphone.
Mise à l'échelle de l'image, génération 3D… NVIDIA propose des outils dopés à l'intelligence artificielle depuis des années et s'est bâti une sacrée expertise dans le domaine. La marque annonce aujourd'hui un tout nouveau projet, Neuralangelo, un modèle d'IA basé sur des réseaux de neurones, capable de reconstruction 3D à partir de vidéos en 2D.
D'une vidéo 2D à un modèle 3D
Baptisé d'après le célèbre sculpteur (entre bien d'autres activités) italien Michelangelo, Neuralangelo génère « des répliques virtuelles réalistes de bâtiments, de sculptures et d'autres objets du monde réel », explique NVIDIA, le tout avec des détails et des textures complexes : bardeaux de toit, vitres, marbre lisse…
L'un des principaux intérêts de Neuralangelo est qu'il permet ensuite aux professionnels et aux artistes d'importer les objets 3D ainsi créés dans leurs applications de conception pour les éditer et les personnaliser.
Ce nouvel outil boosté à l'IA peut faire gagner un temps considérable. Il suffit de prendre une photo avec son smartphone pour la soumettre à Neuralangelo et obtenir une première mouture de modèle 3D. Des secteurs tels que l'art, le développement de jeux vidéo, la robotique et l'industrie vont particulièrement bénéficier de ces fonctionnalités.
Pour les développeurs de jeux vidéo, de réalité virtuelle, ou les industriels
« Les capacités de reconstruction 3D offertes par Neuralangelo seront un énorme avantage pour les créateurs, les aidant à recréer le monde réel dans le monde numérique », a commenté Ming-Yu Liu, directeur principal de la recherche chez NVIDIA. « Cet outil permettra aux développeurs d'importer des objets détaillés - qu'il s'agisse de petites statues ou de bâtiments massifs - dans des environnements virtuels pour des jeux vidéo ou des jumeaux numériques industriels (ndlr : pour la représentation virtuelle d'un produit) », a-t-il ajouté.
NVIDIA précise que les modèles d'IA de reconstruction de scènes en 3D antérieurs rencontraient des difficultés dans certains scénarios, pour capturer avec précision les motifs de texture répétitifs, les couleurs homogènes et les fortes variations de couleur, par exemple.
Neuralangelo sélectionne plusieurs images d'une vidéo afin d'obtenir une diversité de points de vue et d'angles, calculant alors plus précisément la profondeur, la taille et la forme des objets. Le rendu est ensuite optimisé pour affiner les détails et imiter les textures, qu'il s'agisse d'un objet 3D seul ou d'une scène à grande échelle.
Source : NVIDIA
