Blocklade Labs et Intel Labs collaborent pour le développement d'un nouveau modèle de création 3D. Révolutionnaire, celui-ci s'appuiera sur l'IA générative pour donner naissance à des images 3D à partir de données textuelles.
Cette technologie répond au doux nom de LDM3D, pour Latent Diffusion Model for 3D, et est le tout premier projet du genre dans l'industrie. À partir d'une simple phrase, il sera capable de générer une carte de profondeur en utilisant le processus de diffusion pour créer des images en 3D avec une vue à 360 degrés. Le potentiel d'application offert par cette avancée est assez vaste : création de contenu accéléré, industrie du divertissement, architecture, utilisation pour le metaverse, etc.
Une avancée majeure dans la génération 3D
Ce qui distingue LDM3D des autres modèles de génération, c'est qu'il est le premier du genre à générer de la 3D à partir d'une simple description textuelle. Les autres modèles de diffusion, eux, sont limités à la génération d'images 2D RGB, mais LDM3D va plus loin.
À partir de phrases, le soft est en capacité de capturer des informations de profondeur pour les reconstituer sous la forme de panoramas immersifs. Entraîné grâce à l'apprentissage automatique, LDM3D s'appuie sur la base de données LAION-400M, qui contient plus de 400 millions d'images.
LDM3D et DepthFusion
Les chercheurs d'Intel et de Blockshade ont développé l'application DepthFusion, qui permet à LDM3D d'assembler des photos 2D RGB standards et des cartes de profondeur. Cela permet aux utilisateurs de créer des expériences immersives et interactives en un seul clic, ou presque. Le gros avantage est que le processus de création est moins demandeur en ressources.
Les graphistes et les designers seront-ils bientôt au chômage ? Pas si vite. Bien que LDM3D soit impressionnant, il ne reste qu'un modèle génératif. Il produit et assemble, mais ne crée rien tout seul. Pour l'instant, il n'est pas capable de remplacer la créativité et la sensibilité esthétique d'un professionnel humain.
L'introduction de LDM3D est une avancée saisissante. La création de contenu par le biais de ce soft est plus accessible et s'inscrit dans la grande démarche de démocratisation de l'IA. Avec la mise à disposition en open source de cette nouvelle technologie, Intel s'engage dans ce sens-là. LDM3D s'annonce révolutionnaire, mais pour l'instant, rien ne prouve encore qu'il remplacera la main de l'Homme.
Sources : Hugging Face, Intel
