Ce nouveau procédé est plus réaliste et rapide que les méthodes de deepfake actuelles et pourrait à terme être utilisé dans les studios d'effets spéciaux.
Disney Research Studios présente sur son site un nouvel algorithme qui permet de réaliser un face swap d'une définition d'un mégapixel.
Un deepfake mieux défini qui gère les conditions de luminosité
C'est une grande avancée puisque, jusqu'à aujourd'hui, les chercheurs se concentraient davantage sur la restitution des mouvements faciaux que sur la qualité de l'image générée. DeepFakeLab par exemple, le module open-source utilisé par la plupart des logiciels, ne peut pas aller au-delà d'une définition de 256 x 256 pixels.
Pour obtenir ces résultats, les scientifiques de Disney expliquent que l'algorithme analyse dans une vidéo sélectionnée les mouvements du visage selon plusieurs points de repère. Une fois ce travail accompli, le visage est isolé dans un carré de 1 024 x 1 024 pixels, puis ajouté à une banque d'identités. Il ne reste plus qu'à sélectionner le visage à remplacer dans une vidéo pour lancer le traitement.
L'algorithme pourra également analyser les conditions de lumière de la vidéo cible grâce des systèmes d'apprentissage profond pour ainsi recréer des ombres et des contrastes, et aboutir à un résultat bien plus réaliste qu'aujourd'hui.
Un procédé qui pourrait faire gagner beaucoup d'argent à Disney
Les premiers exemples présentés par Disney sont prometteurs, mais loin d'un rendu photo-réaliste. Toutefois, le système devrait intéresser les studios d'effets spéciaux.
Depuis plusieurs années, les cinéastes ont à leur disposition différentes techniques de rajeunissement numérique, comme le lifting numérique ou la création d'un visage en images de synthèse, et Disney a encouragé l'utilisation de ces technologies, notamment dans les films Star Wars pour intégrer certains acteurs décédés ou chez Marvel pour de nombreuses scènes de flashback.
Ces procédés demandent une très grande puissance de calcul et sont longs et coûteux. Si cette nouvelle méthode de remplacement d'image s'améliore franchement, elle pourrait faire gagner des centaines de milliers de dollars aux studios et des centaines heures de travail aux artistes d'effets spéciaux.
Source : The Verge
