Adobe vient de dévoiler VideoGigaGAN, un nouveau modèle d'IA générative capable de rendre des vidéos floues nettes et détaillées. Cette technologie impressionnante peut augmenter la résolution des vidéos jusqu'à 8 fois tout en évitant les artefacts habituels liés à la super résolution vidéo.
Les ingénieurs d'Adobe Research ont franchi une nouvelle étape dans l'amélioration de la qualité vidéo grâce à l'intelligence artificielle. En effet, ils viennent de présenter VideoGigaGAN, un modèle d'IA générative révolutionnaire capable de transformer des vidéos floues en séquences nettes et détaillées, avec une résolution jusqu'à 8 fois supérieure à celle d'origine.
Cette avancée majeure combine la puissance des réseaux antagonistes génératifs (GAN) et de nouvelles techniques pour préserver la cohérence temporelle, évitant ainsi les artefacts habituels de la super-résolution vidéo. Bien qu'encore au stade expérimental, VideoGigaGAN ouvre des perspectives prometteuses pour les professionnels de la vidéo.
Une technologie unique
VideoGigaGAN s'appuie sur GigaGAN, un modèle de super-résolution d'images à grande échelle entraîné sur des milliards d'images. En combinant la puissance des réseaux antagonistes génératifs avec de nouvelles techniques de préservation de la cohérence temporelle, VideoGigaGAN parvient à générer des vidéos ultra-détaillées tout en évitant les artefacts habituels comme le scintillement ou la distorsion. Contrairement aux approches précédentes de super-résolution vidéo, qui produisent souvent des résultats flous, VideoGigaGAN réussit l'exploit de concilier netteté et cohérence.
L'ingéniosité de VideoGigaGAN réside dans son architecture unique. Le modèle intègre des couches d'attention temporelle dans les blocs de décodage pour renforcer la cohérence temporelle ainsi qu'un module de propagation guidée par le flux optique. Un bloc anti-crénelage est utilisé dans l'encodeur pour supprimer les artefacts de repliement. Enfin, une connexion de saut permet de transférer directement les caractéristiques haute fréquence aux couches du décodeur, compensant ainsi la perte de détails. Grâce à ces innovations, VideoGigaGAN repousse les limites de la super-résolution vidéo.
Quels usages pour VideoGigaGAN ?
Même si, à ce stade, VideoGigaGAN n'est encore qu'un projet de recherche, ses utilisations potentielles sont nombreuses. Pour les professionnels de la vidéo, cette technologie pourrait permettre d'améliorer considérablement la qualité de séquences anciennes ou tournées dans des conditions difficiles. Intégrée à des logiciels de montage comme Adobe Premiere Pro ou After Effects, elle offrirait une solution rapide et efficace pour « sauver » des plans à faible résolution. VideoGigaGAN pourrait également être utilisé pour restaurer des films anciens, leur donnant ainsi une seconde vie en haute définition.
Au-delà du monde professionnel, VideoGigaGAN pourrait aussi trouver sa place auprès du grand public. En effet, qui n'a jamais rêvé de pouvoir améliorer la qualité de ses vieilles vidéos de famille et autres souvenirs de voyage ? Avec la démocratisation des réseaux sociaux, couplée à l'engouement pour l'intelligence artificielle, la demande pour des outils de retouche vidéo aussi efficaces ne cesse de croître.
Et si Adobe décide dans un futur pas si lointain d'intégrer VideoGigaGAN à ses applications grand public comme Premiere Elements ou Photoshop, nul doute que cette technologie rencontrera un vif succès. Et même s'il faut garder à l'esprit que l'utilisation de l'IA pour manipuler la réalité visuelle et retoucher des personnes soulève des questions éthiques qui devront être prises en compte, d'autres acteurs tels que NVIDIA, Microsoft et Blackmagic Design travaillent également sur des technologies de super-résolution vidéo par IA, laissant présager une concurrence accrue dans ce domaine.
