Lors du Computex 2023, NVIDIA a fait feu de tout bois s'agissant des IA génératives comme celle baptisée Avatar Cloud Engine.
Comme son nom le laisse suggérer, cette nouvelle technologie du géant à la marque verte permet aux joueuses et joueurs d'engager relativement naturellement des conversations avec des personnages non-joueurs (PNJ).
IA et PNJ : la boucle est bouclée ?
Sorte de figurants dans les jeux vidéo, les PNJ secondaires ont toujours permis avec plus ou moins de succès d'ajouter de la cohérence à un univers. Tout du moins quand ils sont correctement programmés, au risque de donner lieu à des situations totalement incongrues dans des jeux comme Skyrim ou Cyberpunk 2077 du fait de comportements saugrenus gérés par « l'intelligence artificielle ».
Avec la technologie Avatar Cloud Engine, NVIDIA entend donc pousser le vice encore plus loin pour ce qui est de converser avec des PNJ, grâce à une IA générative. Durant sa conférence, le constructeur s'est fendu d'une démo mettant en scène Jin, dans un restaurant de ramen mâtiné d'une ambiance dystopique, le tout rendu sous Unreal Engine 5, et bien évidemment renforcé par un certain ray tracing. Le personnage en lui-même a été généré par MetaHuman, l'impressionnante technologie d'Epic Games.
L'idée d'Avatar Cloud Engine est donc de permettre d'interagir avec des PNJ en utilisant son micro. Exit donc les lignes de dialogue préétablies, pour en quelque sorte renforcer le caractère immersif de l'expérience. La technologie en est encore à ses balbutiements, mais le concept se révèle plutôt intrigant. Avatar Cloud Engine peut donc, comme son nom l'indique, fonctionner avec le Cloud, mais également, vous l'aurez vu venir… localement avec le hardware NVIDIA.
Une IA impliquant de nombreuses technologies
Outre MetaHuman et l'Unreal Engine 5 d'Epic Games, cette démo a été réalisée en utilisant de nombreuses autres technologies. On peut notamment citer NVIDIA NeMo, qui permet de créer de nombreux modèles de langages, de personnaliser l'histoire d'un PNJ et d'instaurer des garde-fous contre les conversations inappropriées.
Nous avons ensuite Riva, un outil permettant de reconnaître un dialogue parlé pour le retranscrire dans un format texte. Enfin, nous avons Audio2Face, une composante d'un large tout centré sur l'IA générative baptisé NVIDIA Omniverse, qui a pour but d'adapter les expressions faciales d'un personnage selon la langue parlée.
Cela fait en tout cas beaucoup d'efforts déployés pour rendre les conversations avec les PNJ plus vivantes. NVIDIA n'a pas profité de la démo pour annoncer de jeux connus utilisant Avatar Cloud Engine. Gageons que la technologie a besoin d'être grandement peaufinée avant d'être mise entre les mains des (parfois facétieux) joueuses et joueurs.
Source : NVIDIA
