Un clone de ChatGPT qui exploite la puissance des GeForce pour traiter les données en local sur votre ordinateur ? Telle est l'idée de NVIDIA.
Prototype d'agent conversationnel le plus connu, ChatGPT fonctionne bien sûr grâce à l'intelligence artificielle, mais il ne fonctionne qu'en ligne, avec une connexion Internet pour renseigner ses interlocuteurs.
Avec Chat with RTX, NVIDIA embrasse un segment plus original de ces agents conversationnels. L'outil rendu disponible par NVIDIA fonctionne en vase clos, en local sur votre machine… dotée d'une GeForce bien sûr.
Une intelligence artificielle en local
Chat with RTX n'est pas encore disponible en version finale et NVIDIA évoque la mise à disposition d'une « simple » démo comme pour montrer ce qu'il est possible de faire sur nos petites machines.
Enfin, pas si petites que ça puisque, pour fonctionner, Chat with RTX utilise l'accélération TensorRT-LLM laquelle a besoin d'une carte graphique GeForce RTX série 30 (Ampere) ou série 40 (Ada Lovelace). Des cartes musclées dont l'objectif est d'animer un robot expert en recherche de données, mais un robot fonctionnant exclusivement localement : on ne risque alors aucune fuite ou aucune collecte de données.
Telle que présentée par NVIDIA, l'idée est simple : une fois installé – nous y reviendrons – Chat with RTX reçoit des documents « sources » sur lesquels appuyer ses recherches. Il suffit alors de lui poser des questions pour résumer un sujet ou en approfondir certains points sans, justement, que vous soyez obligés de tout lire, tout comprendre.
Une bonne demi-heure pour l'installer
Pour l'heure, NVIDIA ne parle donc que d'une démo de Chat with RTX, une sorte de version préliminaire destinée à en montrer une partie des capacités, mais qui sera logiquement amenée à évoluer.
La procédure d'installation n'est pas complexe… mais longue © Nerces pour Clubic
Pour tester la chose, il faut donc disposer d'un ordinateur tournant sous Windows 10/11 avec une carte graphique GeForce RTX série 30 ou 40. NVIDIA mentionne le besoin de 8 Go de mémoire vidéo et des pilotes GeForce en version 535.11 ou supérieure. Il n'est nulle part fait mention d'un processeur minimum, mais 16 Go de mémoire vive sont nécessaires.
Il faut aussi télécharger un « paquet » de 35 Go lequel contient l'installeur de Chat with RTX. Attention, une fois l'installation lancée, il faut encore s'armer de patience : une phase préparatoire avec d'autres données à télécharger est nécessaire. Au total, on parle de 50 à 100 Go de données téléchargées pour un processus compris entre 30 et 60 minutes.
L'installation terminée, il est possible de lancer Chat with RTX et, sur la fenêtre qui apparaît, de lui spécifier où se trouvent les ressources sur lesquelles il va œuvrer. Pour le moment, NVIDIA évoque la limitation à des fichiers TXT, PDF, DOC ainsi que des vidéos YouTube.
À l'usage, ça donne quoi ?
Si nous n'avons pas encore cherché à réellement creuser les possibilités de Chat with RTX ou pousser les interactions avec le robot, nous avions tout de même à cœur de voir, rapidement, ce dont il est capable.
Pour ce faire, nous lui avons d'abord posé quelques questions sans rapport direct avec les données dont il disposait. Pas de miracle, les réponses n'avaient souvent guère de sens et rien que lui demander s'il était capable de comprendre le français allait bien au-delà de ses capacités « cognitives ».
Nous avons donc joué le jeu et lui avons injecté divers documents techniques écrits par NVIDIA pour parler de sa nouvelle génération de cartes graphiques GeForce RTX série 40 SUPER et de DLSS. Premier succès, les explications sont certes académiques, mais DLSS est alors bien détaillé.
Les réponses de Chat with RTX sont parfois surprenantes © Nerces pour Clubic
En revanche, si Chat with RTX a été en mesure d'extraire et compiler les données techniques des cartes, il lui a été plus difficile de les comprendre : il se mélange ainsi les pinceaux quand on lui demande qui de la RTX 4070 SUPER ou de la RTX 4080 SUPER est la plus puissante.
Chat with RTX extrait avec talent les informations de textes divers © Nerces pour Clubic
Dans un troisième temps, nous avons voulu sortir Chat with RTX du domaine informatique. Nous lui avons injecté des documents relatifs au métier de journaliste, à sa loi. Belle surprise de le voir décortiquer des documents en français, mais aussi en extraire les éléments clés avec un brio. Reconnaissons que lesdits documents étaient parfaitement organisés.
Enfin, puisque NVIDIA parle de YouTube, nous avons donné quelques liens de vidéos à Chat with RTX. Sur une séquence liée au fonctionnement de l'IA générative, il a été capable de nous faire un résumé de la situation… mais ne croyez pas que Chat with RTX peut interpréter les propos de l'hôte.
Pour « comprendre » une vidéo, il se base sur la transcription textuelle associée par YouTube et la traite comme n'importe quel document texte. Pas de transcription et Chat with RTX sera muet comme une carpe. Reste que le résultat peut être intéressant.
Il y aurait encore beaucoup d'essais à faire sur Chat with RTX et il serait aussi intéressant d'en vérifier les progrès et les évolutions. Le potentiel d'un tel logiciel est assez remarquable et l'on pense bien sûr au travail d'analyse qu'il serait possible de faire, à l'école notamment, pour extraire des informations de sources multiples (Wikipédia ?).
L'analyse locale est intéressante pour éviter toute interférence, surtout en milieu scolaire. Cela dit, son statut de démo, ses limitations techniques (50 à 100 Go monopolisés, 3 Go de RAM occupés) et des bugs empêcheront sans doute Chat with RTX de toucher un large public, mais la promesse est là. Suffisant pour exister à côté d'autres agents conversationnels comme ChatGPT ?
Source : NVIDIA
