Amazon Web Services et NVIDIA ont annoncé, mardi lors de l'AWS :reInvent, la construction prochaine d'un supercalculateur d'intelligence artificielle, à partir des surpuissants GPU GH200, des superpuces qui vont propulser le domaine de l'IA vers de nouveaux sommets.
Qu'on se le dise : nous sommes ici à la pointe de la technologie. Depuis le matinal mais bouillant Convention Center du Venetian Hotel à Las Vegas, mardi, Amazon Web Servives (AWS) a annoncé devenir le premier fournisseur de cloud à adopter la puce GH200 Grace Hopper (du nom de la célèbre informaticienne américaine) de NVIDIA, dotée de la nouvelle technologie NVLink multi-nœuds.
Cette collaboration entre mastodontes de la Tech vise à bâtir une nouvelle infrastructure, des logiciels et surtout un supercalculateur dédié à l'intelligence artificielle générative, baptisé NVIDIA DGX Cloud, qui sera doté, accrochez-vous bien, de 16 000 superpuces et devrait être capable de traiter 65 exaflops d'IA. Des données vertigineuses !
Vers une puissance inégalée de l'IA, made in AWS et NVIDIA, avec un supercalculateur à la demande
Les instances AWS (qui permettent littéralement aux développeurs de dépasser les limites physiques traditionnelles) équipées du GH200 NVL32 offriront une performance de supercalculateur à la demande, grâce à une mémoire partagée pouvant atteindre 20 To sur un seul Amazon EC2. Cette avancée est cruciale pour les charges de travail d'IA et de machine learning à grande échelle, distribuées sur plusieurs nœuds, couvrant des domaines tels que les systèmes de recommandation, les bases de données vectorielles, et bien plus encore.
Les GPU GH200 alimenteront les instances EC2 avec une mémoire HBM3e de 4,5 To, devant permettre l'exécution de modèles plus vastes et améliorant les performances d'entraînement. On ajoutera que la connectivité mémoire CPU-GPU offrira une bande passante 7 fois supérieure à celle du PCIe (Peripheral Component Interconnect Express).
Elle étendra la mémoire totale disponible pour les applications. Les instances seront également les premières à intégrer un système de refroidissement liquide, assurant un fonctionnement optimal des racks de serveurs à haute densité. Chaque puce GH200 doit au demeurant combiner un processeur Grace basé sur ARM, avec une architecture GPU Hopper sur le même module.
Un projet « tout à fait incroyable », pour le fondateur de NVIDIA
Jensen Huang, fondateur et PDG de NVIDIA, et Adam Selipsky, patron d'AWS, ont présenté cette innovation lors de la keynote de l'événement AWS re:Invent 2023 de mardi matin. Adam Selipsky a souligné l'expansion de la collaboration entre AWS et NVIDIA, qui s'étire depuis maintenant plusieurs années, et que les deux dirigeants ont salué à plusieurs reprises sur scène.
La collaboration se concrétise avec l'intégration du GH200 NVL32 dans le cloud AWS, la création du supercalculateur NVIDIA DGX Cloud sur AWS, et l'incorporation de bibliothèques logicielles NVIDIA populaires. Le DGX Cloud AI, aussi surnommé « Project Ceiba », utilisera 16 384 puces GH200, pour atteindre une puissance phénoménale de traitement IA de 65 exaflops. Chaque superpuce Ceiba promet de réduire de moitié le temps de formation des plus grands modèles linguistiques. « Ce projet est tout à fait incroyable », a lâché Jensen Huang, fidèle à sa veste en cuir mercredi sur scène.
Pour Huang, le supercalculateur DGX servira aussi à la recherche et au développement d'IA de NVIDIA. Baptisé d'après l'imposant arbre amazonien Ceiba, le cluster utilisera ses capacités pour faire progresser l'IA dans des domaines comme la génération d'images, de vidéos et de 3D, mais aussi la robotique, la biologie numérique ou la simulation climatique, pour ne citer qu'eux.
Avec des avancées notables dans la puissance de calcul, la mémoire et le refroidissement, cette collaboration entre les deux firmes établit de nouvelles normes pour l'infrastructure cloud dédiée à l'IA, ouvrant ainsi la voie à des applications et des innovations spectaculaires. Les instances GH200 et le DGX Cloud seront disponibles sur AWS dans l'année à venir, promet l'entreprise, marquant sans aucun doute une étape majeure dans le paysage de l'IA et du Cloud.
