Oubliez le GPU H100 avec ses 80 Go de mémoire et sa bande passante d’un peu plus de 3 To/s ; voici le H200, une version surchargée en HMB3e, qui offre encore plus de débit.
Tout le monde connaît NVIDIA pour ses cartes graphiques GeForce (avec notamment des RTX 40 bientôt déclinées en version Super), mais l’entreprise jouit aussi d’une grande expertise en matière de GPU pour serveurs.
Son Hopper H100, un GPU de 80 milliards de transistors offrant 132 multiprocesseurs de flux et 18 432 cœurs CUDA, le tout épaulé par 80 Go de HBM2e ou HMB3, et qui engloutit 700 watts (W), en est une belle illustration.
Il a désormais un petit frère par la chronologie, mais grand frère par les spécifications, le H200, présenté par NVIDIA à l’occasion du Supercomputing 23. La société a également introduit une carte serveur GH200.
Davantage de mémoire, mais aussi de bande passante
NVIDIA n’a pas détaillé toutes les caractéristiques du H200, mais c’est clairement un H100 dopé à la mémoire HBM3e. D’ailleurs, l’entreprise le présente, à juste titre, comme le premier GPU à bénéficier de ce type de mémoire.
Le H200 hérite de 141 Go de mémoire et non plus seulement de 80 Go. Cadencée à 6,25 Gbit/s, cette HBM3e offrirait une bande passante mémoire de 4,8 To/s.
Pour la comparaison, la H100 PCIe intègre de la mémoire HBM2e à 3,2 Gbit/s exploitée via un bus de 5120 bits pour une bande passante de 2 To/s ; la H100 SMX5 profite quant à elle de modules HBM3 à 5,23 Gbit/s, pour une bande passante mémoire de 3,35 To/s.
En mettant de côté des solutions hybrides comme le H100 NVL (une combinaison de deux GPU H100 avec 94 Go de mémoire chacun pour des bandes passantes de 3,9 To/s x2), le H200 offre ainsi 76 % de mémoire et 43 % de bande passante en plus que la déclinaison SXM du H100.
Cela reste à confirmer, mais le reste des caractéristiques (la quantité de cœurs) ne change pas. Toutefois, pour les grands modèles de langage très friands de mémoire et de bande passante, ce H200 surchargé en HBM3e devrait logiquement apporter un boost de performances non négligeable.
NVIDIA illustre dans quelle mesure sous le modèle GPT-3 (version à 175 000 milliards de paramètres). La société argue qu'un nœud de 8 GPU H200 se montre 18 fois plus performant qu’un d’A100, alors que le H100 ne l'est « seulement » que 11 fois plus. Vous noterez d’ailleurs l’allusion à la prochaine génération de GPU NVIDIA, nom de code Blackwell.
Des systèmes HGX qui profitent de ce nouveau GPU
Le H200 sera notamment proposé au sein des serveurs NVIDIA HGX H200, lesquels resteront compatibles à la fois avec le matériel et les logiciels des systèmes HGX H100.
Il sera aussi disponible via la puce NVIDIA GH200 Grace Hopper Superchip avec HBM3e. Présentée en août dernier, cette version combinera donc des cGPU (H200) et Grace CPU Superchip sur une même puce.
Le NVIDIA H200 fera ses débuts au cours du deuxième trimestre 2024. Il doit servir au sein de plusieurs supercalculateurs. Parmi ceux-ci, citons Alps du Centre suisse de calcul scientifique, le Venado du Los Alamos National Laboratory aux États-Unis ou encore Jupiter, le supercalculateur du Jülich Supercomputing Centre en Allemagne.
Source : NVIDIA
