Aktuell | Server & Storage | c't

Monster-GPUs und Superchips von Nvidia

Der KI- und Supercomputer-Chip H100 kommt im Herbst mit 60 TFlops und rasend schnellem HBM3-Speicher. Außerdem gibt es erste Eckdaten des Grace-Superchips mit 144 ARM-Kernen.

Als „Grace Hopper Superchip“ will Nvidia seine kommenden Rechenzentrums-CPUs und -GPUs auf einem Modul verbinden.

Bild: Nvidia

Nvidia kündigt den Rechenbeschleuniger H100 mit der neuen „Hopper“-Architektur an. Der Chip soll aus 80 Milliarden Transistoren (TSMC, 4N) und bis zu 700 Watt als SXM5-Modul 60 TFlops FP64-Rechenleistung erzeugen. Das ist dreimal so viel wie noch der Vorgänger A100, aber nur knapp zwei Drittel von AMDs Instinct MI250X. Bei KI-Berechnungen ist der H100 mit seinen Tensor-Kernen jedoch deutlich schneller und stemmt bei dünn besetzten Matrizen bis zu 4 PFlops dank der neuen FP8-Datenformate fürs KI-Training. Premiere feiern die 80 GByte HBM3-Stapelspeicher. Sie sind mit 3 TByte/s zwar 50 Prozent schneller, aber nicht größer als beim A100. Per 900 GByte/s schnellem NVLink verbinden sich mehrere H100 direkt.

Außer SXM5-Modulen bietet Nvidia auch PCIe-5-Karten mit 350 Watt sowie größere Konfektionen an. So das vorkonfigurierte Racksystem DGX H100 mit acht H100, vier NVLink-Switches, Zweisockel-x86-Board, 2 TByte Arbeitsspeicher und bis zu 400 GBit/s schnellem Inifinband-Ethernet. 32 solcher DGX-Einschübe gibt es als DGX-Pod verteilt auf zwölf Racks; diese lassen sich zu DGX-SuperPods mit Tausenden GPUs koppeln.