Nvidia Ampere: Rechenzentrums-Revoluzzer

Einzelne A100-GPU lassen sich mit bis zu 600 GByte/s über 12 NV-Links untereinander verbinden.

Bild: Nvidia

Der A100 ist der erste Chip mit Nvidias Ampere-Architektur. Vom HPC bis zur Anwendung neuronaler Netze soll er alle Aufgaben in Rechenzentren übernehmen und einen besonders großen Leistungsschub bei Training und Anwendung neuronaler Netze bringen. Dazu hat Nvidia die Tensor-Kerne drastisch aufgebohrt. Sie arbeiten nun flexibler – Machine-Learning-Anwendungen sollen auch ohne Codeanpassung schneller laufen – etwa im TensorFloat32-Format. Das kombiniert volle FP16-Genauigkeit mit einer 10-Bit-Mantisse und vollen FP32-Umfang mit 8 Bit für den Exponenten und ist genauer als das ebenfalls unterstützte BFloat16, auf das Googles TPU und Intels neue Xeons setzen.

Der Chip hat eine Fläche von 826 mm2, auf die Nvidia 54 Milliarden Transistoren in 7-Nanometer-Technik quetscht. Die 6912 FP32- und 3456 FP64-Rechenkerne sind in 108 Shader-Multiprozessoren organisiert. Der A100 schafft 9,7 Billionen Rechenschritte pro Sekunde (TFlops) in doppelter Gleitkommagenauigkeit (FP64), FP32 ist mit 19,5 TFlops zweimal so schnell - mit den flexiblen Tensor-Rechenkernen sind es 19,5 TFlops in doppelter Genauigkeit. Es wäre jeweils knapp das Dreifache von AMDs Radeon Instinct MI50. Auch spezialisierte ML-Prozessoren wie Googles TPU v3 haben bei diesen Spezifikationen das Nachsehen. Der lokale Speicher wuchs nur von 32 auf 40 GByte und auch seine Transferrate ist mit 1,55 GByte/s nur gut 50 Prozent höher als bei der MI50.