Doppelschlag
Gleich zwei „schnellste Supercomputer Deutschlands“ nacheinander
Das gabs noch nie: Zwei der drei Gauss-Rechenzentren melden im Abstand weniger Tage ihre neuen Supercomputer als den jeweils schnellsten Deutschlands. Erst brachte Jülich SC den Juwels, dann konterte das Leibniz-Rechenzentrum mit dem rund dreimal so schnellen SuperMUC-NG.
Nein, rot war er nicht, sondern bayrisch blau: der Knopf, auf den Ministerpräsident Markus Söder zusammen mit seiner Wissenschaftsministerin Prof. Kiechle, dem Präsidenten der Bayerischen Akademie der Wissenschaften Prof. Höllmann und dem Leiter des Leibniz-Rechenzentrums Prof. Kranzmüller drückte. Passiert ist daraufhin allerdings nichts. Es war nicht einmal eine richtige Einweihung, sondern eine „Inbetriebnahme“, denn der neue SuperMUC-NG, den Lenovo in 90 Racks aufgebaut hat, ist noch gar nicht abgenommen. In den kommenden Wochen muss er erst einmal seine Stabilität und Leistungsfähigkeit unter Beweis stellen, vor allem auch einen Linpack-Wert von geplant 20,4 PFlops schaffen, mit dem man Mitte November in die Top10 der nächsten Top500-Liste der Supercomputer einziehen kann. Der aktuelle europäische Spitzenreiter Piz Daint aus der Schweiz liegt bisher bei 19,6 PFlops im Linpack und hat noch ein paar PFlops aus den 1431 Multicore-Nodes ohne GPUs in petto. Aber klar, Markus Söder wollte unbedingt vor den Landtagswahlen in Bayern nicht nur mit dem schnellsten Rechner in Deutschland, sondern vermutlich sogar in Europa noch ein paar wertvolle Punkte sammeln.
Bundlos
Allerdings verwunderte es, dass der Bund beim bayrischen Event nicht vertreten war, obwohl er die Hälfte zum Budget von 96 Millionen Euro beisteuert. Das war bei der offiziellen Einweihung des von Atos/Bull aufgebauten Juwels im Supercomputing Centre (SC) des Forschungszentrums Jülich (FZJ) eine Woche zuvor ganz anders – nicht nur wegen der üblichen Farbe des roten Knopfes. Denn hier war der Bund prominent mit Bundesministerin Anja Karliczek vertreten, die zusammen mit NRW-Ministerpräsident Armin Laschet und dem FZJ-Vorstandsvorsitzenden Prof. Marquardt auf genannten Knopf des schon geraume Zeit laufenden Rechners drückte.
Bereits im Juni zog eine Juwels-Vorstufe mit 2385 Skylake-Knoten (Xeon Platinum 8168) mit 6,2 PFlops im Linpack als schnellster Deutscher auf Platz 23 in die Top500-Liste der Supercomputer ein. Jetzt hat Juwels noch 126 Knoten mehr und kann damit vielleicht 6,5 PFlops erzielen. Hinzu kommen 48 Acceleration Nodes mit je vier Nvidia Tesla V100 – vermutlich eine Teststufe des kommenden großen Boosters. Der könnte theoretisch bis zu 1 PFlops an Linpack-Leistung beitragen oder als eigenständiger Rechner in die Top500 einziehen.
Rohe CPU-Power
Auch der SuperMUC-NG hat als Goodie eine kleinere GPU-Cloud zum Experimentieren im Angebot, wenn auch nur mit 32 Tesla-V100-Karten. Ansonsten brilliert der Rechner mit roher Intel-Skylake-Power in 6336 Lenovo ThinkSystem SD650 DWC (Direct Water Cooling). Jeder „dünne“ Rechenknoten hat zwei Xeon Platinum 8168 und 96 GByte Hauptspeicher, außerdem gibt es 144 „dicke“ Knoten mit Xeon Platinum 8160 und 768 GByte RAM. Mit insgesamt 311.040 CPU-Kernen (ohne GPU-Cloud) dürfte er bei vielen HPC-Applikationen mindestens auf Augenhöhe mit dem Weltspitzenreiter Summit und seinen 200.000 Power9-Kernen liegen, sofern dessen gigantische GPU- und Hauptspeicher-Power nicht performancesteigernd zum Einsatz kommen kann.
Nvidia gibt zwar an, dass etwa 70 Prozent der wichtigsten HPC-Applikationen von GPUs profitieren, bei etlichen dürften es aber nur Teilbereiche sein. So richtig die GPUs ausnutzen kann derzeit wohl allenfalls die Hälfte, bei der anderen Hälfte zählt nackte CPU-Leistung und da könnten die Münchner mit ihrer Skylake-Armada zuschlagen, wenn die Anwendungen AVX- oder besser AVX-512-Code nutzen.
Allerdings nimmt die Nachfrage nach KI/Deep Learning auch im HPC-Bereich drastisch zu und da hat Intels Skylake nicht viel zu bieten. In Jülich will man den Juwels schon im nächsten Jahr ordentlich „pimpen“, vermutlich mit Nivdias nächster Tesla-Generation.
In München bleibt abzuwarten, welche Richtung das LRZ bei der Phase 2 des SuperMUC-NG in etwa drei Jahren einschlagen wird. Der von Prof. Kranzmüller im Gespräch angedeutete logische Weg dürfte Intels nächste Prozessorgeneration mit speziellen HPC-Xeons mit bis zu 44 Kernen und besserer Unterstützung für Deep Learning sein. Die sind auch für den Exascale-Rechner A21 der Argonne Labs nach der Abkündigung der Xeon-Phi-Linie für 2021 vorgesehen. Gegebenenfalls kommen hier noch spezielle „Configurable Spatial Accelerators“ (Intel CSA) hinzu. Um hier auf dem Laufenden zu sein, hat das LRZ eine enge Partnerschaft mit den Argonne Labs geschlossen.
Heiße Themen
Beide neuen deutschen Supercomputer nutzen energieeffiziente Warmwasserkühlung, bei der warmes Kühlwasser mit bis zu 40 °C einfließt und sich dann in den Racks auf bis zu 65 °C erwärmt. Damit spart man Strom, der in Deutschland besonders teuer ist. Wenn man eine sinnvolle Nutzung für das heiße Wasser hat, etwa zum Heizen, sinkt der PUE-Wert (Power Usage Effectiveness) auf nahezu 1.0, also den Idealwert. Das LRZ setzt für den alten SuperMUC (Phase 2) auch eine Adsorptions-Kältemaschine ein, die aus der Wärme Energie zum Kühlen gewinnt. Im Moment läuft im Gebäude auch noch der ganz alte SuperMUC Phase 1 von IBM, der 2012 eingeweiht wurde. Er soll aber bald abgeschaltet werden.
Und dann gibt es ja noch den dritten im Bunde des deutschen Supercomputer-Oberhauses, des „Gauss Centre for Supercomputing“ GCS. Auch Baden-Württemberg will sich nicht lumpen lassen und investiert bis 2024 zusammen mit dem Bund, der Helmholtzgesellschaft und den Hochschulen insgesamt eine halbe Milliarde Euro in die digitale Infrastruktur. Das HLRS Stuttgart soll im nächsten Jahr den Nachfolger Hawk des jetzigen Cray-Systems Hazel-Hen bekommen: Mit der geplanten etwa fünffachen Performance würde er den SuperMUC-NG vom Sockel stoßen.
Eigentlich hatten sich die drei GCS-Mitglieder bei der Gründung darauf geeinigt, verschiedene Prozessorarchitekturen anzubieten – doch wie’s ausschaut, kommt auch der Hawk mit Intel Skylake. Das könnte sich in Zukunft ändern, weil die GCS das Sprachrohr Deutschlands im europäischen HPC-Konzert ist. Und da gibt’s das milliardenschwere Programm EuroHPC-JU, bei dem fast alle EU-Staaten mitmachen – ohne Großbritannien, aber mit Norwegen und wohl später auch der Schweiz. 1,5 Milliarden Euro sollen in einem Joint Venture mit der Industrie in Exascale-Rechner fließen. Das Barcelona SC und die Firma Bull wollen für einen europäischen Mikroprozessor sorgen, wie in c’t 12/2018 (S. 22) berichtet. Als Favorit gilt ein Prozessor mit ARM SVE, ähnlich dem Fujitsu A64FX fürs japanische Riken, kombiniert mit RISC-V-Beschleunigern etwa für KI. Das wäre dann ja mal etwas anderes als der Intel-Einheitsbrei. (ciw@ct.de)