Logo der Bayerischen Akademie der Wissenschaften

31/17

„CoolMUC-3“ Neuer energieeffizienter Hochleistungsrechner am LRZ

Das Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften (LRZ) hat seinen neuen Hochleistungsrechner „CoolMUC-3“ basierend auf Intel Many-Core-Prozessoren in Betrieb genommen. Mit CoolMUC-3 beschreitet das LRZ nicht nur auf dem Gebiet der Prozessor-Architektur, sondern auch beim Verbindungsnetzwerk und der Kühlungstechnologie Neuland.

See english pressrelease

Hochleistungsrechner für die Wissenschaft in Bayern

Der vom Freistaat Bayern und vom Bund je zur Hälfte finanzierte Hochleistungsrechner „CoolMUC-3“ versorgt die Münchner und andere bayerische Universitäten und Hochschulen mit zusätzlicher Rechenleistung und einer neuen Prozessorarchitektur. Die europaweite Ausschreibung gewann nach einem komplexen Auswahlverfahren, bei dem neben der Rechenleistung auch die Energieeffizienz bewertet wurde, die Chemnitzer Firma Megware.

LRZ weiterhin weltweit Vorreiter im energieeffizienten Hochleistungsrechnen

Mit CoolMUC-3 unterstreicht das LRZ seine Rolle als weltweiter Vorreiter beim Einsatz von Warmwasserkühlung im Hochleistungsrechnen. Bereits mit dem ersten „CoolMUC“, der 2011 am LRZ in Betrieb ging, setzte das LRZ zusammen mit Megware frühzeitig auf das neue Konzept der Warmwasserkühlung. Im Gegensatz zur klassischen Luftkühlung ist die Wasserkühlung um ein Vielfaches effizienter. Durch Kühlwassertemperaturen von bis zu 40°C können die Systeme ganzjährig ohne den Einsatz von Kältemaschinen betrieben werden. Dies hält die Betriebskosten des Rechners niedrig. Im Jahr 2012 wurde dann der von IBM gelieferte 3-Pflop-Supercomputer „SuperMUC“ in Betrieb genommen. Dieser war bei seiner Einführung nicht nur der viertschnellste Rechner der Welt, sondern auch der mit Abstand größte warmwassergekühlte Rechner. Parallel zur Installation des SuperMUC arbeiteten die Forscher des LRZ auch an neuartigen Szenarien zur Abwärmenutzung. Sowohl „CoolMUC“ wie auch sein 2016 von Lenovo gelieferter Nachfolger „CoolMUC-2“ erzeugen mittels einer Adsorptionskältemaschine der Firma SorTech aus der Rechnerabwärme Prozesskälte, die im Rechenzentrum zum Beispiel für die Kühlung von Festplatten nach wie vor benötigt wird.

Mit dem Many-Core-Cluster CoolMUC-3 gehen LRZ und Megware nun einen weiteren Schritt bei der Verbesserung der Energie-Effizienz: Durch die Implementierung von warmwassergekühlten Netzteilen und Netzkomponenten wird es möglich, die Racks thermisch zu isolieren und damit praktisch keine Wärme mehr an die Umgebungsluft des Rechnerraums abzugeben. Gleichzeitig sind inzwischen bis zu 50°C Kühlwassertemperatur möglich, was die Nutzungsmöglichkeiten der Abwärme weiter verbessert. Damit wird die letzte Stufe für einen möglichst energieeffizienten Betrieb von HPC-Komponenten am Rechenzentrum erreicht.

Many-Core-Architektur: der „Knights Landing“-Host-Prozessor
148 Rechenknoten mit Intel Xeon Phi 7210-F-Prozessoren (Knights Landing, KNL) und insgesamt 9.472 Rechenkernen, die über ein Intel Omni-Path-Netzwerk mit Fat-Tree-Topologie verbunden sind, liefern eine theoretische Spitzenrechenleistung von knapp 400 TFlop/s, von denen im LINPACK-Benchmark 255 TFlop/s erreicht werden konnten. Ein weiteres neues Architektur-Merkmal ist das eng mit dem Prozessor integrierte MCDRAM, auch als „High-Bandwidth Memory“ (HBM) bezeichnet. Dadurch kann eine deutlich erhöhte Speicherbandbreite von 450 GB/s pro Rechenknoten erreicht werden 

CoolMUC-3 eignet sich vor allem für parallele Anwendungen, die etwa durch hybride Programmierung mit MPI und OpenMP den Speicherverbrauch minimieren, um dann nach Optimierung der Datenlokalität Vorteile aus den Vektor-Einheiten zu ziehen. „Wir freuen uns, den Forscherinnen und Forschern an Mün-chens und Bayerns Universitäten mit CoolMUC-3 eine weitere Prozessorarchitektur zusätzlich zu den bewährten zur Verfügung stellen zu können. Wir konnten gemeinsam mit Intel bereits eine Reihe von Anwendungen dafür optimieren und uns so das notwendige Know-How für den Produktionsbetrieb erarbeiten.“, erläutert Dieter Kranzlmüller, Leiter des LRZ. Die neue Architektur ist rückwärtskompatibel zur Intel Xeon-Prozessorarchitektur, so dass Programme, die auf Intel Xeon-basierten Parallelrechnern liefen, auch auf den Many-Core-Knoten aus-geführt werden können.

Weitere technische Details:
https://www.lrz.de/services/compute/linux-cluster/coolmuc3/overview/ 

 

Kontakt: 
Dr. Ludger Palm
Leibniz-Rechenzentrum (LRZ)
Boltzmannstr. 1
D-85748 Garching
E-Mail: presse@LRZ.de
Tel: +49 89 35831 8792

Die Bayerische Akademie der Wissenschaften, gegründet 1759, ist die größte und eine der ältesten Akademien in Deutschland. Ihren Aufgaben als Gelehrtengesellschaft, außeruniversitäre Forschungseinrichtung und Ort des lebendigen wissenschaftlichen Dialogs mit Gesellschaft und Politik ist sie seit mehr als 250 Jahren verpflichtet. Der Schwerpunkt ihrer Arbeit liegt auf langfristigen Vorhaben, die die Basis für weiterführende Forschungen liefern und das kulturelle Erbe sichern. Die Akademie ist ferner Trägerin des Leibniz-Rechenzentrums, eines der größten Supercomputing-Zentren Deutschlands, und des Walther-Meißner-Instituts für Tieftemperaturforschung. Den exzellenten wissenschaftlichen Nachwuchs in Bayern fördert sie in ihrem Jungen Kolleg. Die Bayerische Akademie der Wissenschaften ist Mitglied in der Union der deutschen Akademien der Wissenschaften.