Übersicht
Das Jülich Supercomputing Centre am Forschungszentrum Jülich stellt den Simulationswissenschaften in Deutschland und ganz Europa Rechenzeit auf Supercomputern, IT-Werkzeuge, Verfahren und Know-how zur Verfügung. Die Supercomputer JUGENE und JuRoPA/HPC-FF des Forschungszentrums in Jülich sind derzeit die schnellsten in Europa. Weltweit nehmen sie laut top500.org den dritten und zehnten Platz ein.
Herausforderung
JSC plante die Installation von drei neuen Supercomputern der Spitzenklasse zur Durchführung umfassender Computersimulationen für europäische Forschungsprojekte. JUGENE sollte der schnellste Computer in Europa werden und auf proprietärer IBM BlueGene/P-Technologie basieren.
Für JuRoPA und HPC-FF, zwei kleinere Cluster, war ein anderer Ansatz geplant – man wollte Standardhardware in einem Cluster verwenden (NovaScale Rackmount-Server der Firma Bull und Blade-Server der Firma Sun, basierend auf der Intel Nehalem Prozessorarchitektur). JuRoPA, der größere der beiden Cluster, enthält 17.664 Prozessorkerne, die auf 2.208 Rechenknoten verteilt sind. HPC-FF, ein Supercomputer der für die Forschung im Bereich Kernfusion eingesetzt werden soll, verfügt über 8.640 Kerne und 1.080 Knoten. Die beiden Supercomputer basieren auf ähnlichen Technologien und können im Bedarfsfall zu einem einzigen Cluster zusammengeschlossen werden.
„Bei der Erstellung von Cluster-Architekturen ergeben sich einzigartige Herausforderungen,“ erklärt Dr. Ulrich Detert, Projektleiter für JuRoPA. „Abgesehen von Problemen mit der Hardware hatten wir hauptsächlich mit zwei Dingen zu kämpfen – Latenzzeiten und OS-Jitter. Beim Entwurf der Supercomputer JuRoPA und HPC-FF waren wir daher auf der Suche nach einem Betriebssystem, mit dem wir diese Probleme beheben könnten.“
Lösung
Die Supercomputer JuRoPA und HPC-FF gehören zu den leistungsstärksten HPC-Clustern, die bisher aus Standardkomponenten erstellt wurden, und auch beim Betriebssystem setzte man auf ein handelsübliches System. Normalerweise werden bei Supercomputern besonders angepasste Betriebssysteme auf den Rechenknoten eingesetzt. Bei JuRoPA und HPC-FF hingegen entschied man sich für SUSE Linux Enterprise Server als Betriebssystem für alle Knoten.
Linux ist der Standard im Bereich Supercomputing. Mit SUSE Linux Enterprise erhalten wir eine zuverlässige Grundlage für unsere Supercomputer und erstklassigen Support, der eine dauerhafte Produktivität gewährleistet.— Prof. Dr. Dr. Thomas Lippert
Leiter des Jülich Supercomputing Centre Institute for Advanced Simulation Forschungszentrum Jülich
„Wir haben uns für SUSE Linux Enterprise Server als Basis für JuRoPA und HPC-FF entschieden, weil uns die Plattform sehr stabil und effizient erschien“, so Dr. Norbert Eicker, der Entwickler von JuRoPA und HPC-FF. „Da die Plattform auf Open Source beruht, konnten wir alle für uns unnötigen Funktionen entfernen, zum Beispiel den graphischen Desktop-Manager und einige Kernel-Funktionen. So wurden viele der Systemprozesse entfernt, die für OS-Jitter und erhöhte Latenzzeiten verantwortlich sind.“
SUSE Linux Enterprise Server wird auch an den Frontend- und I/O-Knoten von JUGENE eingesetzt, dessen Hauptknoten unter dem extrem schlanken IBM-Betriebssystem CNK laufen.
Das Forschungszentrum arbeitet gemeinsam mit Novell daran, unter Verwendung von SUSE Linux Enterprise Real Time Extension das Problem des Jitters bei Betriebssystemen zu lösen. Dieses Phänomen entsteht, wenn Betriebssysteme Systemvorgänge durchführen (zum Beispiel Daemon-Prozesse und Interrupts), die Störungen (sog. Noise oder Jitter) verursachen, was wiederum die Leistung der parallel ausgeführten Anwendungen auf den HPC-Clustern beeinträchtigt.
SUSE Linux Enterprise Real Time Extension wurde speziell für zeitkritische Anwendungs- Workloads entwickelt, wie man sie im Supercomputing findet. Die Lösung erlaubt die Priorisierung von Anwendungen vor Systemprozessen. So werden zeitkritische Workloads zuverlässig und vorhersagbar ausgeführt sowie Latenzzeiten auf ein Minimum beschränkt.
„Echtzeit-Linux ist ein Bereich, der enormes Potenzial verspricht“, erklärt Prof. Dr. Dr. Lippert, Leiter des Jülich Supercomputing Centre. „Und Novell ist führend auf dem Gebiet dieser Technologie, die maßgebliche Vorteile für Höchstleistungsumgebungen bietet.“
Ergebnisse
Die Supercomputer JuRoPA und HPC-FF sind fertiggestellt und getestet – sie sind bereit, Projekt-Workloads zu übernehmen. HPC-FF wird vorrangig im Forschungsbereich Kernfusion zum Einsatz kommen, während JuRoPA mehr als 200 verschiedene Projekte aus unterschiedlichsten Forschungsbereichen unterstützt.
Echtzeit-Linux ist ein Bereich, der enormes Potenzial verspricht, und Novell ist führend auf dem Gebiet dieser Technologie, die maßgebliche Vorteile für Höchstleistungsumgebungen bietet.— Prof. Dr. Dr. Thomas Lippert
Leiter des Jülich Supercomputing Centre Institute for Advanced Simulation Forschungszentrum Jülich
„Der Einsatz von Clustern ist ideal für das Supercomputing, weil dadurch eine enorme Skalierbarkeit gewährleistet wird und keine proprietäre Hardware eingesetzt werden muss“, freut sich Dr. Eicker. „Es handelt sich hier um eine sehr effiziente Architektur, besonders wenn die Probleme der OS-Jitter und Latenzzeiten gelöst werden können. Dank der Anpassbarkeit und der Echtzeitfunktionen von SUSE Linux Enterprise waren wir dieser Herausforderung gewachsen.“
Das Forschungszentrum arbeitet auch weiterhin daran, die neuen Supercomputer zu perfektionieren – zum Beispiel soll die Hardwareüberwachung noch ausgebaut werden, um das Risiko von Hardwareausfällen weiter zu minimieren. Zudem wird daran gearbeitet, den SUSE Linux Enterprise Real Time Extension-Kernel weiter anzupassen und dadurch die Auswirkungen von OSJitter abzufangen. So werden sich JuRoPA und HPC-FF schon bald durch optimale Leistung und Stabilität auszeichnen.
„Linux ist der Standard im Bereich Supercomputing“, erklärt Prof. Dr. Dr. Lippert. Mit SUSE Linux Enterprise erhalten wir eine zuverlässige Grundlage für unsere Supercomputer und erstklassigen Support, der eine dauerhafte Produktivität gewährleistet.“