Institutsbericht 2010/2011 - Leibniz-Institut für Atmosphärenphysik ...

Laufzeit in Stunden
44 Adaptierung einer parallelen Programmierung im KMCM
(C. Schütt, G. Behnke, Th. Linow, A. Kirsch, E. Becker)
Das hier am Institut entwickelte KMCM (siehe Institutsbericht 2004/2005, Kap. 40), ursprünglich
Ende der 90er Jahre in FORTRAN77 (FORmula TRANslation) programmiert und stets von unseren
Wissenschaftlern erweitert, ist ein Spektralmodell mit terrainverfolgender Vertikalkoordinate.
Die Atmosphäre wird durch Differentialgleichungen beschrieben, die über ein Zeitschrittverfahren
gelöst werden.
Die Modifizierungen führten zu einer Zunahme der Komplexität, was wiederum zu einer sehr
intensiven Ausnutzung der vorhandenen Rechnerkapazität führte. Abhilfe brachte hier die Anschaffung
des neuen Höchstleistungsrechners (siehe Einleitung/Rechentechnik), der bis zu 132 parallel
laufende Rechenprozesse möglich machte. Dies machte eine Anpassung des KMCM erforderlich.
Die vorhandene Parallelisierung durch OpenMP (open Multi-Processing) konnte nur bis zu
einer Verwendung von 12 Kernen effektiv eingesetzt werden (Abb. 44.1). Ein Simulationstag
mit Auflösung T120 (≈ 1 ◦ x 1 ◦ ) und 190 Höhenschichten benötigte ca. 5 Stunden. OpenMP
ist ein Standard speziell für Shared-Memory-Umgebungen.
Eine weitere Möglichkeit zum verteilten Programmieren
bietet MPI (Message Passing Interface). Da der neue
Rechner eine gemischte Architektur aus Shared Memory
auf den Knoten und darüber hinaus ein Verbindungsnetzwerk
zwischen diesen besitzt, wurde eine hybride Programmierung
gewählt. So kann die vorhandene OpenMP-
Parallelisierung weiter genutzt werden. Spezielle OpenMP-
Kommentare starten Teile des Programms, insbesondere
Schleifen als Parallelregion, diese Programmzweige werden
Threads genannt. Ursprünglich gab es innerhalb jeden Zeitschrittes
mehrere Parallelregionen. Dieser unnötige Verwaltungsaufwand
wurde durch die Einführung einer einzigen
Parallelregion, die die Zeitschleife komplett umfasst, aufgelöst.
Ein weiterer kritischer Punkt ist die Synchronisierung
der gleichzeitig ausgeführten Berechnungsschritte.
OpenMP realisiert dies durch CRITICAL-Regionen, hierbei
10
8
6
4
2
0
0 24 48 72 96 120 144
Anzahl der Prozessorkerne
T120_Version1
T120-optimiert
T240
T120_original
Abb. 44.1: Laufzeiten des KMCM vor,
während und nach Abschluss der Optimierungen
wird einzeln, nicht gleichzeitig, für jeden Thread die zu berechnende Variable bereitgestellt. Im
KMCM sind die Variablen in einem Zustandsvektor zusammengefasst, dieser ist in so einem Fall
komplett blockiert. Da aber jeder Thread jeweils auch nur einen Teil des Zustandsvektors benötigt,
kann eine vorherige Zerlegung des Zustandsvektors dieses Problem beheben. Besonderes
Augenmerk ist bei der Programmierung auf die Cache-Effizienz zu legen. Ein Prozessorkern kann
in einem Ladeprozess nur Blöcke von 64 Bytes laden, vor allem bei Schleifendurchläufen ist dies
zu beachten. Dazu wurde die Datenstruktur in einigen Programmteilen reorganisiert. Durch die
bisher beschriebenen Veränderungen am Programmcode konnte die Rechenzeit insgesamt schon
um 23,9 % gesenkt werden.
Maßgeblich bei den Optimierungen ist die Beibehaltung des physikalischen Kerns und somit
der Erhalt der Qualität der Ergebnisse. Dies führt zu Einschränkungen, insbesondere bei der Implementierung
von MPI-Operationen. Im Unterschied zu OpenMP werden mit MPI nicht nur Programmteile
parallelisiert, sondern das komplette Programm wird von mehreren Prozessen gleichzeitig
abgearbeitet. Jeder Prozess erhält eine Rangnummer, die Arbeit wird mittels MPI-Funktionen
verteilt, indem jedem Prozess nur der für ihn relevante Teil der Datenmenge übermittelt wird. Diese
Kommunikation wird hauptsächlich über Sende- und Empfangsroutinen realisiert. Um die erfolgten
Berechnungen zu synchronisieren, wird ein Prozess als sogenannter Root-Prozess bestimmt,
nur dieser darf dann die Ergebnisse in externe Dateien abspeichern. Dieser Prozess ist während
des kompletten Programmdurchlaufs dafür zuständig, den jeweils aktuellen Status des Zustandsvektors
abzuspeichern. Die Initialisierung wird in unserem Fall von allen Prozessen durchgeführt.
121