Institutsbericht 2010/2011 - Leibniz-Institut für Atmosphärenphysik ...

Dieser Mehraufwand wird toleriert, weil das Einlesen der relevanten Daten durch einen Prozess
später erforderliche Änderungen der Initialisierung negativ beeinflussen würde. Im Verlauf des
Programms verschickt dann der Root-Prozess die jeweilig notwendigen Daten an alle anderen und
diese senden dann die ermittelten Ergebnisse zurück. Nach Abschluss der Kommunikation ist der
Vektor vollständig aktualisiert. Ein Großteil der Berechnungen erfolgt aufgeteilt in Breitenkreise.
Die Aufteilung mittels MPI sollte möglichst gleichmäßig erfolgen. Danach werden die Berechnungen
innerhalb der Prozesse in OpenMP parallelisiert ausgeführt. Wegen der zugrunde liegenden
Hardwarearchitektur bietet es sich hier an, pro Knoten einen MPI-Prozess zu starten und dann
mit OpenMP 12 Threads darauf zu starten. Um möglichst viele Prozessoren zu nutzen, sollte
die Berechnung der 144 Breitenkreise (T120) in einzelnen Schleifendurchläufen erfolgen, vorher
wurden jeweils 2 symmetrische Breitenkreise zusammengefasst. Dies ergab 72 Schleifendurchläufe
(entsprechend 6 Knoten), optimal ist aber eine Aufteilung auf 12 Knoten. Dementsprechend wurde
die Konfiguration des Rechners angepasst (maximal standen nur 11 Knoten zur Verfügung), so
dass nun 12 Knoten je 12 Prozessorkernen genutzt werden konnten.
Nun musste noch das Unterprogramm für das Zeitschrittverfahren parallelisiert werden. Hier
wurden nach dem zuvor beschriebenen Muster die Schleifendurchläufe mittels MPI-Funktionen auf
die Knoten verteilt und dann mit OpenMP parallel auf den Prozessorkernen ausgeführt. Um bei
der Aufteilung den Speicherzugriff so gering wie möglich zu halten, läuft bei ineinander verschachtelten
Schleifen immer der äußere Index langsamer. Im vorliegenden Fall handelt es sich dabei
um einen immer größer werdenden Wert, so dass mit steigendem Index auch die Rechenzeit pro
Schleifendurchlauf größer wird. Durch Laufzeitanalysen wurde ermittelt, dass die Rechenzeit aber
langsamer als die Anzahl der Schleifendurchläufe ansteigt, somit ergibt sich eine optimale Verteilung
auf Basis der gemessenen Laufzeiten. Dies geschieht während der Initialisierung, die gefundene
Aufteilung wird dann nach Indizes sortiert, um die Effizienz der Kommunikation zu erhöhen. Die
notwendige Kommunikation wird asynchron ausgeführt. Weiterhin wurde der Programmablauf
umsortiert und einzelne Rechenschritte zusammengefasst, ohne damit die Komplexität bezüglich
der Cache-Effizienz zu erhöhen. Damit reduzierte sich die Laufzeit auf 33,3 %.
Abb. 44.2: Laufzeitverteilung des Unterprogramms für das Zeitschrittverfahren (semiint); links: unter
Beteiligung des Root-Prozesses, rechts: ohne
Eine weitere Analyse zeigte aber, dass die Laufzeiten sehr instabil sind. Diese Laufzeitprobleme
entstanden stets durch den Root-Prozess, daher wurden diesem keine Berechnungen mehr
zugeteilt (Abb. 44.2). Dadurch verringert sich zwar die Zahl der rechnenden Prozessorkerne, doch
der Gewinn an Stabilität gleicht dies aus, insbesondere gilt das bei einer zunehmenden Zahl von
verwendeten Prozessorkernen. Die Laufzeit betrug nun nur noch 23,3 % des Ausgangswertes.
Die vorgenommenen Änderungen haben insgesamt zu einer deutlich kürzeren Laufzeit des
KMCM geführt (Abb. 44.1). Es konnte nicht nur eine bessere Ausnutzung der vorhandenen Rechnerarchitektur
erreicht werden, darüber hinaus konnte die Laufzeit grundsätzlich reduziert werden.
Dies wirkt sich besonders positiv auf Läufe mit höherer Auflösung wie T240 aus, da mit steigender
Modellgröße der Mehraufwand des Systems für die Parallelisierung in Bezug auf den Rechenaufwand
kleiner wird.
122