Forschung im HLRN-Verbund 2011

214FESOM - Großskalige Ozeanmodellierung mit finiten ElementenSkalierbarkeit globaler Simulationen zur Bestimmung der weltweiten ZirkulationW. Hiller, K. Fieg, S. Harig, J. Schröter, S. Danilov,Zentrum für Technomathematik, UniversitätBremen und Alfred-Wegener-Institut für Polar- undMeeresforschung, BremerhavenKurzgefasst• Strömungsmodelle auf Grundlage von finitenElementen in unstrukturierten Gittern erlaubeneine realistische Wiedergabe der unregelmäßigenGeometrie der Weltozeane• Diese Methode erlaubt die Durchführung globalerSimulationen mit hoher Auflösung in einemkleinen Teilgebiet ohne die Verwendung vonNesting-Verfahren• Wesentlicher Anteil der Rechenzeit entfällt aufdie Lösung großer dünn besetzter Gleichungssysteme• Effiziente Implementierung der Lösungsmethodenund optimale Nutzung der Rechnerarchitekturam HLRN sind wesentlich für die Durchführungglobaler ModellstudienIm Vergleich zur Atmosphäre gibt es in den Weltozeanennur relativ wenige Messungen. Zur Interpretationdieser Daten und zur Bestimmung derweltweiten Ozeanzirkulation sind numerische Modelledaher unverzichtbar. Die meisten Ozeanmodellebasieren auf Differenzenverfahren, die großeEinschränkungen an die erlaubte Diskretisierungstellen. Im Gegensatz dazu erlaubt die numerischeMethode der Finiten Elemente unstrukturierteDiskretisierungen und ermöglicht so eine realistischeWiedergabe der unregelmäßigen Strukturvon Küstenlinien und Bathymetrie. Ein Nachteildieser Verfahren ist der hohe numerische Aufwand,da in jedem Zeitschritt große, dünn besetzte Gleichungssystemegelöst werden müssen.Das Modell FESOM (Finite Element Sea IceOcean Model) besteht aus dem OzeanmodellFEOM und einem daran gekoppelten Eismodell.Beide Komponenten operieren auf dem selben horizontalenGitter. Das Modell wird seit mehrerenJahren am AWI entwickelt. Das zugrunde liegendeGitter besteht in der Horizontalen aus einerTriangulierung des Modellgebietes. In der Vertikalenist die Verwendung von Prismen und Tetraedernmöglich. Mehr Einzelheiten zum Modell undein Vergleich von verschiedenen Diskretisierungensind in [1] und [2] enthalten.Nachdem das Modell in Modellstudien mit idealisiertenGeometrien getestet und validiert wurdeist es notwendig möglichst realistische Simulationenbis zur globalen Skala durchzuführen undmit bestehenden Datensätzen sowie mit analogenStudien unter Verwendung bereits etablierter Modellezu vergleichen. Im rechten Teil der Abbildung1 ist ein globales Modellgitter dargestellt. DiesesGitter zeigt die oben erwähnten Vorteile desunstrukturierten Ansatzes, die mittlere Auflösungist relativ grob, dennoch wurde der für die Tiefenwasserbildungwesentliche Bereich entlang derSchwelle zwischen Grönland, Island und Schottlandhoch aufgelöst um etwa den Transport durchdie Dänemarkstraße besser wiederzugeben.Im CORE Projekt (Co-ordinated Ocean-IceReference Experiments, siehe [3]), einer Modellvergleichstudiefür gekoppelte Eis-Ozeanmodellemüssen in einem ähnlichen Gitter 500 Jahre simuliertwerden. Dazu werden Datensätze vorgegeben,die den Einfluss der Atmosphäre beschreiben,das Modell wird mit klimatologischen Dateninitialisiert und die Entwicklung der Ozeanzirkulationwird für 500 Jahre berechnet. Der daraus resultierendeZustand kann mit den Ergebnissen andererModelle, sowie bestehenden Daten verglichenwerden um so das Modell zu validieren. SolcheModellstudien sind numerisch sehr aufwändigund nur auf massiv parallelen Platformen wie demHLRN-II durchführbar. FESOM ist vollständig MPIparallel.Vor der eigentlichen Rechnung wird eineGebietszerlegung des Modellgitters erstellt, die zulösenden lineren Gleichungssysteme werden parallelaufgesetzt und gelöst. Die Skalierbarkeit desModells ist im linken Teil von Abbildung 1 dargestellt.Dabei wurden 10 Modellschritte berechnetund die dafür benötigte Rechenzeit bestimmt. Beieinem Zeitschritt von 30 Minuten entspräche dieseZeit also der Simulation von 5 Stunden Modellzeit,die vollen 500 Jahre enthielten 8.76 Mio. Zeitschritte.Es wurde die Performance der ICE1 Architekturmit Harpertown Prozessoren und des neuenICE2 Systems mit Gainestown Prozessoren verglichen.Im Fall des schnelleren ICE2 Systemswerden bei Verwendung von 8 Cores 2.035 Sekundenbenötigt, im Falle von 512 Cores lediglich0.047 Sekunden. Dies entspricht einem Speedupvon 43,3. Dieser Wert liegt unter dem optimalenWert von 64, dennoch bedeutet es im oben beschriebenenhypothetischen Fall mit einem Zeitschrittvon 30 Minuten, dass die Simulation von 500Jahren mit 512 Cores weniger als einen halben Tagbenötigte anstelle von 20.6 Tagen bei Verwendungvon 8 Cores.Methodenentwicklung