Forschung im HLRN-Verbund 2011

216Virtuelle 3D-Welten – Ergebnisse skalierbarer DatenanalyseEffiziente Generierung interaktiv nutzbarer 3D-Filme aus massiv-parallelenSimulationenS. Olbrich, M. Vetter, Regionales Rechenzentrum/FachbereichInformatik, Scientific Visualizationand Parallel Processing, Universität HamburgKurzgefasst• Die hochauflösende Simulation zeitabhängigerProzesse erzeugt extrem große Datenmengen.• Die Analyse und Visualisierung dieser Daten erfordertim Kontext massiv-paralleler Simulationeninnovative Verfahren.• Ziel der Forschung ist die Minimierung der sequenziellenEngpässe, die traditionelle Visualisierungsansätzebeinhalten sowie eine Reduktionder Komplexität der abzuspeichernden Daten.• Dafür wurde als Teil eines VisualisierungsframeworksDSVR eine Komponente zur In-Situ-Datenextraktion entwickelt, innerhalb derer dasVisualization Mapping“ parallelisiert wird.”• Skalierbare Datenreduktionsverfahren erzeugengeometrische Objekte, die mit Attributen aus denOriginaldaten angereichert und zum effizientenStreaming/Rendering vorverarbeitet sind.• Das Resultat dient als Grundlage zur anschließendeninteraktiven 3D-Präsentation.Der durch Hochleistungsrechner unterstützte wissenschaftlicheWorkflow ergänzt die Theorie unddas Experiment insbesondere durch numerischeSimulationen, aber auch durch das Pre- undPostprocessing, um die Berechnungen vorzubereitenund die Rechen- und Messergebnissefassbar zu machen. Dieser Workflow trägt zumZuwachs an Erkenntnissen und zum interdisziplinärenVerständnis bei. Im Gegensatz zu Simulationssoftware,die auf tausenden Prozessorkerneneffizient parallel arbeitet, skaliert traditionell fürdas Postprocessing – hier: Datenanalyse und Visualisierung– eingesetzte (Workstation-)Softwarejedoch bei weitem nicht in gleichem Maße. Dadurchwird der parallele Speed-up des Gesamtprozesses– bestehend aus Simulation, Datenanalyseund Visualisierung – erheblich limitiert.Darüber hinaus stellt allein die hohe räumliche undzeitliche Auflösung der Simulationsszenarien hoheAnforderungen an die Datenübertragung bzw.-speicherung. Beispielsweise werden in PALM [5],das auf dem HLRN-II bis zu 4096 Rechenkernenutzt, instationäre Strömungsphänomene aufeinem 3D-Gitter mit ∼10 11 Datenpunkten mit∼10 4 Zeitschritten simuliert. Bei Abspeicherungsämtlicher skalarer und vektorieller Ergebniswerteje Gitter- und Zeitpunkt wäre ein Volumen von ∼10Petabyte an Rohdaten zu bewältigen.Zur Lösung der genannten Probleme werdenseit ca. 10 Jahren innovative Ansätze entwickeltund, in enger Abstimmung mit dem Institut für Meteorologieund Klimatologie an der Leibniz UniversitätHannover, in prototypischen Implementierungen– zuerst auf einer Cray T3E, späterauf den HLRN-Rechnern der ersten und zweitenGeneration sowie weiteren Rechenclustern – erprobt.Kern der Entwicklungen ist eine Bibliothekzur parallelen Aufbereitung von Zeitserien dreidimensionalerSkalar- und Vektordatenfelder in eineSequenz polygonaler 3D-Grafiken (Isosurfaces,Streamlines, Slicer), u. a. im Rahmen des DFG-Projekts ”EVITA – Effiziente Methoden zur Visualisierungin tele-immersiven Anwendungen“ [1], [2],[3]. Neben der Parallelisierung des ”VisualizationMapping“, das Voraussetzung zur interaktiven 3D-Präsentation – inklusive dem möglichen Einsatzvon Methoden der Virtuellen Realität – ist, findetzugleich eine Reduktion der Ordnung der Komplexitätder Daten – und damit des Volumens – statt.HPC-Cluster (3D Generator)Graphik-Workstation (3D Viewer)Data Source(Simulation)Visualization Mapping(Pathlines, Isosurfaces,Slicer, …)Rendering(3D-Graphics)Presentation(Display)NETWORKStreaming-ServerStorage, Play-Out(Option: Post-Filtering)Abbildung 1: Die Visualisierungspipeline wird imDSVR-Framework netzverteilt partitioniertund zum Teil parallelisiert.Die realisierten Datenextraktionsalgorithmenskalieren bereits bis zu mehreren hundert Cores.1. Parallele Isosurface-Extraktion mit integrierterPolygonsimplifizierungDie Idee der engen Verzahnung zweier bekannterVerfahren – einerseits der Marching-Cubes-Algorithmus zur Erzeugung polygo-Methodenentwicklung