PARS-Mitteilungen 2007 - Parallel-Algorithmen, -Rechnerstrukturen ...

Statisches Scheduling heterogener Systeme mit Hilfe von
Meta-Heuristiken
Udo Hönig, Wolfram Schimann und Ralf Wagner
FernUniversität Hagen
Lehrgebiet Rechnerarchitektur
58084 Hagen, Germany
{udo.hoenig,wolfram.schiffmann,ralf.wagner}@fernuni-hagen.de
http://ra.fernuni-hagen.de
Zusammenfassung Parallele Programme können formal durch gerichtete attributierte Graphen beschrieben
werden, die die Abhängigkeiten der Teilaufgaben und den Kommunikationsaufwand für Zwischenergebnisse
anhand von Gewichten in den Knoten bzw. an den Kanten modellieren. Im Beitrag
wird gezeigt, wie man das klassiche Greedy Mapping durch Meta-Heuristiken ersetzen kann. Anhand
von drei naturanalogen Beispiel-Algorithmen (Simulated Annealing, Genetic Algorithm, Ant Colony
Optimization) wurde die Leistungsfähigkeit mit dem klassischen Greedy-Mapper verglichen. Der höhere
Rechenzeitbedarf der Meta-Heuristiken wird durch bessere Schedules belohnt.
Key words: task graph scheduling, heterogeneous target systems, greedy mapper, genetic algorithm,
simulated annealing, ant colony optimization
1 Einführung
Um komplexe Aufgabenstellungen wie z.B. die mehrtägige Wettervorhersage in einem akzeptablen
Zeitraum lösen zu können, muss man auf die Parallelverarbeitung zurückgreifen.
Häug kommen dabei Parallelrechner zum Einsatz, die aus einer Vielzahl vernetzter Computer
bestehen. Wenn sowohl die einzelnen Computer als auch die Verbindungsnetzwerke
unterschiedliche Rechenleistung bzw. Übertragungsbandbreite aufweisen, spricht man von
einem heterogenen (Ziel)System. Ein typisches Beispiel für derartige Systeme sind Compute
Grids oder auch Clustercomputer, die meist nicht aus homogenen Komponenten bestehen,
da sie im Laufe der Zeit durch neuere und leistungsstärkere Komponenten erweitert werden.
Die beiden angeführten Architekturen unterscheiden sich bzgl. der Granularität der
damit möglichen Parallelverarbeitung. Während Grids aufgrund der beschränkten Übertragungsbandbreiten
vorwiegend für grobkörnige Parallelität wie z.B. Workows geeignet sind,
können mit Clustercomputern auch feinkörnigere Aufgabenstellungen parallelisiert werden.
In beiden Fällen muss man jedoch die Gesamtaufgabe in mehrere Teilaufgaben (Tasks)
zerlegen, die dann möglichst zeitgleich auf den einzelnen Computer berechnet werden. Die
Parallelisierung erfolgt häug durch eine Aufteilung der zu bearbeitenden Datenmenge,
deren Teilmengen dann mit mehreren Kopien des gleichen Programms parallel bearbeitet
werden. Wir werden im Folgenden jedoch die funktionale Parallelität betrachten, bei der eine
Gesamtaufgabe in viele unterschiedliche Tasks zerlegt wird. Aufgrund von Datenabhängigkeiten
können bestimmte Tasks erst dann ausgeführt werden, wenn alle ihre Vorgänger die
als Eingabe benötigten Zwischenergebnisse berechnet und gegebenfalls über das Netzwerk
übertragen haben. Die Übertragung entfällt, wenn eine vorangehende Task auf dem gleichen
Rechner bearbeitet wird. In diesem Fall können die Zwischenergebnisse direkt über
den Speicher übergeben werden.
Formal können funktional parallele Programme durch einen attributierten gerichteten
Graphen (Task-Graph bzw. DAG für Directed Acyclic Graph) beschrieben werden. Die
Graphknoten repräsentieren die Tasks und die Kanten deren Abhängigkeiten. Die Attribute
(Weights) an den Knoten entsprechen dem Berechnungsaufwand einer Task und die an
den Kanten dem Kommunikationsaufwand zwischen zwei Tasks. Sobald eine Task einem
36