Loadbalancing auf Parallelrechnern mit Hilfe endlicher Dimension ...

1 Einleitungbehandelten Loadbalancing-Verfahren. Im Gegensatz dazu hat bei Rechnern mit verteiltemSpeicher (distributed memory) jeder Rechner seinen eigenen, von den anderenProzessoren unabhängigen Speicher. Der Datenaustausch erfolgt durch das Versendenvon Nachrichten (message passing) über ein Netzwerk.Bei den verwendeten Netzwerken sind viele verschiedene Topologien anzutreffen. Besondersauf etwas älteren Rechnern sind die Prozessoren oftmals in Form eines Gitters,Torus oder Hypercubes angeordnet, manchmal auch als Zyklus oder als Baum. Währendder Datenaustausch zwischen zwei Prozessoren, die in dieser Struktur benachbartsind, in der Regel sehr schnell ist, kann die Kommunikation zwischen zwei beliebigenKnoten um ein Vielfaches länger dauern. In solchen Fällen ist der für das Loadbalancingverwendete Graph dieser Topologie anzupassen. Beispiele für Rechner mit solch festerTopologie sind die Cray T3E (3-D Torus), Fujitsu AP3000 (2D-Torus), SGI Origin 2000(Hypercube mit 4 Prozessoren pro Knoten) oder der schon etwas ältere (1993) nCUBE2S (Hypercube der maximalen Dimension 12).Vielfach werden in neueren Parallelrechnern aber Switches bzw. Crossbars eingesetzt,so dass jeder Prozessor mit jedem beliebigen anderen Prozessor in etwa gleich schnellkommunizieren kann. Bei mehr als etwa 64 Prozessen werden in der Regel mehrstufigeCrossbars verwendet. Beispiele hierfür sind Fujitsu VPP5000 (einstufiger Crossbar),Hitachi SR8000 (bis zu dreistufiger Crossbar) und NEC SX-6 (mehrstufiger Crossbar).Diese Architektur lässt sich zwar am ehesten durch einen vollständigen Graphen beschreiben;allerdings ist es nicht möglich, dass jeder Prozessor mit allen anderen Prozessorengleichzeitig kommuniziert. Der Vorteil ist vielmehr, dass durch Auswahl einzelnerVerbindungen beliebige Teilgraphen verwendet werden können. In diesem Fall kann manentweder einen für die Anwendung passenden Graphen wählen (z. B. bei Finite-Elemente-Anwendungen) oder einen an die zur Verfügung stehende Anzahl an Prozessoren angepasstenGraphen, also beispielsweise bei einer Zweierpotenz einen Hypercube, oder sonsteinen mehrdimensionalen Torus.In diese zweite Kategorie von Rechnern ohne bestimmte Topologie fallen auch dieimmer häufiger anzutreffenden Cluster. Hierbei werden aus Standardkomponenten bestehendeRechner (z. B. normale PCs) miteinander vernetzt, im einfachsten Fall mit normalenEthernet-Karten, falls bessere Datentransferraten erzielt werden sollen mit spezialisierterHardware wie zum Beispiel einem Myrinet-Netzwerk. Mit dem Linux NetworX(2304 Intel-Xeon-Prozessoren, 11 TFlop/s Peak-Performance) und dem HPTi (1536 Prozessoren)befinden sich sogar zwei Cluster unter den ersten zehn Plätzen der TOP500-Liste vom November 2002.Eine ganz andere Art von ”Cluster“ stellen lose vernetzte Rechner dar, die nur gelegentlichgemeinsam für große Rechenaufgaben benutzt werden und daher keine besondersschnelle Netzwerkanbindung besitzen. Ein weiteres mögliches Anwendungsgebiet fürLoadbalancing in der Zukunft stellt das Grid-Computing dar, bei dem mehrere, räumlichunter Umständen weit entfernte, Rechner gemeinsam benutzt werden. Bei diesen letztenbeiden Fällen ist ein schnelles Loadbalancing-Verfahren noch wichtiger als bei echtenParallelrechnern mit schneller spezialisierter Kommunikationshardware.Einen guten Überblick über Parallelrechner-Topologien liefert das Einführungskapitelin [ALO02], ausführlichere Informationen zur Hardware finden sich in [vdSD02]. Dieser20