IT-Management in der Praxis Seminar ? WS 2004/05 - am ...

High Performance Interconnects
Christian Gärtner
Kurzfassung
Für den Betrieb von Clustern (Rechnerbündeln) ist die Wahl des geeigneten Interconnects
von fundamentaler Bedeutung. Die Kommunikation zweier Knoten ist um Größenordnungen
langsamer als der Zugriff auf den Hauptspeicher des lokalen Rechners. Deshalb sind
die Latenzzeit und die Bandbreite des Interconnects die entscheidenden Faktoren, welche
die Fähigkeit eines Clusters bestimmen, Aufgaben effizient verteilt zu verarbeiten.
Dies gilt insbesondere bei Clustern mit vielen Knoten und bei Anwendungen mit häufiger
Kommunikation. In dieser Seminararbeit werden ausgehend von Gigabit Ethernet unterschiedliche
Interconnect-Techniken vorgestellt und hinsichtlich ihrer Leistungsfähigkeit
und Kosten charakterisiert.
1 Einleitung
Möchte man eine Aufgabe auf mehrere Rechner verteilt ausführen, so besteht in gewissen zeitlichen
Abständen Kommunikationsbedarf zwischen den Knoten. Der Zugriff auf ein Datum
im lokalen Hauptspeicher erfolgt innerhalb von etwa tH = 10ns (PC400, DDR-Ram, Stand
2004). Soll hingegen auf ein Datum im Hauptspeicher eines anderen Knoten über ein Netzwerk
zugegriffen werden, so benötigt der Zugriff wesentlich länger. Gigabit Ethernet (ohne
Verbesserungen) benötigt hierfür beispielsweise etwa tNW = 100µs. Dieser große Unterschied
führt bei häufiger Kommunikation zu einer deutlichen Verlangsamung.
Bei zunehmender Anzahl an Rechenknoten steigt auch das Kommunikationsaufkommen. Dies
ist beispielsweise auf eine häufiger notwendige Synchronisation zurückzuführen. Wegen der
sehr unterschiedlichen Zugriffszeiten tH und tNW nimmt der zeitliche Anteil für die Kommunikation
an der Gesamtzeit spürbar zu. Dies kann dazu führen, dass ab einer bestimmten
Anzahl an Knoten kein Geschwindigkeitsgewinn durch Erhöhung der Knotenzahl erreichbar
ist. Diese maximale Knotenzahl wird durch die Häufigkeit der Kommunikation sowie durch
die Leistungsfähigkeit des Interconnects bestimmt. Aus diesem Grund ist es von großer Wichtigkeit,
einen Interconnect mit ausreichender Leistung zu verwenden.
Anwendungsbeispiel — Dieser Zusammenhang soll an einem Beispiel verdeutlicht werden.
Wir setzen eine Hauptspeicher-Zugriffszeit von tH = 10ns vorraus. Auf einen anderen Knoten
soll über das Netzwerk in tNW = 100µs zugegriffen werden können, was in etwa der Leistungsfähigkeit
von Gigabit Ethernet entspricht. Es wird angenommen, dass sich der Kommunikationsbedarf
quadratisch mit der Zahl der Knoten nnodeim Cluster erhöht. Bei zwei Knoten sei
einer unter 10 9 Befehlen ein Kommunikationsbefehl. Der Anteil von Rechenzeit und Kommunikationszeit
an der Gesamtzeit ist in Abbildung 1 in Abhängigkeit der Knotenzahl aufgetragen.
Wird nur ein Knoten verwendet, so setzt sich die Gesamtzeit zur Ausführung erwartungsgemäß
nur aus Rechenzeit zusammen. Werden nun mehr als ein Knoten verwendet, so sinkt die
Rechenzeit, jedoch kommt ein steigender Anteil an Kommunikationszeit hinzu. Man erkennt
ein Minimum der Gesamt-Ausführungszeit bei 10 Knoten von 181,0 Zeiteinheiten. In diesem