w26M2

Big-Data-Technologien – Wissen für Entscheider
gekennzeichnet sind, an einer Stelle zusammengezogen.
In diesem als »Shuffling« bezeichneten Schritt werden
Daten zwischen den Knoten ausgetauscht. Um auch in
dieser Phase durch Parallelisierung zu skalieren, ist ein
Switched Network ohne Überprovisionierung zwischen
den Knoten notwendig. In der darauffolgenden Reduce-
Phase erhält die Reduce-Funktion alle Zwischenergebnisse
mit gemeinsamem Kennzeichnungsschlüssel, wird
diese nun weiter auswerten 48 und dann ein Endergebnis
zurückliefern.
Die »shared nothing« Architektur von Hadoop stellt
die Verfügbarkeit des Gesamtsystems in mehrfacher
Hinsicht sicher. Ein System bestehend von Hunderten
oder Tausenden von Rechenknoten und Netzwerkgeräten
muss mit häufigen Ausfällen von Teilkomponenten gut
zurechtkommen. Bei einer Mean Time Between Failures
(MTBF) von ca. einem Jahr bei Serversystemen treten in
einem 1000-Knoten-Cluster statistisch 3 Serverstörungen
am Tag auf. Hinzu kommen Fehlersituationen durch Bugs
in der System- und Anwender-Software.
In diesem Ablauf übernimmt das MapReduce-Framework
die gesamte Ablaufsteuerung – bestehend aus der Portionierung
der Datenmenge, Zuordnung der Knoten, Aufruf
der Map-Funktion, Shuffling der Zwischenergebnisse, Aufruf
der Reduce-Funktion, Herausschreiben der Ergebnisse
in die verteilte Datenhaltung. Die fachliche Aufgabenstellung
einschließlich der Interpretation der Daten wird in
Form der Map- und Reduce-Funktionen eingebracht.
Die Abbildung 7 zeigt die Shared-Nothing-Architektur des
MapReduce-Ansatzes: Daten aus dem verteilten Filesystem
werden auf dem Rechner gelesen und verarbeitet,
auf dem sie physikalisch liegen. In der Map- und Reduce-
Phase arbeiten die Cluster-Knoten isoliert und zu 100%
parallelisiert. Leistungsfähige Netzwerke gewährleisten in
der Shuffle-Phase für den Datenaustausch zwischen den
Knoten ein Minimum an Wartezeiten und Serialisierung.
Die Ablaufsteuerung und Kommunikation übernimmt das
Framework. Es erreicht sehr gute lineare Skalierung bis in
Größenordnungen von mehreren tausend Rechnern. Die
problembezogene Programmierung ist äußerst flexibel;
sie kann sich auf zwei Funktionen Map und Reduce
beschränken und setzt damit kein tiefes Cluster-Knowhow
voraus 49 . Zur Optimierung gibt es weitere Schnittstellen
um z. B. die Zwischenergebnisse auf einem Knoten
zu verdichten oder das Shuffling zu beeinflussen.
Daher ist die Datenhaltung im Hadoop Distributed File
System (HDFS) redundant ausgelegt. In der Standardeinstellung
ist jeder Datenblock dreimal vorhanden, neben
dem Primärblock existieren eine Kopie auf einem zweiten
Server innerhalb desselben Racks und eine zusätzliche
Kopie in einem entfernten Rack.
Hadoop ist ein Open-Source-Framework zur Datenverarbeitung
auf sehr hoch skalierenden Parallel-Clustern. Zu
diesem Top-Level-Projekt der Apache Software Foundation
gehören mehr als 13 Unterprojekte. Um den Kern der
verteilten Datenhaltung in HDFS und der Verarbeitung
in MapReduce gruppieren sich weitere Apache-Open-
Source-Projekte in Bereichen wie Daten-Zugriff, -Integration,
-Sicherheit und Betrieb. Einen Überblick über die
zweite Generation von Hadoop gibt Abbildung 8.
Verbesserungen mit der zweiten Generation von
Hadoop
Bisher ist es vielen Unternehmen schwer gefallen, das
Potenzial von Big Data wirklich auszuschöpfen. Viele
experimentierten zunächst mit einigen der 13 Funktionsmodule
von Apache Hadoop (vgl. Abbildung 8),
einem Bündel von Technologien, für deren Beherrschung
Hadoop-Nutzer der ersten Stunde 50 große Teams einsetzen
und mehrere Jahre investieren mussten.
48
z. B. korrelieren, gruppieren, summieren, filtern
49
anders als z. B. MPI-Programmierung im HPC-Umfeld
50
darunter eBay, Facebook und Yahoo
39