w26M2

Big-Data-Technologien – Wissen für Entscheider
Auf der obersten Ebene bietet Stratosphere Programmierschnittstellen
in den Programmiersprachen Java und Scala
an, in denen Datenanalyseprogramme gemäß des PACT-
Modells spezifiziert werden können. Durch die Verwendung
dieser populären Sprachen ist eine große Menge
an Entwicklern in der Lage, Datenanalyseprogramme zu
erstellen. Darüber hinaus stellt Stratosphere mit Meteor
und Spargel weitere Progammierschnittstellen bereit.
Meteor ist eine erweiterbare Skriptsprache für einfache
Datenanalyseaufgaben. Spargel bietet das populäre
knoten-zentrierte Programmiermodell für graphstrukturierte
Daten an. Stratosphere parallelisiert diese Analyseprogramme
automatisch und optimiert ihre Ausführung
in Abhängigkeit von Systemumgebung, Workload und
Eigenschaften der zu analysierenden Daten.
map
union
reduce
iterate
Abbildung 57: Stratosphere-Operatoren
join
iterate
delta
cross
cogroup
Hierzu werden neuartige Verfahren der Codeanalyse,
Codegenerierung und Datenbankoptimierung angewendet,
die im Rahmen der Hochtechnologieforschung
speziell für Stratosphere entwickelt wurden. Durch
diese Optimierungen können auch Nutzer ohne Systemprogrammiererfahrung
das System effizient nutzen.
Stratospheres PACT-Programmiermodell erweitert zudem
das von Hadoop bekannte MapReduce-Modell durch neue
Operatoren und gibt damit Data Scientists einen umfangreichen
Werkzeugkasten zur Lösung von Datenanalyseproblemen
auf Big Data (vgl. Abbildung 57)
Die neben map und reduce zusätzlichen Operatoren im
PACT-Modell ermöglichen die einfache Spezifikation von
komplexen Datenanalyseprogrammen, wie sie im Data
Mining, Maschinellen Lernen und komplexer Statistik
üblich sind (z. B. Regression, Clustering, Graph-Analyse).
Die Operatoren join, cross, union, und cogroup erlauben
dabei die Verknüpfung, Verbindung oder Korrelation von
mehreren Datenströmen, welche in map/reduce-Systemen
wie Hadoop nur mit großem Aufwand möglich sind.
Insbesondere hervorzuheben sind die Operatoren iterate
und iterate-delta, da diese Stratosphere von den meisten
anderen kommerziellen und nichtkommerziellen
Systemen unterscheiden: Algorithmen des Data Minings,
des maschinellen Lernens und der Graph-Verarbeitung
erfordern häufig, dass die Daten mehrfach durchlaufen
werden. Stratosphere unterstützt mit iterate und iteratedelta
hierzu nativ skalierbare iterative Algorithmen und
kann diese im Gegensatz zu Hadoop, SQL-Datenbanken
oder neueren Systemen wie Spark automatisch parallelisieren
und effizient auf Rechenclustern verarbeiten.
Neben den erweiterten Operatoren ist Stratosphere auch
in der Lage, komplexe Datenflüsse abzubilden. Während
bei Hadoop MapReduce ein vorgegebener Datenfluss von
Map nach Reduce vorgegeben ist, ist Stratosphere in der
Lage, Daten in vielfältiger Weise zwischen den Operatoren
zu senden.
M
R
J
R
R
M
R
M
Hadoop
Stratosphere
Abbildung 58: Stratosphere – Möglichkeit komplexer Datenflüsse
133