w26M2

Aufgaben durch die Verwendung von verschachtelten
HiveQL-Unterabfragen oder durch temporäre Zwischentabellen
gelöst werden müssen. Das trägt nicht gerade zur
Klarheit bei und kann zu Performance-Fallen führen.
Werkzeugunterstützung für die Joberstellung
Es ist zu berücksichtigen, dass man bei wachsenden Integrationsprojekten
mit manuellem »Hand-coding« ohne
Werkzeugunterstützung, wie z. B. einem Team-Repository,
regelmäßig an organisatorische Effizienzgrenzen stößt.
Integrationswerkzeuge (z. B. ETL, ESB) unterstützen hierbei
typischerweise in den Projektphasen Design, Dokumentation,
Deployment, Betrieb und Monitoring. Mittlerweile
bieten eigentlich alle Integrationssoftware-Hersteller
zumindest Konnektoren für persistente Big-Data-Datenhaltungssysteme
an (z. B. Hadoop, MongoDB) – ähnlich
wie für etablierte Datenbanken oder Dateisysteme, die
lesend bzw. schreibend angesprochen werden können.
Um die manuelle Hadoop/MapReduce-Programmierung
zu vereinfachen und den Datenzugriff zu erleichtern, sind
ETL-Technologien entsprechend erweitert worden. Im
Kontext eines Daten- und Transformationsflusses können
MapReduce-Jobs konfiguriert, generiert und ausgeführt
werden. Hierbei werden Technologien wie Hive und Pig
genutzt, aber aus Vereinfachungsgründen gekapselt und
abstrahiert. Ähnlich wie in ETL-Verfahren mit Java als
Transformationslogik kann nun Hadoop komplementär
oder alternativ verwendet werden, um ELT-Prozesse zu
automatisieren (vgl. Abbildung 13).
Abbildung 13: Werkzeuge zum Umbau eines vorhandenen ETL-Jobs in
einen MapReduce-Job
4.2.2 Streaming und Complex Event
Processing
Der traditionelle Ansatz für Data Warehouse und Big Data
analysiert ruhende Daten, in denen der Anwender mit
verschiedenen Techniken nach dem Gold der Erkenntnis
gräbt. Die Überwachung und Steuerung dynamischer
Prozesse bedarf eines anderen Ansatzes. Hierbei werden
zeitlich geordnete Ereignisse aus heterogenen Quellen
überwacht, verdichtet, gefiltert und korreliert. Im Bild des
Goldsuchers entspricht dies dem Goldwäscher, der mit
seinem Sieb den Datenstrom nach Goldkörnern filtert.
Muster (Goldkorn) und Regel (Größe) sind hier konstant,
die Daten dagegen variabel und in schneller Bewegung,
daher auch der Begriff Streaming.
Für dieses Szenario haben sich zwei grundlegende
Ansätze etabliert:
• Distributed Stream Computing Platforms (DSCP) und
• Complex-Event Processing (CEP).
DSCP-Lösungen verwenden ganze Serverfarmen (Grids),
um Abfragen und Algorithmen zur Mustererkennung in
Echtzeit auf kontinuierliche Datenströme (zum Beispiel
Text, Video, Audio) anzuwenden. Im Vordergrund steht
hier die massive Skalierung durch isolierte parallele
Verarbeitung.
52