w26M2

4 Relevante Technologie-Komponenten
für Big-Data-Anwendungen
Das Kapitel 4 ist für den Leitfaden zentral; es erläutert die Komponenten des in Abbildung 2
vorgestellten Technologie-Baukastens im Detail.
• Technologien der Daten-Haltung werden im Abschnitt 4.1 (S.36 ff.) vorgestellt. Mit Mittelpunkt
steht Hadoop – die bisher wichtigste Innovation im Big-Data-Umfeld. Außerdem werden Datenbanken
erörtert, die speziell auf die Anforderungen in Big-Data-Situationen zugeschnitten sind.
• Der Daten-Zugriff bildet den Schwerpunkt des Abschnitts 4.2 (ab S. 51) Der Daten-Zugriff beinhaltet
verschiedene Technologien, die es sehr unterschiedlichen analytischen Anwendungen
ermöglichen, auf den Pool von großen Datenmengen zuzugreifen. Hierin enthalten sind – neben
dem schon erwähnten MapReduce – unter anderem Hive, welches Zugang zu Daten auf HDFS
über die von den relationalen Datenbanken vertraute Abfragesprache SQL bietet, aber auch
Streaming – der Zugang zu Live-Datenströmen. Search- & Discovery- Technologien wiederum
ermöglichen das Suchen und Entdecken von Informationen in meist unstrukturierten Daten
analog zur Suchmaschine Google.
• Die analytische Verarbeitung bildet den eigentlichen Kern von Big-Data-Anwendungen. Der
Abschnitt 4.3 (ab S. 61) umfasst Technologien zur Verarbeitung der verschiedenen Datentypen
sowie wichtige Themen wie Predictive Analytics, Data Mining und Maschinelles Lernen.
• Fortgeschrittene Visualisierungen stellen ein mächtiges und hochgradig flexibles Werkzeug im
Analyseprozess dar und werden im Abschnitt 4.4 (S. 73ff.) thematisiert.
• Die Big-Data-Denkweise impliziert auch einen neuen Umgang mit Daten und eine Neudefinition
der Daten-Integration. Es findet ein Wandel vom »Extract-Transform-Load« zum »Extract-Load-
Transform« statt (Abschnitt 4.5, S. 89ff.).
• Das Kapitel schließt mit Betrachtungen über Daten-Governance und Sicherheit (Abschnitt 4.6,
S. 96 ff.). Es wird aufgezeichnet, was an Governance für Big Data neu ist. Gerade in diesem Bereich
dürfen keine Versäumnisse zugelassen werden.
• 4.1
Daten-Haltung
Hadoop spielt in vielen Big-Data-Anwendungen eine
zentrale Rolle. Von einem preiswerten Daten-Parkplatz
hat sich Hadoop so weiter entwickelt, dass es Unternehmensentscheidungen
in nahezu Echtzeit durch
verschiedenste Analyseverfahren unterstützt. Diese
gehen über die Möglichkeiten traditioneller Business
Intelligence Tools weit hinaus. Hadoop ist ein
Open-Source-Framework zur parallelen Datenverarbeitung
auf sehr hoch skalierenden Server-Clustern. Zu
diesem Top-Level-Projekt der Apache Software Foundation
gehört eine zweistellige Anzahl von Unterprojekten.
Hadoop wird im Unterabschnitt 4.1.1 in seiner Gesamtheit
vorgestellt, auch wenn sich die Unterprojekte
über die Bereiche Daten-Haltung, -Zugriff, -Integration,
-Sicherheit und Betrieb erstrecken. Hadoop hat sich für
viele Problemstellungen als sehr tragfähig und deshalb
34