w26M2

5 Big-Data-Lösungs-Architekturen und -szenarien
Herkömmliche Lösungen sind angesichts der mit Big Data assoziierten Herausforderungen (»3 V«)
sowohl aus technischer als auch aus betriebswirtschaftlicher Sicht eng limitiert.
Hadoop bietet eine Antwort auf diese Herausforderungen und hat sich daher als Kern einer modernen
Datenarchitektur und Ergänzung herkömmlicher Lösungen fest etabliert.
Aus dem Zusammenspiel von Hadoop und herkömmlichen Lösungen ergeben sich drei typische Rollen
für Hadoop in einer Big-Data-Zielarchitektur – Hadoop als:
• preiswerter Langzeit-Parkplatz für Daten,
• Basis für die Erforschung von Daten,
• unternehmensweite Plattform.
Das Kapitel 5 zeigt, dass es für jedes Einsatzszenario die passende Architektur gibt. Meist bestimmen
der Datentyp sowie die Anforderungen an die Verarbeitung die Auswahl der Bausteine in der Zielarchitektur.
Daher orientiert sich die Diskussion der Zielarchitekturen an den Datentypen der verschiedenen
Einsatz-Szenarien: Clickstream-Daten, Social-Media-Stimmungsdaten, Server-Logdaten,
Sensordaten, Maschine-zu-Maschine-Kommunikation, Standortdaten und Freitext-Daten.
Zum Abschluss des Kapitels wird das Zusammenspiel von Big Data und Business Intelligence thematisiert.
Ein Beispiel hierfür ist die Entlastung eines traditionellen Data-Warehouses durch Hadoop.
• 5.1 Warum eine neu entstehende
Datenarchitektur für Big Data
Herkömmliche Datenarchitekturen
Gegenwärtig nutzen die meisten Unternehmen mindestens
eine analytische Anwendung zur Unterstützung von
Entscheidungen im täglichen Geschäft. Stark vereinfacht
sieht die Architektur dieser Lösungen so aus:
werden die Rohdaten meist nach kurzer Zeit gelöscht.
Somit finden nur strukturierte und verdichtete Daten
Eingang in das Data Warehouse.
• Für die Aufgaben der Analytik und Visualisierung wird
Standard-Software wie Business Objects, Hyperion,
Cognos eingesetzt, die für das Zusammenwirken mit
den transaktionalen Anwendungen (in diesem Fall
von SAP, Oracle und IBM) optimiert ist.
• Daten liegen in strukturierter Form vor und stammen
überwiegend aus transaktionalen Unternehmensanwendungen
wie ERP, CRM oder SCM.
• Die Daten werden in relationalen Datenbanken oder
Data Warehouses gehalten. Hierfür werden Rohdaten
meist mit dem bekannten Prozess Extract – Transform
– Load umgewandelt. Nach dieser Umwandlung
Hadoop als Kern einer modernen Datenarchitektur
und Ergänzung herkömmlicher Lösungen
Im Unterabschnitt 4.1.1 wurde bereits ausgeführt, wie
limitiert herkömmliche Lösungen sind – mit dem Ergebnis,
dass die Datenmengen die verfügbaren Budgets
übersteigen (vgl. S. 37). Ebenfalls in diesem Unterabschnitt
100