w26M2

• 5.10 Data-Warehouse-Entlastung –
Aktives Archiv in Hadoop
Ein Hadoop-Cluster kann sowohl am Beginn des Daten-
Lebenszyklus, quasi als Einflugschneise für Daten, als
auch an seinem Ende eingesetzt werden – zur Archivierung
der Daten für eine spätere Analyse. Damit schafft
Hadoop in existierenden EDW freie Kapazitäten, in die
Unternehmen hineinwachsen können, ohne zunächst in
die Erweiterung des EDW investieren zu müssen.
Entlastung des Enterprise Data Warehouse durch
Hadoop
Hadoop erlaubt die wirtschaftliche Speicherung von
Daten beliebiger Struktur auf unbegrenzte Zeit, insoweit
das rechtlich zulässig ist. Hadoop kann man sich vereinfacht
als ein neuartiges Data Warehouse vorstellen, das
größere Datenmengen und mehr Arten von Daten speichern
kann und außerdem flexiblere Analysen zulässt als
etablierte EDW. Als Open-Source-Software für Standard-
Hardware steht Hadoop aus Sicht der Wirtschaftlichkeit
etwa um den Faktor zwanzig besser da als konventionelle
Data-Warehouse-Lösungen. Im Unterschied zu
konventionellen EDW Architekturen mit proprietärer,
hoch optimierter Hardware wurde Hadoop so konzipiert,
dass ein Betrieb auf handelsüblichen Servern mit preiswertem
Speicher die Norm ist.
Und so verwundert es nicht, dass großen Unternehmen
bereits erhebliche Kostenreduktionen gelungen sind,
indem sie Hadoop zur Entlastung des EDW eingesetzt
haben (vgl. Abbildung 53). Von Vorteil ist dabei, dass
• die Unternehmen ihr EDW nicht ersetzen müssen,
denn Hadoop ergänzt ihre vorhandene Lösung;
• eine Reihe von EDW Herstellern eine Hadoop-Distribution
in ihre EDW-Appliance eingebettet haben.
Hadoop am Anfang sowie am Ende des Daten-
Lebenszyklus
Hadoop wird in absehbarer Zeit für das Data Warehouse
vieler Unternehmen an Bedeutung zunehmen. Das
EDW behält jedoch zunächst seine zentrale Rolle. Und
so wird bereits für 2015 prognostiziert, dass mehr als die
Hälfte der neu entstehenden Daten von Unternehmen
Challenge
Many Enterprise Data Warehouse (EDWs)
at capacity
Unaffordable to retain sources
Older transformed data archived, not available
for exploration
Data Warehouse
Analytics (10%)
Operational (40%)
Solution
Free EDW for valuable queries
Keep 100% of source data
Mine data for value after loading it because
of schema-on-read
Reduce incremental EDW spend
Data Warehouse
Analytics (50%)
Operational (50%)
ETL Processing (50%)
Hadoop
Parse, cleanse,
apply structure, transform
Abbildung 53: EDW-Entlastung – Einsatz-Szenario für Hadoop
122