w26M2

Die alleinige Speicherung von Rohdaten über einen
Zeitraum von mehreren Jahren in einem Data Warehouse
ist ökonomisch nicht sinnvoll. Das gilt insbesondere dann,
wenn für BI-Anwendungen aufgrund der Performance-
Anforderungen eine In-Memory-Datenbank 171 zum
Einsatz kommt. Sinkenden Preisen für Hauptspeicher
stehen wachsende (Roh-)Datenmengen gegenüber, was
kommerziell die Archivierung von Rohdaten in einer In-
Memory-Datenbank ausschließt.
Komponenten einer hybriden, integrierten
Architekturen
Die sinnvolle Antwort auf die in Abbildung 50 dargestellten
Anforderungen sind hybride Architekturen, die eine
kosteneffiziente Integration von BI und Big Data in einer
integrierten Architektur verbinden. Bei der TCO-Betrachtung
spielen neben den Kosten für Anschaffung und
Betrieb einer solchen Architektur auch der Schulungsaufwand,
die Einsatzbreite sowie die Zeit für Datenexperimente
eine wichtige Rolle.
Am Beispiel der Weblog-Daten 172 werden im Folgenden
die Einsatzbereiche möglicher Komponenten einer solchen
hybriden Architektur vorgestellt.
Komponente 1: Erfassung, Speicherung und
Vorverarbeitung
Es ist oft erforderlich, Weblog- oder andere Rohdaten
unter neuen Gesichtspunkten zu analysieren. Für solche
Situationen ist es von Vorteil, Rohdaten möglichst lange
speichern zu können. Es wird dann möglich, unstrukturierte
Rohdaten erst zur Laufzeit einer Analyse mit einer
sinnvollen semantischen Struktur zu belegen. Dieser als
Late Binding bezeichnete Ansatz unterscheidet Big Data
wesentlich von klassischer Business Intelligence, bei der
die Rohdaten zunächst in ein definiertes Schema transformiert
werden.
Für die Erfassung, Speicherung und Vorverarbeitung von
Rohdaten bieten sich Hadoop oder ähnliche verteilte
Dateisysteme an. Durch die eingebaute Replikation von
Daten können so auch größte Datenmengen auf Standard-Servern
langfristig und ausfallsicher in der Rohform
gespeichert werden. Das Hadoop-Ökosystem sieht auch
die Möglichkeit vor, Vorverarbeitungsschritte Batch-orientiert
zu absolvieren.
Komponente 2: Explorative Analyse und
Mustererkennung
Stehen die Rohdaten in einem Hadoop-Cluster zur
Verfügung, so können Analysten oder Data Scientists
mit diesen Daten experimentieren und sie mit anderen
Datenquellen zu kombinieren, um auf diese Weise neue
Erkenntnisse aus den Daten zu gewinnen.
Dafür stellt Hadoop zahlreiche Werkzeuge bereit. In der
Praxis zeigt sich jedoch, dass nur wenige Nutzer in Unternehmen
die dafür benötigten Kenntnisse beseitzen oder
erwerben wollen.
Aus dieser Situation gibt es einen Ausweg. Der erste
Schritt im Late-Binding-Ansatz zur Verarbeitung von
unstrukturierten Rohdaten sieht vor, den Daten eine
Struktur aufzuprägen. Danach liegen strukturierte Daten
vor, die sich effizient mit relationalen Datenbanken
analysieren lassen. Eine Vorverarbeitung kann also in
Hadoop angestoßen und in einer relationalen Datenbank
weitergeführt werden. Alternativ arbeitet die relationale
Datenbank ebenfalls massiv-parallel und bietet in SQL
eine MapReduce 173 -Implementierung mit vorgefertigten
Analysealgorithmen an. Beiden Ansätzen ist gemeinsam,
dass die Komplexität der neuen Hadoop-Technologie vor
dem Anwender verborgen wird: Er muss lediglich einen
erweiterten Satz von SQL-Funktionen erlernen.
Die geschilderten Vorgehensweisen erweitern den Kreis
von Nutzern deutlich, die in Hadoop gespeicherte, große
Datenmengen analysieren können. Außerdem können die
in einem Unternehmen genutzten Werkzeuge zur Visualisierung
weiter verwendet werden, was den Einstieg
enorm erleichtert.
Die von Hadoop bereitgestellten Werkzeuge wie Hive 174
werden zügig weiter entwickelt, um ihren Einsatz
komfortabler zu gestalten. Viele Anwender werden es
171
vgl. dazu Abschnitt 6.2
172
vgl. auch Abschnitt 5.4
173
vgl. Unterabschnitt 4.1.1
174
vgl. Unterabschnitt 4.1.1
118