w26M2

Big-Data-Technologien – Wissen für Entscheider
• 9.2 Betrieb einer unternehmensweiten
Stream-basierten Real-time-Analytics-
Plattform
Neben den Big-Data-Architektur-Elementen für Data at
Rest, die die wichtigen Data-Store- und Analytics-Plattformen
auf der Basis von Hadoop und die EDW-Plattformen
umfassen, kommen in Big-Data-Einsatzfällen vermehrt
Anforderungen zum Tragen, bei denen es um Data in
Motion geht. Hier geht es um immensen Datenmengen,
Real-time-Verarbeitung und -Analytics.
Hierbei kommen Streaming-Technologien zum Einsatz,
die es ermöglichen, im Low-Latency-Bereich (im µs
Bereich) auf Daten-Events zu reagieren, diese miteinander
zu korrelieren, zu aggregieren, CEP sowie analytische Operationen
gegen strukturierte, semi- und unstrukturierte
Daten vorzunehmen, z. B.:
• Textdateien, Tabellenkalkulationen, Grafiken, Videound
Audioaufzeichnungen
• E-Mail, Chat und Instant Messaging, Webdatenverkehr,
Blogs und Social Networking-Websites
• Finanztransaktionen, Daten aus dem Kundenservice,
Daten aus polizeilich eingesetzter Suchsoftware, System-
und Anwendungsprotokolle
• Satellitendaten, GPS-Daten, Sensorprotokolle, Daten
aus Kartenlesegeräten und Zugriffsdaten.
Stream-Computing-Plattformen sind von ihrer Eigenschaft
und Struktur her Applikationsserver-Container mit
hoher In-Memory-Compute- und -Analyse-Fähigkeit 234 .
In den Runtime-Containern der Stream-Computing-
Plattform werden Daten über standardisierte Konnektoren
direkt aus dem Netzwerk, über Message Queues,
über direkte Connectivity mit den API-Services der Social
Networks, Anbindungen an Data Warehouses oder auch
durch File Ingestion in die operative Auswertungslogik
eingebracht.
Die immer weiter steigenden Anforderungen an die Auswertung
von Events , die z. B. aus der steigenden Anzahl
von Sensoren (Internet of Things), Mobile Apps sowie GPS-
Informationen und Instrumentierung von Fahrzeugen
und Maschinen stammen, machen es notwendig, diese
Datenvolumina in Echtzeit zu analysieren und nur solche
Daten in die Data-Store-Technologien zu übertragen, die
eine zeitlich längere Relevanz oder weitere Verarbeitungsund
Analytics-Funktionen benötigen.
Aus diesem Grunde werden Streaming-Technologien
zum einen als High-Volume Data Ingest Service und zur
Vorverarbeitung zu den Big Data Stores eingesetzt. Zum
anderen ermöglichen sie Real-time-Analysen, wenn im
Einsatz Low-Latency-Anforderungen zu erfüllen sind.
Typische Anwendungsbeispiele bilden:
• Financial Services:
Einsatz im Bereich High Volume Trading, Real-time
Trade Monitoring und Fraud Detection.
• Telekommunikation:
Einsatz im Bereich Real-time Call Detail Record Auswertung
mit Mobile Advertisement, Fraud Detection,
dynamische Netzwerk-Optimierung.
• Security:
Einsatz im Bereich Real-time Video/Audio
Überwachung
Ergebnisdaten, die zur Speicherung oder Weiterverarbeitung
anstehen, werden über Standard-Konnektoren
und Adapter in Richtung Enterprise Service Bus, Data
Warehouse oder in ein Filesystem geschrieben.
Die Streaming Runtime Container selbst enthalten keine
eigenen Persistenz-Layer über ihre In-Memory Speicherbereiche
hinaus.
An dieser Stelle sollen die operationalen Implikationen
und Themenstellungen beispielhaft für die IBM InfoSphere
Streams-Plattform dargestellt werden, um die
wesentlichen Optionen und Randbedingungen für den
Einsatz einer Real-time- Analytics-Plattform zu skizzieren.
234
z. B. durch Einsatz von Text Analytics, statistischen Analysen, R-basierter Analytics und Operatoren zum Parsen, Filtern und Aggregieren von Daten
161