w26M2

Big-Data-Technologien – Wissen für Entscheider
in die Wertschöpfungskette der Unternehmen integriert.
Deshalb sind Analyse-Verfahren für Data in Motion
zwingend erforderlich. Hier setzen sich Streaming- und
Real-time Analytics-Verfahren durch.
Einsatz von Streaming-Technologie
ermitteln und daraus Business-relevante Rückschlüsse
z. B. in Echtzeit-Visualisierungs-Dashboards den Business-
Bereichen zur Verfügung zu stellen.
Sensoren liefern Big Data – Hadoop ermittelt
ihren Wert
Beim Streaming werden lang laufende, kontinuierliche
Abfragen bzw. Analysen auf Datenströmen aus der Produktion
anstelle von einmaligen Abfragen und Analysen
auf gespeicherten Datensätzen durchgeführt. Viele
Sensordaten stehen im Kontext von aktuellen Situationen,
haben eine Unschärfe aufgrund Ihres zeitlichen und
technischen Entstehens und müssen zeitnah in Korrelation
mit anderen Informationen gebracht werden, um die
Wertschöpfung aus Unternehmenssicht abzubilden.
Die durch die Sensorik in M2M-Applikationen erzeugten
Events müssen nicht alle persistiert werden. Vielmehr
ist im Bereich der Big-Data-Plattformen die Filterung
von relevanten Events und korrelierten Informationen
zur Weiterverarbeitung und Speicherung ein wichtiges
Element der Beherrschbarkeit großer Datenmengen
geworden.
Zwei Probleme schränken derzeit die Nutzung von
Sensordaten ein:
• ihr Umfang und
• ihre Struktur.
Hadoop ist in der Lage, diese Probleme zu lösen.
Sensoren messen und übertragen kleine Datenmengen
effizient, allerdings sind sie immer in Betrieb. Mit
zunehmender Anzahl an Sensoren und im Verlauf der
Zeit können sich die Bytes oder Kilobytes von jedem
Sensor schnell zu Petabytes anhäufen. Mit traditionellen
Datenspeicher-Plattformen stellt ein solcher Datenstrom
ein Problem dar. Die Kosten zur Speicherung der Daten
können ein Unternehmen veranlassen, entweder die
Sammlung von Daten einzuschränken 159 oder deren Speicherung
zu begrenzen 160 .
Der Einsatz von Streaming-Technologien kann den TCO
einer Big-Data-Lösung signifikant reduzieren, da nur relevante
Daten in den Data-Stores weitergeroutet, gespeichert
und prozessiert werden müssen.
Hadoop bietet eine effizientere und kostengünstigere
Speicherung dieser Daten. Dank Hadoop verwandeln sich
große Mengen an Sensordaten von einem Problem zu
einem Vermögenswert.
Des Weiteren geht es darum, aus den Datenströmen in
Real-Zeit (low latency) durch Analytische Funktionen und
CEP-Prinzipien direkte Auslöser für unternehmensrelevante
Events und Prozessverarbeitungen zu entdecken
und zu verarbeiten.
Streaming Technologien wie Storm, InfoSphere Streams
oder z. B. GemFire erlauben es, aus den hochvolumigen
Event-Datenströmen direkt unscharfe Events (Veracity)
auszufiltern, relevante Datenkontexte analytisch zu
Sensordaten sind zudem zum Zeitpunkt ihrer Erhebung in
der Regel unstrukturiert und werden durch einen mechanischen,
sich wiederholenden Prozess generiert.
Apache Hive kann die Sensordaten in Übereinstimmung
mit ihren Metadaten 161 umwandeln. Die Daten werden
dann in HCatalog in einem geläufigeren Tabellenformat
präsentiert, auch wenn die zugrunde liegenden Daten
noch in ihrem ursprünglichen Format in HDFS vorhanden
sind.
159
durch Einschränkung der Anzahl der Sensoren
160
durch Löschen von Daten über einer bestimmten Menge oder nach einem bestimmten Zeitraum
161
z. B. Zeit, Datum, Temperatur, Druck oder Neigung
111