w26M2

Big-Data-Technologien – Wissen für Entscheider
Obwohl es nicht die ursprüngliche Aufgabenstellung
von Hive war, hat es doch als Werkzeug für ETL-Aufgaben
Popularität erlangt. Das hat verschiedene Gründe:
• Für das Erschließen spezieller Datenformate, wie
JSON, lassen sich in Hive spezielle Storagehandler und
Serializer/Deserialisierer verwenden.
• Es gibt außerdem eine Menge eingebauter HiveQL-
Funktionen, die für die Datenanalyse eingesetzt
werden können.
Für jemanden, der sich schon einmal mit SQL beschäftigt
hat, ist dieses Skript sofort verständlich.
Die Herausforderung beim Einsatz von Hive für ETL-
Aufgaben besteht in der Regel in der Überführung der
Eingangsdaten in Tabellenform. Ist dies mit Hive-Mitteln
nicht möglich, so muss eventuell noch ein Pig-Skript
vorgeschaltet werden. Sobald sich die Daten aber in
der regulären Form einer Hive-Tabelle befinden, dann
ist die Formulierung von ETL-Jobs eine überschaubare
Aufgabenstellung.
• Der wichtigste Grund für die Verwendung von Hive
für Datenintegrationsjobs ist sicherlich im Verbreitungsgrad
begründet, den SQL in der Datenbankwelt
genießt.
HiveQL vereinfacht den Umstieg auf Hadoop, und viele
ETL-Aufgaben lassen sich durch SQL-Ausdrücke einfach
lösen. Ein kurzes HiveQL-Beispiel dient der Illustration (vgl.
Abbildung 12):
Die Vor- und Nachteile bei der Arbeit mit Hive ähneln
denen mit Pig: Nach der automatischen Übersetzung von
HiveQL in MapReduce-Jobs können sehr große Datenmengen
verarbeitet werden; Hive ist einigermaßen tolerant
gegenüber varianten Schemata (wenn auch nicht so
flexibel wie Pig) und die HiveQL-Sprache erschließt sich
schnell.
Die Nachteile der Formulierung von Transformations-Prozessen
in Skriptform sind bei Hive noch etwas spürbarer
als bei Pig, da die Verarbeitungs-Pipelines komplexerer
CREATE TABLE logdata(
logdate string,
logtime string,
…
cs_Referrer string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‚ ‚;
LOAD DATA INPATH ‚/w3c/input/‘ OVERWRITE INTO TABLE logdata;
SELECT
logdate, c_ip, COUNT(c_ip)
FROM
WordsInTexts
GROUP BY
logdate
ORDER BY
logdate, COUNT(c_ip)
LIMIT 100
Abbildung 12: Illustrationsbeispiel für HiveQL
51