w26M2

input_lines = LOAD ‚/tmp/my-copy-of-all-pages-on-internet‘ AS (line:chararray);
words = FOREACH input_lines GENERATE FLATTEN(TOKENIZE(line)) AS word;
filtered_words = FILTER words BY word MATCHES ‚\\w+‘;
word_groups = GROUP filtered_words BY word;
word_count = FOREACH word_groups GENERATE COUNT(filtered_words) AS count, group AS word;
ordered_word_count = ORDER word_count BY count DESC;
STORE ordered_word_count INTO ‚/tmp/number-of-words-on-internet‘;
Abbildung 11: Pig-Latin-Illustration – Umsetzung des legendären Hadoop Wordcount-Beispiels
geladen (LOAD), es werden Token und dann »richtige«
Worte gebildet (TOKENIZE und FILTER), identische Worte
werden zu Gruppen zusammengefasst und dann gezählt
(GROUP und GENERATE COUNT) und schließlich werden
die Worte nach der Häufigkeit des Vorkommens angeordnet
(ORDER BY), sowie das Ergebnis in eine Datei geschrieben.
Pig Latin-Skripte erinnern in ihrer Ausführlichkeit an
die Formulierung in einer Pseudocode-Sprache. Die Verwendung
von SQL-Sprachelementen erhöht die Lesbarkeit
weiter. In Pig sind typische Datenflussoperationen, wie
Join, Sort, Filter verfügbar – zusätzlich lassen sich Bibliotheken
und benutzerdefinierte Funktionen einbinden.
Die Produktivität, die beim Einsatz von Pig erreicht
werden kann, ist naturgemäß davon abhängig, ob es Mitarbeiter
gibt, die sich bereits gut mit Hadoop auskennen
und die Pig Latin-Programmierung beherrschen. Trotz der
Einfachheit dieser Spezialsprache bleibt die Gestaltung
von Datentransformations-Prozessen hier eben eine Programmieraufgabe,
die zudem in einer (derzeit noch) recht
kargen Entwicklungsumgebung ausgeführt werden muss.
Es stellen sich also die üblichen Fragen nach Lernaufwand,
Codewartung und Dokumentation.
Hive als deklaratives Hadoop »Data Warehouse«
Einen ausreichend großen Hadoop-Cluster vorausgesetzt,
können Pig-Jobs im Brute-Force-Stil große Datenmengen
prinzipiell schnell verarbeiten. Pig führt dabei nur
einfache regelbasierte Optimierungen des Datenflusses
durch. Der Anwender ist im Wesentlichen selbst dafür
verantwortlich, eine sinnvolle Verarbeitungsreihenfolge
vorzugeben. In einem Hadoop-Cluster mit mehreren
hundert Knoten wird das keine Rolle spielen. In einem
Zehn-Knoten-Cluster kann ein ungünstig formuliertes Pig
Latin-Skript aber zu frustrierenden Erlebnissen führen.
Flexibilität ist eine ausgesprochene Stärke von Pig. Es
werden zwar Datentypen verwendet, aber es wird nicht
streng typisiert. Pig ist sehr nachsichtig gegenüber
unpassenden Daten und versucht diese bestmöglich zu
interpretieren. Außerdem kennt Pig einige recht allgemeine
Datentypen, die es gestatten, die Daten zunächst
einfach nur zu laden und dann die Struktur der Daten im
Skript nach und nach zu verfeinern.
Hive ist die zweite Hadoop-Technologie, die häufig
im Zusammenhang mit Daten-Integrationsaufgaben
genannt wird. Das Hive-Projekt wurde bei Facebook
gestartet, um Anwendern eine relationale Sichtweise
auf in Hadoop gespeicherte Daten zu ermöglichen. Die
verwendete Abfragesprache HiveQL ist stark an SQL angelehnt,
wenn auch vom Umfang her sehr deutlich reduziert
und spezialisiert. In erster Linie wurde Hive entwickelt, um
Anwendern zu gestatten, mit ihren gewohnten Abfrageund
Business-Intelligence-Werkzeugen Auswertungen in
Hadoop-Datenbeständen durchzuführen. Man spricht von
einem Hive-Warehouse: Daten werden in der traditionellen
Tabellenform präsentiert und können über standardisierte
Datenbank-Schnittstellen, wie ODBC oder JDBC
abgefragt werden. Aufgrund der teils sehr hohen Latenzzeiten
bei der Ausführung von HiveQL-Abfragen sind die
interaktiven Möglichkeiten allerdings eingeschränkt –
dagegen stellt Hive stellt einen sehr praktischen Weg dar,
Hadoop-Daten in einem traditionellen Data Warehouse
verfügbar zu machen.
50