Verteilte Auswertung von RDF-Graphen mit MapReduce und ...

2.3 Apache Cassandra
auf die Daten zu, die ihm lokal zur Verfügung stehen. Dadurch werden weniger Daten
über das Netzwerk ausgetauscht und im Idealfall haben alle Knoten die gleiche
Größe an Daten zu verarbeiten.
Damit dies möglich ist, müssen die Anwendungen dem Map-Reduce-Paradigma folgen.
Das Paradigma besagt, dass jedes Programm, ein sogenannter Job, aus einer
Map- und einer Reduce-Phase besteht. Ein Knoten verarbeitet zunächst mehrere
Map-Tasks, die eine Teilmenge der Daten (Inputsplits) als Eingabe erhalten. Die
Inputsplits sind lokal auf dem Knoten gespeichert. Eine Eingabe besteht immer aus
einem Schlüssel und einem Wert, ebenso die Ausgabe der Mapper (MapInputKey,
MapInputValue, MapOutputKey und MapOutputValue). Nach der Map-Phase werden
die Daten anhand des MapOutputKey sortiert und zusammengefasst. Sie werden
dann an Reduce-Tasks, die auf anderen Knoten laufen können, geschickt. Ein
Reduce-Task erhält einen Schlüssel (ReduceInputKey) und eine Menge von Werten
(ReduceInputValues) als Eingabe. Die Ausgabe der Reducer ist ebenfalls ein
Schlüssel und ein zugehöriger Wert. Das Format des ReduceInputKey ist identisch
mit dem Format des MapOutputKey. Die Eingabewerte sind die Werte, die sortiert
und zusammengefasst worden sind, und den gleichen MapOutputKey haben. Es ist
also gewährleistet, dass allen Reduce-Tasks jeweils alle diejenigen Werte zur Verfügung
stehen, die mit dem gleichen MapOutputKey versehen worden sind. Schließlich
werden nach der Verarbeitung in der Reduce-Phase ReduceOutputKey und ReduceOutputValue
auf das HDFS geschrieben. Abb. 2.2 visualisiert den Workflow einer
MapReduce-Anwendung[9, 10].
Setzt man die Anzahl der Reduce-Tasks auf null, so erfolgt weder eine Sortierung
noch eine weitere Verarbeitung durch den Reducer. Die Ergebnisse der Map-Phase
werden direkt in das HDFS geschrieben. Das bedeutet, dass auch kein Austausch
der Daten über das Netzwerk erfolgt, wie es beim Sortieren und Zusammenfassen
vor der Reduce-Phase der Fall wäre.
2.3 Apache Cassandra
Klassiche SQL-Datenbanken haben sich in allen Bereichen der Informatik fest etabliert.
Wachsende Datenmengen erfordern jedoch eine Möglichkeit der Skalierung bei
der Analyse der Daten. Um dieser Nachfrage gerecht zu werden, entstanden die sogenannten
NoSQL-Datenbanken („not only SQL“ oder „no SQL“). Eine Gemeinsam-
11