Verteilte Auswertung von RDF-Graphen mit MapReduce und ...

4.2 Auswerten der Anfragen
Abb. 4.3 veranschaulicht diesen Sachverhalt in einem Cluster mit 9 Knoten. 8 der 9
Knoten sind nach wenigen Sekunden fertig, während der letzte Knoten sehr lange
rechnet. Der Kreis in der Grafik verdeutlicht, dass der 9. Map-Task noch nicht
fertiggestellt worden ist. Bei der Auswertung der Anfrage Q3A auf 25 Millionen
Tripel dauerte der Verbund 39 Minuten, da eine Teilung des Rechenaufwands nicht
stattfand.
Beim Zugriff auf Cassandra wird die Spaltenfamilie so gewählt, dass der Zeilenschlüssel
festgelegt werden kann. Ändert man das Verfahren so ab, dass der Zeilenschlüssel
nicht festgelegt wird und somit eine andere Spaltenfamilie festgelegt wird, werden alle
Knoten am Verbund beteiligt. Bei dem obigen Beispiel wird auf die Spaltenfamilie
„OSP“ zugegriffen. Es wird ein SlicePredicate mit dem Namen „ex:Thomas“ festgelegt
und außerdem ein Subspaltenname „ex:userknows“. Es wird auf allen Knoten
über alle Objekte iteriert.
Abbildung 4.4: Zustand der Mapper nach der Optimierung (Bildschirmaufnahme)
Abb. 4.4 zeigt den Zustand der Mapper wenige Sekunden nach Programmstart und
illustriert die Optimierung. Alle Knoten führen Map-Tasks aus, deren Anzahl kann
außerdem vom ColumnFamilyInputFormat erhöht werden (von 9 auf 117). Die Ausführung
verbesserte sich durch diese Optimierung bei 25 Millionen Tripeln von 39 auf
2 Minuten. Für die acht möglichen Tripelmuster ergeben sich die Spaltenfamilien,
die in Tab. 4.1 aufgeführt sind.
Enthält ein Tripelmuster zwei Variablen, werden diese auf den Zeilenschlüssel und
Subspaltenname abgebildet, um ein Slicepredicate definieren zu können. Sonst würden
alle Subspalten geladen werden und anschließend gefiltert. Dies liegt daran, dass
es kein SubSlicepredicate gibt. Es ist daher unvorteilhafter einen Zeilenschlüssel und
31