Verteilte Auswertung von RDF-Graphen mit MapReduce und ...

7 Zusammenfassung
Die vorliegende Arbeit untersuchte, ob eine effiziente Speicherung und Auswertung
von RDF-Daten mit der Kombination aus dem quelloffenen Apache Hadoop Framework
und und der NoSQL-Datenbank Apache Cassandra möglich ist. Das hierfür
entwickelte System ermöglicht die Speicherung von RDF-Daten, sowie die Auswertung
von SPARQL Basic Graph Pattern-Anfragen auf diesen Daten.
Um einen schnellen Zugriff auf die gewünschten RDF-Daten zu erhalten, werden die
RDF-Daten dreimal in verschiedene Spaltenfamilien abgespeichert. Bei der Auswertung
wird die Anfrage zunächst in Tripelmuster unterteilt. Anschließend wird eine
Sequenz von MapReduce-Jobs erzeugt, die Verbünde zwischen den Tripelmustern
berechnen. Der Verbund selbst ist ein Map-Side-Join, bei dem die Daten während
der Map-Phase für jedes Tripel dynamisch geladen und verbunden werden. Die Zwischenergebnisse
und das Endergebnis werden auf das verteilte Dateisystem HDFS
geschrieben.
Die Evaluation der Anwendung mit dem SPARQL-Benchmark SP 2 Bench zeigte einerseits
vielversprechende Laufzeiten der Anwendung auf größeren Datensätze, andererseits
Probleme bei der Ausführung auf dem Cluster.
Zusammenfassend kann die Implementierung als „Proof-of-Concept“ betrachtet werden,
dessen Erkenntnisse bei der Implementierung als Grundlage weiterer Projekte
in diesem Bereich dienen können.
7.1 Ausblick
Über die Implementierung der Anwendung und der vorliegenden Arbeit hinausgehend
sollten verschiedene Einstellungen bei der Konfiguration von Hadoop und Cassandra
betrachtet werden. Insbesondere der parallele Einsatz im Rechner-Cluster
45