Verteilte Auswertung von RDF-Graphen mit MapReduce und ...

4 Implementierung und
Optimierungen
Insgesamt wurden zwei Anwendungen implementiert. Die erste Anwendung dient
zum Speichern von RDF-Daten in Cassandra. Sie erhält eine im N3-Format vorliegende
RDF-Datei als Eingabe und speichert die Daten in die drei Spaltenfamilien
„SPO“, „POS“ und „OSP“ (siehe Kap. 3.1). Der Benutzer kann den Keyspace festlegen,
sowie die Anzahl der Tripel, die pro Batch in die Datenbank geschrieben werden,
um die Schreibgeschwindigkeit zu regulieren. Die Anwendung wird auf einem Knoten
des Clusters geladen und dort ausgeführt.
Die zweite Anwendung, die der Auswertung der SPARQL-BGP Anfragen dient, wird
mit Hadoop gestartet und läuft verteilt auf dem Cluster. Als Eingabe erhält das
Programm die Anfrage, sowie den Namen des Keyspace, auf dem die Auswertung
durchgeführt werden soll. Die Ausgabe erfolgt auf dem HDFS. Abb. 4.1 zeigt die
Systemarchitektur. Links ist die Anwendung zur Auswertung der SPARQL-BGP-
Anfragen zu sehen, während rechts das Einleseprogramm dargestellt wird.
Beide Anwendungen wurden in der Programmiersprache Java implementiert. Der
Hector Client 1 ermöglicht den Zugriff auf Cassandra in Java-Programmen und wird
in beiden Anwendungen verwendet. Das selbsternannte Ziel von Hector ist es, dem
Entwickler Funktionen zur Verfügung zu stellen, um einfacher auf Cassandra zuzugreifen.
Dabei greift der Client selbst per Thrift-API auf Cassandra zu und ist somit
ein Wrapper dieser Funktionen. Die MapReduce-Jobs greifen per ColumnFamilyInputFormat
und Hector-Client auf die Datenbank zu. Das ColumnFamilyInputFormat
wird vom Cassandra-Projekt zur Verfügung gestellt, um Daten aus Cassandra mit
MapReduce zu verarbeiten.
1 http://prettyprint.me/2010/02/23/hector-a-java-cassandra-client/
25