Konzeption und Implementierung eines ... - Stephan, Daniel

7.3. MATRIX BERECHNUNGEN 88
Beispiel nicht ungewöhnlich, 10.000 verschiedene Begriffe verwalten zu müssen,
während in den einzelnen Texten vielleicht nur jeweils 100 Worte vorkommen,
von denen sich sogar einige wiederholen. 9.900 Zellen wären bei dieser Annahme
auf 0, und das pro Dokument.
Rechnet man die Dokumente des ISL (>80.000) auf die zu erwartende Größe
der Matrix um, so bekommt man bei 20.000 Begriffen und 80.000 Dokumenten,
sowie 8 Bytes pro Zelle (es werden double Werte gespeichert, um die Häufig-
keitswerte mit double Gewichten multiplizieren zu können, so dass das Ergebnis
eine gewisse Genauigkeit behält) eine Datenmenge von 12.800.000.000 Bytes.
Diese Zahl sollte Motivation genug sein, die Größe zu beschränken. Die Ma-
trix wird deshalb in einer Baumstruktur abgelegt, die der von Javas TreeMap
entspricht. (Dessen Source wurde kopiert und leicht angepasst, sie wurde auf
die Datentypen long als Schlüssel und double als Wert beschränkt und opti-
miert.) Die TreeMap verwendet einen sogenannten Rot-Schwarz-Baum, dessen
Laufzeitcharakteristik für die wesentlichen Operationen O(log(n)) entspricht.
Sie legt die Daten so unter Schlüsselwerten ab, dass sie nach deren natürlicher
Ordnung sortiert sind. Der Schlüssel repräsentiert die Koordinate der Matrix,
dessen Werte gespeichert werden sollen. Er wird aus Zeilenindex + X * Spalten-
index berechnet und ist somit bis zu einer Menge von X Dokumenten eindeutig
bestimmt (die Dokumente entsprechen den Spalten). Das X darf mit dem maxi-
malen Spaltenindex multipliziert nicht über den Wertebereich von long hinaus.
Also muss X auf jeden Fall ein positiver Integer sein. Das dürfte jedoch kaum ei-
ne echte Einschränkung darstellen, schließlich ergibt das eine maximale Spalten
und Zeilenzahl von jeweils 2 hoch 31.
Nachdem diese Matrix fertig aufgebaut ist, wird sie durchlaufen und die ver-
zeichneten Werte jeweils mit Gewichten (TF-IDF, siehe Abschnitt 5.3.3 (Seite
59)) multipliziert.
Danach wiederum wird sie im Harwell-Boeing Format [DGL89] auf Platte
abgelegt, denn die integrierte LSI-Komponente GTP 2 benötigt eine Datei in
diesem Format als Eingabe. GTP liest daraufhin die Matrix ein und führt einen
SVD Algorithmus aus, der drei Matrizen ergibt, die wie in Abschnitt 5.3.4 (Seite
62) beschrieben zusammen die Ursprungsmatrix approximieren. Die Ergebnisse
schreibt GTP wiederum in eine Datei, die nun umgekehrt wieder eingelesen
werden muss. Die Ergebnisse landen in einem dafür erstellten Objekt namens
SvdResult, dieses Objekt implementiert die nötigen Funktionen, wie Begriffe
2 WWW Adresse: http://www.cs.utk.edu/ ∼ lsi/