Konzeption und Implementierung eines ... - Stephan, Daniel

7.2. TERM-DOKUMENT-MATRIX ERSTELLEN 86
on ebenso wie ion Suffixe des Wortes Information. Somit gibt es für das Wort
Information genau elf unterschiedliche Suffixe, eins für jeden Buchstaben. Wie
von Zhang et al. dargestellt, werden zwei Suffix-Arrays benötigt - eines nor-
mal von links nach rechts (Information, nformation, formation, . . . ), und eines
genau umgekehrt von rechts nach links (Information, Informatio, Informati,
. . . ; dieses könnte wohl passender Prefix-Array genannt werden). Beide Arrays
werden sortiert (das Suffix-Array normal und das Prefix-Array umgekehrt von
rechts nach links), so dass die mehrfachen Vorkommen gleicher Wortfolgen in
der durch die Sortierung hergestellten Ordnung direkt nacheinander stehen und
somit leicht erkannt werden.
Der PhraseDetector und der SentenceDetector sind jeweils Producer.
Ein Producer erzeugt Objekte, in diesen Fällen eben Phrase oder
SentencesAndPhrases Objekte. Die verschiedenen Producer sind zusammen
mit dem Tokenizer in Reihe geschaltet. Dieser steht am Anfang der Ket-
te und bildet die Schnittstelle zum Lexer. Er ermöglicht es, über die er-
kannten Token eines Dokumentes zu iterieren und implementiert dazu die
Iterator und Iterable Interfaces. Diese gehören zum Standardumfang der
Java-Klassenbibliothek und stellen somit die übliche Art und Weise dar, wie in
Java über Datenmengen iteriert wird.
Der SentenceProducer nutzt den Tokenizer, um über die Token zu iterieren,
und erzeugt eine Reihe von Sentence Objekten. Der PhraseDetector, nach
Tokenizer und SentenceDetector das Dritte Objekt in der Kette, ruft die
Sentences vom SentenceDetector ab, indem er dessen produce() Methode
mehrfach aufruft.
Nach diesem Vorgang werden die gesammelten Token mit dem Snowball-
Stemmer 1 auf ihre Stammform zurückgeführt. Dadurch werden beispielsweise
die ähnlichen Worte ” laufen“ und ” läuft“ auf die gleiche Buchstabenfolge re-
duziert, so dass sie in der später aufgebauten Tabelle dieselbe Stelle besetzen.
Dieses ist ein übliches Vorgehen bei solchen und ähnlichen Textklassifizierungs-
aufgaben. Damit die ursprünglichen Begriffe nicht verloren gehen, wird ein Ver-
zeichnis angelegt, das für jedes ” gestemte“ Wort die dazugehörigen ursprüngli-
chen Begriffe enthält. Dieses wird später für die Benennung wichtig.
Danach wiederum werden die Token mit einer Liste von Stoppworten (sie-
he Abschnitt 7.1) verglichen. Alle Token, die in dieser Liste wiedergefunden
werden, werden an dieser Stelle fallen gelassen und tauchen somit in späteren
1 WWW Adresse: http://snowball.tartarus.org