Konzeption und Implementierung eines ... - Stephan, Daniel

7.2. TERM-DOKUMENT-MATRIX ERSTELLEN 84
Häufigkeit
160000
140000
120000
100000
80000
60000
40000
20000
0
1 1392 2783 4174 5565 6956 8347 9738 11129 12520 13911 15302 16693 18084 19475 20866 22257 23648 25039 26430 27821
Term Nr
Abbildung 7.1.: Wort Häufigkeiten
reißer zu ignorieren und somit nicht zu früh einzuschreiten, werden jeweils drei
Steigungswerte gemittelt.
Sodann hat man eine Liste von Stoppworten, die in der Datenbank abgelegt
werden.
7.2. Term-Dokument-Matrix erstellen
Die später zu clusternden Texte werden zunächst vorbereitet. Die verfügbaren
Daten bestehen bekanntlich aus den Liste von Deskriptoren und Sachgebieten
und freien Begriffen, sowie aus den Kurzreferaten, die zu jedem Dokument ver-
fasst werden. Während die Listen bereits in der gewünschten Form vorliegen,
so dass jeweils ein Begriff ein Feature darstellt, muss der Text erst in seine
Bestandteile aufgebrochen werden.
Dies funktioniert folgendermaßen, dass jedes Dokument einzeln zunächst durch
einen Lexer läuft, der anhand der Interpunktionszeichen im Text selbigen in ein-
zelne Token aufteilt. Der Lexer ist in der Lage, E-Mails und WWW Adressen
zu erkennen und als eigenständige Token zu behandeln.
Die Token laufen danach durch einen SentenceDetector. Dies ist ein Ob-
jekt, welches Beginn und Ende von Sätzen anhand einer einfachen Abschätzung
(die zwar oft zutrifft, aber manchmal irrt) zu erkennen vermag. Derzeit wer-