Konzeption und Implementierung eines ... - Stephan, Daniel

7. Dynamisches Modell
Ohne im Klassenmodell zu stark in die Tiefe zu gehen, soll hier der Ablauf dar-
gelegt werden. Ziel dieses Kapitels soll es sein zu zeigen, welche Komponenten
welche Algorithmen ausführen. Die nun folgenden Abschnitte sind entsprechend
des Ablaufes vom Rohdokument bis hin zum fertig benannten Cluster sortiert.
7.1. Stoppworte finden
Zunächst wird die Textmenge einmal auf der Suche nach Stoppworten durch-
laufen. Dabei werden alle Begriffe so gezählt, dass ein Begriff pro Dokument
nur einmal gezählt wird. Denn es ist hier vor allem interessant, in wievielen
Dokumenten die Begriffe jeweils vorkommen. Wie oft sie in den Dokumenten
vorkommen ist nicht relevant.
Abbildung 7.1 zeigt die erzielte Wortverteilung im Reuters Korpus. Die Be-
griffe wurden nach ihrer Häufigkeit sortiert, so dass eine Kurve sichtbar wird.
Man kann sehen, dass die allergrößte Menge an Begriffen sehr selten vorkommt.
Man kann auch sehen, dass ein paar wenige Begriffe extrem häufig vorkommen,
in anderen Worten sieht man die Kurve nach langer Flaute sehr stark hoch-
schnellen, so dass kaum noch eine Kurve zu erkennen ist, sondern das Gebilde
eher nach einem leeren Graph mit etwas Schmutz in der rechten unteren Ecke
aussieht. (Übrigens: Der am häufigsten auftretende Begriff ist hier ” the“.)
Diese Form der Kurve ließ sich für eine einfache Abschätzung von Stoppwor-
ten nutzen. Zunächst markiert der Algorithmus alle Worte als Stoppwort, die
nur ein oder zwei Mal auftreten, da diese offenbar keine Aussagekraft in Bezug
auf die Gemeinsamkeiten von Dokumenten besitzen, die im späteren Clustering
relevant werden. Dann, um auch die häufigsten Worte als Stoppwort zu deklarie-
ren, wird die Steigung der Kurve ermittelt. Zusammen mit einem definierbaren
Schwellenwert (ein Wert von 2.0 erschien nach einigen Experimenten als sinn-
voll) lassen sich dann alle Worte, die rechts von dem durch den Schwellenwert
gekennzeichnetet Begriff liegen, als Stoppwort deklarieren. Um kurzfristige Aus-