Semantisches Clustering durch ein web-mining-basiertes Verfahren ...

3 Das Verfahren
da diese ebenfalls den NEAR-Operator bereitstellt. Zusätzlich werden Häufigkeiten
aus dem »Digitalen Wörterbuch der deutschen Sprache« (DWDS) bezogen, um die
Ergebnisse mit einem festen und balancierten Textkorpus vergleichen zu können.
Durch die Suche bei Google und Bing werden Häufigkeiten von Dokument-
Kookkurrenzen geliefert; also die Anzahl an gefundenen Dokumenten in denen
die gesuchten Wörter gemeinsam vorkommen. Die von Altavista und Exalead
gelieferten Trefferanzahlen ergeben die Häufigkeiten von fensterbasierten Dokumentkookkurrenzen,
da der NEAR-Operator verwendet wird und somit die
Wörter in einem bestimmten Abstand im Dokument vorkommen müssen. Die
Fenstergröße wurde hierbei, bedingt durch die feste Vorgabe von Altavista, bei
beiden Suchmaschinen auf 10 festgelegt.
Beim DWDS bedeuten die Trefferanzahlen Häufigkeiten von fensterbasierten
Kookkurrenzen im Korpus, wobei hier der Abstand auch auf 10 festgelegt wurde,
um einen besseren Vergleich mit den Suchmaschinen zu haben.
Abschätzen der Webgröße
Da die Assoziationsmaße Log-Likelihood und Mutual Information die Korpusgröße
für die Berechnung benötigen, musste die Webgröße abgeschätzt werden. Dazu
lieferten die Trefferzahlen der häufigsten deutschen Wörter (der, die, das, und,
oder. . . ) einen Richtwert. Die Trefferzahlen lagen je nach Suchmaschine zwischen 1
- 1,5 Mrd deutscher Webseiten. Daher wurde die Webgröße auf 3 Mrd abgeschätzt,
um eine hinreichende Größe zu wählen.
3.3 Berechnungs-Komponente
In dieser Komponente findet die Berechnung der Assoziationsstärke zwischen den
Wörtern statt. Anschließend wird, anhand der Assoziationstärken die semantische
Ähnlichkeit der Begriffe berechnet.
Zur Berechnung der Assoziationsstärke werden verschiedene Assoziationsmaße, die
später miteinander verglichen werden, verwendet. Ausgewählt wurden die Maße
Mutual Information und Log-Likelihood, da sie weit verbreitet sind und häufig in
der Literatur erwähnt werden. Zudem wird ein weniger bekanntes Assoziationsmaß,
das sich nach den psychologischen Lerngesetzen rechtfertigen lässt, verwendet, da es
eine psychologische Grundlage der Assoziationsberechnung bietet. Zur Verwendung
in diesem Verfahren musste diese psychologische Assoziationsformel angepasst
werden, da sie asymmetrische Assoziationstärken lieferte.
Symmetrie der Assoziationsstärke
Die Assoziationsstärke stellt die Stärke der assoziativen Verbindung zweier Begriffen
dar und ist daher symmetrisch. Zudem würde eine differenzierte Berechnung
der beiden Assoziationsrichtungen (Hund −→ Katze, Katze −→ Hund) in diesem
Verfahren kein Vorteil bringen, da nur die höchsten Assoziationstärken bei der
13