Semantisches Clustering durch ein web-mining-basiertes Verfahren ...

es gilt:
2 Grundlagen
k = Korpusgröße (Anzahl der Sätze insgesamt)
kij = Anzahl der Sätze, in denen die Wörter ti und tj gemeinsam vorkommen
ki = Anzahl der Sätze, in denen ti vorkommt
kj = Anzahl der Sätze, in denen tj vorkommt
Der Log-Likelihood-Ratio Test ist besonders in der Korpuslinguistik beliebt, da
er Ereignisse mit geringer Häufigkeit ebenso bei der Gewichtung berücksichtigt,
wie das häufige Auftreten von Ereignissen. Dies ist besonders bei niedrigen
Korpushäufigkeiten, auch »sparse-data-problem« genannt, von großer Bedeutung,
da hier ein besserer Vergleich der Signifikanz zwischen häufigen und seltenen Wörtern
ermöglicht wird (vgl. [Manning und Schütze, 1999]).
2.2.3 Assoziationsmaß nach psychologischen Lerngesetzen
[Wettler et al., 1993] stellten eine Formel zur Berechnung von freien Assoziationen
vor, die sich nach den psychologischen Lerngesetzen rechtfertigen ließ.
Durch diese Formel konnten »sich bei Versuchspersonen gefundenen freien Wortassoziationen
allein auf der Grundlage des Assoziationsgesetzes in guter Näherung
vorhersagen lassen« [Rapp, 1996].
Diese psychologische Assoziationsformel wurde wie folgt definiert
[Wettler et al., 1993]:
es gilt:
Ãi,j = H(i&j)
H(j) α
Ãi,j = Assoziationsstärke zwischen den Wörtern i und j
H(i&j) = Häufigkeit des gemeinsamen Auftretens der Wörter i und j
H(j) = Häufigkeit des Wortes j
(2.4)
Der Parameter α wurde von [Rapp, 1996] auf 0,68 festgelegt, da hier die
besten Ergebnisse erzielt wurden.
Eines der Schwächen dieser Formel ist, das Schätzfehler bei seltenen Wörtern starke
Auswirkungen auf die berechneten Assoziationsstärken haben, da H(j) im Nenner
steht [Rapp, 1996].
Insgesamt zeigt sich, das sich die Assoziationsstärken auf unterschiedliche Weise
berechnen lassen. Die Ergebnisse der berechneten Assoziationsstärken könnten als
eine Begriff-Begriff-Matrix betrachtet werden.
Auf Grundlage dieser Matrix, können Ähnlichkeiten zwischen Begriffsvektoren durch
6