Semantisches Clustering durch ein web-mining-basiertes Verfahren ...

P(y) = Wahrscheinlich das y auftaucht
2 Grundlagen
[Church und Hanks, 1989] berechneten die Wahrscheinlichkeiten der Wörter anhand
der Häufigkeit des Auftretens bzw. gemeinsamen Auftretens und normalisierten diese
Werte mithilfe der Korpusgröße. Dadurch ergibt sich folgende Formel zur Berechnung
der Assoziationsstärke (vgl. [Heyer et al., 2006], S. 213) :
es gilt:
k ∗ kij
sigMI(ti, tj) = log2 ki ∗ kj
k = Korpusgröße (Anzahl der Sätze insgesamt)
kij = Anzahl der Sätze, in denen die Wörter ti und tj gemeinsam vorkommen
ki = Anzahl der Sätze, in denen ti vorkommt
kj = Anzahl der Sätze, in denen tj vorkommt
(2.2)
Ein Problem dieser Formel ist, dass seltene Ereignisse gegenüber Häufigen bevorzugt
werden [Dunning, 1993], was im folgenden Beispiel näher erläutert wird: Angenommen
zwei Wörter treten nur gemeinsam auf und das insgesamt in 10 Sätzen. So wäre
H(i) = H(j) = H(i, j) = 10. Weiterhin nehmen wir an, dass die Korpusgröße 1000
Sätze beträgt. Die berechnete Assoziationsstärke wäre somit 1000∗10
10∗10 = 100. Nun
nehmen wir an, die beiden Wörter kommen in 100 Sätzen gemeinsam vor. So wäre
H(i) = H(j) = H(i, j) = 100 und die Assoziationsstärke nur noch 1000∗100
100∗100
= 10.
Dieses bedeutet, dass die berechnete Assoziationsstärke um das 10-fache schwächer
bewertet wurde als die Vorherige, obwohl das Verhältnis der Häufigkeiten untereinander
gleich geblieben ist.
2.2.2 Log-Likelihood-Ratio Test
Ein Problem bei den vorhergenannten Assoziationsmaßen, wie Mutual Information
oder dem chi-Quadrat-Test, ist es die Signifikanz seltener Ereignisse korrekt zu
erfassen. Bei diesen Maßen werden seltene Ereignisse gegenüber Häufigen bevorzugt
[Dunning, 1993]. Zur Lösung dieses Problems schlug [Dunning, 1993] den Log-
Likelihood-Ratio Test als Assoziationsmaß vor. Hierbei handelt es sich um einen
statistischen Signifikanztest, der sich wie folgt berechnen lässt [Heyer et al., 2006]:
sigLLR(ti, tj) = k ∗ log 2(k) − ki ∗ log 2(ki) − kj ∗ log 2(kj)
+ kij ∗ log 2(kij) + (k − ki − kj + kij) ∗ log 2(k − ki − kj + kij)
+ (ki − kij) ∗ log 2(ki − kij) + (kj − kij) ∗ log 2(kj − kij)
− (k − ki) ∗ log 2(k − ki) − (k − kj) ∗ log 2(k − kj)
5
(2.3)