Semantisches Clustering durch ein web-mining-basiertes Verfahren ...

2 Grundlagen
2.2 Berechnung von Assoziationen
Assoziationen können aufgrund statistischer Beziehungen zwischen Wörtern in
Texten berechnet werden. Dies ist aus zwei Gründen möglich: Zum einen, weil
die Assoziationen zwischen Wörtern aufgrund der Häufigkeit ihres gemeinsamen
Auftretens in der Sprache gelernt wurden (siehe 2.1). Zum anderen weil »die Wahrscheinlichkeiten,
dass Wörter in naher zeitlicher Aufeinanderfolge geäußert werden,
von den Assoziationen des Sprechers bzw. des Autors abhängen« [Wettler, 2004].
Das gemeinsame Auftreten von Wörtern in Texten wird Kookkurrenz genannt.
[Heyer et al., 2006] definierte Kookkurrenz wie folgt: »das gemeinsame Auftreten
zweier Wortformen in einem definierten Textabschnitt [. . . ] heißt Kookkurrenz«. Es
gibt verschiedene Möglichkeiten diese Textabschnitte zu definieren, z.B. als Satz,
Dokument oder als ein Fenster fester Größe. Daher wird auch von Dokument-,
Satz- oder fensterbasierten Kookkurrenzen gesprochen.
Durch das Zählen von Kookkurrenzen und der Häufigkeit der einzelnen Wörter,
kann nun die Assoziationsstärke zwischen Wörtern mittels eines Assoziationsmaßes
berechnet werden. Es gibt verschiedene Assoziationsmaße: Mutual Information,
Log-Likelihood, Poisson-Verteilung, Tanimoto-Maß, Dice-Koeffizient (vgl.
[Heyer et al., 2006], S. 213) oder auch statistische Verfahren wie der chi-Quadrat-
Test, ein Standarttest zur Messung der Unabhängigkeit von Ereignissen (vgl.
[Manning und Schütze, 1999], Kapitel 5.3).
Im Nachfolgenden werden die drei Assoziationsmaße Mutual Information, Log-
Likelihood und ein Maß, dass auf den psychologischen Lerngesetzen beruht im Detail
erklärt, um die Zusammenhänge zwischen den Häufigkeiten und der Berechnung
näher zu erläutern.
2.2.1 Mutual Information
[Church und Hanks, 1989] waren eine der ersten Forscher die sich Kookkurrenzen
zur Berechnung von Assoziationen zu nutzen machten. Ihre Berechnungen
der Wortassoziationen basierten auf der aus der Informationstheorie bekannten
»mutual information« (deutsch: Transinformation), die wie folgt definiert ist
[Fano, 1961]:
wobei
I(x, y) ≡ log 2
P (x, y)
P (x)P (y)
P(x,y) = Wahrscheinlichkeit das x und y gemeinsam auftauchen
P(x) = Wahrscheinlich das x auftaucht
4
(2.1)