Konzeption und Implementierung eines ... - Stephan, Daniel

67 5.4. CLUSTERING
ϕ(x; µ; σ) = 1 (x−µ)2
−
√ e 2σ
2πσ 2 , −∞ < x < ∞ (5.16)
Jedem Cluster entspricht eine solche Verteilung und eine dazugehörige Dich-
te. Da ein Dokument zu unterschiedlichen Graden unterschiedlichen Clustern
angehören kann, muss für jedes Dokument eine Mischfunktion der unterschied-
lichen Wahrscheinlichkeitsdichten existieren, die die verschiedenen Cluster mit
unterschiedlicher Gewichtung w zusammengeführt werden. Diese ist, wie von
Bradley et al.[BFR99] erläutert, für ein Dokument x über alle k Cluster mit
Index h wie folgt definiert.
p(x) =
k�
wh · fh(x|µh, σh) (5.17)
h=1
Die Gewichte w ergeben aufsummiert 1 und entsprechen dem Anteil an Do-
kumenten, die in Cluster h gehören. Die Funktion f dagegen ist die Wahrschein-
lichkeitsdichtefunktion für die Verteilung beliebiger Dokumente x in Bezug auf
den Cluster h, parametrisiert mit der nötigen Erwartung und Varianz.
Der Algorithmus schätzt diese Formel ab, indem er ihre Parameter (beste-
hend aus den Gewichten, Erwartungen und Varianzen) mit Hilfe des Maximum
Likelihood Verfahrens derart wählt, dass die resultierende Likelihood-Funktion
maximal ist. Die Likelihood-Funktion wird über den kompletten Dokumenten-
Raum aufgestellt und stellt die Qualität ( ” how well the corresponding mixture
model fits the data“ 4 ) der geschätzten Parameter dar. Hier die Formel, bei der
Φ für die Menge aller Parameter steht:
L(Φ) = �
�
k�
�
log wh · fh(x|µh, σh)
x∈D
h=1
(5.18)
Der Ablauf besteht im Wesentlichen aus zwei Schritten[LGXZ02] [BFR99],
die sich bis zum Erreichen eines Stop-Kriteriums abwechseln und somit iterativ
die Lösung optimieren. Der erste Schritt wird häufig als E-Schritt (Gleichung
5.19) bezeichnet, während der Zweite (Gleichung 5.20) dann den M-Schritt dar-
stellt. Während des ersten Schrittes werden die Wahrscheinlichkeiten berechnet,
nach der sich Dokument x in Cluster h aufhält. Der zweite Schritt optimiert die
Parameter mit Hilfe der Ergebnisse des ersten Schritts.
4 Seite 7 in [BFR99]