Diplomarbeit von Michael Schindler

20 1. Grundlagen
folgt. Dies ist die Approximation der r-lokalen Verteilungen ˜p(x|r; θ) durch die Normalverteilungen
ˆp(x|r; θr).
Die Definition (1-21) der r-lokalen Verteilungen ˜p(x|r; θ) induziert r-lokale Erwartungswerte
�
� �
f(x) r,�:= f(x) ˜p(x|r; θ) dx, (1-27)
M
die gemäß (1-21) durch die Partitionsfunktionen ˆ P(r|x; θ) gegeben sind, d.h.
� �
� � ˆP(r|x; θ) f(x) X
f(x) r,�= � � . (1-28)
ˆP(r|x; θ)
Ein Vergleich mit den Extremalitätsbedingungen (1-13) und (1-14) zeigt nun sofort,
dass diese durch die ersten und zweiten r-lokalen Momente
cr = � x �
r,�und (1-29)
Σr = � (x − cr)(x − cr) T�
(1-30)
der Verteilungen ˜p(x|r; θ) ausgedrückt werden können. Diese beiden Gleichungen stellen
Konsistenzbedingungen für die Parameter θ dar, wobei nach (1-23) die zusätzliche
Bedingung (1-15),
ˆPr = � �
P(r|x; ˆ θ) , (1-31)
X
X
r,�
an die Load der r-ten Komponente gestellt werden muss.
Ziel jedes algorithmischen Verfahrens zur Maximum-likelihood-Dichteschätzung ist, mit
einem sicher konvergierenden Verfahren die Parameter θ so zu bestimmen, dass die
Selbstkonsistenzbedingungen (1-29) bis (1-31) erfüllt werden.
1.1.1 Der multivar-Algorithmus
Ein batch-Algorithmus für den Gradientenabstieg auf E(θ) wurde von Dempster, Laird
& Rubin (1977) als Expectation-Maximization (EM)-Algorithmus eingeführt. Seine
sequentielle Version, die das Grundgerüst des multivar-Algorithmus darstellt, lautet
(Albrecht et al. 2000)
(EM-1) Initialisiere die Parameter θ(t=0)
(EM-2) Ziehe einen zufälligen Punkt xt aus dem Datensatz X und berechne die
Zuständigkeiten der Modellkomponenten r nach dem Bayes’schen Satz (1-10)
(EM-3) Berechne die neue Schätzung durch sequentiellen stochastischen Gradientenabstieg.
Verwende dabei die Update-Regeln θ(t+1) = θ(t) + ε∆θ,
∆cr = ˆ P(r|xt; θ(t)) � xt − cr(t) � , (1-32)
∆Σr = ˆ �
P(r|xt; θ(t)) (xt − cr(t)) (xt − cr(t)) T �
− Σr(t) , (1-33)
∆ ˆ Pr = ˆ P(r|xt; θ(t)) − ˆ Pr(t). (1-34)