Klassifikation von Mustern

1.6. OPTIMIERUNGSVERFAHREN 39
initialisiere Parameter mit B (0)
, setze i = −1
setze i = i + 1
E–Schritt: berechne Q (i+1)
B | B (i)
M–Schritt: berechne B (i+1)
UNTIL B (i+1)
= B (i)
geschätzter Parameter: B = B (i)
= argmax
{ B (i+1)
Q
}
(i+1)
B | B (i)
Bild 1.6.1: Der EM–Algorithmus iteriert die Schritte “expectation” (E–Schritt) und “maximization”
(M–Schritt) bis zur Kovergenz gegen ein lokales Optimum
Der Term Q(·) wird als Q–Funktion bzw. als KULLBACK–LEIBLER-Statistik bezeichnet.
Satz 1.4 Zur Maximierung von L, d. h. zur Maximum-likelihood-Schätzung von B ist die
Maximierung der KULLBACK-LEIBLER-Statistik Q hinreichend.
Beweis: s. z. B. [Dempster et al., 1977], [Hornegger, 1996], Kapitel 3.
Wenn statt einer Beobachtung x eine Stichprobe { 1 x, . . . , N x} von Beobachtungen gemacht
wurde, erhält man die KULLBACK–LEIBLER-Statistik Q der Stichprobe aus den
KULLBACK–LEIBLER-Statistiken ϱ Q der einzelnen Beobachtungen gemäß
(i+1)
Q B | B (i)
=
N
ϱ=1
ϱ
(i+1)
Q B | B (i)
. (1.6.28)
Daraus ergibt sich das Grundschema des EM–Algorithmus in Bild 1.6.1. Zur Erarbeitung
einer konkreten Version müssen die Daten x, y und die Dichten p(x, y|B), p(y|x, B)
ermittelt werden; dann muss die KULLBACK–LEIBLER-Statistik Q berechnet und ein geeignetes
Maximierungsverfahren dafür bestimmt werden. Gegenüber einer direkten Maximumlikelihood-Schätzung
erscheint der EM–Algorithmus daher zunächst wie ein Umweg. Der Vorteil
des EM–Algorithmus liegt jedoch darin, dass das hochdimensionale Maximum-likelihood-
Schätzproblem oft in Teilprobleme separiert wird, wodurch die Komplexität reduziert wird, und
dass es für die Nullstellen des Gradienten von Q oft geschlossene Lösungen gibt.
Ein wichtiges Beispiel für die Nutzung des EM–Algorithmus ist die Schätzung der Parameter
einer Mischungsverteilung in Abschnitt 4.8.2.
1.6.5 Stochastische Approximation
Die Verfahren der stochastischen Approximation eignen sich für Minimierungsprobleme des
Typs
g(a ∗ ) = min
a {g(a)} , g(a) = E{s(a, x)} . (1.6.29)
Es wird also der Erwartungswert einer Funktion s minimiert, die von der Variablen x und
dem Parameter a abhängt. Dieses ist zum einen möglich, wenn man vollständige statistische