Klassifikation von Mustern

420 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
der Vorgehensweise in Abschnitt 4.8.4 in (4.8.34).
Berechnung von MLS mit dem EM–Algorithmus
Die Berechnung von MLS der Parameter einer Mischungsverteilung mit dem EM–Algorithmus
besteht aus den Schritten
• initialisiere Startwerte der unbekannten Parameter;
• berechne Schätzwerte der a posteriori Wahrscheinlichkeiten – der E–Schritt (estimation);
• berechne damit neue Schätzwerte der Parameter – der M–Schritt (maximization)
• wiederhole den E– und M–Schritt bis zur Konvergenz.
Damit wird ein lokales Optimum erreicht.
Als Beispiel wird die Schätzung der Parameter einer Mischungsverteilung je Klasse aus
einer klassifizierten Stichprobe betrachtet. Wie in (4.2.15), S. 327, ist die bedingte Verteilungsdichte
von Mustern der Klasse Ωκ gegeben durch
Lκ
p(c|Ωκ) = pκ,l N (c|µ κ,l, Σκ,l) ,
pκ,l = 1 . (4.8.19)
l=1
l
Die Rechnung wird gestartet mit Lκ = 1 und Startwerten für die Parameter {pκ, µ κ, Σκ}, die
problemlos als MLS berechnet werden können. Die Iterationen des EM–Algorithmus beginnen
mit Lκ = 2 und Startwerten für die zwei Mittelwerte, die analog zu (2.1.47), S. 75, bestimmt
werden, und Startwerten für die anderen Parameter
µ κ,1 = µ κ + δ , µ κ,2 = µ κ − δ ,
pκ,l = pκ , Σκ,l = Σκ , l = 1, 2 . (4.8.20)
Diese Startwerte werden iterativ verbessert, indem zunächst gemäß (4.8.13) die a posteriori
Wahrscheinlichkeiten für jede Mischungskomponente l der Klasse Ωκ und jedes Muster ϱc berechnet
werden zu
p(l| ϱ c, κ) = pκ,l p( ϱc|µ κ,l, Σκ,l)
l ′ pκ, ′ p(ϱ . (4.8.21)
c|µ κ, ′, Σκ, ′)
Mit diesen werden gemäß (4.8.8) und (4.8.17) neue Schätzwerte der unbekannten Parameter
berechnet aus
pκ,l = 1
µ κ,l =
Σκ,l =
Nκ
Nκ
ϱ=1
Nκ
ϱ=1
Nκ
ϱ=1
p(l| ϱ c, κ) ,
p(l| ϱ c, κ)
ϱ ′ p(l| ϱ′ c, κ)
p(l| ϱ c, κ)
ϱ ′ p(l| ϱ′ c, κ)
ϱ c ,
ϱc
−
ϱc
T µκ,l − µκ,l , l = 1, . . . , Lκ . (4.8.22)
Die Rechnungen in (4.8.21) und (4.8.22) werden iteriert bis zur Konvergenz. Nun wird geprüft,
welche Komponente der Mischung die Bedingung
Nκ
ϱ=1
p(l| ϱ c, µ κ,l, Σκ,l) > θ (4.8.23)