Diplomarbeit von Michael Schindler

1.1 Dichteschätzung mit einer Mischung multivariater Normalverteilungen 15
1
0
p(x)
ˆp(x)
(a)
c1 c2 c3 x
ˆP(1|x)
ˆP(2|x)
ˆP(3|x)
(b)
c1 c2 c3 x
Abbildung 8: (a) Approximation der Verteilungsdichte p (graue Linie) durch eine
Mischung ˆp aus drei Normalverteilungen (durchgezogene Linie). Jede der drei
Glockenkurven (gepunktet eingezeichnet) mittelt Datenpunkte x nur in ihrem
Zuständigkeitsbereich, der entsprechend Gleichung (1-10) in (b) eingezeichnet ist.
Die drei Funktionen in (b) bilden eine unscharfe Partitionierung des Merkmalsraumes.
Sie lassen sich an jeder Stelle zu 1 aufaddieren.
Hier soll als Approximation ˆp eine gewichtete endliche Mischung von M multivariaten
Normalverteilungen verwendet werden,
ˆp(x; θ) :=
M�
r=1
ˆPr
(2π) d/2 �
exp −
|Σr| 1/2 1
2 (x − cr) T Σ −1
�
r (x − cr) , (1-3)
die als Parameter einen Satz von Zentren cr, von Kovarianzmatrizen Σr und Gewichtungen
ˆ Pr hat. Diese sind in der Variablen θ zusammengefasst,
θ := (θ1, . . ., θM),
θr := {cr, Σr, ˆ Pr}.
(1-4)
Es soll also eine parametrische Dichteschätzung durchgeführt werden. Das Ergebnis
einer solchen Schätzung in einer Dimension könnte wie in Abbildung 8a aussehen, in
der mit drei Normalverteilungen approximiert wurde.
Das Maximum-likelihood-Prinzip
Bei der Suche nach dem besten Modell für p handelt es sich um ein Optimierungsproblem
der Parameter θ. Zur Lösung dieser Aufgabe führt das bekannte Maximumlikelihood
(ML)-Kriterium (Duda & Hart, 1973), das im folgenden kurz beschrieben
werden soll. Wäre zur Generierung des Datensatzes X statt der unbekannten Verteilungsdichte
p die Approximation ˆp zugrundeglegt worden, 2 dann wäre die Wahrschein-
2 Wahrscheinlichkeiten und W-Dichten, die geschätzte Modelle sind, tragen im folgenden ein Hütchen
(ˆ). Sie hängen alle parametrisch von θ ab. Um die Notation zu vereinfachen, wird θ an den meisten