Diplomarbeit von Michael Schindler

1.1 Dichteschätzung mit einer Mischung multivariater Normalverteilungen 17
ist nun eine geeignete Fehlerfunktion E(θ) für die Aufgabe der Dichteschätzung gefunden.
Von Dersch (1995) wurde bewiesen, dass die Minimierung von E tatsächlich
zu einer Approximation der Dichte p selbst führt, und nicht zu einer verzerrten Dichte
p­, wie das etwa beim Kohonenalgorithmus in einer Dimension der Fall ist (vgl. Ritter,
Martinetz & Schulten, 1992; Dersch, 1995; ein Beispiel für diesen Algorithmus wird
auch an späterer Stelle in Abbildung 18 gegeben). In Appendix C.1 wird das gleiche
Ergebnis noch einmal mit Hilfe der Variationsrechnung gezeigt, um diese Methode
für spätere Zwecke zu etablieren. Zwanglos ergibt sich außerdem die Stabilität des
stationären Zustandes.
Abbildung 9: Sehr unscharfe (a)
und scharfe (b) Partitionierung des
Merkmalsraumes aus Abb. 8.
In (a) ist die Standardabweichung
der Normalverteilungen 1.42-mal so
groß wie die in Abb. 8, in (b) nur
0.28-mal.
Unscharfe Partitionierung
1
0
1
0
ˆP(1|x) ˆ P(2|x) ˆ P(3|x)
(a)
c1 c2 c3 x
ˆP(1|x) ˆ P(2|x) ˆ P(3|x)
(b)
c1 c2 c3 x
Der Ansatz, die Schätzung ˆp als Mischung von Normalverteilungen zu schreiben, führt
(mehr oder minder künstlich) M Klassen ein, denen die Datenpunkte zugeordnet werden.
Legt man wieder die Approximation ˆp der Verteilungsdichte zugrunde, so wird die
Wahrscheinlichkeit, dass ein Punkt x von der Normalverteilung r ” generiert“ wurde,
nach dem Bayes’schen Satz berechnet,
ˆP(r|x; θ) = ˆ � �M
Pr ˆp(x|r; θr)
= ˆ Pr ˆp(x|r; θr)
ˆp(x; θ)
mit den multivariaten Normalverteilungen
�
ˆp(x|r; θr) := exp − 1
2 (x − cr) T Σ −1
r
r ′ =1
ˆPr ′ ˆp(x|r′ ; θr ′) (1-10)
, (1-11)
� � �(2π) d
(x − cr) |Σr| �1/2 . (1-12)
Die bedingten Wahrscheinlichkeiten ˆ P(r|x) können als Zuständigkeiten der Gauß’schen
Glockenkurven aus Abb. 8a für den Punkt x verstanden werden. Die Funktionen
x ↦→ ˆ P(r|x; θ) sind in Abb. 8b dargestellt. Dadurch, dass sie jeden Punkt zu einer