Klassifikation von Mustern

418 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
=
=
∂
∂aλν
N
j=1
Mit der Beziehung
pλ
N
k
log pκp( j
k
c|aκ) − ϑ pκ − 1
j=1
k
κ=1 pκp( j c|aκ) =
ergibt sich für den MLS
0 =
=
N
j=1
N
j=1
κ=1
pλ
k κ=1 pκp( jc|aκ) · ∂p(jc|aλ) ∂aλν
pλ
p( j c)
= p(Ωλ | j c)
p( j c|aλ)
p(Ωλ | jc) p( jc|aλ) · ∂p(jc|aλ) ∂aλν
p(Ωλ | j c) ∂ log [p(j c|aλ)]
∂aλν
κ=1
pλ
=
p( jc) · p(jc|aλ) p( jc|aλ) ,
. (4.8.16)
und das ist gerade (4.8.9), sodass auch dieser Teil von Satz 4.21 gezeigt ist.
Um zu einem konkreten Schätzwert für die Parameter aλν zu kommen, ist eine Annahme
über die bedingte Verteilungsdichte p( j c|aλ) erforderlich; wie oben ausgeführt, kommt dafür
nur eine identifizierbare Familie in Frage. Setzt man für p( j c|aλ) eine Normalverteilungsdichte
mit den Parametern µ λ, Σλ, ergibt sich:
Satz 4.22 Die MLS für Mittelwert und Kovarianzmatrix einer Mischung von Normalverteilungsdichten
sind bei bekannter Klassenzahl
µ λ =
Σλ =
1
N pλ
1
N pλ
N
p(Ωλ | j c) j c =
j=1
N
(p(Ωλ | jc) · jc) j=1
N
p(Ωλ | jc) j=1
N
p(Ωλ | j c)( j c − µ λ)( j c − µ λ) T , λ = 1, . . . , k . (4.8.17)
j=1
Beweis: s. z. B. [Bock, 1974, Wolfe, 1967]
Die obigen Schätzwerte lassen sich mit einem intuitiven Argument begründen. Angenommen
man habe zwar keine Klasseneinteilung der Muster in der Stichprobe aber Werte für die
Parameter. Zu jedem Muster lässt sich dann die a posteriori Wahrscheinlichkeit berechnen, die
vermutlich für alle Klassen von Null verschiedene Werte aufweist. Beim unüberwachten Lernen
gehört also jedes Muster aus der Stichprobe zu jeder Klasse mit einer Wahrscheinlichkeit
zwischen Null und Eins, während beim überwachten Lernen jedes Muster mit der Wahrscheinlichkeit
Eins zu einer Klasse gehört. Beim überwachten Lernen werden z. B. zur Berechnung
des bedingten Mittelwertes µ λ alle Muster aufsummiert, die zur Stichprobe ωλ gehören und
,