Klassifikation von Mustern

416 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
Satz 4.20 Die Familie der n–dimensionalen Normalverteilungen (4.2.3), S. 324, ist identifizierbar,
ebenso die der n–dimensionalen Exponentialverteilungen (4.2.11), S. 325.
Ist P (c|a) eine eindimensionale identifizierbare Familie, so ist auch das Produkt aus n solcher
Funktionen identifizierbar.
Beweis: s. z. B. [Yakowitz, 1970]
Maximum-likelihood-Schätzwert
Zur tatsächlichen Berechnung von Schätzwerten kommen wieder die Verfahren von Abschnitt
4.2.2 in Betracht, wobei hier als Beispiel die MLS gemäß (4.2.37), S. 333, betrachtet
werden. Dabei wird die Klassenzahl k als bekannt vorausgesetzt.
Die Berechnung von MLS für unüberwachtes Lernen beruht auf (4.2.57). Da k hier als
bekannt vorausgesetzt wurde, ist der Logarithmus der “likelihood”–Funktion
l({pκ, aκ}) = log [p(ω|{pκ, aκ})]
=
N
log p( j c|{pκ, aκ})
=
j=1
N
k
log pκp( j
c|aκ)
j=1
κ=1
(4.8.7)
bezüglich pκ und aκ zu maximieren mit der Nebenbedingung (4.8.3). Ohne eine konkrete Annahme
über die Verteilungsdichten p( j c|aκ) erhält man folgendes Ergebnis:
Satz 4.21 Bei bekannter Klassenzahl sind die MLS gegeben durch
pλ = 1
N
p(Ωλ |
N
j=1
j c) = 1
N pλp(
N
j=1
jc|aλ) k κ=1 pκp( j ,
c|aκ)
λ = 1, . . . , k (4.8.8)
0 =
N
p(Ωλ | j c) ∂ log [p(jc|aλ)] , λ = 1, . . . , k , µ = 1, . . . , m . (4.8.9)
j=1
∂aλµ
Zum Beweis von (4.8.8) wird mit einem LAGRANGE-Multiplikator ϑ die modifizierte
likelihood–Funktion l ′ in (4.8.10) gebildet, die partielle Ableitung nach pλ in (4.8.11) gebildet,
das Ergebnis zu Null gesetzt, mit pλ multipliziert und über λ summiert; daraus ergibt
sich zunächst der Wert des LAGRANGE-Multiplikators in (4.8.14). Die modifizierte likelihood–
Funktion l ′ ist
l ′ N
k
({pκ, aκ}) = log pκp( j
k
c|aκ) − ϑ pκ − 1 . (4.8.10)
j=1
κ=1
Die partielle Ableitung nach pλ ist
κ=1
0 = ∂l′ ({pκ, aκ})
∂pλ
= ∂
N
k
log pκp(
∂pλ
j
k
c|aκ) − ϑ pκ − 1
j=1
κ=1
κ=1