Klassifikation von Mustern

348 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
berechne Merkmalszahlen Ni; wähle Startwerte für ϑ = (ϑ1, . . . , ϑj, . . . , ϑm)
FOR jeden Interationsschritt:
initialisiere g(ϑ) = 0, initialisiere qj(ϑ) = 0, j = 1, . . . , m
FOR jedes Stichprobenelement xϱ, ϱ = 1, . . . , N:
berechne Normierungsfaktor z(xϱ)
ersetze g = g + log p ∗ (yϱ|xϱ)
FOR jede Klasse:
FOR jede Indikatorfunktion:
qj = qj + p ∗ (y|xϱ)
ϑj = ϑj + ∆ϑj
Bild 4.2.4: GIS–Algorithmus zur Bestimmung der LAGRANGE-Multiplikatoren ϑj in (4.2.107)
sung ist notwendig, da i. Allg. keine geschlossene möglich ist. Wir geben hier die Grundzüge
des Algorithmus in Bild 4.2.4 an und verweisen für Einzelheiten auf die Literatur.
Es lässt sich zeigen, dass man von dem dualen Problem der Maximierung von
g(ϑ) =
N
log [p ∗ (yϱ|xϱ)]
ϱ=1
=
Nx,y log [p ∗ (y|x)] (4.2.108)
x,y
bezüglich ϑ ausgehen kann. Die partiellen Ableitungen von g nach ϑj ergeben
∂g
= Nj − qj(ϑ) , (4.2.109)
∂ϑj
Nj =
Nx,yϕj(x, y) , (4.2.110)
x,y
qj =
=
x
Nx
p ∗ (y|x)ϕj(x, y)
y
N
p ∗ (y|xϱ)ϕj(xϱ, y) . (4.2.111)
ϱ=1
y
Die LAGRANGE-Multiplikatoren lassen sich nun iterativ aus
ϑ ν+1
j = ϑν j + ∆ϑj (4.2.112)
bestimmen, wobei ν den Iterationsschritt angibt. Die Korrekturterme ∆ϑj erhält man als Lösung
der Gleichung
Nj =
Nxp ∗
(y|x)ϕj(x, y)exp ∆ϑj ϕi(x, y) . (4.2.113)
x,y
i
Wenn zudem die Zahl der sogenannten aktiven Indikatoren konstant ist, d. h.
ϕj(x, y) = Fϕ = const (4.2.114)
j