Klassifikation von Mustern

4.2. STATISTISCHE KLASSIFIKATOREN (VA.3.3.4, 29.09.2004) 347
1 =
p(y|x) , ∀x , (4.2.100)
y
dj =
p(x, y)ϕj(x, y) =
p(x)p(y|x)ϕj(x, y) , j = 1, . . . , m . (4.2.101)
x,y
Die LAGRANGE-Gleichung dafür ist
L(p, ϑ0,x, ϑj) = −
p(x)p(y|x) ln p(y|x) −
−
x,y
m
j=1
ϑj
x,y
x,y
x
ϑ0,x
x,y
p(y|x) − 1
p(x, y)ϕj(x, y) −
p(x)p(y|x)ϕj(x, y) ,(4.2.102)
wobei die ϑ0,x LAGRANGE-Multiplikatoren sind, die für die für jeden Wert von x zu erfüllenden
Nebenbedingungen (4.2.100) eingeführt wurden; ϑj sind solche, die für jede der Merkmalsfunktionen
(4.2.101) eingeführt wurden. Die partielle Ableitung nach p(y|x) ergibt
∂L
= −p(x) (1 + ln[p(y|x)]) + ϑj p(x)ϕj(x, y) − ϑ0,x , (4.2.103)
∂p(y|x)
j
p ∗
(y|x) = exp − ϑ0,x
m
− 1 exp ϑjϕj(x, y)
(4.2.104)
p(x)
j=1
m
= z(x) exp
j=1
ϑjϕj(x, y)
Es ergibt sich also auch hier wieder eine Exponentialfunktion wie in (4.2.88). Der normierende
Faktor z(x) ist
−1
z(x) = exp ϑjϕj(x, y) . (4.2.105)
y
j
Er ergibt sich, indem man zunächst (4.2.104) in (4.2.100) einsetzt und daraus ϑ0,x bestimmt zu
m
ϑ0,x = −p(x) + p(x) ln exp ϑjϕj(x, y) ; (4.2.106)
y
j=1
dann wird der Wert für ϑ0,x in z(x) in (4.2.104) eingesetzt. So erhält man schließlich
y
j=1
.
p ∗
m
exp ϑjϕj(x, y)
m
j=1
(y|x) =
m
= z(x) exp ϑjϕj(x, y) .
j=1
exp ϑjϕj(x, y)
(4.2.107)
GIS–Algorithmus
Die Abkürzung GIS steht für “Generalized Iterative Scaling” und bezeichnet einen iterativen
Ansatz zur Bestimmung der noch fehlenden LAGRANGE-Multiplikatoren ϑj. Die iterative Lö-
y