Klassifikation von Mustern

4.4. POLYNOMKLASSIFIKATOR (VA.2.2.3, 07.09.2005) 375
wobei s von den Parametern A und der Zufallsvariablen c abhängt; ein Spezialfall ist (4.4.14).
Ausgehend von einem beliebigen Startwert A0 wird bei Beobachtung des N–ten Wertes N c der
Zufallsvariablen c ein verbesserter Wert
AN = AN−1 − βN ∇ As(AN−1, N c) (4.4.32)
berechnet. Obwohl die zu minimierende Funktion g(A) einen Erwartungswert enthält, ist dessen
Kenntnis in (4.4.32) nicht erforderlich. Bedingungen für die Konvergenz der stochastischen
Approximation (4.4.32) sind in der erwähnten Literatur angegeben.
5. Rekursive Berechnung
Bezeichnet man in (4.4.23) den mit N Stichprobenelementen geschätzten Erwartungswert mit
E{g}N, so gilt
E{g(c)} 1
N
E{g}N = 1
N
= N − 1
N
g( ϱ c) = E{g}N ,
ϱ=1
N−1
ϱ=1
g( ϱ c) + g( N c)
N E{g}N−1 + 1
N g(N c) . (4.4.33)
Der Schätzwert E{g}N kann also mit dem vorherigen Schätzwert E{g}N−1 der neuen Beobachtung
N c berechnet werden. Eine verallgemeinerte Form ist
E{g}N = (1 − βN)E{g}N−1 + βNg( N c) , (4.4.34)
wobei in (4.4.33) βN = N −1 ist. Entsprechendes gilt auch für (4.4.14). Setzt man in (4.4.19)
AN = E{ϕϕ T −1 T
}N E{ϕδ }N
(4.4.35)
und führt die mit N Stichprobenwerten berechneten Erwartungswerte entsprechend (4.4.33)
auf die mit (N − 1) Werten berechneten zurück, ergibt sich eine Beziehung zwischen AN und
AN−1. Die Rechnung ergibt
AN = AN−1 + βN
T −1
N T N T N
E{ϕϕ }N ϕ( c) δ ( c) − ϕ ( c)AN−1 . (4.4.36)
Der Bezug zwischen (4.4.32) und (4.4.36) ist offensichtlich, da in diesem Falle
−∇ As = ϕ(δ T − ϕ T A) (4.4.37)
ist. Eine Verallgemeinerung ist die zusätzliche Matrix [E{ϕϕ}N] −1 in (4.4.36). Approximiert
man diese durch die Einheitsmatrix (“quick and dirty”), sind (4.4.32) und (4.4.36) identisch.
Gleichungen zur Parameterberechnung wie in (4.4.32) oder in (4.4.36) spielen bei Lernalgorithmen
eine große Rolle, da sie die laufende Verbesserung des Klassifikators aufgrund neuer
Beobachtungen ermöglichen. Darauf wird im Abschnitt 4.8 nochmals eingegangen.