Klassifikation von Mustern

374 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
und (4.4.19) geht über in
A ∗ =
−1
1
1
Φ ΦT
N N Φ∆T
= B −1 D . (4.4.28)
Wenn der Vektor ϕ von Funktionen ϕν aus m Komponenten besteht und k Klassen zu
unterscheiden sind, ist A ∗ eine m × k Matrix, zu deren Berechnung die Inversion einer m × m
Matrix erforderlich ist. Für einen Merkmalvektor mit n Komponenten cν und ein vollständiges
Polynom p-ten Grades in cν ist wie in (3.8.43), S. 232,
n + p
m = =
p
(n + p)(n + p − 1) . . . (n + 1)
1 · 2 · . . . · p
. (4.4.29)
Daraus ergibt sich, dass die Inversion von E{ϕϕ T } schon für p = 2 ab etwa n = 100, entsprechend
m = 5151, ein Problem wird. Dazu kommt ein weiteres Problem. Wegen den in der
Regel zwischen Merkmalen auftretenden linearen Abhängigkeiten ist es bei Wahl der ϕν gemäß
(4.4.4), (4.4.5) möglich, dass die Matrix E{ϕϕ T } nicht regulär ist. Aus diesen Gründen
ist es zweckmäßig, die Berechnung von A wie in Abschnitt 4.4.4 erläutert vorzunehmen. Die
dort beschriebene Vorgehensweise erlaubt es zudem, in jedem Rechenschritt genau den Term
des Polynoms hinzu zu nehmen, der zur stärksten Abnahme des Approximationsfehlers ε in
(4.4.14) führt. Nach ν Schritten erhält man die beste Lösung mit den ν besten Merkmalen bzw.
den besten Termen des Polynoms, d. h. man hat eine analytische Merkmalsauswahl; man kann
dieses auch als sparsamen Schätzwert des Regressionspolynoms bezeichnen, da alle nicht genügend
guten Terme unterdrückt werden.
3. Iterative Lösung
Die in (4.4.15) geforderte Minimierung von (4.4.14) ist grundsätzlich auch iterativ mit dem
Ansatz
AN+1 = AN − βNRN
(4.4.30)
möglich, wobei A0 eine beliebige Anfangsmatrix, RN die Richtung im N-ten Iterationsschritt
und βN ein Faktor ist, der die Schrittweite bestimmt (s. (1.6.7), S. 36). Als Richtungen kommen
der Gradient ∂ε/∂A in (4.4.21) oder auch ein zyklisches Durchlaufen aller Koordinaten, in
diesem Falle aller Elemente von A, in Frage.
4. Stochastische Approximation
Beim iterativen Ansatz (4.4.30) muss der in (4.4.14) bzw. in (4.4.21) auftretende Erwartungswert
geschätzt werden. Das ist möglich, wenn eine klassifizierte Stichprobe bekannt ist. Wenn
aber Muster laufend beobachtet werden und bei jeder neuen Beobachtung ein verbesserter Wert
für A berechnet werden soll, eignet sich (4.4.30) nicht. Das Problem kann prinzipiell mit der
stochastischen Approximation (s. (1.6.29), S. 39) gelöst werden. Zu minimieren sei i. Allg. eine
Funktion
g(A) = E {s(A, c)} . (4.4.31)