Klassifikation von Mustern

380 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
Es kommt nun darauf an, den Rechenvorgang so steuern, dass lineare Abhängigkeiten beseitigt
werden und die Abnahme des Fehlers ε in jedem Schritt möglichst groß ist.
Der Fehler ε in (4.4.14) ist das Optimierungskriterium für den Polynomklassifikator. Wenn
man sukzessive die Spalten, und damit die Komponenten der Approximationsfunktion ϕ in
(4.4.7), auswählt, die den Fehler am meisten verkleinern, so werden damit systematisch die
besten Merkmale sowie deren Produktterme für den Polynomklassifikator ermittelt. Damit ist
ein analytisches Verfahren zur Merkmalsauswahl für einen bestimmten Klassifikator realisiert;
zwei weitere Beispiele für analytische Verfahren wurden in Abschnitt 3.8 vorgestellt.
Der Kürze halber geben wir nur die Gleichungen zur Berechnung der neuen Matrix A ′′ und
der veränderten Fehlermatrix K ′′
ɛ sowie zur Auswertung der beiden Kriterien an; die Einzelheiten
sind in der in Abschnitt 4.11 erwähnten Literatur enthalten. Es gilt mit den Bezeichnungen
von Bild 4.4.1 oder (4.4.48)
A ′′ ′
A
=
0T
− 1
e
b
α 1
T , (4.4.49)
K ′′
1
ɛ = K′ ɛ −
α bbT . (4.4.50)
Die Gleichungen (4.4.49) und (4.4.50) beschreiben die Änderungen der Ausgangsmatrizen
A, Kɛ durch die Rechenschritte. Insbesondere wird die für m ′ Terme gültige optimale Parametermatrix
durch Hinzunahme einer weiteren Zeile wieder verändert. Die Normierung der
Spalten von S, bzw. einer weiteren (m ′ + 1)-ten Spalte von U ′ , wird mit den Schritten 1) und
2) des GAUSS-JORDAN-Algorithmus durchgeführt.
Zur Auswahl der nächsten zu normierenden Spalte wird zunächst die lineare Abhängigkeit
verwendet. Eine weitere Komponente ϕµ ist dann nutzlos, wenn sie linear von den schon ver-
wendeten ϕ1, . . . , ϕm ′ abhängt, wie auch aus (3.9.41), S. 254, in Abschnitt 3.9.2 hervorgeht.
Es lässt sich zeigen, dass das Hauptdiagonalelement α in Bild 4.4.1 bei linearer Abhängigkeit
verschwindet. Als nächste zu normierende Spalte wird also die mit dem größten Wert von α
genommen; dieses entspricht gerade der Pivotisierung durch Auswahl des größten Hauptdiagonalelements
aus dem obigen Schritt 3 des GAUSS-JORDAN-Algorithmus bzw. der Vorgehensweise
im Zusammenhang mit (4.4.40). Dort wird auf der Matrix (B |D) gearbeitet, hier auf der
Matrix S.
Ein anderes Auswahlkriterium ist die Verminderung des Approximationsfehlers ε, die sich
durch Hinzunahme einer weiteren Komponente ergibt. Die Verminderung des Fehlers ist
∆ε = 1
α bT b . (4.4.51)
Dieses folgt aus (4.4.50), da der Approximationsfehler ε in (4.4.15) gleich der Spur der Kovarianzmatrix
in (4.4.50) ist. Als nächste zu normierende Spalte wird in diesem Falle also die
mit dem größten Wert von ∆ε genommen. Das zweite Auswahlkriterium erfordert zwar zusätzlichen
Rechenaufwand, ergibt aber die schnellste Abnahme des Approximationsfehlers ε. Zur
Reduzierung linearer Abhängigkeiten kann zusätzlich zur Auswahl der nächsten Spalte, d. h. zusätzlich
zur Pivotisierung mit (4.4.51), in jedem Rechenschritt noch überprüft werden, ob es zu
kleine Hauptdiagonalelemente gibt; diese kennzeichnen Terme mit starker linearer Abhängigkeit
zu schon ausgewählten Termen. Die zugehörigen Polynomterme werden durch Streichen
der Zeilen und Spalten, in der die zu kleinen Hauptdiagonalelemente liegen, eliminiert. Das
erfordert einen Schwellwert für die Mindestgröße eines Hauptdiagonalelements.