Klassifikation von Mustern

3.8. ANALYTISCHE METHODEN (VA.1.2.2, 10.01.2004) 241
Zu einer Lösung Φ, die s6 in (3.8.85) minimiert, lässt sich also eine äquivalente Matrix Φ angeben,
die ebenfalls s6 minimiert, aber statt nM unbekannter Elemente nur n(M −n) unbekannte
Elemente enthält. Statt der Matrix Φ wird man also direkt Φ bestimmen.
Die Berechnung der Matrix Φ kann im Prinzip mit den bekannten Optimierungsverfahren
durchgeführt werden. Als Beispiel wird hier der Koordinatenabstieg verwendet. Dabei wird in
einem Optimierungsschritt nur das Minimum von s6 bezüglich eines Elementes ϕij von Φ (oder
bezüglich einer Koordinate) bestimmt. Alle Elemente ϕij, i = 1, . . . , n und j = n + 1, . . . , M
werden in fester Reihenfolge so oft durchlaufen, bis das Kriterium s6 sich nicht mehr verringert,
also ein relatives Minimum gefunden wurde. Die Bestimmung des Minimums von s6 bezüglich
einer Koordinate erfolgt näherungsweise, indem man das betrachtete Element ϕij versuchsweise
vergrößert und verkleinert und die dadurch verursachte Änderung von s6 untersucht.
Der Algorithmus zur Bestimmung von Φ in (3.8.87) zur linearen Merkmalsgewinnung gemäß
c = Φf arbeitet wie folgt:
Es ist dim(c ) = n und dim(f) = M. Weiterhin sei mκ = Eκ{f} und Lκ = Eκ{(f −
m)(f − m) T }.
1. Anfangswert Φ (0)
von Φ ist
Φ (0)
= (In|0) . (3.8.88)
2. Führe die Schritte 3 – 11 für j = n + 1, n + 2, . . . , M und i = 1, 2, . . . , n aus, d. h.
spaltenweise von oben nach unten und dann links nach rechts in (3.8.87):
3. Der Iterationschritt ist l = i + (j − n − 1)n − 1.
4. c = Φ (l)
f ; µ κ = Φ (l)
mκ ; Σκ = Φ (l) LκΦ (l)T .
5. Berechne uκλ gemäß (3.8.83), siehe dazu den unten angegebenen Algorithmus, κ, λ =
1, . . . , k.
6. Berechne uκm gemäß (3.8.82).
7. Berechne s6 = s6( Φ (l)
) gemäß (3.8.85).
8. Ersetze ϕij in Φ (l)
durch ϕij + mh mit m = ±1 und h = const ≈ 0, 1 und bezeichne die
so entstehende Matrix mit Φ (l)
m .
9. Ist s6( Φ (l)
0 ) ≤ s6( Φ (l)
±1), so nimm im nächsten Iterationschritt l + 1 die Matrix Φ (l)
.
10. Ist s6( Φ (l)
1 ) < s6( Φ (l)
−1 ), so berechne s6( Φ (l)
m ) für m = 1, 2, . . . , L (L ≈ 10) und nimm
im nächsten Iterationschritt l + 1 die Matrix, die s6 minimiert.
11. Ist s6( Φ (l)
−1 ) < s6( Φ (l)
1 ), so berechne s6( Φ (l)
m ) für m = −1, −2, . . . , −L und nimm im
nächsten Iterationschritt l + 1 die Matrix, die s6 minimiert.
12. Wiederhole ab Schritt 2 bis sich entweder nichts mehr ändert oder eine vorgegebene Zahl
von Wiederholungen erreicht ist.
Obiger Algorithmus durchläuft die Matrixelemente nur wenige Male, um die Rechenzeit zu
begrenzen.
Ein Problem ist noch die Berechnung der uκλ in Schritt 5 des Algorithmus. Diese ist mit
der Methode der projizierten Gradienten möglich. Das Verfahren wird zunächst informell an
Bild 3.8.8 erläutert. Es wird ein Startpunkt c0 auf der Klassengrenze Hκλ bestimmt, den man
z. B. als Schnittpunkt der Verbindungsgeraden zwischen µ κ und µ λ mit Hκλ wählen kann. Dann
wird ein Punkt c ′ 0 ermittelt, der in der Hyperebene liegt, welche Hκλ in c0 berührt, und zwar