Klassifikation von Mustern

3.8. ANALYTISCHE METHODEN (VA.1.2.2, 10.01.2004) 227
Damit und mit der in (3.8.10) definierten Matrix Q (2) ist
n
s2 = 2
ν=1
ϕ T ν Q (2) ϕ ν . (3.8.26)
Man sieht, dass Q (2) symmetrisch ist, und wegen der Definition von s2 als Abstandsquadrat ist
sie auch positiv definit, d. h. es gilt x T Q (2) x > 0, ∀x = 0. Damit ist gezeigt, dass s2 aus n Summanden
besteht, von denen jeder eine quadratische Form mit positiv definitem symmetrischem
Kern ist. Aufgrund der erwähnten Eigenschaften solcher Formen wird s2 dann maximiert, wenn
man als Vektoren ϕ ν, ν = 1, . . . , n die n Eigenvektoren von Q (2) wählt, die zu den n größten
Eigenwerten gehören. Das ist aber gerade die Aussage von Satz 3.8. Eine ganz analoge
Rechnung lässt sich für s1 und s3 durchführen. Damit ist der Satz 3.8 bewiesen.
Für einen Vektor f mit M Abtastwerten, wie in Abschnitt 2.1.1 ausgeführt, wird bei der
Merkmalsgewinnung gemäß (3.2.2) stets n ≤ M sein, d. h. man hat weniger Merkmale cν als
Abtastwerte fi. Ist die Zahl N der Stichprobenelemente j f größer als die Zahl M der Abtastwerte,
also N > M, und sind die Muster j f, j = 1, . . . , N linear unabhängig, so hat die
M × M Matrix Q (2) den Rang M mit Wahrscheinlichkeit Eins. Es ist bekannt, dass Q (2) dann
genau M verschiedene positive reelle Eigenwerte und M verschiedene orthogonale Eigenvektoren
ϕ ν, ν = 1, . . . , M hat.
Wenn man ein Bild der Größe Mx × My betrachtet, so wird daraus durch Aneinanderreihen
der Zeilen (oder der Spalten) ein Vektor der Länge M = Mx × My gebildet und davon eine
Kernmatrix Q der Größe M 2 = (Mx × My) 2 berechnet. Wenn man z. B. ein Bild der (moderaten)
Größe 128 × 128 hat, ist Q bereits eine Matrix der Größe 16.384 × 16.384. Bei diesen
Größenordnungen wird man u. U. nicht mehr die Bedingung N > M einhalten können und numerische
Probleme mit der großen Matrix bekommen. In diesem Falle hat man natürlich auch
nicht mehr M positive reelle Eigenwerte, sondern nur noch N < M. Statt der Eigenwerte und
–vektoren der sehr großen Matrix Q M×M kann man dann die einer kleineren Matrix Q N×N
berechnen. Zu dem Zweck wird Q M×M wie in (3.8.15) faktorisiert in
Q M×M = V M×N V TN×M
und mit den Faktoren eine neue Matrix Q N×N definiert durch
(3.8.27)
Q N×N = V TN×M V M×N . (3.8.28)
Die Eigenwerte und –vektoren der neuen Matrix ergeben sich analog zu (3.8.6) aus
Q ϕ ν = λνϕ ν . (3.8.29)
Setzt man oben (3.8.28) ein und multipliziert von links her mit V , so erhält man
V TN×M V M×N ϕ ν = λνϕ ν ,
V V T (V ϕ ν) = λν (V ϕ ν) ,
Q (V ϕν) = λν (V ϕν) , (3.8.30)
1
ϕν =
|V ϕν| V ϕν , λν = λν . (3.8.31)
Man sieht, dass Eigenwerte der Matrix Q M×M auch Eigenwerte der Matrix Q N×N sind. Ihre
Eigenvektoren hängen über (3.8.31) zusammen. Man kann also wahlweise mit der einen oder
anderen Kernmatrix rechnen, je nach dem, welche kleiner ist.