Nichtlineare Dimensionsreduktionsmethoden in der ... - DPI

16 Principal Component Analysis
definiert, d.h. es gilt C = 1/N ˜C.
Wie oben beschrieben, besteht die Matrix X der Eingangsdaten aus N Zeilenvektoren
der Dimension n, C ist also eine n × n-Matrix. Besteht nun der
Datensatz aus relativ wenigen Punkten sehr hoher Dimension (n ≫ N), so
ist die Anzahl n 2 der Elemente der Kovarianzmatrix sehr groß im Vergleich
zur Anzahl nN der Elemente von X. In einem solchen Fall ist es sinnvoll,
statt der Kovarianzmatrix C die Skalarproduktmatrix S = XX T ∈ R N×N der
Eingangsdaten zu betrachten, die nur aus N 2 Elementen besteht.
Sei µ > 0 ein Eigenwert von S zum Eigenvektor v ∈ R N \{0}. Dann gilt:
Sv = XX T v = µv ≠ 0
⇒ (X T X)X T v = µX T v ≠ 0
(2.10)
X T v ∈ R n ist also ein Eigenvektor von ˜C zum Eigenwert µ > 0. Da die
paarweise orthogonalen Eigenvektoren von ˜C ein Orthonormalsystem bilden
und damit die Länge 1 haben sollen, müssen sie noch normiert werden 3 .
Bezeichnet man den zum Eigenwert µ gehörenden normierten Eigenvektor
mit u, so folgt mit dem Ansatz u = ηX T v für die Normierungskonstante η
1 ! = u T u =η 2 v T XX T v = η 2 µ
⇒ η = 1/ √ µ .
(2.11)
Nach [34] stimmen die echt positiven Eigenwerte von XX T und X T X überein
und haben die gleiche geometrische Vielfachheit 2 . Die Eigenvektoren von ˜C
zu diesen Eigenwerten lassen sich einfach aus den Eigenvektoren von S gewinnen:
Insgesamt gilt also: Hat man die Skalarproduktmatrix S = XX T diagonalisiert
und ein Orthonormalsystem aus Eigenvektoren v 1 , . . . , v N und zugehörigen
Eigenwerten µ 1 ≥ . . . ≥ µ r > µ r+1 = . . . = µ N = 0 gefunden 4 , so ergeben
sich daraus die r größten, echt positiven Eigenwerte λ und zugehörigen Eigenvektoren
u der Kovarianzmatrix C zu
λ i = 1 N µ i (2.12)
u i = 1 √
µi
X T v i , i = 1, . . . , r . (2.13)
2 D.h. die Dimensionen ihrer Eigenräume sind gleich.
3 Obwohl die v ein Orthonormalsystem bilden, sind die X T v nicht notwendigerweise
normiert, da X i.A. nicht spaltenorthogonal ist.
4 Dabei ist r = rang(S) = rang(C) ≤ N, also die Anzahl der echt positiven Eigenwerte.
Es gibt immer mindestens einen echt positiven Eigenwert, sofern nicht alle Eingangsdatenpunkte
identisch sind.