Nichtlineare Dimensionsreduktionsmethoden in der ... - DPI

32 Multidimensional Scaling
zugehörigen Eigenwerten λ 1 ≥ . . . ≥ λ N ≥ 0. Sei Λ k ∈ R k×k die Diagonalmatrix,
die nur aus den ersten k Spalten von Λ besteht und V k = (v 1 , . . . , v k )
die Matrix mit den zugehörigen Eigenvektoren. Nach [21] wird für beliebiges
k ≤ n (4.13) minimal für
Y = V k Λ 1 2
k
. (4.17)
Bis jetzt wurde immer angenommen, dass ∆ eine euklidische Distanzmatrix
ist. Sind die Unähnlichkeiten jedoch nicht-euklidische Distanzen, so ist die
Matrix B ∆ = − 1 2 J∆(2) J aus (4.7) i.A. nicht mehr positiv semidefinit und
besitzt deshalb negative Eigenwerte. Das bedeutet gleichzeitig, dass sich ∆ (2)
nicht mehr als XX T mit einer reellen Matrix X ∈ R N×n schreiben lässt.
Beim klassischen MDS, bei dem trotzdem eine euklidische Einbettung gesucht
wird, werden solche negativen Eigenwerte als Fehler betrachtet und auf Null
gesetzt, d.h. die Matrix Λ k in (4.17) wird ersetzt durch
˜Λ k := diag(λ + 1 , . . . , λ + k ) , λ+ i := max(λ i , 0) ∀i . (4.18)
In diesem Fall ist die Einbettung Ỹ, die den Strain (4.13) minimiert, gegeben
durch
1
2
Ỹ = V k ˜Λ
k . (4.19)
Äquivalenz von klassischem MDS und PCA
In diesem Abschnitt soll gezeigt werden, dass die Lösung (4.17) des klassischen
MDS äquivalent ist zur PCA. Die Kovarianzmatrix (2.1) lässt sich
für unzentrierte Daten X ∈ R N×n mit Hilfe der Zentrierungsmatrix (4.6)
schreiben als
C = 1 N (JX)T (JX) = 1 N XT JJX = 1 N XT JX ∈ R n×n . (4.20)
Ensprechend ist die Skalarproduktmatrix der zentrierten Konfiguration JX
gegeben durch
S = (JX)(JX) T = JXX T J ∈ R N×N , (4.21)
und die p ≤ min(n, N) echt positiven Eigenwerte λ 1 ≥ . . . ≥ λ p > 0 beider
Matrizen stimmen überein.
Im Folgenden werden die Hauptkomponenten von X aus der Eigenwertzerlegung
der Skalarproduktmatrix S berechnet. Sei v i Eigenvektor von S zum
Eigenwert λ i > 0. Dann folgt aus (2.10), dass wegen
(X T JJX)(X T Jv i ) = λ i X T Jv i (4.22)