Nichtlineare Dimensionsreduktionsmethoden in der ... - DPI

50 Locally Linear Embedding
• Das Minimum ˜w i ′ ist invariant unter Translationen x ↦→ x + a mit dem
Translationsvektor a ∈ R D :
2
Φ i (w i)| ′ k∑
x+a
=
∥ x i + a − w ij(x ′ ij + a)
∥
j=1
2
2
k∑
k∑
(6.5)
=
∥ x i − w ijx ′ ij + a − a · w ij
′ ∥
j=1
= Φ i (w ′ i) , i = 1, . . . , N .
• Das Minimum ˜w i ′ ist invariant unter Rotationen x ↦→ R·x, beschrieben
durch die Rotationsmatrix R ∈ R D×D :
[
]∥ Φ i (w i)| ′ k∑ ∥∥∥∥
2
R·x
=
∥ R · x i − w ijx ′ ij
(6.6)
j=1
2
= Φ i (w i) ′ , i = 1, . . . , N ,
wobei hier die Invarianz der euklidischen Norm unter orthogonalen
Transformationen ausgenutzt wurde.
• Schließlich ist das Minimum ˜w ′ i auch invariant unter linearen Skalierungen
x ↦→ α · x mit dem Faktor α ∈ R \ {0}:
Φ i (w i)| ′ αx
=
∥ αx i −
∥
k∑ ∥∥∥∥
2
w ijαx ′ ij
j=1
= |α| 2 ∥ ∥∥∥∥
x i −
2
∥
k∑ ∥∥∥∥
2
w ijx ′ ij
j=1
j=1
2
= |α| 2 · Φ i (w ′ i) i = 1, . . . , N .
2
(6.7)
Es wird also einfach die ganze Kostenfunktion skaliert; die Lage der
Maxima und Minima hingegen wird dadurch nicht berührt.
Da diese Invarianzen des Minimums von Φ i für alle i = 1, . . . , N gelten, ist
natürlich insbesondere auch die Kostenfunktion (6.1) invariant unter Translationen,
Rotationen und Skalierungen des Koordinatensystems. Die Translationsinvarianz
kann direkt zur Berechnung der Gewichtsmatrix ausgenutzt
werden, indem man bei der Minimierung von Φ i (w ′ i) die daran beteiligten
Punkte, also x i und seine k nächsten Nachbarn, so verschiebt, dass x i im