Nichtlineare Dimensionsreduktionsmethoden in der ... - DPI

20 Kern-PCA
Setzt man nun (3.3) und (3.7) in (3.6) ein, so erhält man das Gleichungssystem
N∑
i=1
N∑
(Φ(x k ) · Φ(x i )) (Φ(x i ) · Φ(x j )) α j =
j=1
= λN
N∑
(Φ(x k ) · Φ(x j )) α j ∀k = 1, . . . , N . (3.8)
j=1
Zur Abkürzung definiert man die N × N-Matrix K = (K ij ) durch
K ij := (Φ(x i ) · Φ(x j )) , i, j = 1, . . . , N , (3.9)
wodurch sich (3.8) in Matrizenform schreiben lässt als
K 2 α = λNKα . (3.10)
Dabei ist α = (α 1 , . . . , α N ) T der Vektor der Koeffizienten α i . K wird auch
Kernmatrix genannt. Interessant sind nur Lösungen mit λ > 0, und um diese
zu erhalten genügt es, anstatt (3.10) das Eigenwertproblem
Kα = λNα (3.11)
zu lösen. Alle Lösungen von (3.11) sind nämlich auch Lösungen von (3.10),
und man kann zeigen (vgl. [27]), dass die α, die (3.10) aber nicht (3.11)
erfüllen, keinen zusätzlichen Beitrag zur Lösungsmenge der v ′ liefern.
Letztlich werden aber gar nicht die Eigenvektoren v ′ benötigt, sondern nur
die Projektionen der Bilder der Eingangsdaten auf diese Eigenvektoren. Um
diese zu erhalten, löst man das Eigenwertproblem (3.11) und erhält für Nλ
die nichtnegativen Eigenwerte λ 1 ≥ . . . ≥ λ p > λ p+1 = . . . = λ N = 0 und ein
zugehöriges Orthogonalsystem des R N aus den Eigenvektoren α 1 , . . . , α N . p
ist dabei die Anzahl der von Null verschiedenen Eigenwerte, also der Rang
von K. Dieser ist immer größer als Null, sofern Φ nicht alle Eingangsdaten auf
Null abbildet. Die α 1 , . . . , α p werden so normiert, dass die entsprechenden
Eigenvektoren v ′ 1, . . . , v ′ p aus F die Länge Eins haben:
(v ′ k · v ′ k) = 1 ∀k = 1, . . . , p . (3.12)
Mit (3.7) und (3.11) erhält man daraus eine Normierungsbedingung für die