Nichtlineare Dimensionsreduktionsmethoden in der ... - DPI

Kapitel 2
Principal Component Analysis
Die Principal Component Analysis (PCA, Hauptkomponentenanalyse) stellt
ein Verfahren zur linearen Dimensionsreduktion dar, das zuerst 1901 von
Pearson [23] beschrieben und unabhängig davon 1931 von Hotelling [14]
entwickelt wurde.
Pearsons Herleitung der PCA löst das geometrische Problem, eine Menge
von Punkten x 1 , . . . , x N ∈ R n aus einem n-dimensionalen Raum bestmöglich
linear auf einen Unterraum niedrigerer Dimension q < n abzubilden. ”
Bestmöglich“
ist dabei im quadratischen Sinne zu verstehen, d.h. die Summe der
quadrierten Abstände zwischen den Punkten und ihren jeweiligen Projektionen
auf den Unterraum soll minimal werden.
Hotelling hingegen suchte in einer Menge von Punkten aus einem hochdimensionalen
Raum nach zueinander orthogonalen Richtungen, in denen die
Varianz der Daten möglichst groß ist. Man kann zeigen, dass beide Probleme
äquivalent sind.
Es seien N mittelwertfreie Daten x 1 , . . . , x N ∈ R n der Dimension n gegeben. 1
Diese Vektoren können als Messwerte oder Samples einer Zufallsvariablen x
aufgefasst werden. Aus den Samples ergibt sich die geschätzte Kovarianzmatrix
C von x zu
C = 1 N∑
x i x T i = 1 N
N XT X , (2.1)
i=1
wobei die Matrix X = (x 1 , . . . , x N ) T ∈ R N×n die Vektoren als Zeilen enthält.
Die Lösung der obigen Probleme läuft auf eine Hauptachsentransformation
1 Ist der Mittelwert ¯x = 1/N ∑ N
i=1 x i der Daten von Null verschieden, so ersetze man
im Folgenden immer x i durch die mittelwertfreie Größe ˜x i = x i − ¯x, i = 1, . . . , N.