Nichtlineare Dimensionsreduktionsmethoden in der ... - DPI

Kapitel 3
Kern-PCA
Die Kern-PCA ist eine nichtlineare Verallgemeinerung der linearen PCA.
Die dahinter stehende Idee ist bestechend einfach: Man transformiert die
Eingangsdaten durch eine nichtlineare Abbildung Φ in einen möglicherweise
sehr hochdimensionalen Merkmalsraum F und führt dort eine lineare PCA
durch. Die Hoffnung besteht hier darin, dass die Eingangsdaten bei geeigneter
Wahl der Abbildung im hochdimensionalen Merkmalsraum entfaltet“ oder
”
ausgebreitet“ werden und auf einer linearen Untermannigfaltigkeit sehr viel
”
niedrigerer Dimension liegen. Die orthogonalen Richtungen größter Varianz,
die durch Anwendung der PCA in F gefunden werden, entsprechen dabei
nichtlinearen Richtungen im Eingaberaum 1 . Die eigentliche Nichtlinearität
bei der Kern-PCA steckt also nur in der Abbildung in den Merkmalsraum.
Was so bestechend einfach klingt, wirft in der Praxis jedoch ein Problem
auf: die Dimension von F , die je nach Φ sehr groß, durchaus sogar unendlich
groß sein kann. In der Bilderkennung hat es sich z.B. als nützlich erwiesen,
Produkte oder Monome d-ter Ordnung von Pixeln eines Bildes zu betrachten,
d.h. das Produkt von jeweils d Bildpunkten. Für ein Bild, das aus N Pixeln
besteht, gibt es
(N + d − 1)!
N F = (3.1)
d!(N − 1)!
verschiedene solcher Monome d-ter Ordnung [27]. Die Abbildung Φ : R N →
F des Bildes in den Raum aller möglichen Monome 5-ter Ordnung hat also
selbst für Mini-Bilder von 16 × 16 Pixeln eine Dimension von 10 10 , was es
unmöglich macht, diese Abbildung explizit zu berechnen. Die Frage ist nun,
wie man trotzdem mit vertretbarem Aufwand die Kern-PCA berechnen kann.
1 Sofern die verwendete Abbildung nichtlinear ist.