Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Kapitel 4. Support-Vektor-Regression Seite 83
widersinnig erscheinenden Verfahrens besteht darin, dass bei geeigneter Wahl von
φ sich die Merkmale durch einen linearen Zusammenhang beschreiben lassen. Das
oben beschriebene Verfahren der linearen SVR kann dann unverändert im Merkmalsraum
ausgeführt werden und die berechnete Regression durch Anwendung der
inversen Abbildung φ −1 wieder in den Eingaberaum rücktransformiert werden.
Ein populäres Beispiel für solch eine Transformation ist
φ : R 2 → R 3
(
(x 1 , x 2 ) ↦→ x 2 1, √ )
2 x 1 x 2 , x 2 2 .
(4.21)
Ein linearer Zusammenhang der Merkmale ist somit gegeben durch 〈w, φ(x)〉 + b
oder ausführlicher
w 1 x 2 1 + w 2 x 1 x 2 + w 3 x 2 2 = 0 , (4.22)
es ergibt sich somit eine Linearkombination aller möglichen Monome eine Polynoms
vom Grad 2. Die Geradengleichung im Merkmalsraum beschreibt daher ein homogenes
Polynom zweiten Grades im zweidimensionalen Eingaberaum; jedes Merkmal
entspricht hierbei einem möglichen Monom. Allgemein ist die Zahl der möglichen
Monome jedoch gegeben durch ( )
n+p−1
p , wobei p der Grad des Polynoms und n die
Dimension des Eingaberaumes ist. Man benötigt somit Merkmalsräume mit enorm
hoher Dimension sobald n und/oder p größer werden. Aus Gründen der Laufzeit ist
dieses Verfahren dann praktisch nicht mehr durchführbar. Betrachtet man aber im
gegebenen Beispiel einmal das Skalarprodukt im Merkmalsraum, so ergibt sich
φ(x) · φ(y) = (x 1 y 1 + x 2 y 2 ) 2 = 〈x, y〉 2
≡ K(x, y) ,
(4.23)
d.h. man kann das Skalarprodukt im Merkmalsraum über eine Funktion der Punkte
im Eingebraum beschreiben. Man bezeichnet eine solche Funktion als Kern-
Funktion. Dieses Ergebnis gilt sogar allgemein für homogene Polynome mit beliebigem
Grad p, d.h. die Kern-Funktion
K p (x, y) = 〈x, y〉 p , (4.24)
ist Skalarprodukt in einem Merkmalsraum, in dem homogene Polynome vom Grad
p linear beschrieben werden können. Da die SVR sich ausschließlich über Skalarprodukte
berechnet lässt, kann mit Hilfe dieser Kern-Funktionen die Regression im