Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Seite 78
4.1. Lineare Support-Vektor-Regression
Um den Support-Vektor-Ansatz vom Problem der Klassifikation auf das Problem der
Regression zu übetragen, verwendet Vapnik in [41] die ε-insensitive Kostenfunktion,
{ 0 falls |η| ≤ ε
|η| ε ≡
|η| − ε sonst.
(4.5)
Ihre Wirkung ist, dass nur die Punkte, die einen Abstand größer als ε von der Regressionsfunktion
haben, in die Kosten einfließen (siehe Abbildung 4.1). Alle anderen
Punkte in diesem “ε-Schlauch” sind für die Bildung des Modells praktisch ohne
Bedeutung. Das Modell wird dadurch robuster gegenüber dem Einfluss von Rauschen
und das Risiko des Overfitting ist verringert. Die Punkte, die außerhalb der
ε-Schranke liegen, sind die Support-Vektoren. Neben (4.5) gibt es andere mögliche
Kostenfunktionen. Dies sind einerseits Variationen der ε-insensitiven Funktion, aber
auch stetig differenzierbare Funktionen, die zu herkömmlichen Regressionsverfahren
ohne Support-Vektoren führen (z.B. entspricht L(η) = η 2 dem mittleren quadratischen
Fehler, der bislang als Fehlergröße verwendet wurde). Beispiele finden sich
z.B. in [35].
y
ξ
ε
ξ∗
|η| ε
ξ ∗
x
ε
ε
η
Abbildung 4.1: Wirkung der ε-insensitiven Kostenfunktion
Die Schwierigkeit liegt in der richtigen Wahl des Parameters ε. Er sollte am Signal-
Rausch-Verhältnis ausgerichtet werden, was aber in der Praxis meist nicht bekannt
ist. Somit ist eine Optimierung des Parameters nötig, wobei sich bei lokalen Modellen
wieder die Leave-one-out Cross-Validation als Fehlergröße anbietet.
Die ε-insensitive Kostenfunktion ersetzt allerdings nicht die Regularisierung des Modells.
Der Einfachheit halber soll zunächst von einem linearen Modell
f(x) = 〈w, x〉 + b , x, w ∈ R d , b ∈ R (4.6)