Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Seite 82
4.1. Lineare Support-Vektor-Regression
und
ξ i (C − α i ) = 0
ξ ∗ i (C − α ∗ i ) = 0 .
(4.18)
Anhand dieser Bedingungen lassen sich die wesentlichen Eigenschaften der Support-
Vektor-Regression zusammenfassen. Liegt ein Punkt in der ε-Umgebung der Regressionsfunktion,
so ist die Klammer in (4.17) ungleich Null, woraus folgt dass
α i = αi
∗ = 0. Diese Punkte sind somit für die Berechnung der Regressionsfunktion
unerheblich und könnten sogar komplett aus dem Datensatz herausgenommen
werden, könnte man sie vor der Berechnung bereits bestimmen.
Liegt ein Punkt oberhalb der ε-Umgebung der Regressionsfunktion, so ist ξ i > 0
und aus (4.18) folgt α i = C. Liegt ein Punkt genau um ε oberhalb der Regressionsfunktion,
so ist ξ i = 0 und α i ∈ (0, C). Die Variablen ξi ∗ und αi ∗ sind in beiden
Fällen gleich Null. Für Punkte unterhalb der Regressionsfunktion gilt dies analog,
nur dass in obigen Beziehungen ξ i ↔ ξi
∗ und α i ↔ αi ∗ ausgetauscht werden müssen.
Diese Punkte sind die Support-Vektoren und maßgeblich für die Berechnung der
Regressionsfunktion. Man sieht somit, dass mit genügend großem ε die Zahl der
Parameter deutlich verringert werden kann.
Die Berechnung von b erfolgt somit je nachdem ob α i ≠ 0 oder α ∗ i ≠ 0 über
b = y i − 〈w, x i 〉 − ε für α i ∈ (0, C) ,
b = y i − 〈w, x i 〉 + ε für α ∗ i ∈ (0, C) .
(4.19)
4.1.2 Nichtlineare Support-Vektor-Regression
Ziel ist es, die bislang betrachtete lineare Support-Vektor-Regression auf nichtlineare
Probleme zu erweitern. Eine Möglichkeit besteht darin, von jedem Punkt x i des
Datensatzes sog. Merkmale (Features) zu bilden und diese zur Modellbildung zu
verwenden. Damit ist gemeint, dass die Punkte über eine nichtlineare Abbildung
φ :
R n → R N
x ↦→ φ(x) = (φ 1 (x), . . . , φ N (x))
(4.20)
in einen Merkmalsraum (Feature Space) abgebildet werden, wobei dieser üblicherweise
mehr Dimensionen besitzt als der Raum der der Eingabepunkte. Der “Trick”
dieses in Hinblick auf den “Fluch der Dimensionen” (siehe Kapitel 2.2) zunächst