Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Seite 80
4.1. Lineare Support-Vektor-Regression
die Ableitungen der Lagrange-Funktion nach den primalen Variablen verschwinden
müssen, d.h. es gilt
∂ b L =
∂ w L = w −
∂ ξ
(∗)
i
N∑
(αi ∗ − α i ) = 0 (4.10)
i=1
N∑
(α i − αi ∗ )x i = 0 (4.11)
i=1
= C − α (∗)
i
− η (∗)
i = 0 . (4.12)
Aus (4.11) folgt sofort
w =
N∑
(α i − αi ∗ )x i (4.13)
i=1
und somit
f(q) =
N∑
(α i − αi ∗ )〈x i , q〉 + b . (4.14)
i=1
Der Koeffizientenvektor w lässt sich somit eindeutig durch eine Linearkombination
der Trainingsvektoren x i beschreiben. Wie man an 4.14 abliest, muss er aber gar
nicht explizit berechnet werden: die Regressionsfunktion f lässt sich komplett durch
Skalarprodukte der Trainingspunkte x i mit dem Anfragepunkt q berechnen. Diese
Eigenschaft ist wichtig für die Erweiterung zur nichtlinearen SV-Regression über
Kern-Funktionen (siehe Abschnitt 4.1.2). Nun sind für jeden Trainingspunkt zwei
duale Variablen α i und α ∗ i zu berechnen, die Zahl der Parameter scheint sich somit
verdoppelt zu haben. Hierzu muss man aber bedenken, dass Abweichungen größer
ε oberhalb und unterhalb der Regressionsfunktion bestraft werden (siehe Abbildung
4.1), diese aber bei einem Punkt natürlich nie gleichzeitig auftreten können 1 ; alleine
hierdurch wird die Zahl der Parameter bereits halbiert. Auch sind Abweichungen
kleiner als ε für die Berechnung der Regressionsfunktion ohne Belang, was zu einer
weiteren Reduzierung der Parameter führt. Dieser Effekt wird im nächsten Abschnitt
deutlich werden.
1 Zwar machen die Begriffe “oberhalb” und “unterhalb” natürlich nur in zwei Dimensionen Sinn,
das mit diesen Begriffen und der zugehörigen Abbildung anschaulich dargestellte Prinzip gilt aber
auch in höherdimensionalen Räumen.