Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Seite 50
3.4. Regularisierung polynomialer Modelle
definiert werden. Die Parameter s c und s w geben das Zentrum bzw. die Breite der
Schwelle an, in der die Singulärwerte gewichtet werden. Oberhalb von s max bleiben
die Singulärwerte unverändert, unterhalb von s min werden sie auf Null gesetzt. Ein
Beispiel für die Auswirkung der Wichtungsfunktion ist in Abbildung 3.5(a) gegeben.
4
4
¢¡¤£¦¥§£©¨
3.5
3
2.5
2
1.5
1
0.5
£ ¨
3.5
3
2.5
2
1.5
1
0.5
¢¡¤£¥ §¦©¨§¦
0
0 1 2 3 4
σ
(a) Truncated Principial Components mit
Soft-Threshold (s c = 1, s w = 0.5, siehe
(3.28))
0
0 1 2 3 4
σ
(b) Ridge Regression (µ = 0.75)
Abbildung 3.5: Verlauf der regularisierten Singulärwerte
3.4.2 Ridge Regression
Bei der (gewichteten) Ridge Regression wird die Kostenfunktion (3.7) durch einen
additiven Term ergänzt, der große Werte im Koeffizientenvektor ν “bestraft”. Eine
allgemeine Form ist
P (ν) RR = (y − Xν) T W T W(y − Xν) + ν T R T Rν , (3.31)
wobei über die Diagonalmatrix R ≡ diag(r 1 , . . . , r n ) die Koeffizienten verschieden
gewichtet werden können. Anstelle von Ridge Regression findet sich auch häufig die
Bezeichnung Tikhonov-Phillips-Regularisierung. Die Lösung für ν berechnet sich
analog wie in Anhang A beschrieben und lautet
ν = (X T W X W + R T R) −1 X T W y W . (3.32)
Die Berechnung von (3.32) erfolgt in diesem allgemeinen Fall am besten durch eine
Sequenz von Householder-Transformationen. Eine einfache (und populäre) Wahl für