Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Seite 62
3.8. Optimierung der Modellparameter
Der zweite Term der Kostenfunktion ist die Ridge Regression aus Abschnitt 3.4.2
zur Regularisierung des Modells. Die Komponenten der Vektoren y und ν sind
wie bei der polynomialen Regression gegeben durch die Ausgabewerte der nächsten
Nachbarn und den Koeffizienten aus (3.37)
y =
⎛
⎜
⎝
⎞
⎛ ⎞
y nn(1)
ν 0
⎟
⎜ ⎟
. ⎠ und ν = ⎝ . ⎠ . (3.39)
y nn(k) ν k
In der Matrix A stehen die Werte der radialen Basisfunktionen, ausgewertet an den
nächsten Nachbarn x nn(1) , . . . , x nn(k) , d.h.
⎛
⎞
g 1 (x nn(1) ) . . . g k (x nn(1) )
⎜
A = ⎝
.
. ..
⎟ . ⎠ . (3.40)
g 1 (x nn(k) ) . . . g k (x nn(k) )
Die Diagonalelemente von A sind somit alle gleich dem Parameter r. Die Normalengleichung
ist gegeben durch (3.32), nur dass hier keine Wichtungsmatrix vorhanden
ist, d.h.
ν = (A T A + R T R) −1 A T y . (3.41)
Im folgenden wird die Regularisierungsmatrix R = µ 2 I gesetzt und man erhält durch
Einsetzen der Singulärwertzerlegung die Lösung (3.33), nur dass y = y W eingesetzt
werden muss.
3.8 Optimierung der Modellparameter
Es ist eine wesentliche Eigenschaft nichtparametrischer Regression, dass “Modell”
und “Daten” keine trennbaren Begriffe sind. Dies zeigt sich auch bei den Parametern
der lokalen Modellierung: bis auf die Parameter zur Regularisierung dienen
sie zur Auswahl der Umgebung, in der die eigentliche Berechnung der Regression
stattfindet.
Im Fall des lokal konstanten Modells gibt es keine Form der Regularisierung und es
verbleiben vier Arten von Parametern zur Wahl der Umgebung: die Zahl nächster
Nachbarn, die Form der Wichtung, die Metrik zur Suche nach nächsten Nachbarn
sowie die Form der Einbettung. Erschwert wird die korrekte Wahl der Parameter
dadurch, dass sie sehr stark voneinander abhängen. Die Zahl der nächsten Nachbarn
kann durch entsprechende Wahl der Wichtung effektiv verringert werden. Die Form
der Umgebung wiederum wird wesentlich durch die Metrik beeinflusst, was wiederum
direkte Auswirkung auf die nötige Zahl der nächsten Nachbarn hat.