Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Seite 48
3.4. Regularisierung polynomialer Modelle
der zweiten Momente des Anfragepunktes q und seiner nächsten Nachbarn maximieren,
q T X T Xq =
≈
n∑ k∑
(q i · x j,i ) 2 + 1
i=1
j=1
n∑
k · E [ (q i · x·,i ) 2] + k , (3.24)
i=1
wobei E[·] den Erwartungswert beschreibt und x·,i eine Zufallsvariable ist, die den
i-ten Eingabewert des Modells darstellt. Falls diese Zufallsvariable einen Mittelwert
von Null hat, so ist dies identisch mit der Maximierung der Varianz der Datenpunkte,
d.h. der Vektor v 1 ist der Vektor, in dessen Richtung die Punkte maximale Varianz
besitzen.
Das Prinzip der Principal Component Regression besteht nun darin, gerade die
Komponenten wegzulassen, in deren Richtung die Punkte kaum Ausdehnung im
Phasenraum besitzen, d.h. die Komponenten mit minimaler Varianz. Praktisch erfolgt
dies dadurch, die Summe in (3.16) nur bis zu einem Index n σ < r laufen zu
lassen. Im gewichteten Fall ergibt sich dann (vgl. [22])
ν = (X W ) † y W =
∑n σ
i=1
1
σ i
〈u T i , y W 〉v i . (3.25)
Dies leuchtet auch ohne Betrachtung der statistischen Interpretation sofort ein: Ist
die Matrix X schlecht konditioniert, so liegen ein oder mehrere Singulärwerte dicht
bei Null und die Ausgabe des Modells wird durch die Multiplikation mit 1/σ i besonders
groß. Da die Singulärwerte der Größe nach sortiert sind liegt es nah, die Summe
früher abzubrechen. Dies wird auch als Truncated Principal Component Regression
(TPCR) bezeichnet.
Bei der bisherigen Betrachtung wurde allerdings nicht beachtet, dass die Datenpunkte
bei der lokalen Modellbildung i.A. keinen Mittelwert Null besitzen. Daher zeigt
gerade die erste Hauptachse v 1 meist nicht in die Richtung maximaler Varianz, sondern
einfach vom Ursprung aus in Richtung des Mittelwerts der Datenpunkte (siehe
Abbildung 3.4(a)). Es ist daher sinnvoll, von den Datenpunkten den Mittelwert
¯x abzuziehen; dies wird als Centering bezeichnet. Das Ergebnis ist in Abbildung
3.4(b) zu sehen: die erste Hauptachse zeigt nun in Richtung der größten Varianz der
Punktwolke. Die Modellausgabe ist nun gegeben durch
∑n σ
( ) 1
ŷ = ȳ + 〈(q − ¯x) T , v i 〉 〈u T i , y〉 . (3.26)
σ i
i=1