Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Kapitel 3. Lokal polynomiale Modellierung Seite 47
ersten Blick verblüffen mag, da dies nichts anderes bedeutet, als dass die nächsten
Nachbarn nur auf Basis der ersten Komponente gewählt werden.
Setzt man die zweite Gleichung der Hénon-Abbildung in die erste ein, so erhält man
x n+1 = bx n−1 −ax 2 n +1. In den Wert x n+1 fließt somit x n quadratisch und x n−1 linear
ein. Da ein lineares Modell verwendet wird, kann der lineare Anteil ohnehin perfekt
modelliert werden; somit ist der quadratische Anteil der für die Modellierung wesentliche.
Dementsprechend werden die nächsten Nachbarn nur anhand dieser Komponente
ausgewählt. Für andere Modelltypen wie z.B. ein lokal konstantes Modell
ist diese Metrik völlig ungeeignet; die optimale Metrik hängt somit wesentlich von
dem verwendeten Modell ab. Auch unter Einfluss von Rauschen ist λ = 0 beim lokal
linearen Modell nicht mehr die optimale Wahl (siehe auch Abschnitt 5.1.1).
3.4 Regularisierung polynomialer Modelle
Zwar hat man mit (3.11) ein mathematisch exaktes Ergebnis für den Koeffizientenvektor
ν gefunden, jedoch stellt sich bei der praktischen Berechnung das Problem,
dass die Matrix X häufig schlecht konditioniert ist, d.h. sie ist nahezu singulär.
Dieses Problem tritt insb. dann auf, wenn nur wenige Punkte zur Berechnung herangezogen
werden und wenn viele dieser Punkte kolinear sind. Dies ist gerade bei
lokalen Modellen häufig der Fall, wo wenige nächste Nachbarn zur Berechnung des
Modells verwendet werden.
Um auch in diesen Fällen vernünftige Werte für den Koeffizientenvektor ν zu erhalten,
ist eine Regularisierung der Matrix X notwendig. Hierfür gibt es vor allem
zwei populäre Methoden: die Ridge Regression (RR) und die Principal Component
Regression (PCR).
3.4.1 Principal Component Regression
Der Einfachheit halber soll zunächst auf die Wichtung verzichtet werden. Der Koeffizientenvektor
ist somit gegeben durch
ν = X † y = (X T X) −1 X T y = (VS 2 V T ) −1 X T y , (3.23)
wobei hier die Singulärwertzerlegung X = USV T verwendet wurde (siehe Anhang
A). Das Matrixprodukt X T X ist reell und symmetrisch, daher ist VS 2 V T eine Diagonalisierung
des Matrixproduktes mit den quadrierten reellen, positiven Eigenwerten
σ i auf der Diagonalen von S 2 . Sortiert man diese der Größe nach, so sind die dazugehörigen
Eigenvektoren v i die Hauptachsen (Principal Components) der Matrix
XX T . Statistisch können diese als die Vektoren verstanden werden, die die Summe