Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Kapitel 3. Lokal polynomiale Modellierung Seite 51
die Ridge-Matrix ist R = µ 2 I, d.h. alle Koeffizienten werden gleich stark mit dem
Faktor µ 2 gewichtet. Die Berechnung von (3.32) wird dadurch besonders einfach, da
man hier einfach die Singulärwertzerlegung X W = USV T einsetzen kann und als
Lösung
ν =
k∑
i=1
σ i
σ 2 i + µ2 〈uT i , y W 〉v i (3.33)
erhält. Für σ i ≫ µ ist σ i /(σ 2 i + µ 2 ) ≈ 1/σ i und für σ i → 0 gilt σ i /(σ 2 i + µ 2 ) ≈ 0. Ein
Beispiel ist in Abbildung 3.5(b) zu sehen. Man erhält somit ein ähnliches Verhalten
der Regularisierung wie bei der TPCR mit Soft-Thresholding, allerdings werden
durch den Parameter µ die Kehrwerte der Singulärwerte prinzipiell verkleinert. Es
existiert somit ein Bias, auch wenn dieser für große Singulärwerte und kleine µ
vernachlässigbar wird. Ein weiterer Nachteil ist, dass Komponenten mit sehr kleinen
Singulärwerten nicht wie bei der TPCR konsequent auf Null gesetzt werden.
3.4.3 Wahl der Regularisierung
Es stellt sich die Frage, welche Regularisierung verwendet werden sollte. Die Ridge
Regression hat den Vorteil, dass man gezielt bestimmte Komponenten der Modelleingabe
wichten kann. Weiß man bereits vor der Modellierung, dass bestimmte Komponenten
z.B. im wesentlichen Rauschanteile darstellen, so können diese durch passende
Wahl der Matrix R weniger stark in das Modell einfließen. Diese Möglichkeit
der direkten Wichtung einzelner Komponenten ist mit der TPCR nicht möglich.
Die Nachteile der Ridge Regression wurden bereits am Ende des letzten Abschnittes
erläutert: der Bias wird vergrößert und sehr kleine Singulärwerte größer Null werden
nicht konsequent auf Null gesetzt.
Die TPCR ist besonders dann von Vorteil, wenn die zu modellierenden Daten in
einer Untermannigfaltigkeit des Datenraumes liegen. Dies ist gerade bei der Vorhersage
von Zeitreihen der Fall, wo man üblicherweise versucht, die Dynamik auf
einem Attraktor zu modellieren, der wie in Kapitel 1.1.3 beschrieben in eine Untermannigfaltigkeit
eingebettet ist. Durch das Prinzip, die Komponenten mit kleiner
Varianz aus der Modellierung herauszunehmen, passt sich das Modell automatisch
der durch den Attraktor gegebenen Dynamik an. Besonders hervorzuheben ist, dass
durch Verwendung des Soft-Thresholding auch lokale Variationen der Dynamik auf
dem Attraktor berücksichtigt werden. So können bestimmte Komponenten an einem
Ort des Attraktors eine weit wichtigere Rolle spielen als an einem anderen, was sich
aber in einer entsprechenden Veränderung der Singulärwerte niederschlägt.
Ein Vergleich von Ridge Regression und TPCR mit Soft-Thresholding bei der Vorhersage
von Zeitreihen nichtlinearer Systeme findet sich in [22]. Es zeigt sich in der
Tat, dass die TPCR besser für diesen Anwendungsfall geeignet ist.