Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Kapitel 3. Lokal polynomiale Modellierung Seite 57
Punkte sollte einer globalen Wahl der Parameter besser entgegenkommen; eine lokale
Variation wird somit schlicht überflüssig.
Ein Nebeneffekt dieses Ansatzes ist die Reduzierung der Komplexität des Modells.
Wie in Abschnitt 3.3.1 bereits besprochen, führt das lokal konstante Modell im Extremfall
mit einem nächsten Nachbarn und ohne Wichtung zu einer Interpolation der
Daten. Man erhält in diesem Fall somit ein Modell mit verschwindendem Bias und
hoher Varianz. Die Approximation der Datenpunkte durch die Gitterpunkte führt
zu einer Erhöhung des Bias des Modells, eine Interpolation des Datensatzes ist auch
mit einem nächsten Nachbarn und lokal konstantem Modell nicht mehr möglich. Der
Bias wird hierbei um so größer, je gröber das Gitter ist und je weniger Gitterpunkte
verwendet werden. Das Ziel besteht somit darin, dass Gitter nur soweit aufzubauen
bis es zu einem Overfitting kommt. Dieses Vorgehen kann mit der Termselektion
bei einem globalen Modell verglichen werden: hier werden Basisfunktionen solange
in das Modell eingefügt, bis der Testfehler bei der Cross-Validation wieder ansteigt
(was Overfitting anzeigt). Natürlich kann auch der umgekehrte Weg gegangen werden:
es wird mit einem dichten Gitter gestartet und nach und nach Punkte dieses
Gitters herausgenommen (und analog existiert dieses umgekehrte Verfahren auch
bei der Termselektion).
3.6.1 Beispiel Hénon-Abbildung
Mit der Hénon-Abbildung (3.22) wurden 500 Punkte an Trainingsdaten und 1000
Punkte an Testdaten für eine Cross-Validation generiert 2 . Der erste Schritt besteht
darin, den Attraktor durch Punkte auf einem Gitter zu approximieren (diese werden
im Folgenden einfach “Gitterpunkte” genannt). Der Algorithmus hierzu lautet
folgendermaßen:
1. Bestimme zweidimensionales quadratisches Intervall I, in dem alle Trainingspunkte
x i des Attraktors liegen. Lege eine ganzzahlige Konstante m > 0 fest,
die die Zahl nächster Nachbarn bestimmt, die in der Umgebung eines Gitterpunktes
mindestens liegen müssen.
2. Generiere in diesem Intervall ein Punktegitter G mit einer frei wählbaren
Gitterkonstanten g.
3. Bestimme bei jedem Gitterpunkt in einem Kreis mit Radius g die Anzahl
nächster Nachbarn k von Punkten x i des Hénon-Systems.
4. Falls k ≤ m, lösche den Punkt aus G.
2 Ob man direkt die Punkte aus (3.22) verwendet oder ob man eine der beiden Koordinaten
zweidimensional einbettet liefert beim Hénon-System bis auf eine Spiegelung an der Winkelhalbierenden
den gleichen Attraktor.