Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Seite 64
3.8. Optimierung der Modellparameter
Gradienten wie z.B. die Methode nach Powell [30] konvergieren in den meisten
Fällen zu langsam und lassen sich nur bei relativ kleinen Datensätzen verwenden.
Eine einfache Möglichkeit ist die zyklische Optimierung, bei der einfach alle Parameter
nacheinander optimiert werden [22]. Für jeden Parameter wird ein gewisses
Intervall vorgegeben, aus dem in linear oder logarithmisch skalierten Abständen verschiedene
Werte des Parameters gewählt werden. Nach jedem Durchlauf wird dieses
Intervall verkleinert. Natürlich hat dieses Verfahren durchaus gravierende Nachteile:
es ist anfällig für lokale Minima und es berücksichtigt nicht die Abhängigkeit der
Parameter untereinander. Aus Gründen der Laufzeit ist es aber mit dem Stand heutiger
Rechner das einzig praktikable. In einigen Jahren dürfte es aber kein Problem
sein, auch komplexere Algorithmen wie z.B. das oben erwähnte Simulated Annealing
für dieses Problem zu verwenden.
Um die Rechenzeit weiter zu verkürzen, wird der NMSE nicht über alle Punkte des
Datensatzes berechnet, sondern eine zufällige Teilmenge gewählt. Sie darf natürlich
nicht zu klein gewählt werden, ansonsten ist das Ergebnis nicht mehr repräsentativ
für den gesamten Datensatz. Die Teilmenge wird für jeden zu optimierenden Parameter
neu gewählt, um ein Overfitting auf eine Untermenge des Datensatzes zu
vermeiden.
Algorithmus
Das Vorgehen der Optimierung ist wie folgt:
1. Zunächst ist bis auf Einbettungsdimension und Delay ein Startwert für jeden
Parameter festzulegen, der möglichst konservativ gewählt werden sollte, damit
das Modell nicht gänzlich versagt. Weiterhin ist eine Schrittweite p für den
NMSE vorzugeben.
2. Für jeden Parameter P ist ein Startintervall [P min , P max ] anzugeben, in dem
der Parameter variiert wird. Weiterhin muss festgelegt werden, wie fein die
Unterteilung dieses Intervalls sein soll und ob sie linear oder logarithmisch
erfolgt. Zusätzlich muss angegeben werden, ob der Parameter ganzzahlig sein
muss oder nicht.
3. Die Parameter werden nun nacheinander innerhalb der vorgegeben Intervalle
optimiert. Im Falle von Zeitreihen steht an erster Stelle die Einbettung. Hierzu
werden Kombinationen von Delay und Dimension aus den vorgegebenen Intervallen
verwendet und der NMSE berechnet. Meist reicht es, den Delay auf
kleine Werte zu beschränken.
4. Nun erfolgt die Optimierung der anderen Parameter, wobei folgende Reihenfolge
verwendet wurde: Zahl nächster Nachbarn, Regularisierung, evtl. Parameter