Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Seite 56
3.6. Approximation durch Gitterpunkte
che lokale Modelle mit der sog. “Lazy Learning Toolbox” verglichen werden, die von
Birattari und Bontempi entwickelt wurde (siehe [7]). Diese Toolbox basiert ebenfalls
auf einer lokalen Auswahl von Modelltyp und zugehörigen Parametern anhand
einer LOO-CV der nächsten Nachbarn. Auch hier wurde festgestellt, dass diese Methoden
der Toolbox herkömmlichen Methoden nicht überlegen sind und häufig auch
schlechtere Ergebnisse liefern. Eine weitere Methode von Bontempi basiert darauf,
bekannte dynamische Eigenschaften des Systems auszunutzen. Hierbei wird das lokale
Modell so gewählt, dass die durch das Modell beschriebene Volumenkontraktion 1
mit der des Systems im Einklang steht. Aber auch diese Methode versagt bei Teilen
des Datensatzes und liefert dort deutlich schlechtere Ergebnisse, sodass der gemittelte
Fehler über den gesamten Datensatz letztlich größer ist als mit herkömmlichen
Methoden (vgl. [8]).
Eine erfolgreiche lokale Variation der Zahl nächster Nachbarn bei lokal linearen Modellen
hat Smith erreicht, indem er diesen Parameter nur in engen Grenzen vom
globalen optimalen Wert variieren ließ (siehe [34]). Allerdings sind die Verbesserungen
mit dieser Methode nur geringfügig und es ist von einer deutlich höheren
Rechenzeit auszugehen.
Zusammenfassend lässt sich sagen, dass die lokale Variation von Parametern bei
bestimmten Modellierungsproblemen wie z.B. bei der Approximation von glatten,
nicht-chaotischen Abbildungen wie der Ramp-Hill-Funktion erfolgreich sein kann.
Allerdings ist es bislang nicht gelungen, eine die zusätzliche Rechenzeit rechtfertigende
deutliche Verbesserung der Vorhersage über lokale Variation zu erreichen,
die auch bei Datensätzen wie chaotischen Zeitreihen zuverlässig funktioniert. Auch
muss man bedenken, dass unter Einfluss von Rauschen die Parameter weniger stark
lokal variieren. Selbst eine lokal optimale Wahl der Parameter hätte bei verrauschten
Datensätzen wenig Auswirkungen auf das Ergebnis.
3.6 Approximation durch Gitterpunkte
Zur Vermeidung von Over- und Underfitting ist die korrekte Wahl des Parameters
der Zahl nächster Nachbarn entscheidend. Im vorigen Abschnitt wurden die Schwierigkeiten
bei der lokalen Variation dieses Parameters erläutert, und es stellt sich die
Frage, ob man nicht den umgekehrten Weg gehen kann: im Falle lokaler Modelle, wo
Datenpunkte und Modell gar nicht mehr zu trennen sind, kann anstelle einer Änderung
des Modell-Algorithmus auch bei den Datenpunkten selbst angesetzt werden.
Die Idee besteht darin, den Datensatz durch relativ wenige Punkte eines Gitters
zu approximieren. Hierzu wird ein Punktegitter generiert welches den Datensatz
komplett überdeckt und anschließend gezielt bestimmte Punkte dieses Gitters für
die Approximation ausgewählt. Diese so entstehende gleichmäßigere Verteilung der
1 Wobei hier vorausgesetzt wird, dass ein dissipatives Systems modelliert wird.