Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Seite 32
2.4. Validierung lokaler Modelle
2.4 Validierung lokaler Modelle
Wie im vorigen Abschnitt erläutert ist es nicht ratsam, ein Modell ausschließlich
auf Basis des mittleren quadratischen Fehlers des gegebenen Datensatzes zu optimieren,
da es hierbei zu einem Overfitting kommen kann. Eine Möglichkeit ist
natürlich, von dem zu untersuchenden System neue Datensätze zu erstellen und
das Modell mit diesen neuen Daten zu validieren. Allerdings ist dies häufig nicht
möglich und zudem könnten diese Daten ebensogut in den bestehenden Datensatz
integriert werden, um so die Genauigkeit des Modells weiter zu verbessern (gerade
bei lokalen Modellen ist die Genauigkeit eng mit der Zahl der zur Verfügung stehenden
Daten verknüpft). Eine naheliegende Alternative ist, Training und Validierung
an Teilmengen des bestehenden Datensatzes vorzunehmen. Diese Strategie wird als
Cross-Validation bezeichnet.
2.4.1 Cross-Validation
Bei der Cross-Validation (CV) wird der Datensatz in zwei Mengen aufgeteilt: eine
• Trainingsmenge, anhand derer das Modell berechnet wird und eine
• Testmenge, die zur Validierung des Modells herangezogen wird.
Wesentlich für die Cross-Validation ist, dass keinerlei Daten der Testmenge in die
Bildung des Modells einfließen. Im Falle lokaler Modelle bedeutet dies, dass bei einem
Anfragepunkt aus der Testmenge nur nächste Nachbarn in der Trainingsmenge
gesucht werden dürfen. Ein typischer Verlauf einer solchen Cross-Validation ist, dass
zunächst der Fehler sowohl auf dem Trainings- wie dem Testdatensatz kleiner wird,
der Testfehler jedoch ansteigt, sobald ein Overfitting des Modells auftritt. Das Minimum
des Testfehlers entspricht somit dem optimalen Satz der Modellparameter.
Nachteil der Cross-Validation ist, dass weniger Punkte für das Training des Modells
zur Verfügung stehen. Es bleibt daher immer die Frage offen, ob ein Training auf dem
kompletten Datensatz ohne Cross-Validation nicht vielleicht ein besseres Modell liefern
würde. Die Cross-Validation führt somit letztlich zu einer Erhöhung des Bias des
Modells, was bei komplexen Daten zu einer schlechteren Modellierung führen kann.
Es trifft im übrigen auf praktisch alle Verfahren zur Vermeidung von Overfitting
zu, dass diese zu einer Erhöhung des Bias führen (für eine ausführliche Diskussion
dieses Themas siehe [33]). Man kann diesen Effekt bei der Cross-Validation aber
dadurch minimieren, indem man die Testmenge möglichst klein macht. Natürlich
verliert dadurch die Validierung des Modells an Aussagekraft, jedoch kann dieser
Vorgang für mehrere Realisierungen von Testmengen durchgeführt werden. Dieses
Prinzip soll nun näher erläutert werden.