Zeitreihenanalyse natürlicher Systeme mit neuronalen Netzen und ...

egrenzte Beispielanzahl zur Verfügung, so daß eine zu starke Adaption an einen speziellen Beispielsatz
zu einer Abnahme der Generalisierung (durch overfitting) des Netzes führt: D.h. andere Datensätze
werden, obwohl sie vom selben System stammen, schlechter approximiert. Die Beispielanzahl muß
daher wesentlich größer als die Kapazität des Netzes (Parameteranzahl) sein. Enthalten die Daten große
stochastische Unregelmäßigkeiten, so ist ein noch „gröberes“ Netzwerk die Voraussetzung für die
Fehlerreduktion durch Mittelung über benachbarte Datenpunkte.
Andererseits bieten neuronale Netzwerke die Möglichkeit, mit großer Netzwerksturktur sehr fein
aufzulösen und stark variierende Funktionen zu generieren. Ausgeprägt nichtlineare Zusammenhänge,
die in den Daten enthalten sind, können dadurch erkannt und modelliert werden. Es stellt sich aber die
Frage, ob der gesetzmäßige Zusammenhang zwischen x und y tatsächlich so komplex ist und ob die zur
Verfügung stehenden Beispiele von ihrer Anzahl und ihren stochastischen Fehlern ausreichen, um diesen
Zusammenhang so komplex zu modellieren. Um dieses abzuschätzen und die Grenze zwischen
overfitting und underfitting zu finden, wird konsequent die cross-validation angewendet: Die Datensätze
werden in Trainings- und Testdaten aufgeteilt - der Fehler im Testdatensatz ist das Fehlermaß.
Verschiedene Netzwerktypen sind entwickelt worden, die sich in zwei Grundtypen einteilen lassen:
Lokale Karten und globale Funktionen. Die lokalen Karten [9] [10] bestehen aus einer Kollektion
einzelner Funktionen, die jeweils für verschiedene Phasenraumvolumina „zuständig“ sind. Die
Phasenraumaufteilung wird an die Eingabedaten angepaßt. Die globalen Funktionen hingegen bestehen
aus einer Funktion, die auf den ganzen Phasenraum angewendet wird. Zu diesen gehört das häufig
verwendete Multi-Layer-Perceptron-Netzwerk 23 (MLP), das hier kurz aufgegriffen wird, um den Vorteil
des hier verwendeten Verfahrens deutlich zu machen.
Bei MLPs [11] wird die Einteilung des Phasenraumes durch lineare Separationen durchgeführt. Die
Ausgabe der 1. Schicht wird in der zweiten und in den folgenden Schichten zu komplexen
charakteristischen Funktionen (in Form von Hyperpolyedern) kombiniert, die Phasenraumbereiche (hier
auch Cluster genannt) abgrenzen. In der letzen Schicht wird jedem Cluster ein Funktionswert
zugeordnet. Die Berechnung der Gewichte erfolgt durch Gradientenabstieg in Form einer Fehler-
Backpropagation mit dem Ziel der Minimierung von (2). Dadurch wird die Clusterung durch die
Verteilung der Eingabedaten und die Funktionswerte bestimmt.
Das in dieser Arbeit eingesetzte Radiale-Basis-Funktionen-System (RBFS) hat durch das von Moody
and Darken [12] und Stokbro et al [13] vorgeschlagene 2-Stufenverfahren gegenüber dem MLP
folgende Vorteile: Die Clusterung des Phasenraumes und der Fit des Funktionswertes wird getrennt
durchgeführt. Die gesamte Trainingszeit des Netzes ist dadurch wesentlich geringer, als die eines
23 der Standard bei den neuronalen Netzen
22