Download (1800Kb) - oops/ - Oldenburger Online-Publikations-Server

Beispielen erwartet wurde. Die Ursache dafür ist, daß entweder das Minimum der Fehlerfunktion
nicht gefunden wurde oder die Dynamik so komplex ist, daß sie auch mit drei Schichten nicht erfaßt
werden kann. Die Untersuchung für den realistischen Fall mit unabhängiger Testmenge zeigt, daß
für drei Schichten starkes Übertraining auftritt. Dadurch liegen die Fehler deutlich höher als für
zwei Schichten.
Es wurde nicht versucht, das Verfahren mit drei Schichten und vollständiger Verbindung der Schichten
zu verbessern, da der Aufwand hierfür zu groß wäre. Das Training eines neuronalen Netzes mit
drei Schichten für 80 Moden dauert in etwa einen Tag, so daß das Testen verschiedener Trainingsverfahren
zu zeitaufwendig wäre. Hinzu kommt, daß die Trainingsmenge wesentlich vergrößert
werden müßte. Die Anzahl der Beispiele sollte mindestens so groß sein, wie die Anzahl der Verbindungen,
um zu starkes Übertraining zu vermeiden. Für eine Netz mit drei Schichten ist die
Anzahl der Verbindungen proportional zu 2N 3 ,für N = 80 würde das über 1.000.000 Gewichte
bzw. Trainingsbeispiele bedeuten.
Zusammenfassend läßt sich sagen, daß es bei der verwendeten Trainingsmethode und Trainingsmenge
bei vollständiger Verbindung der Schichten günstiger ist, ein Netz mit nur zwei Schichten
zu verwenden.
Verbindung der Schichten
In diesem Abschnitt wird dargestellt, inwieweit Übertraining durch eine Reduktion der Anzahl der
Verbindungen zwischen den Schichten vermindert werden kann. Dazu wurden zunächst wieder
zweischichtige Netze betrachtet. Um herauszufinden, auf welche Verbindungen verzichtet werden
kann, ohne die Vorhersagequalität zu beeinträchtigen, wurden für die Vorhersagezeiträume 30 Minuten
und 2 Stunden die Beträge der einzelnen Gewichte in Abb. 3.14 veranschaulicht. Der Wert
eines Gewichts w i, j ist dabei durch den Grauwert eines Pixels gegeben. Durch die Position eines
Pixels ist festgelegt, um welche Verbindung es sich handelt (x-Richtung: Eingabeneuronen, y-
Richtung: Ausgabeneuronen). Die rechten Quadrate stehen jeweils für die Verbindungen vom Bild
zum Zeitpunkt t (aktuelles Bild) zum vorherzusagenden Bild zum Zeitpunkt t + ∆t, wobei ∆t den
Vorhersagezeitraum bezeichnet. Die linken Quadrate stehen für die Verbindungen vom vergangenen
Bild (t −30min) zum Bild (t +∆t). Wie zu erwarten war, sind die Verbindungen vom aktuellen
Bild zum vorherzusagenden Bild stärker ausgeprägt als die Verbindungen vom vergangenen Bild
zum vorherzusagenden Bild.
Bei der 30 Minuten Vorhersage sind die Verbindungen zwischen sich entsprechenden Moden, repräsentiert
durch die Diagonalen in Abb. 3.14, deutlich stärker als alle anderen Verbindungen. Im
Wesentlichen wirken auf eine vorherzusagende Mode aus dem Bild (t + ∆t) nur die entsprechenden
Moden aus den Eingabebildern. Bei der Vorhersage über einen Bereich von 2 Stunden sind die
Verbindungen zwischen sich entsprechenden Moden zwar ebenfalls am deutlichsten ausgeprägt,
die Verbindungen zu anderen Moden tragen jedoch deutlich bei. Im Besonderen wirken die hohen
Moden aus den Bildern t und (t −30min) auf die niedrigen Moden aus dem folgenden Bild (t +∆t)
(großflächige Strukturen haben Einfluß auf kleinskalige Strukturen zu einem späteren Zeitpunkt).
43