Download (1800Kb) - oops/ - Oldenburger Online-Publikations-Server

Menge Klasse 1 Klasse 2 Klasse 3 Klasse 4
Testmenge 247 76 353 346
Trainingsmenge 1028 405 2000 1346
Tabelle 3.2: Anzahl der Test- und Trainingsbeispiele für den Vorhersagezeitraum 30 Minuten.
Lernverfahren
Zum Training der neuronalen Netze wurde der in Abschnitt 3.1.1 beschriebene Backpropagation-
Algorithmus verwendet. Dazu muß gemäß Gleichung (3.6) die Lernschrittweite festgelegt werden.
Da im hier verwendeten online-Verfahren die Gewichte nach jedem Trainingsbeispiel geändert
werden, spielt es außerdem eine Rolle, wie die Trainingsbeispiele präsentiert werden.
Als Beispiel wurde für den Vorhersagezeitraum 30 Minuten ein zweischichtiges Netz mit vollständiger
Verbindung der Schichten betrachtet, wobei N = 60 Moden zur Repräsentation der Bilder verwendet
wurden. Die Vorhersagefehler in Abhängigkeit von der Anzahl der Trainingsschritte sind
für verschiedene Lernschrittweiten von η = 0.01 bis η = 0.1 in Abb. 3.10 dargestellt. Werden die
Trainingsbeispiele bei jedem Trainingsschritt in der gleichen Reihenfolge präsentiert (siehe Abb.
3.10, linkes Bild), werden für die größeren der betrachteten Werte von η die optimalen Gewichte
nicht gefunden. Je kleiner die Lernschrittweite, desto besser werden die Ergebnisse, desto mehr
Trainingsschritte sind aber auch erforderlich. Schnellere Konvergenz kann erreicht werden, wenn
die Trainingsbeispiele bei jedem Trainingsschritt in zufällig wechselnder Reihenfolge präsentiert
werden (siehe Abb. 3.10, rechtes Bild). Auch bei größeren Werten von η, bei denen das Verfahren
vergleichsweise schnell konvergiert, wird die gleiche Vorhersagequalität erreicht, wie für kleinere
Werte von η. Wegen der wechselnden Reihenfolge der Beispiele, an die die Gewichte angepaßt
werden, ergeben sich, auch nach Konvergenz, Schwankungen in den Kurven. Diese sind um so
größer, je größer die Lernschrittweite ist.
Es wurde weiterhin versucht, das Lernverfahren durch Addition eines Momentum-Terms zu verbessern
(siehe [Zell 1999]). Da dies die Ergebnisse jedoch verschlechtert, wurde dieses Verfahren
im Weiteren nicht angewandt.
Für die Parameteroptimierung ist, wegen der Vielzahl der Trainingsläufe, die durchgeführt werden
müssen, schnelle Konvergenz ein wichtiger Faktor. Deswegen werden für die folgenden Betrachtungen
die Beispiele in zufällig wechselnder Reihenfolge präsentiert. Soweit nicht anders
angegeben, ist die Lernschrittweite auf η = 0.1 gesetzt, und das Training wird nach 4000 Trainingschritten
beendet. Für das Training der Netze nach Festlegung der optimalen Parameter wurden
die Trainingsbeispiele, bei einem genügend kleinen Wert von η, für alle Trainingsschritte in der
gleichen Reihenfolge berücksichtigt, da die Ergebnisse hier stabiler sind.
Länge der Trainingsmenge
Das neuronale Netz soll anhand der Trainingsbeispiele den Zusammenhang zwischen Ein- und
Ausgabe lernen. Der Zusammenhang zwischen Ein- und Ausgabe ist dabei nicht völlig determi-
38