Darstellung und Analyse hydrologischer Topologien auf der Basis ...

2.5 Backpropagation-Netze 43
E
Plateau
PSfrag replacements
lokales Minimum
globales Minimum
w a
w b
w
Abbildung 2.8: Fehlerfunktion mit lokalem und globalem Minimum (Gallant 1993)
• Haltebedingung
Die Formulierung der im Schritt 2.5.3.1 erwähnten Haltebedingung stellt häufig ein Problem
dar. Im Idealfall wird das Verfahren gestoppt, wenn der Anstieg der Fehlerfunktion null ist. Gerade
aber bei Fehlerfunktionen, die sich asymptotisch an einen Grenzwert annähern oder Plateaus
bilden, müssen andere Kriterien für die Beendigung des Verfahrens herangezogen werden.
• Wahl von σ
Die Wahl eines geeigneten Wertes für σ ist entscheidend für den Erfolg des Verfahrens, stellt
jedoch häufig ein Problem dar. Wird σ zu groß gewählt, besteht die Gefahr, das Minimum
durch zu große Schritte im Gewichtsraum zu „überspringen“ oder zwischen festen Punkten im
Suchraum zu oszillieren. Ein zu kleiner Wert für σ führt zu einem hohen zeitlichen Aufwand
beim Gradientenabstieg.
• Lokale Minima
Lernverfahren auf Basis des Gradientenabstiegs finden nicht notwendigerweise ein globales
Minimum der Fehlerfunktion. Entscheidend für die Qualität der ermittelten Lösung ist daher
oft die Wahl des initialen Gewichtsvektors.
Abbildung 2.8 zeigt eine Fehlerfunktion E in Abhängigkeit eines einzelnen Gewichtes w und exemplarisch
einige der aufgeführten Problemfälle. Ausgehend vom Startwert w a besteht hier die Gefahr,
durch Gradientenabstieg nur ein lokales Minimum von E zu ermitteln. Wird hingegen w b als initialer
Wert für w ausgewählt, könnte das Verfahren bei ungeeigneter Wahl der Abbruchbedingung mit
Erreichen des dargestellten Plateaus vorzeitig beendet werden.