Neuronale Netze - D. Kriesel

Err
b)
c)
Globales Minimum
Abbildung 4.4: Mögliche Fehler während eines Gradientenabstiegs: a) Finden schlechter Minima,
b) Quasi-Stillstand bei kleinem Gradienten, c) Oszillation in Schluchten, d) Verlassen guter Minima.
4.5.1 Gradientenverfahren bringen verschiedene Probleme mit sich
Wie in Abschnitt 4.5 angedeutet, ist der Gradientenabstieg (und damit Backpropagation)
erfolgversprechend, jedoch nicht fehlerresistent, wobei eines der Probleme ist,
dass man nicht immer anhand des Ergebnisses ersehen kann, ob ein Fehler passiert ist.
4.5.1.1 Häufig konvergieren Gradientenverfahren nur gegen suboptimale Minima
Jedes Gradientenabstiegsverfahren kann zum Beispiel in einem lokalen Minimum hängen
bleiben (ein Beispiel findet sich in Teil a der Abb. 4.4) – dieses Problem wächst mit
der Größe der Fehlerfläche an und hierfür gibt es keine allgemeingültige Lösung. In der
Realität kann man nicht wissen, ob man das optimale Minimum gefunden hat – also
gibt man sich zufrieden, sobald man ein Minimum ausreichender Qualität gefunden
hat.
a)
d)
W