Neuronale Netze - D. Kriesel

5.4.3.1 Variation der Lernrate über die Zeit
Weiteres Stilmittel beim Training kann eine variable Lernrate sein: Eine große Lernrate
lernt am Anfang gut, aber später nicht mehr genau, eine kleinere ist aufwändiger,
lernt aber genauer. Also verringert man einmal oder mehrere Male die Lernrate um
eine Größenordnung – während des Lernvorgangs.
Ein beliebter Fehler (der obendrein noch auf den ersten Blick sehr elegant wirkt) ist,
die Lernrate kontinuierlich sinken zu lassen: Hier kommt es sehr leicht vor, dass der
Abfall der Lernrate größer ist als die Steigung eines Hügels der Fehlerfunktion, die
wir gerade erklimmen – was zur Folge hat, dass wir an dieser Steigung einfach hängen
bleiben. Lösung: Lieber wie beschrieben die Lernrate stufenweise verringern.
5.4.3.2 Verschiedene Schichten – verschiedene Lernraten
Je weiter man sich während des Lernvorganges von der Ausgabeschicht wegbewegt,
um so langsamer lernt Backpropagation – es ist also eine gute Idee, für die Gewichtsschichten
nahe der Eingabeschicht eine größere Lernrate zu nehmen als für diejenigen
nahe der Ausgabeschicht. Der Unterschied kann hier ruhig bis zu einer Größenordnung
betragen.
5.5 Resilient Backpropagation ist eine Erweiterung von
Backpropagation of Error
Gerade haben wir zwei Backpropagation-spezifische Eigenschaften angesprochen, die
hin und wieder zum Problem werden können (zusätzlich zu denjenigen, die Gradientenabstiege
ohnehin schon mit sich bringen): Zum einen kann der Benutzer von Backpropagation
eine schlechte Lernrate wählen, und zum anderen lernt Backpropagation
immer langsamer, je weiter die Gewichte von der Ausgabeschicht entfernt sind. Aus
diesem Grund haben Martin Riedmiller et al. Backpropagation weiterentwickelt,
und ihre Variante Resilient Backpropagation (kurz: Rprop) getauft [RB93,Rie94].
Ich möchte Backpropagation und Rprop hier gegenüberstellen, ohne ausdrücklich eine
Variante als „besser“ zu deklarieren. Bevor wir uns nun wirklich mit Formeln auseinandersetzen,
wollen wir die zwei primären Ideen hinter Rprop (und ihre Folgen) erst
einmal umgangsprachlich dem schon bekannten Backpropagation gegenüberstellen.