Neuronale Netze - D. Kriesel

diesen Parameter niedriger setzen, um ausschließlich sehr vorsichtige Updateschritte
zu erlauben. Kleine Updateschritte sollten in jedem Fall erlaubt sein, also setzen wir
ηmin = 10 −6 .
Bleiben die Parameter η ↑ und η ↓ . Fangen wir mit η ↓ an: Wenn dieser Wert zum Einsatz
kommt, haben wir ein Minimum übersprungen, von dem wir nicht genau wissen, wo
auf der übersprungenen Strecke es liegt. Analog zur Vorgehensweise der binären Suche,
wo das Zielobjekt ebenfalls oft übersprungen wird, gehen wir davon aus, es läge in der
Mitte der übersprungenen Strecke. Also müssen wir die Lernrate halbieren, weswegen
sich ein η ↓ = 0.5 kanonischerweise anbietet. Wenn der Wert η ↑ zum Einsatz kommt,
sollen Lernraten umsichtig vergrößert werden, hier können wir also nicht die binäre
Suche generalisieren und einfach den Wert 2.0 verwenden, sonst besteht das Lernraten-
Update nachher fast nur noch aus Richtungswechseln. Problemunabhängig hat sich
ein Wert von η ↑ = 1.2 als erfolgsversprechend erwiesen, wobei leichte Änderungen die
Konvergenzgeschwindigkeit nicht signifikant beeinflusst haben. So konnte auch dieser
Wert einfach als Konstante gesetzt werden.
Mit fortschreitender Rechengeschwindigkeit der Computer ist eine immer größere Verbreitung
von sehr tiefen Netzwerken (Deep networks) , also Netzwerken mit sehr
vielen Schichten, zu beobachten. Für solche Netze ist Rprop dem originalen Backpropagation
unbedingt vorzuziehen, weil Backprop, wie schon angedeutet, auf Gewichten
fern der Ausgabeschicht sehr langsam lernt. Bei Problemen mit kleineren Schichtenzahlen
würde ich empfehlen, das verbreitete Backpropagation (sowohl mit offline- als
auch mit online-Lernen) und das weniger verbreitete Rprop zunächst gleichwertig zu
testen.
SNIPE: Resilient Backpropagation wird in Snipe über die Methode
trainResilientBackpropagation der Klasse NeuralNetwork unterstützt. Wahlweise kann
man hier auch noch eine weitere Verbesserung zu Resilient Propagation zuschalten, die in
dieser Arbeit jedoch nicht weiter behandelt wird. Für die verschiedenen Rprop-Parameter
finden sich Getter und Setter.
5.6 Backpropagation wurde auch außerhalb von Rprop
vielfach erweitert und variiert
Backpropagation ist vielfach erweitert worden – viele dieser Erweiterungen kann man
einfach als optionale Features von Backpropagation implementieren, um größeren Testspielraum
zu haben. Ich möchte im folgenden einige von ihnen kurz beschreiben.