Neuronale Netze - D. Kriesel

das Verständnis für beide Regeln noch etwas zu schärfen. Wir haben gesehen, dass
Backpropagation durch
∆wk,h = ηokδh
mit
f
δh =
′ act(neth) · (th − yh) (h außen)
f ′ act(neth) ·
l∈L (δlwh,l) (h innen)
(5.41)
definiert ist. Da wir sie nur für einstufige Perceptrons verwenden, fällt der zweite Teil
von Backpropagation (heller dargestellt) ersatzlos weg, wir erhalten also:
∆wk,h = ηokδh mit
δh = f ′ act(neth) · (th − oh)
(5.42)
Weiterhin wollen wir nur lineare Aktivierungsfunktionen verwenden, so dass f ′ act (heller
dargestellt) konstant ist. Konstanten lassen sich bekanntlich zusammenfassen, wir
fassen also die konstante Ableitung f ′ act und die (mindestens pro Lernzyklus konstante)
Lernrate η (auch heller dargestellt) direkt in η zusammen. Es ergibt sich also:
Dies entspricht genau der Definition der Delta-Regel.
∆wk,h = ηokδh = ηok · (th − oh) (5.43)
5.4.3 Die Wahl der Lernrate hat enormen Einfluss auf den Lernprozeß
Wie mittlerweile vielfach gesehen, ist die Gewichtsänderung in jedem Fall proportional
zur Lernrate η. Die Wahl von η ist also sehr entscheidend für das Verhalten von
Backpropagation und allgemein für Lernverfahren.
Definition 5.9 (Lernrate). Die Geschwindigkeit und Genauigkeit eines Lernverfahrens
ist immer steuerbar von und proportional zu einer Lernrate, welche als η geschrieben
wird.
Wird η zu groß gewählt, so sind die Sprünge auf der Fehlerfläche zu groß und es könnten
z.B. enge Täler, also gute Werte, einfach übersprungen werden, zudem bewegt man sich
sehr unkontrolliert über die Fehleroberfläche. Das Wunschmittel ist also ein kleines η,
was aber einen riesigen, oft inakzeptablen Zeitaufwand mit sich bringen kann. Die
Erfahrung zeigt, dass gute Werte für die Lernrate im Bereich
0.01 ≤ η ≤ 0.9
liegen. Die Wahl von η hängt maßgeblich von Problem, Netz und Trainingsdaten ab,
so dass man kaum praktische Wahlhilfen geben kann. Beliebt ist jedoch, mit einem
relativ großen η, z.B. 0.9, den Anfang des Lernens zu machen und η dann langsam
bis auf z.B. 0.1 zu verringern, während für einfachere Probleme η oft einfach konstant
gehalten werden kann.