Neuronale Netze - D. Kriesel

⊲ Lernrate η,
⊲ Ausgabe des Vorgängerneurons op,k,
⊲ Gradient der Aktivierungsfunktion an der Stelle der Netzeingabe des Nachfolgerneurons
f ′ act(netp,h),
⊲ sowie, und hier liegt der Unterschied, aus der gewichteten Summe der Gewichtsveränderungen
zu allen Neuronen, die h nachfolgen,
l∈L (δp,l · wh,l)
geändert.
Definition 5.8 (Backpropagation). Fassen wir die Formeln 5.38 auf der linken Seite
und 5.39 auf der linken Seite zusammen, so erhalten wir folgende Gesamtformel für
Backpropagation (die Bezeichner p werden der Übersichtlichkeit halber weggelassen):
∆wk,h = ηokδh
mit
f
δh =
′ act(neth) · (th − yh) (h außen)
f ′ act(neth) ·
l∈L (δlwh,l) (h innen)
SNIPE: Eine online-Variante von Backpropagation ist in der Methode
trainBackpropagationOfError der Klasse NeuralNetwork implementiert.
(5.40)
Offensichtlich ist also, dass Backpropagation zunächst die hinterste Gewichtsschicht
direkt mit dem Teaching Input bearbeitet und sich anschließend ebenenweise unter
Berücksichtigung der jeweils vorhergehenden Gewichtsänderungen weiter nach vorn arbeitet.
Der Teaching Input hinterlässt also Spuren in sämtlichen Gewichtsschichten.
Ich beschreibe hier gerade den ersten Teil (Delta-Regel) und zweiten Teil von Backpropagation
(Verallgemeinerte Delta-Regel auf mehr Schichten) in einem Zug, was
vielleicht der Sache, nicht jedoch der Forschung daran gerecht wird. Der erste Teil
ist offensichtlich, das werden wir gleich im Rahmen einer mathematischen Spielerei
sehen. Zwischen dem ersten und zweiten, rekursiven Teil liegen jedoch Jahrzehnte an
Entwicklungszeit und -arbeit, denn wie bei vielen bahnbrechenden Erfindungen merkte
man auch dieser erst nach der Entwicklung an, wie einleuchtend sie eigentlich ist.
5.4.2 Der mathematische Rückweg: Reduktion von Backpropagation auf
Delta-Regel
Wie oben erläutert, ist die Delta-Regel ein Spezialfall von Backpropagation für einstufige
Perceptrons und lineare Aktivierungsfunktionen – diesen Umstand möchte ich
hier kurz näher erläutern und die Delta-Regel aus Backpropagation entwickeln, um