Neuronale Netze

dkriesel.com5.5 Backpropagation of Error⊲ Ausgabe o p,k des Vorgängerneuronsk,⊲ Gradient der Aktivierungsfunktionan der Stelle derNetzeingabe des Nachfolgerneuronsf act(net ′ p,h )und⊲ Differenz aus Teaching Input t p,hund Ausgabe y p,h des NachfolgerneuronshTeach. Inputfür äußeregeändert. In diesem Fall arbeitetGew.-SchichtBackpropagation also auf zwei Neuronenschichten,der Ausgabeschichtmit dem Nachfolgerneuron h und derSchicht davor mit dem Vorgängerneuronk.2. Ist h inneres, verdecktes Neuron, sogiltδ p,h = f act(net ′ p,h ) · ∑(δ p,l · w h,l )l∈L(5.39)⊲ Gradient der Aktivierungsfunktionan der Stelle derNetzeingabe des Nachfolgerneuronsf ′ act(net p,h ),⊲ sowie, und hier liegt der Unterschied,aus der gewichteten Summeder Gewichtsveränderungenzu allen Neuronen, die h nachfolgen,∑ l∈L (δ p,l · w h,l )geändert.Definition 5.8 (Backpropagation): Fassenwir die Formeln 5.38 auf Seite 89 und 5.39zusammen, so erhalten wir folgende Gesamtformelfür Backpropagation (dieBezeichner p werden der Übersichtlichkeithalber weggelassen):∆w k,h {= ηo k δ h mitf′δ h = act (net h ) · (t h − y h ) (h außen)f act(net ′ h ) · ∑l∈L (δ lw h,l ) (h innen)(5.40)Rückwärtspropagierungfür innereSchichtenAn dieser Stelle sei ausdrücklicherwähnt, dass Backpropagation nunauf drei Schichten arbeitet. Hierbei istdas Neuron k der Vorgänger der zuändernden Verbindung mit dem Gewichtw k,h , das Neuron h der Nachfolgerder zu ändernden Verbindung,und die Neurone l liegen in derSchicht nach dem Nachfolgerneuron.Das Gewicht w k,h von k nach h wirdalso unter unserem Übungsmuster pproportional zu⊲ Lernrate η,⊲ Ausgabe des Vorgängerneuronso p,k ,Offensichtlich ist also, dass Backpropagationzunächst die hinterste Gewichtsschichtdirekt mit dem Teaching Input bearbeitetund sich anschließend ebenenweise unterBerücksichtigung der jeweils vorhergehendenGewichtsänderungen weiter nach vornarbeitet. Der Teaching Input hinterlässt alsoSpuren in sämtlichen Gewichtsschichten.Bemerkung: Ich beschreibe hier geradeden ersten Teil (Delta-Regel) und zweitenTeil von Backpropagation (VerallgemeinerteDelta-Regel auf mehr Schichten) in einemZug, was vielleicht der Sache, nichtjedoch der Forschung daran gerecht wird.D. Kriesel – Ein kleiner Überblick über Neuronale Netze (EPSILON-DE) 91