Künstliche Neuronale Netze

12.05.2009
Back-Propagation Lernen
• Lernen bei Perzeptrons einfach
• Nur ein Gewicht zwischen Input
und Output
• Wenn Fehler vorhanden
(Target, Output), t) dann werden
die Gewichte verändert.
• Bei Multilayer Netzwerken
schwieriger
• Viele Gewichte zwischen jedem
Input und Output vorhanden
• Back-Propagation Algorithmus
• Verteilt die Gewichtsveränderungen
‘vernünftig’
• Auch hier wird versucht, den
Fehler zwischen Ziel und
aktuellem Output zu minimieren
Multilayer Netzwerke
• Outputschicht
• Gewichtsveränderung ähnlich
der des Perzeptrons. Zwei
Unterschiede gibt es:
• Aktivierung der
Hiddenneuronen statt
Inputneuronen.
• Regel enthält einen Term für
den Gradienten der
Aktivierungsfunktion. Wenn
Err i = (T - O) der Fehler des
Outputneurons ist, dann ist die
Gewichtsveränderung zwischen
Neuron i und j
w = w + α × a × Err × g´(
in )
j, i j,
i
j i
i
31
Back-Propagation Lernen
W j,i = W j,i + α ×a j × Err i × g’(in i )
• g’(in g( i i) ist die Ableitung der Aktivierungsfunktion g. Wir defineren einen neuen
Fehlerterm Δ i , der für Outputneuronen als Δ i = Err i g’(in i ) definiert ist.
W j,i = W j,i + α ×a j ×Δ i
• Für die Veränderungen der Gewichte zwischen zwischen den Hidden- und
den Inputneuronen wird Error-Back-Propagation eingesetzt. Die Idee ist, daß
das Hiddenneuron j für einen Teil des Δ i -Fehlers eines jeden Outputneurons,
mit dem es verbunden ist, verantwortlich ist. Also werden die Δ i -Werte
abhängig von der Stärke der Verbindung aufgeteilt und zu den Δ j -Werten für
die Hiddenschicht zurückpropagiert.
Δ j = g’(in j ) ∑ i W j,i Δ i
Multilayer Netzwerke
32
16