Kapitel VI Neuronale Netze

Multi Layer Perzeptron
Multi Layer Perzeptron
Multi Layer Perzeptron
Multi Layer Perzeptron
Fehlergradient für w i lautet:
F/ w i
= (o-t) 2 /w i
= ((w . y) - t) 2 /w i
= 2 . (o-t) . '(w . y) . (w . y)/w i
x 1 x 2 ...
v 11 v 12
y 1 y 2 y 3 ...
w 2 w 3
w 1 w n
o
x m
v nm
y n
Fehlergradient für v ij lautet:
F/v ij
= F/y i
.
y i
/v ij
= F/y i
.
(v i.
x)/v ij
(Fehler von Neuron i)
= F/y i
.
'(v i.
x) . x j
= F/o . o/y i
.
'(v i.
x) . x j
= F/o . (w . y)/y i
.
'(v i.
x) . x j
= F/o . '(w . y) . w i.
'(v i.
x) . x j
x 1 x 2 ...
v 11 v 12
y 1 y 2 y 3 ...
w 2 w 3
w 1 w n
= 2 . (o-t) . '(w . y)y i
58
o
x m
v nm
y n
Vorlesung Knowledge Discovery
57
Vorlesung Knowledge Discovery
= 2 . (o-t) . '(w . y) . w i.
'(v i.
x) . x j
Fehler bei
der Ausgabe
Gewicht
Info von
Zwischenschicht
Input
Info von Inputschicht
Multi Layer Perzeptron
Multi Layer Perzeptron
Multi Layer Perzeptron
Backpropagation Algorithmus
• Die schichtweise Berechnung der Gradienten ist auch für
mehr als zwei Schichten möglich
• Fehler wird schichtenweise nach oben propagiert (Back-
Propagation)
• allgemein gilt für den Output-Fehler e eines Neurons j
e j = F/x j
• Gewichtsänderung
• Wähle ein Muster x aus der Menge der Trainingsbeispiele D
aus
• präsentiere das Muster dem Netz und propagiere es
• anhand der resultierenden Neuronenaktivität wird der Fehler
F ermittelt
• die Fehlerinformationen werden durch das Netz
zurückpropagiert (Backpropagation)
w ik = a . e .
k ‘(a k ) . x i
• die Gewichte zwischen den einzelnen Schichten werden so
angepasst (w ik ), dass der mittlere Ausgabefehler für das
Muster sinkt
60
Vorlesung Knowledge Discovery
59
Vorlesung Knowledge Discovery