Kapitel VI Neuronale Netze

Multi Layer Perzeptron
Vektorschreibweise der Delta Regel
Multi Layer Perzeptron
Delta Regel als Ableitung für Perzeptron
Fehlergradient:
Aktivität der Input-Schicht:
x = (x 1 ,x 2 ,x 3 ,...,x n ,1)
Gewichtsvektor (einschl. Schwellwert):
w = (w 1 ,w 2 ,w 3 ,...,w n ,-s)
Aktivität des Ausgabeneurons:
o = x•w)
Fehler des Ausgabeneurons (t = erwarteter Wert):
e = t-o
Gewichtsänderung:
w := •e•x
x 1 x 2 x 3 ...
w w
w 2 3
1
w n
o
o = x•w)
x n
F = (o - t) 2 = (x•w) - t) 2
F/ w i
= (o - t)/ w i
= (x•w) - t) 2 / w i
= 2 ´x•w) (o-t) x i
Die Delta Regel kann als
Gradientenabstieg mit (variablen)
Lernfaktor interpretiert werden:
w i = (o-t) x i mit = 2 ´x•w)
Vorlesung Knowledge Discovery
49
Vorlesung Knowledge Discovery
(unter derAnnahme: ist diff.-bar)
50
Multi Layer Perzeptron
Multi Layer Perzeptron
2 Layer Perzeptron
Multi Layer Perzeptron
Input-Vektor
Gewichtsmatrix
Aktivitätsvektor
Gewichtsvektor
x
v
y
w
v 12
y 1 y 2 y 3 ...
x 1 x 2 ... x m
v nm
y n
w 2 w
w 3
1 w n
• Netze ohne Rückkopplungen können stets in die Form
eines Schichtennetzwerkes gebracht werden, wobei aber
durchaus Verbindungen eine oder mehrere Schichten
überspringen dürfen
v 11
52
0
1
Output o
y = (v . x)
o = (w . y)
o
2
3
Vorlesung Knowledge Discovery
51
Vorlesung Knowledge Discovery