UNIVERSITA' DEGLI STUDI DI PAVIA - Robotica

dove w1 jk = peso della connessione tra il k-esimo neurone dello strato nascosto e
il j-esimo neurone dello strato precedente (nel caso di rete a 2 strati
decisionali, si tratta del layer di ingresso);
∆ w1 jk = variazione del peso in fase di training.
Procedendo come per la delta rule, scrivo
nella quale, essendo
ottengo
Definisco
che posso riscrivere come segue:
∂f
∆w1 jk = −η
⋅
∂I
∆
k
82
err
I k ∑w1 jk ⋅ x
= j
∆
∂I
∂w1
k
∂f
= −
∂I
k
=
k x j
jk
∂f
= −
∂I
err
j
err
k
∂I
⋅
∂h
∂I
k ⋅
∂w1
j
k
j
∂h
⋅
∂I
dove h k = attivazione del k-esimo neurone nascosto.
∆ k può essere ancora scritto come
I tre termini tra parentesi sono
∆
∂I
j
∂h
k
k
∑ ⎟ ⎛
⎞
⎜
∂f
∂I
err j ∂hk
= − ⋅ ⋅
⎜
j ⎝ ∂I
j ∂hk
∂I
k ⎠
∂
=
∂h
k
∂f
∂I
⎛
⎜
⎝
err
k
j
∑
= ∆
j
k
k
jk
⎞
w2
kj ⋅hk
⎟ = w2
⎠
kj