Riadenie inverzného kyvadla pomocou neurónových sietí

FEI KKUI
Kde N0 je počet výstupných neurónov v sieti, evi je požadovaná hodnota aktivácie
i-tého neurónu, xi je aktivácia i-tého neurónu a index p znamená, že údaj sa vzťahuje k
p-tej vzorke. Pre každý neurón platí:
M
∑
j = 1
x i = fi
( ii
) ii = wij
x j + θ i.
(2)
Kde ii je vstup i-tého neurónu, fi je aktivačná funkcia i-tého neurónu, M je počet
liniek vstupujúcich do i-tého neurónu, wij je váha na linke z j-tého neurónu do i-tého
neurónu a θi je prah i-tého neurónu (externý vstup neurónu). Keďže ide o gradientovú
metódu, pre zmenu váhy Δwij platí:
∂ J ∂ J ∂ ii
Δ wij = − γ = − γ
= γ δ ix
j , (3)
∂ w ∂ i ∂ w
ij
kde γ je konštanta udávajúca rýchlosť zmeny váh (learning rate) a pre δi platí:
Ak je i-tý neurón výstupný, tak platí:
Ak je i-tý neurón nie je výstupný, tak platí:
δ
i
∑
= − f ′ ( i )
∂ J ∂ J ∂ xi
∂ J
δ i = − = −
= − f ′ ( ii
). (4)
∂ i ∂ x i ∂ x
i
i
i
∂ J
δ i = − f ′ ( ii
) = ( evi
− xi
) f ′ ( ii
). (5)
∂ x
∑
= − f ′ ( i )
i
i
Nh
Nh
h= 1 h
∂ J
w
∂ i
h= 1 h
i
∂ J ∂ ih
= − f ′ ( ii
) ∑
∂ i ∂ x
hi
=
i
f ′ ( i )
i
Nh
∑
h=
1
δ
i
,
ij
i
∂ J
∂ i
h= 1 h
h
Nh
w
hi
∂
∂ x
Ni
∑
i i=
1
kde Nh je počet neurónov, do ktorých vedú z i-tého neurónu linky a ih sú vstupy týchto
neurónov. Ni je počet neurónov, z ktorých vedú linky do neurónov so vstupmi ih a xi sú
aktivácie týchto neurónov.
Posledný vzťah je základným vzťahom backpropagation a vyjadruje rekurzívne spätné
šírenie chybového signálu δ od výstupných neurónov až po vstup siete. Z hodnoty tohto
signálu na jednotlivých neurónoch sa potom odvádza zmena váh na linkách Δij= γδi xi. Je
vidíme, že backpropagation je veľmi univerzálny algoritmus. Od aktivačnej funkcie
požaduje iba znalosť jej derivácie. Učiacu chybu, od ktorej sa odvádza celé učenie, v
13
w
hi
x
i
=
(6)