Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
ou
å
ìhi()
t = wij () t xj() t
ï
jÎS í
îïxi(
t + 1) = s(
hi( t)) + Ii() t
*
ìdhi
* *
ï () t + hi () t = åwij
() t xj() t
ídt
jÎS ï * *
îxi()
t = s(
hi( t)) + Ii() t
4.4.1 Recurrent back-propagation
en temps discret
en temps continu
Cet apprentissage utilise la descente de gradient pour faire apprendre des points fixes à
des réseaux récurrents, en utilisant les règles de dérivation en chaîne. En effet :
Ce qui donne, avec xi
h
i
E
w
E xi
hi
=
x h w
ij i
= s ¢( hi( t))
,et hi
w
E
w
ij
i
= x (): t
s
E
= ¢( hi()) t xj() t
x
ij i
Cette dernière équation montre qu’il est possible d’exprimer E
en fonction de E
,
que l’on peut calculer en utilisant la technique de dérivation en chaîne (en déroulant les
calculs à partir des neurones de sortie) qui est définie de façon récursive par:
Ce qui amène, en posant z
i
+ N +
E E E x
= + å
x x x x
i i j = 1 j
+
E E
= et ei
= = x$ i - xi
:
x x
i
N x
N
j
x j h
N
j
zi = ei + åzj = ei + åzj = e + åz
s¢
( h ) w
x
h x
i
i j j ji
j=
1 i
j=
1 j i
j=
1
Les équations d’évolution des poids amènent alors à
dw
dt
ij
E
=- h =- ¢ h zx
w
hs ( )
ij
j
APPRENTISSAGE DANS LES RESEAUX RECURRENTS 83
ij
j
i
i i j
Ainsi, cette technique de descente de gradient peut se résumer aux équations
suivantes :
w ij
x i