Thèse Sciences Cognitives - Olivier Nerot

88
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
3. Dans les réseaux à différence finie
Il est possible d’envisager un intermédiaire entre les deux algorithmes précédents, qui
se situe entre le cas discret et le cas continu. En effet, nous pouvons écrire les équations
de propagation en réalisant l’approximation au premier ordre :
Dans ce cas, nous obtenons :
dx
dt
Dx
xt ( + Dt)
-xt
()
» =
Dt
Dt
N
N
dxi
() t + xi() t = åwijx j()
t Þ xi( t + Dt) = ( 1-
Dt) xi() t + Dt.
åwijx
j()
t
dt
j=
1 j=
1
Ce type de réseau a été appelé « réseau Delta » par Tsung & Cottrel [[199]], et il est
possible de réaliser un apprentissage de type RTRL, en réalisant la même approximation
au premier ordre de la rêgle d’apprentissage.
k
k
æ
l ö
pij ( t+ Dt) = ( 1-
Dt) pij () t + Dt.
s¢ ( hk) çåwkl
pij + dikxj÷
è
ø
k
Dw ( t + Dt) = h e ( t) p ( t + Dt)
ij k ij
k=
1
4. Avec Teacher forcing
N
å
PREMIERE PARTIE : ANALYSE
lÎS Equation 4-7 : RTRL pour réseau à différence finie
En reprenant l’équation du RTRL dans le cas continu, il est possible de séparer les
neurones en deux groupes : ceux forcés (dont les indices appartiennent à ST), et ceux
non forcés. On a alors :
dp
dt
5. Avec Teacher forcing total
k
ij
æ
k
( wklxl) ( wklxl) ö
+ pij = s¢
( hk
) ç
çå
+ å ÷
èl
S wij
l S w ÷
Ï
Î ij ø
T T
æ
ö
l
= s¢ ( hk) çåwkl
pij + dikxj÷
èlÏS
ø
T
Si le teacher forcing est total, c’est à dire que S = SS = ST,
l’équation précédente
devient :
i
dpij
i
() t + pij() t = s¢
( hi()) t xj() t
dt
k
dpij
k
() t + pij () t = 0si
k ¹ i
dt