Thèse Sciences Cognitives - Olivier Nerot

86
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
Cet algorithme peut être vu aussi comme un déploiement du réseau sous forme
d’architecture feed-forward : l’évolution du réseau récurrent pendant K itérations est alors
ramené à son équivalent feed-forward à K couches.
4.4.3 Real time recurrent learning
1. Dans le cas discret
L’algorithme précédent est peu plausible biologiquement : l’apprentissage remonte
dans le passé du réseau pour déterminer l’influence qu’a eu chaque poids synaptique sur
l’erreur moyenne finale. Il nécessite donc, si l’on veut réaliser un apprentissage optimal,
de mémoriser l’ensemble des variables du réseau pendant toute son évolution.
Cette contrainte est atténuée dans l’approche utilisée par Williams et Zipser
[[213]][[214]][[215]][[216]][[221]][[222]].
k
Leur approche consiste à fabriquer une variable pij ()qui t mémorise à chaque pas de
temps, l’influence du poids w ij sur la sortie x k du neurone k . L’intérêt de cette approche
k
est que les pij ()sont t calculables de façon itérative, et il n’est donc plus nécessaire,
comme dans le cas du BPTT, de mémoriser tout le passé du réseau.
Pour calculer de façon itérative l’influence de chaque poids du réseau sur l’erreur
instantanée, nous avons :
E æ1
= ç -
w w è2kÎS
ij ij
x
Soit, en posant : p t
w t
k k
ij () = ()
ij
å(
x$ k () t xk() t )
å(
x$() kt xk() t )
=- -
kÎS E
w
ij
S
=-
kÎSS PREMIERE PARTIE : ANALYSE
S
x
w
k
å ek() t pij () t
k
Il est alors possible de calculer les pij ()de t façon itérative. En effet :
k xk( t + 1) xk( t+
1)
hk() t
pij ( t+
1)
= =
= s¢
w h () t w
ij
æ xl() t
ö
= s¢
( hk() t ) å ç
çwkl
+ dikdljxl() t ÷
l Sè
w
÷
Î ij
ø
æ xl() t ö
= s¢
( hk() t ) å ç
çwkl
+ dikxj()
t ÷
l Sè
w ÷
Î ij ø
k
ij
k
ij
2
ö
÷
ø
( hk() t ) å
lÎS
( w x () t )
kl l
w
ij