Thèse Sciences Cognitives - Olivier Nerot
Thèse Sciences Cognitives - Olivier Nerot
Thèse Sciences Cognitives - Olivier Nerot
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents<br />
Prenons, comme dans l’algorithme précédent, un second réseau possédant les mêmes<br />
paramètres que le premier, mais dans un état différent. De la même façon, nous avons :<br />
~ ( ) ( ) ~ æ<br />
x t dt dt x () t dt. f w x~ ö<br />
i + = 1-<br />
i + çå<br />
ij j()<br />
t ÷<br />
è j ø<br />
Maintenant, en soustrayant ses deux équations l’une à l’autre, nous obtenons :<br />
~ ( ) ( ) ( ) ( ~ æ<br />
() () ) . ~ ö<br />
xi t + dt - xi t + dt = -dt xi t - xi t + dt f ç wijxj() t ÷-f wijxj() t<br />
è j ø j<br />
æ<br />
é<br />
öù<br />
1<br />
ê å çå<br />
÷ ú<br />
ëê<br />
è øûú<br />
Ce qui donne, en posant e () t = x~ () t - x () t :<br />
i i i<br />
æ<br />
ei( t dt) ( dt) ei() t dt. f w ~ ö<br />
+ = - + ç ijx j()<br />
t ÷-f wijx j()<br />
t<br />
è j ø j<br />
æ<br />
é<br />
öù<br />
1<br />
ê å çå<br />
÷ ú<br />
ëê<br />
è øûú<br />
Si l’on suppose que les réseaux ont des états proches :<br />
f w x<br />
~<br />
å ij j()<br />
t f åwijxj()<br />
t<br />
æ<br />
f w x~ ö<br />
j<br />
j<br />
çå<br />
ij j()<br />
t ÷-f åwijxj() t åwijej()<br />
t<br />
j<br />
j<br />
j<br />
w<br />
~<br />
è ø<br />
x () t w x () t<br />
æ ö<br />
ç ÷=<br />
è ø<br />
æ<br />
æ ö<br />
ç ÷-<br />
ö è ø<br />
ç ÷<br />
è ø<br />
æ ö<br />
ç ÷<br />
è ø<br />
-<br />
» æ<br />
ç<br />
è<br />
å<br />
j<br />
ö<br />
wijej() t ÷ f ¢ si() t<br />
ø<br />
å ij j å<br />
j<br />
j<br />
( )<br />
Ce qui permet d’obtenir une dynamique de l’erreur, calculée localement :<br />
ei( t + dt) = ( - dt) ei() t + dt wijej() t f si() t<br />
j<br />
æ ö<br />
1<br />
çå<br />
÷ ¢<br />
è ø<br />
( )<br />
Dès lors, en prenant une simple règle s’approchant des règles de bonification, du type :<br />
dw ( t + dt) = hx<br />
() t x () t e ( t + dt)<br />
ij i j i<br />
Il est possible de voir que le nouvel état du réseau avec cet apprentissage sera :<br />
æ<br />
ö<br />
xi( t + dt) = ( 1-<br />
dt) xi() t + dt. f çå(<br />
wij + dwij ) xj() t ÷<br />
è j<br />
ø<br />
æ<br />
ö<br />
= ( 1-<br />
dt) xi () t + dt. f çå(<br />
wij + h xi() t xj() t ei( t + dt) ) xj() t ÷<br />
è j<br />
ø<br />
æ ö<br />
æ<br />
2ö<br />
» ( 1-<br />
dt) xi () t + dt. f çåwijxj()<br />
t ÷ + h xi( t) ei( t + dt) f çåxj()<br />
t ÷<br />
è j ø<br />
è j ø<br />
æ<br />
2ö<br />
= xi(<br />
t + dt) + hdt.<br />
xi( t) ei( t + dt) f çåxj()<br />
t ÷<br />
è j ø<br />
ANTICIPATION DU FORÇAGE DES DYNAMIQUES 203<br />
ij j