Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
semblerait pourtant que de tels simulations pourraient permettre de meilleures
quantifications des synchronismes de populations neuronales.
L’équation des sorties du neurone suivra donc une équation du type :
x ( t+ dt) = ( - dt) x ( t) + dt. F( X ( t), X ( t),..., X ( t))
i 1 i 1 2
N
2. Modèle à mémoire en entrée et sortie
Dans le but d’étudier les capacités de synchronisme du réseau, nous nous sommes
rapidement intéressés à des modèles de neurones à mémoire. De nombreuses études
confirment en effet l’importance des délais dans les capacités de synchronisme et
d’encodage par les dynamiques de ce type de modèle. De plus, des architectures feedforward
de neurones à mémoire peuvent apprendre des dynamiques complexes, par
exemple, celle d’un système de Lorenz ([207]). Il est remarquable, dans cette étude, que
le réseau, après apprentissage, a mémorisé la topologie générale de l’attracteur. En
effet, si on laisse évoluer ce réseau en régime libre, à partir d’un point de l’attracteur de
Lorenz, la dynamique suivie par le réseau, et celle suivie par les équations, s’écartent,
en vérifiant ainsi, la sensibilité aux conditions initiales du l’attracteur appris par le réseau.
Par contre, en traçant l’attracteur atteint par les dynamiques du réseau, l’attracteur
atteint est similaire à l’attracteur de Lorenz.
Ainsi, ce type de réseau, à mémoire, possède la capacité d’apprendre la structure et la
topologie de l’attracteur d’une dynamique qui lui a été présentée.
Or les architectures feed-forward sont des cas particuliers des architectures à récurrence
locale, que nous utilisons ici. Ce résultat nous permet donc de savoir que nos réseaux
possèdent la capacité d’apprendre la structure d’un attracteur de Lorenz, et qu‘il existe
donc une solution aux apprentissages essayés dans le réseau.
Ce modèle donne donc, pour le calcul de la sortie du neurone :
N M E æ m ö
hi() t = çåwij
xj( t-m) ÷
è
ø
å
j=
1 m=
0
x ( t+ dt= ) ( 1- dt) x () t + dt. s(
h ()) t
i i i
Dans le cas où le neurone n’est pas à différences finies, cette mémoire à été généralisée
au sorties du neurones. En effet, il est possible de voir l’effet de la mémoire en entrée
comme une convolution d’un vecteur Wij avec Xj. Cette convolution peut être généralisée
en sortie, où les Xi sont convolués avec un vecteur Si. Ce qui amène :
M S
å
m
x ( t+ 1)
= S s(
h( t-m)) i i
m=
0
Cette mémoire en sortie peut être interprétée en termes de période réfractaire. Ainsi,
0 MS> m>
0 1
dans le cas généralement étudié dans cette thèse, où " , = 1et " , =- , si
la sortie s( ( ))
h t
i
sature à 1 pour t>tS, alors xi(t=tS+1)=1, xi(t=tS+2)=1-1/m... De cette
façon, xi(t>tS) tendra peu à peu vers 0, en évitant la saturation du neurone. Ce
phénomène peut s’apparenter à une fatigue du neurone, correspondant à une période
réfractaire.
i
UN MODELE CONNEXIONNISTE DE LA MEMOIRE 121
iS i
iS i
MS