Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
æ x1( t-Dt) x2( t-Dt) ... xN( t-Dt) ö
ç
÷
x ( t . t) x ( t . t) ... xN( t . t)
xi() t = F
ç 1 -2 D 2 -2 D -2
D ÷
ç M M M ÷
ç
÷
èx
( t- M . Dt) x ( t- M . Dt) ... x ( t- M . Dt)
ø
1 i 2 i N i
Dans ce cas, Mi représente la mémoire de chaque neurone. Le cas le plus étudié de ce
type de modèle est celui où la prise en compte du passé du réseau se fait grâce à une
fonction de convolution entre le vecteur poids et le vecteur état :
N
M j
æ ö
m
xi() t = sçåWij
ÄXj÷
avec Wij Ä X j = åwij
xj( t-m. Dt)
è j=
1 ø
m=
1
m
Les paramètres wi sont parfois ramenés à des noyaux (kernel), ce qui permet de
minimiser le nombre de paramètres à mémoriser par neurone [[139]][[202]]. Ainsi, on
peut avoir :
m
w = d(
m)
w
w
ij
m
ij
m
ij
= ( m )
ij
m
= ( 1-m
).( m )
ij ij
Cette méthode sera appliquée lors de l’implémentation de ce modèle dans l’outil
informatique développé (6.3 Le logiciel de modélisation, p.129). Elle permet en effet,
m
moyennant un temps de calcul un peu plus long (puisqu’il faut calculer les wi à chaque
modification de l’un des paramètres), de réaliser un gain considérable en mémoire. Cela
permet de simuler un plus grand nombre de neurones, et d’atteindre dans notre cas des
réseaux qui comportent 262144 neurones à mémoire.
D’autre part, ce type de modèle neuronal a permis à un réseau feed-forward, grâce à un
apprentissage similaire à la rétropropagation du gradient, de produire une dynamique de
Lorenz. Ce résultat [[207]] est très encourageant pour notre propos, car il prouve qu’un
réseau de neurones à mémoire possède la capacité de produire des dynamiques
chaotiques.
4. Modèles réfractaires
L’un des paramètres longtemps négligés dans les modèles connexionnistes, et qui
pourtant est caractéristique des neurones biologiques est la période réfractaire. Après
avoir émis un spike, et durant cette période, le neurone est forcé à zéro. Ce paramètre
peut être facilement simulé en prenant en considération l’âge du neurone, noté Ri, et en
R
A
forçant le neurone à 0 pour R < R < R , Ri étant réinitialisé à 0 dès que le neurone
passe de 0 à 1 (Figure 3-2).
i
i i
Il existe peu de résultats démontrant l’intérêt d’une période réfractaire, et sa réelle
influence sur la dynamique des neurones. Pourtant, l’utilisation de ce paramètre peut
permettre de faire apprendre des associations entrées-sorties non linéairement
séparables, ce qui était l’une des limites des réseaux de type perceptron monocouche.
MODELES CONNEXIONNISTES DYNAMIQUES 67
m