Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
l’apprentissage dans des réseaux récurrents, et la plausibilité biologique de cette approche. Dans
les deux cas (connexionniste et biologique), la dimension de l’attracteur cérébral diminue lors de
la reconnaissance d’un stimulus 56 . Ainsi, l’application d’une règle hebbienne réalise cette
diminution de la dimension fractale de l’attracteur du réseau.
Malheureusement, un tel encodage ne peut pas être appliqué en permanence dans le
réseau dans les cas où l’évolution des poids suit une loi symétrique telle que dwij = dw ji . En
effet, une telle règle tend à symétriser les poids, et donc amène le réseau vers un point fixe.
Ainsi, par exemple, en reprenant le réseau dont quelques attracteurs ont été tracés sur la
Figure 7-2, qui est un réseau Hopfieldien classique (sans délai, ni mémoire), un apprentissage
hebbien, avec w10=w01, modifie les attracteurs locaux (Figure 8-1). Mais si l’on continue ce même
apprentissage, les attracteurs convergent tous vers un point fixe (Figure 8-2). De la même façon,
les poids sont symétrisés dans un réseau à délais, amenant les dynamiques sur des points fixes.
Figure 8-2 : Evolution de l'attracteur du neurone 3-0
Afin d’éviter cette symétrisation des poids, nous avons choisi des variations de poids
évitant la saturation des neurones à 1 ou 0, et l’empêchant ainsi d’aller vers un point fixe. Dans ce
but, nous avons fixé w11 à une valeur négative qui empêche les neurones de converger vers 1, et
w00 à une valeur positive afin d’éviter sa convergence vers 0. De plus, en fixant w10 à une valeur
positive, cela tend à diffuser dans le réseau les zones excitées.
Dans un tel réseau, nous avons initialisé l’ensemble des poids et des états à zéro, puis
nous avons forcé à 1 le carré central 16x16 d’un réseau 128x128. La Figure 8-3 montre l’état
56 Malgré la remise en cause de la validité des calculs de dimension fractale dans les attracteurs
biologiques[[140]][[189]], nous pouvons considérer que les estimations de diminution de ces dimensions
restent valides.
ANTICIPATION DU FORÇAGE DES DYNAMIQUES 187