Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
Cette méthode a été utilisée dans
un simple réseau de 64 neurones,
entièrement interconnecté, en forçant l’un
des neurones à suivre une sinusoïde. Elle
permet, en partant d’un réseau dont tous les
neurones sont à 0, avec des poids initiaux
égaux, d’amener la dynamique forcée sur le
cycle limite forçant (Figure 8-10). Il y a bien
dans ce cas, comme dans le cas de
l’apprentissage hebbien présenté
précédemment, diffusion de l’activité à
partir du site de forçage, avec une
modification plus forte des poids proches de
ce site. En effet, les poids initiaux étant
faibles, et le réseau étant sur un point fixe,
le site de forçage réalise une erreur est vite
atténuée pendant sa rétro-propagation.
Mais cette erreur, qui fait croître les poids
par l’apprentissage, crée des circuits de
propagation privilégiée, qui permettent de
la faire diffuser plus loin.
Parfois, cet apprentissage fait
diverger les paramètres du réseau.
En effet, tout comme pour RTRL,
la diffusion de l’erreur n’est pas bornée. Il
peut donc apparaître des zones de
résonnance, où elle augmente rapidement.
Devenant élevée, elle fait accroître les
poids rapidement, ce qui accélère encore la
divergence de l’erreur. Afin de résoudre ce
problème, nous avons souvent eu recours
dans les expériences qui suivent, à un
seuillage artificiel de l’erreur.
Figure 8-11 : Synchronisation lors de l'apprentissage
Bien souvent, durant
l’apprentissage, la courbe d’erreur effectue
des sauts. Parfois très proche de 0, elle
augmente en quelques itérations, pour
redescendre ensuite lentement vers 0.
Ainsi, par exemple, il peut arriver que le
signal du réseau soit très proche du signal
du forçage, mais qu’il reste une erreur
résiduelle. Comme cette erreur résiduelle
n’est pas réinitialisée, celle-ci croît jusqu’à
qu’elle soit suffisante pour faire basculer
rapidement les poids vers d’autres Figure 8-12 : Synchronisation par ajout de fréquence
configurations, ce qui modifie rapidement les dynamiques, en les éloignant du signal de forçage.
Alors, l’erreur recommence à décroître lentement.
ANTICIPATION DU FORÇAGE DES DYNAMIQUES 193