Thèse Sciences Cognitives - Olivier Nerot

198
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
4. Dépersévération en régime libre
En enlevant le forçage, le réseau quitte la dynamique extérieure vers laquelle il
convergeait : il y a perte des dynamiques induites par l’environnement. D’une certaine
façon, comme cela a été proposé dans le modèle de mémoire, le réseau oubli peu à peu
les dynamiques qu’il était en train d’apprendre. Il y dépersévération. Par contre, si la
dynamique forçante est présentée de nouveau, le réseau quitte rapidement son régime
libre pour retrouver l’état qu’il avait quitté à la perte du forçage. Il y a rappel de
l’information apprise, car la même dynamique forçante n’a pas le même effet au début et
à ce stade de l’apprentissage. Au début (Figure 8-16, p.197), la dynamique forçante était
perturbatrice, et après 15000 itérations, le réseau se remet à suivre rapidement la
dynamique forçante (Figure 8-19).
5. Apprentissage par coeur par des dynamiques chaotiques
Après 13 millions d’itérations, le régime libre du réseau est assez proche de la
dynamique forçante : il approche de l’apprentissage par coeur, stade à partir duquel il
peut simuler en interne la dynamique externe. Ce comportement est conforme à
l’hypothèse de minimisation des perturbations induites
6. Bifurcations de l’attracteur en régime libre
Afin de voir l’évolution de l’attracteur appris, c’est à dire l’attracteur du régime libre du
réseau, nous avons mémorisé l’état des paramètres du réseau (poids et conditions
initiales) toutes les 10000 itérations.
Ensuite, nous avons laissé évoluer chacun de ces réseaux pendant 1000 itérations
afin de le laisser se stabiliser, puis avons enregistré l’attracteur stabilisé en régime libre.
Les attracteurs atteints par le réseau ont enfin été juxtaposé, pour visualiser l’évolution
de l’attracteur du régime libre du réseau pendant les 13 millions d’itérations
d’apprentissage réalisées (Figure 8-23).
L’attracteur en régime libre ne semble pas converger vers un attracteur final, ce que
l’on aurait pu espérer. Cet attracteur final aurait été similaire à l’attracteur de la
dynamique forçante, ce qui aurait correspondu à un apprentissage par coeur (le réseau
simulerait en interne la dynamique forçante de l’environnement, sans présentation de
celle-ci). Ce résultat démontre néanmoins que le réseau balaie un paysage complexe
d’attracteurs, qui, pour la plupart, facilitent l’anticipation du signal de forçage lorsqu’il est
présenté (l’erreur diminue progressivement).
TROISIEME PARTIE : RESULTATS