Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
Ceci est l’idée sous-jacente de cette règle d’apprentissage : faire évoluer en parallèle deux
réseaux identiques, dont les sorties de l’un sont les entrées forçantes du second, excepté les
sorties forcées du premier (Figure 8-14).
Etant donné que les deux réseaux sont identiques, il est possible de supposer que ce
forçage sera plus simple à apprendre par le second réseau. Le but de l’apprentissage envisagé est
alors de rapprocher les dynamiques des deux réseaux, en appliquant les règles d’apprentissage
proposées dans le cas d’un forçage total (5 Avec Teacher forcing total, p.88). Si ces deux réseaux
convergent vers la même dynamique, cela signifie que les dynamiques forcées sont égales aux
dynamiques non forcées : le régime libre du réseau anticipe les dynamiques induites par le
forçage.
Un tel apprentissage conserve les contraintes d’apprentissage on-line et local. Par contre
la plausibilité biologique est perdue, puisqu’il est nécessaire de faire évoluer en parallèle deux
copies du réseau.
8.4.2 Résultats
196
1. Cycles limites du régime libre initial
Le réseau étudié est un simple réseau hopfieldien, sans mémoire, entièrement
interconnecté. Nous l’avons choisi entièrement interconnecté, car pour ce faible nombre
de neurones, les phénomènes de diffusion ne sont pas visibles, et nous voulions
commencer par la validation des règles sur de petits modèles, en les généralisant
ensuite aux grands réseaux à voisinage local. En lâchant ce réseau à partir de conditions
initiales aléatoires, les seize neurones finissent par se stabiliser chacun sur un cycle
limite (Figure 8-15).
2. Complexification des dynamiques par perturbation
Le forçage a été réalisé sur le neurone [2,2]. Cette perturbation induit une
modification de l’ensemble des attracteurs du réseau, qui se complexifient (Figure 8-16).
Nous avons tracé en superposition pour le neurone [2,2] la dynamique de forçage (une
simple sinusoïde), et la sortie du second réseau (dont tous les autres neurones sont
forcés).
3. Minimisation des perturbations induites
L’apprentissage réalisé modifie rapidement les attracteurs de l’ensemble du réseau.
La dynamique du neurone [2,2] cherche bien à suivre la dynamique extérieure. En
continuant l’apprentissage, après 10000 itérations, la dynamique du neurone [2,2]
continue à se rapprocher de la dynamique extérieure.
TROISIEME PARTIE : RESULTATS