Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
réseau met beaucoup plus de temps à apprendre le signal de forçage, qu’à s’en ‘rappeler’. Ainsi,
un tel apprentissage permet de réaliser l’apprentissage de fonctions simples, telles que des
sommes de sinusoïdes. Malheureusement, dès que la fonction à apprendre devient plus
complexe, le réseau se stabilise sur une erreur minimale, qui finit par augmenter en très peu
d’itérations, pour recommencer à décroître lentement, et ainsi de suite.
Nous avons remarqué que les fonctions symétriques où il existe t0 tel que f(t0-t)=f(t0+t),
sont plus simples à apprendre par le réseau.
Ce phénomène peut être expliqué par un ‘rebond’ de l’erreur dans le réseau : à chaque
instant t, le neurone forcé réalise une erreur e(t), qui est transmise à ses voisins, qui font de
même. De cette façon, un neurone à une distance d du site de forçage reçoit l’erreur e(t-d). Ainsi, il
va modifier ses paramètres afin de minimiser e(t-d), et va renvoyer sa sortie ainsi modifiée, qui se
propagera en un temps d jusqu’au neurone forcé.
Ainsi, ce type de réseau va chercher à rapprocher x(t-d) de x(t+d), pour l’ensemble des d,
car le réseau diffuse les perturbations dues au forçage dans tout le réseau. Ainsi, s'il existe x0, tel
que f(t0-t)=f(t0+t), le réseau aura un apprentissage cohérent pour d=t0, ce qui lui permettra
d’apprendre cette fonction symétrique.
8.4 Forçage des dynamiques complémentaires
8.4.1 Description
Pour rendre RTRL local,
la méthode ne peut pas être aussi
simple que pour rendre on-line
BPTT, car la restriction des
équations à leur composante
locales les rendent inadéquates :
RTRL est par conception, un
algorithme non-local. Comme nous
l’avons vu dans le chapitre où sont
analysées les dynamiques
observées dans les réseaux
récurrents [Chap. 7, Dynamiques
observées, p.143], l’ajout d’un
forçage sur un ou plusieurs
neurones modifie les dynamiques
locales du réseau. D’une certaine
façon, l’ensemble de ces
dynamiques obtenues dans le Figure 8-14 : Forçage des dynamiques complémentaires
réseau peuvent être qualifiées de ‘naturelles’ pour le réseau. Tout comme la réponse d’un système
à une impulsion donne en sortie sa fonction de transfert, on peut dire que les dynamiques
obtenues sur les neurones non-forcés contiennent une partie de l’information encodée par les
paramètres du réseau. Il est ainsi possible d’imaginer que ces dynamiques seront plus facilement
apprises par ce réseau, car elles correspondent à des dynamiques qui proviennent de lui.
ANTICIPATION DU FORÇAGE DES DYNAMIQUES 195