Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
possible que le système réussisse à effectuer les associations suffisantes pour abaisser
le degré aléatoire de ce site.
Ainsi, selon ce principe, le système peut s’adapter de façon auto-organisée à la
complexité d’un signal : les composantes déterministes anticipables, par la seule
connaissance du passé du signal, sont anticipées, et les composantes aléatoires créent
une perturbation résiduelle qui diffuse dans le réseau, le plus loin possible, en fonction
de l’énergie fournie par cette perturbation. Cette diffusion de l’ensemble des
perturbations induites, dues aux composantes aléatoires des signaux de forçage,
peuvent permettre de mettre en évidence des associations qui améliorent l’anticipation
des composantes aléatoires de certains des sites. De cette façon, la perturbation
résiduelle, due à la non-prédictibilité du signal de l’un des sites, diminue, et le module
autour de ce site de forçage peut fonctionnellement se spécialiser à l’anticipation de son
signal de forçage.
Il s’agit bien, dans ce cas, d’un ‘filtre de complexité’.
Ce type d’approche élimine la nécessité d’algorithmes incrémentaux, où l’on ajoute
des neurones au fur et à mesure de l’apprentissage du réseau. Selon l’approche
présentée ici, il y a compétition des populations neuronales afin de recruter le maximum
de neurones pour l’anticipation des perturbations à venir de chacun des sites de forçage.
Comme nous le verrons par la suite, certains apprentissages hebbiens simples
accroissent les perturbations induites par le signal de forçage en fonction de la distance
au site de forçage. Nous avons pu vérifier que, plus un neurone est éloigné du site de
forçage, plus son comportement est dépendant des petites variations du forçage, et donc
plus il est utile à l’anticipation de ces petites variations (Figure 8-6, p.189). Ceci va dans
le sens où les neurones distants ne peuvent créer que de petites variations de la
dynamique d’un site éloigné, et où ces petites variations dépendent causalement
d’autres sites de forçages associés.
Ainsi, dans ce type d’architecture, à voisinage local, et à diffusion de l’erreur dans le
réseau, il y a hiérarchisation fonctionnelle des neurones par rapport à leur distance des
sites de forçage : les neurones proches d’un site encodent l’évolution déterministe simple
(X(t)=f(X(t-1)), et y sont spécifiquement affecté, et les neurones plus éloignés encodent
les variations plus difficilement prédictibles de ce site, en tenant plus compte des sites
de forçage voisins, qui amènent une information supplémentaire pour l’anticipation de la
dynamique du premier site.
3. Pas de phase d’apprentissage
Dans de nombreux algorithmes, le fonctionnement du système est séparable en deux
phases : une phase d’apprentissage où l’on force le système à effectuer la tâche requise,
et une phase d’utilisation où l’on laisse le système réaliser sa tâche. Bien souvent, le
temps d’apprentissage est un facteur influent de la qualité de l’apprentissage réalisé : si
l’apprentissage a duré trop longtemps, le système perd ses capacités de généralisation,
et oublie les données précédemment apprises.
Ceci est une limite pour l’apprentissage dans les modèles connexionnistes, et cette
nécessité de phases d’apprentissage et de généralisation, est peu plausible
UN MODELE CONNEXIONNISTE DE LA MEMOIRE 119