Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
Evidemment, la segmentation réalisée
dans un réseau ne peut pas être aussi
nette que sur la Figure 5-10, car l’erreur
ne se propage pas selon un unique
chemin, mais diffuse plutôt dans le
réseau, selon certaines directions
privilégiées. Ainsi, il sera peu probable
d’observer des neurones spécifiquement
et exclusivement affectés à l’anticipation
d’un seul site de forçage. L’aspect
modulaire ne peut donc qu’être observé a
posteriori, en détruisant un neurone, afin
de quantifier l’erreur que cette destruction
réalise sur l’anticipation de chacun des
sites de forçage.
La même limite se retrouve dans les
systèmes réels, où la connaissance de
l’effet des lésions cérébrales permet de
spécifier les limites des aires neuronales :
l’architecture du système est observée a
posteriori.
Figure 5-10 : Modularisation par les poids
L’apprentissage étanr fonction des
perturbations induites par le site de forçage,
les plus grandes modifications des
paramètres locaux du système se feront
selon le chemin des zones fortement
modifiées. Ce mécanisme modularise
fonctionnellement le réseau à partir des sites
de forçage.
Nous verrons, dans le cadre d’un
apprentissage dont l’intensité dépend des états des neurones d’entrée et de sortie,
similaire à un apprentissage hebbien, que ce phénomène de diffusion peut engendrer
une modularisation très complexe, géométriquement similaire à celle observée dans la
spécification oeil droit, oeil gauche des aires cérébrales du macaque (8.2
L’apprentissage Hebbien, p.186). Un simple modèle connexionniste peut reproduire des
organisations modulaires géométriquement similaires à celles des systèmes réels.
2. Modularisation fonction de la complexité du signal
Une des définitions de la complexité est celle de Kolmogorov-Chaitin, ou KCcomplexité,
qui correspond à la longueur en bits du plus petit programme qui produira ce
message. Cette définition de complexité semble relative à une architecture donnée, et
représente la complexité pour un ordinateur d’engendrer le message voulu.
Ainsi, cette complexité peut ne pas représenter la complexité absolue d’un message,
mais la complexité relative pour un système donné d’engendrer un message. De la
même façon, un signal aléatoire, complexe au sens de Kolmogorov-Chaitin, peut être vu
comme simple pour certaines machines : un signal aléatoire est ‘simple’ pour le système
qui l’engendre.
Nous ne verrons donc pas de définition d’une complexité absolue, mais seulement
relative à un système : le système percevant participe à la notion de complexité. Dans le
cadre d’un réseau forcé, il est possible d’interpréter la diffusion des perturbations induites
comme étant un ‘filtre de complexité’. En effet, nous pouvons espérer que, en fonction
de la force de l’erreur réalisée par le réseau, celle-ci diffuse plus ou moins loin dans le
réseau : une erreur faible, de faible énergie restera localisée autour du site de forçage,
UN MODELE CONNEXIONNISTE DE LA MEMOIRE 115