Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
réseaux qui furent à l’origine du modèle de mémoire. En effet, c’est en pratiquant ces réseaux que
nous avons pu mettre en évidence certaines de leurs caractéristiques, qui furent synthétisées pour
essayer de concevoir un modèle de mémoire biologiquement plausible. Il fut très intéressant,
durant cette phase d’observation des dynamiques, de noter que certains de ces comportements
pouvaient être interprétés à la lumière des théories actuelles de la mémoire, débouchant ainsi sur
la proposition d’un modèle théorique de mémoire anticipatrice des perturbations induites par le
forçage, qui possède des propriétés biologiquement justifiables.
Nous avons orienté l’étude en partant de modèles très simples, de type Hopfieldien à
matrice de connexions isotrope, vers des modèles plus complexes, à différence finie et contenant
une fonction de transfert en entrée et en sortie. A chaque fois, nous avons tenté de repérer les
dynamiques représentatives de ces modèles, et de déterminer le rôle qualitatif de chaque
paramètre sur ces dynamiques. L’ensemble des résultats observés ne peut pas être décrit dans
cette thèse, car plusieurs centaines de réseaux ont été simulées. Nous avons donc tenté de trier
les plus représentatifs, en privilégiant ceux qui orientèrent le modèle de mémoire. A chaque fois
qu’un phénomène a été observé, nous avons tenté de simplifier le modèle de réseau jusqu’à
disparition de l’effet observé, en tentant ainsi d’obtenir le modèle le plus simple possible vérifiant
ce comportement. Aucune loi précise et transposable n’a pu être obtenue par cette méthode, et
c’est certainement l’une des limites de cette thèse. Mais la souplesse de l’outil informatique
développé, associée à la puissance de l’ordinateur parallèle, nous a permis d’observer les réseaux
sans négliger trop certaines zones de l’espace des paramètres du réseau. Ainsi, sans être
exhaustive, la liste des comportements présentés dans ce chapitre est représentative de ceux
observables dans nos modèles. Il faudra donc voir les résultats qui suivent comme une approche
préliminaire du problème, en espérant pouvoir passer à une phase plus quantitative que
qualitative, et peut-être ainsi dégager une loi d’apprentissage fiable pour nos réseaux, qui soit
cohérente avec le modèle proposé, ce que nous n’avons pas pu réaliser.
Ce chapitre retrace l’évolution de cette étude, en mettant en évidence les comportements
des réseaux qui orientèrent notre modèle. A chaque fois que cela fut possible, nous avons essayé
de limiter le nombre de réseaux présentés dans ce chapitre, afin de familiariser le lecteur avec
chacun d’entre eux, et de limiter la diversification abusive des résultats et des modèles exposés.
7.2 Dynamique des modèles à paramètres figés
Dans la totalité des résultats présentés ci après, les conditions initiales du réseau et ses
paramètres ont été choisis aléatoirement, puis gelés pendant l’évolution du réseau. Parfois, afin
de voir plus clairement les résultats énoncés, il a été nécessaire de modifier certains paramètres
du réseau ‘à la main’ avant d’obtenir des dynamiques intéressantes, mais ce fut rare. En effet,
devant la taille des réseaux étudiés (jusqu’à 262144 neurones), il était surprenant de ne pas
trouver dans chaque réseau quelques neurones aux propriétés intéressantes.
7.2.1 Réseaux simples : Modèles récurrents sans mémoire
144
1. Matrice de connexion aléatoire
Les premières études réalisées portent sur de simples réseaux récurrents, à
voisinage local, avec une connectivité aléatoire, possédant des connexions excitatrices
TROISIEME PARTIE : RESULTATS