Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
Il serait donc nécessaire de valider les règles d’apprentissage dans les réseaux récurrents
par des fonctions plus complexes, d’ordre plus élevé. Dans les recherches actuellement menées,
peu de résultats probants ont été obtenus. Un attracteur de Lorenz a été appris par un réseau
multi-couches à mémoire [[207]], un attracteur de Hénon a été appris par un réseau totalement
interconnecté [[128]], et une dynamique de Mackey-Glass dans un réseau récurrent [[132]]. Dans
les trois cas, il a été nécessaire de déterminer à la main les paramètres de l’apprentissage : Wan
reconnaît avoir testé de nombreux réseaux, et modifié les paramètres en cours d’apprentissage,
Mak a utilisé des valeurs très faibles des paramètres, et obtient son résultat après 2,6 millions
d’itérations. Et Mead a tracé les courbes d’erreurs en fonction de chaque paramètre, pour obtenir a
posteriori la configuration paramétrique optimale.
Dans notre cas, la recherche d’un algorithme local, on-line, non supervisé, nous empêche
de suivre les choix de ces auteurs : il n’est pas envisageable de devoir régler les paramètres
extérieurs de l’extérieur. Ainsi, nous cherchons un algorithme dérivé des règles de Hebb, mais qui
puisse apprendre un comportement dynamique, et dérivé des règles à base de descente de
gradient, mais local et on-line. Seuls des résultats intermédiaires ont pu être obtenus.
Nous avons montré que des règles hebbiennes réalisent la diffusion dans le réseau des
perturbations, qui s’organisent via l’apprentissage. Ceci était nécessaire dans un modèle devant
vérifier des capacités de modularisation, et d’association, primordiales dans le modèle théorique
que nous proposons.
De plus, les algorithmes à descente de gradient, rendus artificiellement on-line et local,
permettent au réseau d’apprendre des fonctions simples aussi bien que les algorithmes dont ils
dérivent. Nous avons montré, que le forçage pouvait complexifier les dynamiques individuelles
d’un réseau, et que, dans un cas particulier d’apprentissage, le réseau cherchait à suivre cette
dynamique forçante, tout en modifiant l’attracteur de chaque dynamique libre. Ce résultat est en
accord avec les données neurophysiologiques qui montrent qu’il y a complexification des
dynamiques lors de la présentation d’un percept non appris, et qu’il y a simplification lors de la
reconnaissance d’un percept appris. Malheureusement, le seul apprentissage qui a permis ce
résultat est peu plausible, car, bien que on-line et local, il suppose une duplication du réseau.
ANTICIPATION DU FORÇAGE DES DYNAMIQUES 205