Thèse Sciences Cognitives - Olivier Nerot

212
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
Une autre étude a été limitée par la difficulté d’obtention de la règle d’apprentissage.
Nous pensions en effet pouvoir valider l’hypothèse d’une mise en commun de
l’information provenant des sites de forçage, en vue de l’amélioration de l’anticipation de
chacun. N’ayant pas pu obtenir d’apprentissage fiable sur un seul site, cette
généralisation s’est avérée impossible. Mais peut-être s’agit-il là d’une limite naturelle
aux réseaux ?
En effet, il est possible que le réseau cherche non pas à anticiper chaque site, mais à
associer les évolutions de chacun des sites. Dans ce cas, il faudrait forcer N sites, et
arrêter le forçage sur k sites, en cherchant à ce que la présentation des N-k sites
‘rappelle’ au réseau les dynamiques sur les k sites non forcés. Les premières
expériences réalisées sur ce sujet n’ont pas permis d’améliorer les résultats présentés
dans cette thèse : les fonctions périodiques ne sont pas mieux apprises, et les fonctions
chaotiques n’ont pas pu être rappelées (nous avons essayé l’apprentissage d’un Lorenz,
en forçant 3 sites avec X(t), Y(t) et Z(t), et effectué le rappel par la présentation de X(t) et
Y(t) ).
Autre limite, dans la totalité des rappels effectués, nous avons conservé la phase, la
fréquence, et l’intensité de celles-ci. Aucune expérience n’a pu être réalisée portant sur
les capacités de généralisation du réseau : le réseau se resynchronise-t-il rapidement sur
une sinusoïde apprise, si sa phase est changée ?
Modèle à spike
Les limites rencontrées durant la recherche de la règle d’apprentissage sont peut-être
dues au choix du modèle neuronal. En effet, les modèles à fonction sigmoïde sont
fonctionnellement équivalent à des modèles moyennant les fréquences neuronales de tir
[[39]]. Comme nous mettons en avant les capacités de synchronisme du réseau, peutêtre
serait-il préférable de s’orienter vers des modèles plus riches, de type ‘integrate and
fire’ ? De tels modèles utilisent naturellement les synchronismes du réseau. Nous
comptons donc nous intéresser aussi à ce type de modèle, en reprenant les expériences
réalisées ici (dynamiques chaotiques, capacités de synchronisme, diffusions...).
S’orienter vers une modularisation a priori
Autre amélioration possible, il est envisageable d’étudier des réseaux possédant une
modularisation a priori. Nous ne nous sommes pas intéressés à ceux-ci au départ, car
cela rajoutait encore des paramètres au modèle. Cette étude porte donc plus sur les
comportements d’un seul module, en vue d’une connexion de ces modules entre-eux
ensuite.
Par contre, il peut être intéressant de chercher à accentuer la modularisation du réseau,
par exemple par des algorithmes de pruning. En effet, dans nos réseaux, les
perturbations finissent par diffuser dans le réseau entier, en créant des dépendances
entre neurones qui n’ont pas lieu d’être (par exemple si deux neurones sont
indépendants). Dans ce cas, chaque neurone réalisera en permanence une erreur
résiduelle par rapport à l’autre. Cette erreur, s’ajoutant, risque de faire diverger les poids.
Un pruning pourrait éviter ce type de divergence, en éliminant les synapses des
neurones dont les sorties semblent indépendantes.
Vers un modèle de l’action
TROISIEME PARTIE : RESULTATS