Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
dxi
æ
ö
=-g( xi-u0) -( xi-E1) ç wki s xk( t- t ki)
+ Tgx ( ) ( x E ) w s y ( t t )
dt
è
ø
( 1)
( 2)
å ( ) i ÷- i - 2 å li ( 1 - li )
k
dyi
=-g( yi -u0) -( yi-E1) wki s xk( t-t ki ) -( y -E ) w s y ( t-t
)
dt
( 3)
( 4)
å ( ) i 2 å li ( l li )
k
Les entrées sont additives, et s’ajoutent à l’influence des neurones excitateurs sur les
neurones excitateurs (E-E). Cette étude démontre que des dynamiques chaotiques apparaissent
dans ce réseau lorsque aucune entrée n’est présentée, et que, en fonction de la vitesse de la
dynamique d’entrée, il y a réduction de la dimension fractale. Il apparaît des phénomènes de
synchronisation dépendant de la vitesse des dynamiques d’entrée. Ce modèle nous a inspiré l’idée
de forçage par les dynamiques externes, et la notion d’encodage par synchronisation de
populations neuronales. En effet, il est clairement montré dans cette étude que le site d’entrée
diffuse son activité, en synchronisant des populations voisines.
3.3.6 Freeman
Les travaux de Freeman découlent directement d’une étude neurophysiologique chez le
lapin. Après avoir observé et analysé les dynamiques chaotiques des neurones du système olfactif
du lapin[[180]], il a construit un système artificiel aussi proche que possible, dans lequel il a pu
obtenir des dynamiques proches de celles observées dans le cas biologique.
L’intérêt de l’approche de Freeman réside principalement dans sa méthodologie : après
analyse précise d’un modèle biologique, il le modélise, en interprète les comportements, et tente
de retrouver ces comportements dans ses simulations. Il y a ainsi un aller-retour permanent entre
le biologique et l’artificiel. Freeman fut aussi l’un des premiers à donner au chaos un rôle actif
dans la modélisation de l’activité cérébrale [[180]]. Il y voit deux rôles : l’un est un moyen d’assurer
un accès à l’information préalablement apprise, et l’autre est le moyen d’apprendre de nouveaux
patterns sensitifs.
Après avoir, dans un premier temps, proposé des règles d’apprentissage simples, ayant
pour objet de renforcer les connexions synaptiques de neurones corrélés, il cherche actuellement
à contrôler les dynamiques individuelles des neurones[[218]]. Il semblerait, dans ce dernier article,
qu’il soit confronté aux problèmes de l’apprentissage de dynamique dans les réseaux récurrents,
problème qui a limité aussi nos résultats.
3.3.7 Kohonen logistique
Ce modèle [[63]] s’écarte des approches précédentes, en faisant du chaos un simple
outil permettant de bruiter l’activité du réseau, et de maximiser ainsi les chances de segmentation
valide du paysage des entrées. Les auteurs utilisent le modèle logistique présenté précédemment
(2, p.69), dans un réseau de type Kohonen, avec un apprentissage du type ‘winner takes all’. Leurs
résultats démontrent l’intérêt de ce type de réseau : les segmentations obtenues sont meilleures
que celles d’un réseau de Kohonen classique. Par contre, le chaos reste ici une simple source de
bruitage des états, ce qui correspond aux méthodes utilisées dans les réseaux probabilistes.
Ce modèle n’est pas crédible biologiquement, mais il démontre l’intérêt du chaos dans la
qualité de l’apprentissage réalisé : les classes apprises de cette façon facilitent la généralisation.
MODELES CONNEXIONNISTES DYNAMIQUES 75
l
l