Thèse Sciences Cognitives - Olivier Nerot

72
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
aux capacités de spécialisation neuronale autour des sites de forçage, ce qui revient à
étudier des phénomènes de modularisation a posteriori. Comme nous le verrons, il est
possible d’interpréter la spécialisation modulaire neuronale comme étant une cause de la
spécificité des sites de forçage (5.2.4 Modularisation fonctionnelle, p.113).
3.3 Exemples de modèles chaotiques
Nous présentons ici quelques uns des modèles proposés, dans lesquels ont été mis en
évidence des dynamiques chaotiques, représentatifs des rôles proposés pour le chaos. Ces
modèles se répartissent entre ceux qui découlent de considérations purement biologiques, et ceux
pour lesquels le chaos n’est qu’un outil, source de désordre, améliorant les capacités de
généralisation du système.
3.3.1 Wan et Aussem
Les travaux d’Eric Wan [[207]][[208]]. complétés par Alex Aussem [[7]][[8]], qui a
généralisé les algorithmes proposés aux réseaux récurrents, font partie de ceux qui ont obtenu les
meilleurs résultats de modélisation d’une série chaotique. Ces réseaux sont composés de
neurones à mémoire, appelés ici FIR (Finite Impulse Response), dans une architecture feedforward
classique.
L’apprentissage consiste à faire apprendre au réseau les associations X(t),X(t+1), ce qui
permet, après apprentissage, en rebouclant les sorties sur les entrées, d’obtenir un réseau dont la
dynamique des sorties modélise la série temporelle apprise X(t).
Cet apprentissage est une simple généralisation de l’algorithme de rétropropagation du
gradient au modèle de neurone à mémoire. Il revient à modifier les vecteurs poids 25 par :
Avec :
l
l
l+
1 l
W ( t+ 1)
= W () t -hd
(). t X () t
ij
ij
l ( j )
l ( )
l
d () t =- 2e
() t s ¢ h () t si l= L
j
j j
l
l+
1 l
d () t = s ¢ h () t d () tW () t sil¹ L
j
m=
1
PREMIERE PARTIE : ANALYSE
N
l+
1
å
Cet algorithme revient donc, de la même façon que la rétro-propagation du gradient rétropropage
l’erreur, à rétro-convoluer les vecteurs poids avec les vecteurs d’erreur
l
l l
l
l l-1
d ( t) = [ d ( t), d ( t + 1), d ( t+ 2),...,
d ( t+ M )]
m
l
d j
m
m
-1
(), t et calculer ainsi l’évolution des poids.
m
m
m
j
jm
i
, afin d’obtenir les nouvelles composantes
L’efficacité de cet algorithme a été démontrée sur l’apprentissage d’une fonction de Lorenz
et de Henon. Dans les deux cas, il est très intéressant de remarquer que non seulement l’erreur
atteinte après apprentissage est faible, mais aussi que les réseaux obtenus sont sensibles aux
conditions initiales. En effet, lors de son régime libre, le réseau s’écarte vite de la dynamique
25 Un vecteur poids contient l’ensemble des poids synaptiques pour une synapse donnée, pour chaque retard
du neurone à mémoire.