Thèse Sciences Cognitives - Olivier Nerot

82
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
présentons dans cette partie, l’ensemble des algorithmes qui permettent de réaliser
l’apprentissage par descente de gradient dans les réseaux récurrents, en espérant ainsi dégager
des principes qui peuvent être appliqués à nos réseaux. Dans tous les paragraphes qui suivent,
l’ensemble S, de cardinal N, des neurones est séparé en trois sous-ensembles : Se, les neurones
d’entrée (ces neurones possédant une entrée additive I t
i ()), Sc, les neurones cachés, et Ss, les
neurones de sortie (Figure 4-1). Cette partition de l’ensemble des neurones, classique dans le
connexionnisme, peut être rapprochée du schéma utilisé pour représenter le système et son
environnement (Figure 4-1). Les apprentissages évoqués ici permettent de faire suivre la
dynamique désirée à chacun des neurones de sortie.
Dans les développements qui suivent, nous définirons :
xi(t), la sortie du neurone i au temps t
pour i S s
Î , x$ () t , la sortie désirée du neurone i
i
et m p (), t les paramètres du réseau au temps t
L’erreur instantanée d’un neurone de sortie est alors définie par :
1
Et () = x$() t -x
() t
2
å(
i i )
iÎSS La descente de gradient revient à modifier au cours du temps les paramètres du réseau
pour minimiser cette erreur. Or, l’évolution de l’erreur au cours du temps est donnée par :
Ainsi, si nous posons d
m
dt
p
dE
dt
R
dE dm
p
å dm
dt
=
p=
1
PREMIERE PARTIE : ANALYSE
p
dE
=- h , avec h > 0 , il est garanti que
dm
dE
< 0
dt
Dans le cas où les paramètres du réseau sont les poids w ij , soit :
La règle d’apprentissage revient à :
p
{ m 1 ,..., m p,..., m R } = { w11 , ,..., wi, j,..., wNN
, }
dw
dt
ij
dE
=-h
dw
Cette dernière équation montre qu’une des méthodes d’évolution des paramètres du
système consiste à évaluer dE
dWij , qui peut être calculé à partir des équations de propagation 29 qui
sont (avec s, une fonction sigmoïde, appelée aussi fonction neurone) :
29 Il est possible de passer simplement du cas discret au cas continu...
ij
2