Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
C’est de cette façon que, presque systématiquement, lors des apprentissages que nous
avons essayés, après une phase de décroissance régulière de l’erreur, celle-ci faisait un
saut brusque, puis recommençait à décroître, jusqu’à la bifurcation suivante.
Faut-il alors, lors de l’apprentissage, essayer de rester sur les variations lisses observées
précédemment, ou au contraire essayer de faire varier les paramètres du réseau en le
faisant passer d’un régime à l’autre ? Dans le premier cas, l’apprentissage est trop lent,
et de toute façon il finit toujours par y avoir une bifurcation de la dynamique du système.
Dans le second cas, il est impossible de prévoir l’effet qu’aura une modification du
paramètre sur la dynamique du système.
7.3 Paramètres bifurquants
Nous avons donc cherché à savoir quels étaient les paramètres ‘sensibles’ du réseau, afin
d’orienter un peu les voies possibles de l’apprentissage. N’oublions pas en effet que l’étude
préliminaire des dynamiques du réseau a pour objet de trouver un modèle qui puisse être
chaotique lorsqu’il est forcé, par diffusion des perturbations induites dans le système, et dont on
puisse modifier les dynamiques internes par apprentissage, pour les faire coïncider avec les
dynamiques externes. Il était donc essentiel de savoir sur quels paramètres jouer dans nos
modèles afin d’en modifier les dynamiques.
7.3.1 Variation du gain
Ce paramètre correspond au gain b de la fonction neurone :
b
- x
V e
s(
x)
=
1+
e
b
- x V
où V représente le nombre de neurones inclus dans le voisinage local.
Il a déjà été démontré que ce paramètre est bifurquant pour des réseaux hopfieldiens
avec ou sans délais [[40]][[43]], nous pouvons donc nous attendre à ce qu’il se révèle bifurquant
pour des modèles plus complexes.
1. Dans un modèle à délais
En reprenant le réseau étudié précédemment (1 Modèles à délai, p.151), nous avons
cherché à observer l’évolution des attracteurs obtenus auparavant (Figure 7-9, p.152),
pour de nouvelles valeurs de b. Ce gain est modifié pour l’ensemble des neurones du
réseau, et est mis à la même valeur. Comme nous pouvions le prévoir, et
conformément aux résultats déjà obtenus sur le sujet, il y a complexification des
dynamiques individuelles avec l’augmentation du gain.
Ce résultat est logique, car, l’augmentation du gain accroît la raideur de la fonction
neurone. La non-linéarité neuronale est donc accentuée, augmentant donc la complexité
des dynamiques. Nous n’avons pas étudié les propriétés des types de bifurcation
observées, car cela n’était pas notre propos initial, mais, conformément aux études plus
précises sur le sujet [[33]][[34]][[35]][[32]][[68]], plusieurs types de bifurcations sont
,
DYNAMIQUES OBSERVEES ET EXPERIMENTEES 173