Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
Figure 7-30 : Courbe d’écart moyen pour 500 itérations de stabilisation
L’algorithme utilisé pour déterminer l était le plus simple d’entre tous : calculer le
coefficient de régression linéaire du logarithme de l’erreur. Il était logique de se
demander si le comportement de l n’était pas dû uniquement aux limites de cette
méthode. Afin de confirmer ce fait, à savoir la haute sensibilité de l’évolution de l’erreur
du réseau en fonction de b, nous avons représenté cette évolution sur la Figure 7-31.
Cette figure confirme que, pour de très faibles variations de 64.b (entre 60 et 60,16),
l’évolution du logarithme de l’erreur moyenne du réseau peut rapidement varier. Nous
avons cherché à savoir si ces sauts de la courbe d’erreur pouvaient s’observer pour des
variations de b aussi petites que l’on veut. En poussant le zoom assez loin, nous avons
réussi à atteindre un stade à partir duquel les variations de l commencent à devenir
lisses (Figure 7-32). Sur cette figure, il est possible de voir que parfois l passe de façon
continue entre une valeur négative (pas de sensibilité aux conditions initiales), à une
valeur positive (régime chaotique). Ainsi, pour de très petites variations d’un paramètre
du réseau, il est possible de faire passer les régimes du réseau d’un cycle limite à un
chaos. Ce type de comportement limite l’apprentissage : pour d’infimes variations des
paramètres, le régime libre du réseau quittait la trajectoire qu’il était en train d’apprendre,
en bifurquant vers des régimes chaotiques (Figure 8-23, p.202). L’apprentissage de la
DYNAMIQUES OBSERVEES ET EXPERIMENTEES 171