Thèse Sciences Cognitives - Olivier Nerot

120
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
biologiquement 45 . Selon l’approche proposée, il n’est plus nécessaire de réaliser ces
deux phases. En effet, la perturbation résiduelle est fonction de l’erreur réalisée par le
système, et la diffusion de cette perturbation est fonction de son intensité. Ainsi, plus le
réseau approche de la solution, plus son erreur est faible, et moins le nombre de
neurones qui voient leurs paramètres modifiés est élevé.
Evidemment, le même phénomène peut être observé dans un simple réseau à
rétropropagation du gradient : plus l’erreur est faible au niveau des neurones de sorties,
et moins les modifications dues à l’apprentissage sont rétropropagées dans les couches
précédentes ; et pourtant, il est nécessaire de réaliser une phase d’apprentissage et une
phase de généralisation dans le réseau. Dans le modèle proposé, la mémoire est un
principe actif du système, qui lui permet d’anticiper l’évolution de son environnement : il
est plongé dans le présent, et ne requière donc pas de référence au passé (à la phase
d’apprentissage) pour effectuer sa tâche de reconnaissance : le système proposé ne
nécessite donc pas de phases d’apprentissage et de généralisation distinctes,
contrairement à un réseau multicouches à rétropropagation, qui doit retrouver des
associations entrées-sorties préalablement acquises.
5.3 Principes du modèle connexionniste
5.3.1 Pour le neurone
1. Modèle à différences finies
Après avoir étudié dans un premier temps des réseaux à itérations discrètes, et après
s’être intéressé aux synchronismes du réseau, il s’est avéré difficile de suivre
simplement les dynamiques des réseaux discrets. Celles-ci semblaient souvent trop
désordonnées, et trop peu propices à l’apprentissage de dynamiques lentes et régulières
Nous nous sommes alors orientés vers les réseaux à différences finies. Ceux-ci offrent
le net avantage de posséder des dynamiques plus lisses, dont on peut à loisir modifier la
vitesse, par modification du pas de temps dt. De cette façon, l’analyse des fréquences
principales du réseau devient plus précis : les fréquences principales ne sont plus toutes
réunies sur un petit intervalle de hautes fréquences, comme cela était le cas dans les
réseaux discrets. Il apparaît un plus grand nombre de pics de fréquences qui peuvent
permettre de mieux quantifier les déphasages entre sites voisins.
Autre avantage, il est possible ainsi de réguler ainsi la vitesse de la dynamique de
l’environnement. Nous avons pris pour nos résultats des pas de temps de même
grandeurs pour les itérations de l’environnement, et pour celles du réseau.
Malheureusement, le choix de réseaux à différences finies s’est fait un peu tard, et nous
n’avons pas pu vérifier à nouveau l’ensemble de nos résultats pour ce type de réseau. Il
45 Ceci ne signifie pas que l’apprentissage ne peut pas être réalisé à des degrés divers durant l’évolution de
l’organisme, mais qu’il n’y a pas de superviseur, extérieur à l’organisme, qui fasse varier la force de
l’apprentissage en fonction de la qualité de la réponse du système.
DEUXIEME PARTIE : DEVELOPPEMENT