Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
leur état interne ne détermine en rien leur évolution future. Nous nous sommes donc
orientés vers des architectures neuronales assimilables à des systèmes autonomes,
opérationellement clos
Vers des architectures à récurrence locale
D’emblée, toutes les architectures feed-forward ont donc été éliminées, pour
s’orienter vers un modèle de réseau à récurrence exclusivement locale, avec
simplification extrême des architectures neuronales biologiques. Ce choix nous a permis
d’observer et d’interpréter des diffusions dans le réseau autour des sites de forçage
(Figure 7-23,p.165), et d’interpréter la perception de l’environnement en terme de
diffusion de perturbations induites par le forçage.
A dynamique chaotique
Il est admis que le système cérébral produit des dynamiques non-linéaires de grande
complexité, du chaos, même si la quantification de la dimension de ces dynamiques
reste encore une question ouverte. Plusieurs rôles dans les phénomènes de
mémorisation ont été proposés (2.3 Des dynamiques au chaos, p.38), dont certains ont
pu être vérifiés. Nous avons vu qu’il pouvait faciliter des synchronismes locaux dans le
réseau (Figure 7-14, p.158), qu’il accentuait la prise en compte de l’état du réseau
(Figure 7-13, p.156), et qu’il permettait une dépersévération du système (Figure 8-21,
p.201).
Complexifiée par une perturbation extérieure
De façon similaire aux systèmes périodiques forcés, la perturbation périodique
externe peut complexifier les dynamiques locales du réseau, si celle-ci n’est pas
anticipée. Cette perturbation par les dynamiques externes a été observée à plusieurs
niveaux : soit par forçage (Figure 8-15, p.197), soit par dépendance aux conditions
initiales (Figure 7-12, p.155), soit encore par le maintient artificiel de dynamiques suite à
une modification lente des paramètres (Figure 7-42, p.180).
Simplifiée par l’apprentissage
L’objectif du système est d’anticiper la dynamique qui le perturbe, et complexifie ses
dynamiques. S’il l’anticipe, la complexité de ses dynamiques est ramenée à celle de la
dynamique forçante. Il y a donc simplification des dynamiques du système lors de
l’apprentissage. Apprentissage simple ! il doit exister un intermédiaire entre RTRL et
Hebb : la simplification drastique de RTRL ou BPTT ayant permis d’effectuer des
apprentissages efficaces de fonctions périodiques simples.
Qui se complexifie à la perte du signal forçant
Il y a dépersévération (Figure 8-23, p.202), car le régime libre du neurone forcé quitte
peu à peu la trajectoire forcée pour se stabiliser sur un attracteur, qui évolue tout au long
de l’apprentissage. Il y a donc bien modification de l’attracteur en régime libre lors de
l’apprentissage. Par contre, à la représentation du signal de forçage, la dynamique du
réseau vient la suivre beaucoup plus rapidement, au fur et à mesure que l’apprentissage
évolue (Figure 8-13, p.194).
En vue de l’anticipation du signal forçant
CONCLUSION GENERALE ET PERSPECTIVES 209