Thèse Sciences Cognitives - Olivier Nerot

36
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
Cette idée d’utilisation de dynamiques à la place de paramètres cachés se retrouve dans
le modèle d’Aityan [[1]], qui a obtenu la modélisation d’une fonction XOR dans un réseau
à une seule couche, grâce à l’utilisation de périodes réfractaires (4.Modèles réfractaires,
p.67)
D’une certaine façon. il est possible d’assimiler un réseau feed-forward à N couches
comme une première approximation d’un réseau dynamique pendant N itérations. Ceci
est l’approche utilisée dans l’algorithme d’apprentissage BPTT, qui déplie dans le temps
un réseau récurrent afin d’obtenir son équivalent feed-forward (4.4.2 .Back-propagation
through time, p.85).
4. Prise en compte du passé
Dans un réseau d’architecture feed-forward, une même entrée provoque la même
sortie, et il y a eu apprentissage d’association entrée-sortie. Ceci représente une grave
limite à ce type de réseau, car, comme le remarquait Hebb [[88]] :
If mind is a brain process [...] we could not hear the clock strike twelve;
the brain gets the same message twelve times, so, if that is all there is,
what one would hear is the clock striking one over and over again [...]
Ainsi, le fait d’associer une entrée à une sortie, comme cela est réalisé dans la plupart
des modèles connexionnistes actuels à architecture feed-forward, ne permet pas de
différencier le même événement qui se succède, car la nouvelle entrée efface l’état du
réseau. Ceci représente une limite sur plusieurs plans.
Sur un plan architectural : les réseaux qui cherchent uniquement à réaliser des
associations entrée-sortie ne sont pas à même de pouvoir compter la répétition
temporelle d’un même événement. Ce type de remarque permettra d’éliminer la plupart
des architectures à couches non récurrentes (2 Architectures récurrentes, p.71).
Sur le plan comportemental : dans un réseau feed-forward, toute nouvelle entrée efface
l’ensemble des activités précédentes des neurones. Dans des réseaux dynamiques, la
prise en compte du passé est naturelle, et peut permettre l’interprétation de l’état du
réseau en termes de trajectoire [[219]], d’attracteur [[180]] ou encore de réverbération
[[4]]. En effet, l’information extérieure vient s’ajouter à la dynamique du réseau, à son
histoire. L’état du réseau à chaque instant dépend donc de son passé, et des
modifications dues à l’extérieur.
Ainsi, un tel réseau peut posséder la capacité d’énumérer le même événement, car il n’y
a pas de raison qui fasse que la dynamique au douzième coup d’horloge soit la même
que celle du premier ou deuxième coup.
5. De nouveaux supports pour l’information
Malgré l’introduction de la notion de réseau uni à son environnement (p.28), se pose
toujours le problème du critère de reconnaissance : comment peut-on savoir que le
réseau a reconnu l’objet qu’on lui présentait ? L’idéal fonctionnaliste serait que l’objet soit
nommé par le réseau grâce à un apprentissage associationniste, sans ce soucier de sa
mécanique interne : sa réussite dans les tâches présentées serait le garant de son
efficacité. Nous retrouverions là l’idée initiale de cette thèse consistant à valider un
PREMIERE PARTIE : ANALYSE