Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
4. APPRENTISSAGE DANS LES RESEAUX RECURRENTS
La mémoire est une forme de l’habitude, et l’habitude est une
caractéristique du système nerveux, bien qu’elle puisse exister ailleurs,
par exemple dans un rouleau de papier qui s’enroule à nouveau une fois
déroulé.
Bertrand Russell. Science et Religion. p 98
4.1 Introduction : Reproduire un état passé
Qu’est-ce qu’apprendre ? Est-ce la capacité de reproduire une information enregistrée ?
Dans ce cas, une cassette audio ou vidéo, une mémoire d’ordinateur, ou même une feuille
blanche sont douées de capacité d’apprentissage. Doit-on ajouter à la définition d’apprentissage
des notions de plus haut niveau comme celles de classification, d’organisation, ou d’agencement
des données apprises ? Dans ce cas, une base de données vérifie ces propriétés. Faut-il alors
qu’il y ait réutilisation des données apprises pour la résolution de tâches complexes ? Où s’agit-il
d’un phénomène d’aussi bas niveau que celui du papier qui s’enroule de nouveau ? Il semble
qu’existent plusieurs définitions de l’apprentissage, chacune caractérisant un type particulier de
l’utilisation de la mémoire : mémoire de travail, mémoire échoïque, mémoire de rappel, mémoire
de reconnaissance... Mais quelle est la composante commune à ces définitions?
Cette composante commune sera l’une des propriétés recherchées dans cette thèse, qui
sera ramenée à la définition bas-niveau :
Un stimulus est mémorisé par un système si ce système peut reproduire l’état interne
qu’il avait lors de la perception de ce stimulus.
Cette reproduction d’une information passée doit être possible soit de façon spontanée par
le système, soit par présentation partielle ou bruitée de l’état à retrouver. Cette définition du
phénomène de mémorisation permet d’utiliser l’ensemble des recherches réalisées dans le cadre
de l’apprentissage de séries temporelles : le système doit chercher à reproduire la dynamique
dans laquelle une perturbation passée l’a déjà mis. Comme nos réseaux sont récurrents, quelques
règles peuvent être proposées, développées ces dernières années, dont les principales sont le
Back Propagation Trough Time et le Real Time Recurrent Learning. Malheureusement, ces règles
ne sont pas plausibles biologiquement. Nous essaierons donc de décrire les bases de ces règles,
APPRENTISSAGE DANS LES RESEAUX RECURRENTS 79