Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
pas effacé par les nouvelles entrées présentées au réseau, comme c’est le cas dans les
architectures feed-forward. Il est donc nécessaire dans le cas des architectures récurrentes de
tenir compte de la totalité du passé du réseau.
Deux approches peuvent permettre de résoudre ce problème. La première consiste à
mémoriser les états passés du réseau pour calculer un gradient exact au temps t, et correspond à
l’algorithme de Temporal Back Propagation. La seconde consiste à calculer l’influence qu’aura
l’état de chaque neurone sur le futur du réseau entier, c’est l’approche réalisée dans le Real Time
Recurrent Learning.
Ces deux approches ne sont pas plausibles biologiquement, puisqu’elles contredisent la
nature on-line et locale du comportement connu actuellement du cerveau. Il est impossible de
croire que chaque neurone mémorise l’ensemble de ses états précédents depuis sa naissance. Et,
dans le cas où il existe une mémorisation pendant un temps fini, l’algorithme ne permet plus
d’évaluer le gradient exact de l’erreur.
D’autre part, il n’existe pas la moindre raison de penser que chaque neurone ait accès à la
totalité des états des autres neurones. Ainsi, les deux méthodes utilisées pour calculer le gradient
exact de l’erreur dans un réseau récurrent ne peuvent pas être acceptées comme plausibles
biologiquement.
D’autre part, ces deux types d’algorithmes requièrent tant de puissance de calcul et tant
de mémoire, que leur application à de grands réseaux est impossible. Dans notre cas, il n’est pas
envisageable de simuler 262144 neurones, avec ces principes d’apprentissage.
Il est ainsi nécessaire d’imaginer que le gradient évalué n’est pas exact, et peut-être de
chercher dans les règles d’inspiration hebbienne une solution au problème. En effet, les résultats
obtenus avec certaines de ces règles semblent être conformes aux principes biologiques [[161]],
et leur utilisation dans l’un de nos modèles nous a permis d’obtenir des segmentations de modules
neuronaux à contours complexes.
4.7 Bibliographie
[[5]] Amir Atiya. Unifying recurrent network trining algorithms. World congress on neural networks.
Portland. Vol.3. p 585-588 (1993)
[[7]] Alex Aussem (aaussem@eso.org). Training dynamical recurrent neural networks with the
temporal recurrent back-propagation algorithm : application to the time series prediction and
characterization.
[[8]] Alex Aussem (aaussem@eso.org), Fion Murtagh, Marc Sarazin. Dynamical recurrent neural
networks- towards environmental time series prediction.[[152]] Barak A. Pearlmutter.
Dynamic Recurrent Neural Networks. Technical Report. CMU-CS-90-196. Carnegie Mellon
University. Pittsburgh, PA 15213 (1990)
[[30]] Thierry Catfolis. A method for improving the real-time recurrent learning algorithm. Neural
Networks. p807-821. (1993).
[[60]] J. Demongeot, O. Nérot, C. Jezequel. Mémoire de rappel dans les réseaux de neurones.
[[77]] Lee Giles (giles@research.nj.nec.com), B.G. Horne, T.Lin. Learning a class of large finite state
machines with a recurrent neural network. Technical report. UMIACS-TR-94-94. Institue for
advanced computer studies. University of Maryland. (1994)
APPRENTISSAGE DANS LES RESEAUX RECURRENTS 91