Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
L’ensemble des apprentissage que nous avons essayés dans nos réseaux se sont tous
révélés d’une lenteur extrême (Chap.8, Anticipation du forçage des dynamiques, p.185).
Le forçage entraîne immédiatement la dynamique du réseau à suivre la dynamique
extérieure ; ainsi, le réseau est immédiatement proche de la dynamique qu’il aura après
apprentissage 36 . D’une certaine façon, la perturbation externe est immédiatement
perçue.
N’est-ce pas ce qui se passe lorsque nous percevons un objet ?
En regardant une peinture, par exemple, si nous fermons les yeux, l’image
s’évanouira lentement pour ne laisser qu’une impression vague. Mais, si nous rouvrons
les yeux tout de suite, le tableau nous réapparaît tel que nous l’imaginions, en donnant
l’impression de venir se coller à la représentation interne que nous en avions. Plus nous
observerons ce tableau, plus la perception que nous en aurons sera précise et fidèle.
Mais combien de temps devrons-nous l’observer pour que l’image interne que nous nous
faisons de l’objet soit précisément celle regardée, au point que nous confondions le
tableau et l’image mentale ?
Il est probable que, pour atteindre ce point de perfection dans la représentation
interne de l’objet perçu, il nous faille aussi plusieurs millions d’ ‘itérations’... Il n’est donc
peut être pas si surprenant que l’apprentissage dans les modèles connexionnistes
requière autant d’itérations pour apprendre parfaitement un signal d’entrée. Cette limite
n’est peut être pas un signe de l’échec du connexionnisme.
Finalement, ce qui nous intéresse lorsque nous regardons un tableau, c’est de
pouvoir nous en ‘faire une idée’, complétée à chaque nouvelle observation..
Ainsi, l’idée du forçage permet de justifier la nécessité d’être en contact avec l’image
perçue pour pouvoir se la représenter parfaitement. Et il n’est peut être pas nécessaire
d’atteindre le stade de l’apprentissage par cœur pour le réseau, qui est pourtant l’un des
critères de réussite de la plupart des modèles actuels.
D’autre part, il existe un compromis entre la qualité de l’apprentissage, et les
capacités de généralisation du réseau : la mémoire absolue ne peut pas généraliser, car
chaque perception d’un même phénomène est perçue comme un cas particulier. Il est
donc sans doute préférable de ne pas chercher un apprentissage par cœur dans le
réseau, afin de maximiser ses chances de généralisation.
7. Evite la divergence des paramètres du réseau
L’étude de l’algorithme d’apprentissage RTRL (4.4.3 Real time recurrent learning,
p.86) a mis en évidence que la dynamique des Pijk peut être instable, et il n’est pas rare
de voir les poids diverger (4.5.3 Instabilité,p.90).
Or, dans le cas où la dynamique de forçage est lente, le système étant forcé de
suivre cette dynamique, l’erreur réalisée est faible, ce qui maintient les Pijk à des valeurs
faibles, dans le cas d’un apprentissage par RTRL. Il y donc moins de chances de voir les
poids diverger.
36 ou tout au moins, plus proche que de celle qu’il aurait sans forçage.
UN MODELE CONNEXIONNISTE DE LA MEMOIRE 103