Thèse Sciences Cognitives - Olivier Nerot

90
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
(RTRL), l’algorithme est bien on-line, c’est à dire qu’un neurone n’a accès qu’à l’état des neurones
de l’itération en cours, mais il est non-local. Dans la totalité des recherches réalisées à ce jour,
aucune n’a réussi à associer les critères on-line et local dans un seul algorithme pour
l’apprentissage de dynamiques dans les réseaux récurrents. Afin de rendre plausibles ces règles,
nous proposerons d’effectuer des simplifications extrêmes de BPTT et de RTRL (8.3, p.190 et
8.4,p.195), les rendant tous deux On-line et local.
4.5.2 Faux gradients
Dans les calculs aboutissant à RTRL, il existe plusieurs approximations. La première
considère que les poids synaptiques ne varient pas au cours du temps. Or le rôle de
l’apprentissage consiste bien à faire évoluer les poids. Les auteurs justifient cette hypothèse en
supposant le gain d’apprentissage très petit. Or dans ce cas, il est nécessaire d’effectuer un très
grand nombre de pas d’apprentissage, ce qui augmente encore les risques d’explosion du réseau
(voir ci-dessous). La deuxième approximation considère que les poids sont indépendants entre
eux. Or chaque modification de poids dépend de l’état de tous les autres poids du réseau, à
k
travers le calcul des pij . Ainsi les gradients calculés ne sont pas exacts, et cette inexactitude
s’accumulant tout au long de l’apprentissage, il est possible que le réseau ne voit pas ses poids
converger.
Pour ce qui est de BPTT, celui-ci suppose que la totalité des états précédents soit
mémorisée. Cette contrainte étant impossible à vérifier dans le cas de réseaux que l’on souhaite
laisser évoluer pendant longtemps, plusieurs méthodes ont été imaginées, limitant ce besoin de
mémoire. Toutes sont sources d’erreur pour le calcul du gradient.
4.5.3 Instabilité
Dans certains cas, l’algorithme RTRL peut faire diverger les poids, en effet, l’équation :
dp
dt
k
ij
k
() t + p () t = s¢
( h()) t x () t
ij
i j
k
montre bien que les pij peuvent diverger. En effet, il n’y a pas de seuillage par une
fonction bornée. Nous avons parfois observé de telles divergences, que nous avons dû éliminer
en réalisant un seuillage artificiel, ce qui fausse encore la précision du calcul du gradient. Dans ce
k
cas, bien souvent les pij saturent, ce qui crée un apprentissage selon une descente de gradient
aussi approximative que le sera celle des apprentissages proposés. Ainsi, la nécessité d’un
seuillage, ou d’une réinitialisation fréquente, montre que RTRL réalise des approximations qui, en
s’accumulant, en limite l’efficacité.
4.6 Conclusion
L’ajout de connexions récurrentes dans un réseau pose de nombreux problèmes qu’un
algorithme aussi simple que la rétropropagation du gradient ne peut pas résoudre. L’une des
principales causes de cette limitation est due au fait que l’état d’un neurone à l’instant t influence
la dynamique de l’ensemble du réseau durant le reste de ses itérations , car l’état du réseau n’est
PREMIERE PARTIE : ANALYSE