Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
k
Cette deuxième équation nous montre que les variables pij k¹ i
sont transitoires et
convergent vers 0. Il est donc possible de les négliger, et en posant p = p
pouvons écrire la règle d’apprentissage :
dpij
() t + pij() t = s¢
( hi()) t xj() t
dt
dwij
E
() t =- h () t =- ei() t pij() t
dt w
h
ij
k
ij ij k= i
, nous
Equation 4-8 : RTRL avec forçage total
Cette idée sera à l’origine de l’algorithme de ‘forçage des dynamiques
complémentaires’ (p.195), car la règle précédente possède l’avantage d’être locale :
l’évolution des paramètres reliant deux neurones ne dépend que de l’état de ces deux
neurones. De cette façon, l’algorithme RTRL devient local, et peut permettre de réaliser
un apprentissage biologiquement plausible dans un réseau récurrent. L’inconvénient est
que la totalité des neurones du réseau sont forcés, ce qui limite la plausibilité biologique
de cet algorithme.
4.5 Limites
4.5.1 On-Line et Local
L’un des problèmes
posé par l’apprentissage dans
les réseaux récurrents
provient du fait que l’état de
chaque neurone finit par
influencer l’état de tous les
autres, par diffusion et
rétroaction de son état sur les
autres. Ainsi, si l’on veut
modifier l’influence d’un poids
sur la sortie d’un neurone pour
réaliser l’apprentissage, il est
nécessaire que ce neurone ait
soit accès à tous ses états
passés (BPTT), soit à l’état de
tout le réseau (RTRL). Ces
deux cas (Figure 4-2) ne sont
Figure 4-2 : Apprentissage local/off-line versus non-local/on-line
Dans le premier cas, chaque neurone transmet son état à ses
voisins. Ceci implique que les dépendances à grande distance
nécessitent le balayage du passé du réseau. Dans le second cas,
chaque neurone a accès à la totalité des états du réseau.
pas biologiquement plausible, et nécessitent de fortes capacités informatiques : BPTT réclame
une mémoire énorme pour stocker l’état passé de tous les neurones, et RTRL réclame une grande
puissance de calcul pour pouvoir déterminer les influences croisées entre tous les neurones. En
effet, dans le premier cas (BPTT), l’algorithme est bien local, c’est à dire que chaque neurone n’a
accès qu’à l’état des neurones auxquels il est connecté, mais il est off-line. Dans le deuxième cas
APPRENTISSAGE DANS LES RESEAUX RECURRENTS 89