Thèse Sciences Cognitives - Olivier Nerot
Thèse Sciences Cognitives - Olivier Nerot
Thèse Sciences Cognitives - Olivier Nerot
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents<br />
k<br />
Cette deuxième équation nous montre que les variables pij k¹ i<br />
sont transitoires et<br />
convergent vers 0. Il est donc possible de les négliger, et en posant p = p<br />
pouvons écrire la règle d’apprentissage :<br />
dpij<br />
() t + pij() t = s¢<br />
( hi()) t xj() t<br />
dt<br />
dwij<br />
E<br />
() t =- h () t =- ei() t pij() t<br />
dt w <br />
h<br />
<br />
ij<br />
k<br />
ij ij k= i<br />
, nous<br />
Equation 4-8 : RTRL avec forçage total<br />
Cette idée sera à l’origine de l’algorithme de ‘forçage des dynamiques<br />
complémentaires’ (p.195), car la règle précédente possède l’avantage d’être locale :<br />
l’évolution des paramètres reliant deux neurones ne dépend que de l’état de ces deux<br />
neurones. De cette façon, l’algorithme RTRL devient local, et peut permettre de réaliser<br />
un apprentissage biologiquement plausible dans un réseau récurrent. L’inconvénient est<br />
que la totalité des neurones du réseau sont forcés, ce qui limite la plausibilité biologique<br />
de cet algorithme.<br />
4.5 Limites<br />
4.5.1 On-Line et Local<br />
L’un des problèmes<br />
posé par l’apprentissage dans<br />
les réseaux récurrents<br />
provient du fait que l’état de<br />
chaque neurone finit par<br />
influencer l’état de tous les<br />
autres, par diffusion et<br />
rétroaction de son état sur les<br />
autres. Ainsi, si l’on veut<br />
modifier l’influence d’un poids<br />
sur la sortie d’un neurone pour<br />
réaliser l’apprentissage, il est<br />
nécessaire que ce neurone ait<br />
soit accès à tous ses états<br />
passés (BPTT), soit à l’état de<br />
tout le réseau (RTRL). Ces<br />
deux cas (Figure 4-2) ne sont<br />
Figure 4-2 : Apprentissage local/off-line versus non-local/on-line<br />
Dans le premier cas, chaque neurone transmet son état à ses<br />
voisins. Ceci implique que les dépendances à grande distance<br />
nécessitent le balayage du passé du réseau. Dans le second cas,<br />
chaque neurone a accès à la totalité des états du réseau.<br />
pas biologiquement plausible, et nécessitent de fortes capacités informatiques : BPTT réclame<br />
une mémoire énorme pour stocker l’état passé de tous les neurones, et RTRL réclame une grande<br />
puissance de calcul pour pouvoir déterminer les influences croisées entre tous les neurones. En<br />
effet, dans le premier cas (BPTT), l’algorithme est bien local, c’est à dire que chaque neurone n’a<br />
accès qu’à l’état des neurones auxquels il est connecté, mais il est off-line. Dans le deuxième cas<br />
APPRENTISSAGE DANS LES RESEAUX RECURRENTS 89