23.06.2013 Views

Thèse Sciences Cognitives - Olivier Nerot

Thèse Sciences Cognitives - Olivier Nerot

Thèse Sciences Cognitives - Olivier Nerot

SHOW MORE
SHOW LESS

Create successful ePaper yourself

Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents<br />

k<br />

Cette deuxième équation nous montre que les variables pij k¹ i<br />

sont transitoires et<br />

convergent vers 0. Il est donc possible de les négliger, et en posant p = p<br />

pouvons écrire la règle d’apprentissage :<br />

dpij<br />

() t + pij() t = s¢<br />

( hi()) t xj() t<br />

dt<br />

dwij<br />

E<br />

() t =- h () t =- ei() t pij() t<br />

dt w <br />

h<br />

<br />

ij<br />

k<br />

ij ij k= i<br />

, nous<br />

Equation 4-8 : RTRL avec forçage total<br />

Cette idée sera à l’origine de l’algorithme de ‘forçage des dynamiques<br />

complémentaires’ (p.195), car la règle précédente possède l’avantage d’être locale :<br />

l’évolution des paramètres reliant deux neurones ne dépend que de l’état de ces deux<br />

neurones. De cette façon, l’algorithme RTRL devient local, et peut permettre de réaliser<br />

un apprentissage biologiquement plausible dans un réseau récurrent. L’inconvénient est<br />

que la totalité des neurones du réseau sont forcés, ce qui limite la plausibilité biologique<br />

de cet algorithme.<br />

4.5 Limites<br />

4.5.1 On-Line et Local<br />

L’un des problèmes<br />

posé par l’apprentissage dans<br />

les réseaux récurrents<br />

provient du fait que l’état de<br />

chaque neurone finit par<br />

influencer l’état de tous les<br />

autres, par diffusion et<br />

rétroaction de son état sur les<br />

autres. Ainsi, si l’on veut<br />

modifier l’influence d’un poids<br />

sur la sortie d’un neurone pour<br />

réaliser l’apprentissage, il est<br />

nécessaire que ce neurone ait<br />

soit accès à tous ses états<br />

passés (BPTT), soit à l’état de<br />

tout le réseau (RTRL). Ces<br />

deux cas (Figure 4-2) ne sont<br />

Figure 4-2 : Apprentissage local/off-line versus non-local/on-line<br />

Dans le premier cas, chaque neurone transmet son état à ses<br />

voisins. Ceci implique que les dépendances à grande distance<br />

nécessitent le balayage du passé du réseau. Dans le second cas,<br />

chaque neurone a accès à la totalité des états du réseau.<br />

pas biologiquement plausible, et nécessitent de fortes capacités informatiques : BPTT réclame<br />

une mémoire énorme pour stocker l’état passé de tous les neurones, et RTRL réclame une grande<br />

puissance de calcul pour pouvoir déterminer les influences croisées entre tous les neurones. En<br />

effet, dans le premier cas (BPTT), l’algorithme est bien local, c’est à dire que chaque neurone n’a<br />

accès qu’à l’état des neurones auxquels il est connecté, mais il est off-line. Dans le deuxième cas<br />

APPRENTISSAGE DANS LES RESEAUX RECURRENTS 89

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!