Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
4.4.2 Back-propagation through time
Cet algorithme dérive des équations précédentes, en généralisant l’apprentissage à celui
de séries temporelles, où il existe un x$ () t désiré en sortie pour chaque temps t. L’erreur
i
quadratique qui permet de réaliser cet apprentissage est alors égale à la moyenne des erreurs
instantanées réalisées pendant la présentation de la trajectoire à apprendre. L’idée principale de
cet algorithme consiste à dérouler le temps à l’envers pendant la phase d’apprentissage, ce qui
revient à transformer dt en -dt dans l’Equation 4-2. Pour faire évoluer les poids, la nouvelle erreur
à minimiser étant la valeur moyenne de E(t), on obtient :
Ou, dans le cas discret :
N
dzi
-= zi -ei() t - åzj()
t s¢
( hj()) t wji avec zi( t = t1)
= 0
dt
j=
1
t
E
wij ( t ) = wij ( t ) - h ò dt = wij ( t ) - ¢ ( hit ) zit xjt w ò () () ()
1
1
1 0 0 h s
t
0
ij
Equation 4-3 : BPTT dans le cas continu
N
å
( )
z ( t - 1)
= z () t s¢
h () t w + e () t
i j j ji
j=
1
t= t1
å
( )
w ( t ) = w ( t ) - h s¢
h () t z () t x () t
ij 1 ij 0
i i j
t= t0
Equation 4-4 : BPTT dans le cas discret
Ces équations peuvent être résumées dans le tableau suivant :
t=0
0