Thèse Sciences Cognitives - Olivier Nerot

Recommendations

Info

84 Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents z = e + åz s ¢ ( h ) w i i j j ji j= 1 dw dt ij PREMIERE PARTIE : ANALYSE N = - hs ¢ ( h) zx j i j Ces deux dernières équations résument la méthode utilisée pour appliquer la descente de gradient dans un réseau récurrent. Dans le cas de la Recurrent Back Propagation, on suppose à priori que la dynamique du réseau est convergente. Dans ce cas, on applique ces équations après stabilisation du réseau, c’est-à-dire à t = ¥ 30 . Ce qui donne : N z ( t+ 1= ) e( ¥ ) + z ( t) s¢ ( h ( ¥ )) w avec z ( t = 0) = 0 i i j j ji j= 1 nouveau ancien w = w - hz( ¥ ) s¢ ( h ( ¥ )) x ( ¥ ) ij ij å i i j Equation 4-1 : RBP en temps discret ou, dans le cas du temps continu : ( ) * N dzi * * * + z= i ei( ¥ ) + åzj() t s¢ hj( ¥ ) wji avec zi( t = 0) = 0 dt j= 1 ( ) nouveau ancien * Dw = w - w =- h z ( ¥ ) s¢ h( ¥ ) x ( ¥ ) ij ij ij i i j Equation 4-2 : RBP en temps continu Cet algorithme dans le cas discret peut être résumé dans le tableau suivant : t=0 0
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents 4.4.2 Back-propagation through time Cet algorithme dérive des équations précédentes, en généralisant l’apprentissage à celui de séries temporelles, où il existe un x$ () t désiré en sortie pour chaque temps t. L’erreur i quadratique qui permet de réaliser cet apprentissage est alors égale à la moyenne des erreurs instantanées réalisées pendant la présentation de la trajectoire à apprendre. L’idée principale de cet algorithme consiste à dérouler le temps à l’envers pendant la phase d’apprentissage, ce qui revient à transformer dt en -dt dans l’Equation 4-2. Pour faire évoluer les poids, la nouvelle erreur à minimiser étant la valeur moyenne de E(t), on obtient : Ou, dans le cas discret : N dzi -= zi -ei() t - åzj() t s¢ ( hj()) t wji avec zi( t = t1) = 0 dt j= 1 t E wij ( t ) = wij ( t ) - h ò dt = wij ( t ) - ¢ ( hit ) zit xjt w ò () () () 1 1 1 0 0 h s t 0 ij Equation 4-3 : BPTT dans le cas continu N å ( ) z ( t - 1) = z () t s¢ h () t w + e () t i j j ji j= 1 t= t1 å ( ) w ( t ) = w ( t ) - h s¢ h () t z () t x () t ij 1 ij 0 i i j t= t0 Equation 4-4 : BPTT dans le cas discret Ces équations peuvent être résumées dans le tableau suivant : t=0 0
Page 1:
THESE présentée en vue d’obteni
Page 5 and 6:
Mémorisation par forçage neuronal
Page 7 and 8:
Mémorisation par forçage des dyna
Page 9 and 10:
Page 11 and 12:
Page 13 and 14:
Page 15 and 16:
Page 17 and 18:
Page 19 and 20:
Page 21:
Page 24 and 25:
Page 26 and 27:
26 Mémorisation par forçage des d
Page 28 and 29:
Page 30 and 31:
Page 32 and 33:
Page 34 and 35: 34 Mémorisation par forçage des d
Page 48 and 49: Mémorisation par forçage des dyna
Page 83: Mémorisation par forçage des dyna
Page 128 and 129: 128 Mémorisation par forçage des
Page 132 and 133: 132 Mémorisation par forçage des
Page 134 and 135:
134 Mémorisation par forçage des
Page 136 and 137:
Page 138 and 139:
Page 140 and 141:
Page 143 and 144:
Page 145 and 146:
Page 147 and 148:
Page 149 and 150:
Page 151 and 152:
Page 153 and 154:
Page 155 and 156:
Page 157 and 158:
Page 159 and 160:
Page 161 and 162:
Page 163 and 164:
Page 165 and 166:
Page 167 and 168:
Page 169 and 170:
Page 171 and 172:
Page 173 and 174:
Page 175 and 176:
Page 177 and 178:
Page 179 and 180:
Page 181 and 182:
Page 183 and 184:
Page 185 and 186:
Page 187 and 188:
Page 189 and 190:
Page 191 and 192:
Page 193 and 194:
Page 195 and 196:
Page 197 and 198:
Page 199 and 200:
Page 201 and 202:
Page 203 and 204:
Page 205:
Page 208 and 209:
Page 210 and 211:
Page 212 and 213:
Page 214 and 215:
Page 216 and 217:
Page 218 and 219:
Page 220 and 221:
Page 222 and 223:
Page 224 and 225:
Page 226 and 227:
Page 228 and 229:
show all

Thèse Sciences Cognitives - Olivier Nerot

Create successful ePaper yourself

Delete template?

Save as template?