Thèse Sciences Cognitives - Olivier Nerot

Recommendations

Info

86 Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents Cet algorithme peut être vu aussi comme un déploiement du réseau sous forme d’architecture feed-forward : l’évolution du réseau récurrent pendant K itérations est alors ramené à son équivalent feed-forward à K couches. 4.4.3 Real time recurrent learning 1. Dans le cas discret L’algorithme précédent est peu plausible biologiquement : l’apprentissage remonte dans le passé du réseau pour déterminer l’influence qu’a eu chaque poids synaptique sur l’erreur moyenne finale. Il nécessite donc, si l’on veut réaliser un apprentissage optimal, de mémoriser l’ensemble des variables du réseau pendant toute son évolution. Cette contrainte est atténuée dans l’approche utilisée par Williams et Zipser [[213]][[214]][[215]][[216]][[221]][[222]]. k Leur approche consiste à fabriquer une variable pij ()qui t mémorise à chaque pas de temps, l’influence du poids w ij sur la sortie x k du neurone k . L’intérêt de cette approche k est que les pij ()sont t calculables de façon itérative, et il n’est donc plus nécessaire, comme dans le cas du BPTT, de mémoriser tout le passé du réseau. Pour calculer de façon itérative l’influence de chaque poids du réseau sur l’erreur instantanée, nous avons : E æ1 = ç - w w è2kÎS ij ij x Soit, en posant : p t w t k k ij () = () ij å( x$ k () t xk() t ) å( x$() kt xk() t ) =- - kÎS E w ij S =- kÎSS PREMIERE PARTIE : ANALYSE S x w k å ek() t pij () t k Il est alors possible de calculer les pij ()de t façon itérative. En effet : k xk( t + 1) xk( t+ 1) hk() t pij ( t+ 1) = = = s¢ w h () t w ij æ xl() t ö = s¢ ( hk() t ) å ç çwkl + dikdljxl() t ÷ l Sè w ÷ Î ij ø æ xl() t ö = s¢ ( hk() t ) å ç çwkl + dikxj() t ÷ l Sè w ÷ Î ij ø k ij k ij 2 ö ÷ ø ( hk() t ) å lÎS ( w x () t ) kl l w ij
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents (en supposant que les poids wij et wkl sont indépendants entre eux). Ce qui amène finalement : k æ k ö pij ( t+ 1) = s¢ ( hk() t ) çåwkl pij () t + dikxj() t ÷ è ø lÎS Et () wij() t =- h = w D h ij å kÎSS k e () t p () t k ij EQUATION 4-5 : RTRL DANS LE CAS DISCRET Cet algorithme peut être résumé dans le tableau suivant : Evolution Apprentissage t=0 p ij å t>0 ìhi() t = wij () t xj() t ï jÎS í îïxi( t + 1) = s( hi( t)) + Ii() t 2. Dans le cas continu k ( 0) = 0 k æ k ö pij ( t + 1) = s¢ ( hk() t ) çåwklpij () t + dikxj() t ÷ è ø Et () wij() t =- h = w D h k e () t p () t APPRENTISSAGE DANS LES RESEAUX RECURRENTS 87 ij lÎS å k ij kÎSS En reprenant les équations de propagation dans le cas discret, il est possible de les généraliser dans le cas continu : Soit : dp dt dp dt k ij k ij = d dt æ x ö k dxk ç ÷ w ÷ è ij ø wij dt wij = æ ö ç ÷ = - è ø = s( h ) - p w ij k k ij k hk + pij = ( hk ) = wij hk æ ç ç è s å lÎS ( s( hk ) xk ) ( wx) w kl l ij ö ÷ s¢ ø Ce qui amène, en reprenant les calculs réalisés dans le cas discret : dp dt k ij ( h) k æ l ö () t + pij () t = s¢ ( hk() t ) çåwkl pij() t + dikxj() t ÷ è ø N å k Dw () t = h e () t p () t ij k ij k= 1 lÎS Equation 4-6 : RTRL dans le cas continu k
Page 1:
THESE présentée en vue d’obteni
Page 5 and 6:
Mémorisation par forçage neuronal
Page 7 and 8:
Mémorisation par forçage des dyna
Page 9 and 10:
Page 11 and 12:
Page 13 and 14:
Page 15 and 16:
Page 17 and 18:
Page 19 and 20:
Page 21:
Page 24 and 25:
Page 26 and 27:
26 Mémorisation par forçage des d
Page 28 and 29:
Page 30 and 31:
Page 32 and 33:
Page 34 and 35:
Page 36 and 37: 36 Mémorisation par forçage des d
Page 48 and 49: Mémorisation par forçage des dyna
Page 85: Mémorisation par forçage des dyna
Page 128 and 129: 128 Mémorisation par forçage des
Page 136 and 137:
136 Mémorisation par forçage des
Page 138 and 139:
Page 140 and 141:
Page 143 and 144:
Page 145 and 146:
Page 147 and 148:
Page 149 and 150:
Page 151 and 152:
Page 153 and 154:
Page 155 and 156:
Page 157 and 158:
Page 159 and 160:
Page 161 and 162:
Page 163 and 164:
Page 165 and 166:
Page 167 and 168:
Page 169 and 170:
Page 171 and 172:
Page 173 and 174:
Page 175 and 176:
Page 177 and 178:
Page 179 and 180:
Page 181 and 182:
Page 183 and 184:
Page 185 and 186:
Page 187 and 188:
Page 189 and 190:
Page 191 and 192:
Page 193 and 194:
Page 195 and 196:
Page 197 and 198:
Page 199 and 200:
Page 201 and 202:
Page 203 and 204:
Page 205:
Page 208 and 209:
Page 210 and 211:
Page 212 and 213:
Page 214 and 215:
Page 216 and 217:
Page 218 and 219:
Page 220 and 221:
Page 222 and 223:
Page 224 and 225:
Page 226 and 227:
Page 228 and 229:
show all

Thèse Sciences Cognitives - Olivier Nerot

Create successful ePaper yourself

Delete template?

Save as template?