Thèse Sciences Cognitives - Olivier Nerot

Recommendations

Info

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents propriétés requises pour le modèle de mémoire proposé sont donc vérifiées. Il est envisageable de concevoir un tel réseau. Evidemment, chaque propriété n’a été observée que dans un modèle particulier (modèle à délai, à mémoire, à fonction de transfert en sortie...). Mais il faut s’attendre à ce que le modèle le plus général, tel qu’il a été proposé, vérifie l’ensemble des propriétés présentées dans ce chapitre, car les modèles étudiés en sont des cas particuliers. Malheureusement, le modèle neuronal proposé est de très grande complexité, car il possède de très nombreux paramètres. Nous reprendrons donc les différents sous modèles afin de chercher et d’orienter des règles d’apprentissage implémentables dans ces réseaux, vérifiant les propriétés du modèle de mémoire proposé 184 TROISIEME PARTIE : RESULTATS
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents 8. ANTICIPATION DU FORÇAGE DES DYNAMIQUES La mémoire procède à un calcul musical, un calcul prophétique. Edgard Allan Poe. Eureka 8.1 Introduction : Un algorithme on-line local ? Comme cela a été exposé précédemment au sujet des algorithmes d’apprentissage utilisés pour les réseaux récurrents, il suffirait que l’un d’entre eux soit on-line et local, pour qu’il soit biologiquement plausible. Nous avons donc essayé de modifier ces algorithmes, en faisant une approximation de localité dans RTRL, ou en limitant la mémorisation nécessaire à BPTT. Dans les deux cas, de tels algorithmes peuvent encore être efficaces pour des fonctions simples telles que des sinusoïdes. Ainsi, ces algorithmes simplifiés permettent des apprentissages dont les résultats sont similaires à ceux obtenus avec les algorithmes originaux. En effet, dans la plupart des articles traitant de ces algorithmes, seules des fonctions simples sont apprises, et les valident [[153]]. Nous avons essayé, sans succès, de faire apprendre une dynamique de Lorenz à un réseau de 64 neurones, entièrement interconnectés, grâce à un apprentissage de type RTRL On peut en conclure que l’algorithme original RTRL réalise des approximations qui limitent ses capacités, sans trop nuire à l’apprentissage de fonctions simples. A ce jour, peu de réseaux récurrents ont appris de façon satisfaisante des dynamiques complexes. A notre connaissance, nous pouvons citer [[207]], qui, grâce à un réseau multicouches récurrent à mémoire, a pu faire apprendre la géométrie de l’attracteur de Lorenz. Dans [[128]], un simple réseau à 16 neurones réussit à apprendre une fonction de Hénon, et dans [[132]], un réseau récurrent à fonction radiale reproduit une dynamique de Mackey-Glass. Dans chacun des cas, le temps d’apprentissage est très long (de l’ordre du million d’itérations), et le choix des paramètres d’apprentissage est fait de façon expérimentale : un observateur extérieur doit adapter les gains d’apprentissage afin de permettre un apprentissage satisfaisant. Les expériences portant sur l’apprentissage, réalisées dans cette thèse, ne permirent pas l’apprentissage de fonctions chaotiques, ce qui aurait permis de valider l’hypothèse d’un apprentissage par anticipation d’environnements complexes forçant les dynamiques du système, grâce à un algorithme on-line local, biologiquement plausible. A chaque fois, l’algorithme se limitait à anticiper des fonctions simples. Mais, comme ce fut le cas lors de l’expérimentation des dynamiques, des propriétés mises en évidence pendant l’apprentissage permettent de penser que certains phénomènes observables dans les systèmes réels peuvent provenir de lois similaires, et ont inspiré le développement du modèle théorique. ANTICIPATION DU FORÇAGE DES DYNAMIQUES 185
Page 1:
THESE présentée en vue d’obteni
Page 5 and 6:
Mémorisation par forçage neuronal
Page 7 and 8:
Mémorisation par forçage des dyna
Page 9 and 10:
Page 11 and 12:
Page 13 and 14:
Page 15 and 16:
Page 17 and 18:
Page 19 and 20:
Page 21:
Page 24 and 25:
Page 26 and 27:
26 Mémorisation par forçage des d
Page 28 and 29:
Page 30 and 31:
Page 32 and 33:
Page 34 and 35:
Page 36 and 37:
Page 38 and 39:
Page 40 and 41:
Page 42 and 43:
Page 44 and 45:
Page 46 and 47:
Page 48 and 49:
Page 50 and 51:
Page 52 and 53:
Page 54 and 55:
Page 56 and 57:
Page 58 and 59:
Page 60 and 61:
Page 62 and 63:
Page 65 and 66:
Page 67 and 68:
Page 69 and 70:
Page 71 and 72:
Page 73 and 74:
Page 75 and 76:
Page 77 and 78:
Page 79 and 80:
Page 81 and 82:
Page 83 and 84:
Page 85 and 86:
Page 87 and 88:
Page 89 and 90:
Page 91 and 92:
Page 93 and 94:
Page 95 and 96:
Page 97 and 98:
Page 99 and 100:
Page 101 and 102:
Page 103 and 104:
Page 105 and 106:
Page 107 and 108:
Page 109 and 110:
Page 111 and 112:
Page 113 and 114:
Page 115 and 116:
Page 117 and 118:
Page 119 and 120:
Page 121 and 122:
Page 123 and 124:
Page 125 and 126:
Page 128 and 129:
128 Mémorisation par forçage des
Page 130 and 131:
Page 132 and 133:
132 Mémorisation par forçage des
Page 134 and 135: 134 Mémorisation par forçage des
Page 140 and 141: Mémorisation par forçage des dyna
Page 183: Mémorisation par forçage des dyna
Page 205: Mémorisation par forçage des dyna
show all

Thèse Sciences Cognitives - Olivier Nerot

Create successful ePaper yourself

Delete template?

Save as template?