Thèse Sciences Cognitives - Olivier Nerot

Recommendations

Info

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents réseaux qui furent à l’origine du modèle de mémoire. En effet, c’est en pratiquant ces réseaux que nous avons pu mettre en évidence certaines de leurs caractéristiques, qui furent synthétisées pour essayer de concevoir un modèle de mémoire biologiquement plausible. Il fut très intéressant, durant cette phase d’observation des dynamiques, de noter que certains de ces comportements pouvaient être interprétés à la lumière des théories actuelles de la mémoire, débouchant ainsi sur la proposition d’un modèle théorique de mémoire anticipatrice des perturbations induites par le forçage, qui possède des propriétés biologiquement justifiables. Nous avons orienté l’étude en partant de modèles très simples, de type Hopfieldien à matrice de connexions isotrope, vers des modèles plus complexes, à différence finie et contenant une fonction de transfert en entrée et en sortie. A chaque fois, nous avons tenté de repérer les dynamiques représentatives de ces modèles, et de déterminer le rôle qualitatif de chaque paramètre sur ces dynamiques. L’ensemble des résultats observés ne peut pas être décrit dans cette thèse, car plusieurs centaines de réseaux ont été simulées. Nous avons donc tenté de trier les plus représentatifs, en privilégiant ceux qui orientèrent le modèle de mémoire. A chaque fois qu’un phénomène a été observé, nous avons tenté de simplifier le modèle de réseau jusqu’à disparition de l’effet observé, en tentant ainsi d’obtenir le modèle le plus simple possible vérifiant ce comportement. Aucune loi précise et transposable n’a pu être obtenue par cette méthode, et c’est certainement l’une des limites de cette thèse. Mais la souplesse de l’outil informatique développé, associée à la puissance de l’ordinateur parallèle, nous a permis d’observer les réseaux sans négliger trop certaines zones de l’espace des paramètres du réseau. Ainsi, sans être exhaustive, la liste des comportements présentés dans ce chapitre est représentative de ceux observables dans nos modèles. Il faudra donc voir les résultats qui suivent comme une approche préliminaire du problème, en espérant pouvoir passer à une phase plus quantitative que qualitative, et peut-être ainsi dégager une loi d’apprentissage fiable pour nos réseaux, qui soit cohérente avec le modèle proposé, ce que nous n’avons pas pu réaliser. Ce chapitre retrace l’évolution de cette étude, en mettant en évidence les comportements des réseaux qui orientèrent notre modèle. A chaque fois que cela fut possible, nous avons essayé de limiter le nombre de réseaux présentés dans ce chapitre, afin de familiariser le lecteur avec chacun d’entre eux, et de limiter la diversification abusive des résultats et des modèles exposés. 7.2 Dynamique des modèles à paramètres figés Dans la totalité des résultats présentés ci après, les conditions initiales du réseau et ses paramètres ont été choisis aléatoirement, puis gelés pendant l’évolution du réseau. Parfois, afin de voir plus clairement les résultats énoncés, il a été nécessaire de modifier certains paramètres du réseau ‘à la main’ avant d’obtenir des dynamiques intéressantes, mais ce fut rare. En effet, devant la taille des réseaux étudiés (jusqu’à 262144 neurones), il était surprenant de ne pas trouver dans chaque réseau quelques neurones aux propriétés intéressantes. 7.2.1 Réseaux simples : Modèles récurrents sans mémoire 144 1. Matrice de connexion aléatoire Les premières études réalisées portent sur de simples réseaux récurrents, à voisinage local, avec une connectivité aléatoire, possédant des connexions excitatrices TROISIEME PARTIE : RESULTATS
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents et inhibitrices. Les conditions initiales du réseau ont été choisies aléatoirement, puis nous avons laissé évoluer le réseau librement, sans perturbation extérieure. A chaque fois qu’un nouveau modèle sera présenté, nous tenterons de synthétiser les équations utilisées dans un même tableau, donnant les lois et les paramètres des entrées et de l’évolution du réseau. Les trois colonnes à gauche du tableau indiquent les étapes du réseau : dans le modèle présenté ci-dessous, les entrées ont été présentées au réseau avant son évolution, sous la forme des conditions initiales du réseau, puis le réseau a évolué en régime libre, sans entrées. Ce principe de présentation permettra de séparer clairement les algorithmes d’apprentissage en ligne, de ce qui ne le sont pas, ainsi que les forçages temporaires ou permanents, par exemple. Dans l’établissement des conditions initiales des paramètres du réseau, une fonction sera souvent utilisée, notée Ak, qui prend en entrée un ensemble d’intervalles disjoints, et qui renvoie une variable aléatoire, équiprobable, pour chaque intervalle et pour chaque paramètre k. Ainsi, par exemple, Xij=Aij[-1;[a;b]) signifie que p(Xij=-1)=1/2, et que 1 p( Xij Î [ ab ; ], 0£ a< b£ 1) = . Les lois statistiques utilisées dans cette thèse pour 2( b-a) les variables aléatoires sont des lois uniformes. TYPE LOIS PARAMETRES Entrées x ( 0) = A ([ -11 ; ]) i i N i = å ij j j= 1 Evolution ht () w x () t a.Vers une activité locale Dans ces modèles, l’activité est restreinte à de petites zones du réseau. Ces zones d’activité sont statiques, c’est-à-dire qu’elles ne se déplacent pas dans le réseau : de petits groupes fixes du réseau ont une activité dynamique. Ce résultat peut être visualisé sur la Figure 7-1 où est tracée l’activité de la totalité du réseau. e xi() t = 1+ e b - h() t b - h() t DYNAMIQUES OBSERVEES ET EXPERIMENTEES 145 V i V i w ij ij = A ([ -11 ; ]) N=8192 b=252 Cette fonction a surtout un rôle d’indice pour la recherche des zones de forte activité : dans la Figure 7-1, nous avons représenté la variation des états des neurones pendant une seule itération, et renormé l’ensemble afin Figure 7-1 : Activité du réseau V=8
Page 1:
THESE présentée en vue d’obteni
Page 5 and 6:
Mémorisation par forçage neuronal
Page 7 and 8:
Mémorisation par forçage des dyna
Page 9 and 10:
Page 11 and 12:
Page 13 and 14:
Page 15 and 16:
Page 17 and 18:
Page 19 and 20:
Page 21:
Page 24 and 25:
Page 26 and 27:
26 Mémorisation par forçage des d
Page 28 and 29:
Page 30 and 31:
Page 32 and 33:
Page 34 and 35:
Page 36 and 37:
Page 38 and 39:
Page 40 and 41:
Page 42 and 43:
Page 44 and 45:
Page 46 and 47:
Page 48 and 49:
Page 50 and 51:
Page 52 and 53:
Page 54 and 55:
Page 56 and 57:
Page 58 and 59:
Page 60 and 61:
Page 62 and 63:
Page 65 and 66:
Page 67 and 68:
Page 69 and 70:
Page 71 and 72:
Page 73 and 74:
Page 75 and 76:
Page 77 and 78:
Page 79 and 80:
Page 81 and 82:
Page 83 and 84:
Page 85 and 86:
Page 87 and 88:
Page 89 and 90:
Page 91 and 92:
Page 93 and 94: Mémorisation par forçage des dyna
Page 128 and 129: 128 Mémorisation par forçage des
Page 143: Mémorisation par forçage des dyna
Page 195 and 196:
Page 197 and 198:
Page 199 and 200:
Page 201 and 202:
Page 203 and 204:
Page 205:
Page 208 and 209:
208 Mémorisation par forçage des
Page 210 and 211:
Page 212 and 213:
Page 214 and 215:
Page 216 and 217:
Page 218 and 219:
Page 220 and 221:
Page 222 and 223:
Page 224 and 225:
Page 226 and 227:
Page 228 and 229:
show all

Thèse Sciences Cognitives - Olivier Nerot

Create successful ePaper yourself

Delete template?

Save as template?