Thèse Sciences Cognitives - Olivier Nerot

204
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
Soit :
h¢
64444744448 é æ öù
2
xi ( t + dt) - xi ( t + dt) = êhdt.
xi() t fç x j()
t ~
å ÷ úxi
( t
ëê
è j øûú
dt) xi ( t dt)
TROISIEME PARTIE : RESULTATS
( + - + )
Cette dernière équation montre que, dans le cas où h¢ est positif, le nouvel l’état, après
apprentissage, est plus proche du second réseau. Il est donc nécessaire d’utiliser des réseaux à
sortie positive. Les essais réalisés selon cette approche n’ont pas permis de réaliser le moindre
apprentissage. L’erreur vient sans doute des approximations réalisées qui supposent que les x et
les ~ x sont proches, ce qui ne peut être le cas que si le forçage est négligeable. Peut-être faudraitil
alors s’orienter vers un forçage progressif ? Cette idée commence à apparaître, mais nous
n’avons pas pu la mettre en application dans cette thèse.
8.6 Conclusion
La raison a tant de formes, que nous ne savons à laquelle nous prendre,
l’expérience n’en a pas moins.
Montaigne. Les essais.
Au départ, cette thèse devait être consacrée à l’étude des capacités de synchronisme de
grands réseaux biologiquement plausible, et dans ce but, nous avons développé un outil puissant
qui nous a permis de simuler un grand nombre de modèles connexionnistes différents. Dans ce
nombre, certains nous ont révélé des comportements qui, mis bout à bout, semblaient permettre
d’échafauder un modèle théorique de mémoire qui nous a semblé encourageant, car plausible
biologiquement. Les principes énoncés semblaient bons, et il suffisait de trouver un réseau qui
garderait de chacun des réseaux expérimentés les propriétés souhaitées : modularisation,
anticipation, dynamiques chaotiques, et synchronisme.
Malheureusement, chaque réseau a conservé le privilège de ses propriétés : les réseaux à
délais augmentent la taille des zones d’activité, les modèles à mémoire s’organisent par clusters,
les modèles à fonction de transfert en sortie diffusent le forçage. Il semblerait donc que le modèle
général proposé puisse cumuler les propriétés observées dans chacun de ses sous-modèles.
Mais, la complexification croissante du modèle augmente le nombre de paramètres, tous
potentiellement modifiables par apprentissage. Dans ces modèles complexes, seuls des
dynamiques simples ont pu être apprises, grâce à des apprentissages locaux, on-line, non
supervisés.
Pourtant, ces apprentissages, inspirés de RTRL et BPTT, simplifiés à l’extrême,
permettent de réaliser des apprentissages par coeur, aussi efficaces que ceux réalisés par
certains auteurs [[152]][[153]], où la validation des règles d’apprentissage se limite à
l’apprentissage de cycles simples (ellipse ou boucle en huit). Ainsi, il semblerait que ces fonctions
à apprendre soient trop simples pour valider ces règles d’apprentissage.