Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
apprise, mais reste sur l’attracteur appris. Ce type de réseau vérifie donc la propriété de
dépersévération des dynamiques apprises, et est donc un bon candidat pour notre tentative de
modélisation.
Ces résultats nous ont confortés dans le choix de modèles neuronaux à mémoire,
démontrant que des architectures simples de neurones à mémoire peuvent générer des
dynamiques chaotiques complexes. Nous nous sommes donc inspirés de ces principes lors du
développement de la règle dérivée de BPTT pour les neurones à mémoire (8.3 Diffusion de
l'erreur dans le réseau, p.190). Malheureusement, des aveux même de l’auteur 26 , l’apprentissage
est particulièrement difficile à réaliser. Il faut déterminer à la main le nombre de neurone de
chaque couche, la mémoire de chaque neurone, le gain d’apprentissage, et le faire varier durant
l’apprentissage. Les résultats obtenus l’ont été par tâtonnement successif.
Autre obstacle, cet algorithme ne peut pas être utilisé dans des réseaux récurrents. La
généralisation d’Aussem aux réseaux récurrents, malgré ses bons résultats, est malheureusement
impossible à employer dans nos réseaux. En effet, cet algorithme découle de la recherche du
minimum de la fonction d’erreur par descente de gradient, et utilise des techniques non
biologiquement plausibles (inversion de la matrice des poids par exemple).
3.3.2 Renals
Ce modèle [[164]] est l’un des plus simples dans lequel peut apparaître du chaos. Il
s’agit d’un simple modèle hopfieldien à coefficients non symétriques. L’intérêt de cette étude tient
dans la quantification précise du rôle de certains paramètres du réseau, et la mise en évidence du
caractère bifurquant de ces paramètres.
Le modèle étudié suit une équation du type :
æ
ö
1
xi( t+ Dt= ) ( 1-
Dt) xi() t + Dtsçråwijxj()
t + Ii() t ÷ avec s ( x)
= , -x
è j
ø
1+
e
pour des réseaux comportant peu de neurones (une dizaine), entièrement interconnectés.
La matrice de connectivité est décomposée en la somme de deux composantes, l’une symétrique,
l’autre antisymétrique. Renals étudie de façon précise l’effet du taux de symétrique de la matrice
de connexion, du gain r de la fonction neurone, et du pas de discrétisation Dt , sur le
comportement dynamique du réseau. Cette étude précise démontre la richesse dynamique des
réseaux hopfieldiens à matrice de connexion non symétrique et à temps discret, même dans de
petits réseaux, dont nous nous inspirerons.
3.3.3 Chapeau Blondeau
Ce modèle [[39]] complète le précédent, en étudiant des réseaux d’équation:
æ ö
1
xi( t+ 1)
= s i çåwijxj()
t ÷ avec s i( x)
= -bi( x-q
i)
è j ø
1+
e
Il est montré que de tels réseaux développent aussi une grande richesse dynamique,
allant des comportements périodiques, aux quasi-périodiques, jusqu’au chaos. Il est possible de
26 Communication personnelle
MODELES CONNEXIONNISTES DYNAMIQUES 73