Thèse Sciences Cognitives - Olivier Nerot

34
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
2.2.4 Intérêts de l’encodage par les dynamiques
1. Moins d’étapes entre l’objet et son encodage
Cette notion à été présentée dans l’introduction du chapitre : l’évolution en parallèle
de la description des modèles connexionnistes et des modèles du monde réel peut nous
permettre d’envisager un support commun et partagé d’information.
Il est donc possible d’espérer obtenir une plus grande gamme des propriétés
observées dans les systèmes naturels, grâce à l’abandon d’une couche intermédiaire de
traitement entre le réseau et son environnement. Toute couche intermédiaire entre un
système perceptif et son environnement a pour effet de diminuer la quantité
d’information transmise. Ce faisant, toute couche intermédiaire appauvrit l’information
extérieure, et risque donc de faire perdre a priori des données nécessaires au système.
Ainsi, le choix de descendre à un niveau assez bas, à la fois dans la description du
modèle connexionniste, et dans celle du réel peut permettre d’avoir un couplage optimal
entre les deux, en ne décidant pas a priori de l’information pertinente qui doit être
transmise.
2. Plus grand nombre de systèmes potentiels
Les premiers modèles Hopfieldiens [[96]][[97]] qui relancèrent le connexionnisme
étudient des réseaux où l’encodage est réalisé par les points fixes du réseau,
correspondant à des minima d’énergie. Afin que les réseaux étudiés convergent vers ces
points fixes, il est nécessaire d’imposer de fortes contraintes au système 12 .
La contrainte la plus forte garantissant la convergence du réseau vers un point fixe
est celle de symétrie des connexions, qui impose que deux neurones soient reliés l’un à
l’autre par des connexions de même force, soit :
" i, " jw , = w
ij ji
Ou, contrainte moins forte, prouvée par Almeida [[2]] :
$ a / " i, " j, a w = a w
i j ij i ji
La perte de la nécessité de ces contraintes donne accès à un bien plus grand nombre de
réseaux, dont on ne connaît pas bien encore toutes les propriétés. Le champ
d’investigation devient donc plus vaste. Malheureusement, hors de ces contraintes, il
existe peu de théorèmes généraux, ce qui nous contraint à une approche presque
exclusivement expérimentale.
3. Meilleur encodage sans couches cachées
Un autre intérêt de l’encodage par les dynamiques du réseau est d’augmenter la taille
de l’espace d’état du réseau : ainsi, dans l’exemple ci dessous, la même dynamique d’un
réseau peut être interprétée de deux façons. La première ne tient compte que de l’état
final du réseau, tandis que la deuxième utilise plusieurs paramètres de la dynamique
pour l’encodage.
12 Une synthèse de ces contraintes peut être trouvée dans [[148]]
PREMIERE PARTIE : ANALYSE