Thèse Sciences Cognitives - Olivier Nerot

102
Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
Ainsi, les réseaux développés ici ne possèdent ni entrées, ni sorties, dont le rôle ait
été prédéfini à la construction du réseau, comme cela est le cas dans les architectures à
couches (entrées, couches cachées, sorties). Chaque neurone peut être un candidat
pour la perception (forçage par l’environnement) ou pour l’action (contrôle moteur). Ainsi,
il n’y a pas de hiérarchie dans les neurones, prédéterminée lors de la conception du
réseau : que ce soit un neurone en contact avec l’extérieur, un neurone isolé, un groupe
de neurones, tous ont pour fonction d’anticiper leur environnement ; le neurone forcé
par l’environnement cherche à anticiper les modifications de celui-ci, un neurone caché
cherche à minimiser les perturbations transmises par ses voisins, une population
neuronale cherche à se stabiliser par rapport aux autres populations. La notion de
minimisation des perturbations induites permet donc d’envisager une règle similaire à
tous les niveaux de description du système 35 .
Nous n’entendons pas que le principe énoncé précédemment est le seul à l’oeuvre
dans le système cérébral : nous tentons simplement de mettre en évidence un des
principes envisageables. En effet, si un système cherche simplement à minimiser les
perturbations externes, une solution simple pour lui est de s’enfermer dans une bulle
isolée. Or ce n’est pas ce que nous réalisons. Peut être faut-il donc imaginer d’autre
principes qui contrebalancent les effets de cette recherche de ‘tranquillité maximale’ du
système.
5. Information externe et information interne
Cette organisation, identique à tous les niveaux de description du réseau, est un des
avantages des architectures forcées : le forçage peut s’interpréter à tous les niveaux de
description du système. A l’échelle du neurone, il n’y a pas de différence fondamentale
entre une information provenant de l’extérieur, et une information provenant d’un autre
neurone. Cette information ne porte pas la marque de son origine. Dans les deux cas,
cette information est perçue comme une perturbation.
Cette interprétation est en tout point similaire à celle de Varela [[205]], qui voit la
même indifférenciation de l’origine de l’information neuronale :
En tant que réseau neuronal clos, le système nerveux n’a ni entrées ni
sorties ; et aucune caractéristique intrinsèque de son organisation ne lui
permet de distinguer, par la dynamique de ses changements d’états,
l’origine interne ou externe de ses changements.
Cette approche peut permettre de rendre naturelle la description à différents niveaux
du système percevant, et peut nous orienter vers des architectures modulaires ou
‘modularisables’.
6. Nombre d’itérations d’apprentissage
L’une des grandes limites théoriques des modèles connexionnistes est le nombre
d’itérations nécessaires à l’apprentissage : il n’est pas rare de devoir réaliser plusieurs
centaines de milliers d’itérations d’apprentissage, voire parfois plusieurs millions.
35 N’est ce pas ce que chacun cherche à réaliser lorsqu’il essaye de convaincre autrui de la validité de ses
idées, ceci afin de ne plus être perturbé par des idées contraires aux siennes ? D’ailleurs, les méthodes
utilisées sont souvent d’autant plus perturbantes pour l’environnement, que les idées sont difficilement
justifiées ‘en interne’.
DEUXIEME PARTIE : DEVELOPPEMENT