Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
afin d’en dégager les principes qui peuvent nous orienter dans la mise au point de règles
d’apprentissage implantables dans les réseaux récurrents, qui conservent ces critères de
plausibilité biologique (4.5 Limites, p.89). Nous tenterons dans ce chapitre de dégager les
quelques idées qui nous serons utiles pour la phase d’apprentissage, en nous permettant de
dégager un algorithme plus plausible biologiquement que ceux de RTRL ou de BPTT.
4.2 Apprentissage Hebbien
Cette règle date de 1949 [[88]], et l’on oublie souvent l’interprétation première de Hebb,
qui y voyait l’un des principes permettant le rappel et le renforcement d’une activité cérébrale :
80
Let us assume that the persistence or repetition of a reverbatory activity
tends to induce lasting cellular changes that add to its stability [...]
When an axon of cell A is near enough to excite a cell B and repeatedly
or persistently takes part in firing it, some growth process or metabolic
change takes place in one or both cells such that A’s efficiency, as one
of the cells firing B, is increased.
Ce terme de réverbération revient dans d’autres propos de Hebb :
PREMIERE PARTIE : ANALYSE
Hebb. The organisation of behaviour. (1949)
It seems that short term memory may be a reverberation in the closed
loops of the cell assembly and between cell assemblies, whereas long
term memory is more structural, a lasting change of synaptic
connections.
Hebb & Donderi. (1987)
Il semble donc que Hebb interprétait ses règles d’apprentissage en terme de dynamique.
Pourtant cette règle, dans son formalisme courant, est une règle qui symétrise les poids
synaptiques, et qui conduit le réseau vers des dynamiques à point fixe 28 . En effet, la règle
hebbienne, telle qu’elle est couramment formalisée suit une loi du type :
dwij =axx
i j
qui vérifie dwij=dwji, ce qui finit par amener wij=wji, et donc à figer les dynamiques du
réseau. Un tel phénomène peut se voir sur la Figure 8-2, page 187, où l’attracteur finit par
converger vers un point fixe. Il est donc nécessaire. Si l’on souhaite rappeler des dynamiques
passées, il s’avère nécessaire de trouver une règle qui puisse modifier les attracteurs du réseau,
sans les ramener pour autant à de simples points fixes.
4.3 Maximisation de l'entropie de sortie
Ce résultat, dû à Chapeau-Blondeau [[42]], permet de justifier l’approche de
l’apprentissage hebbien, par la maximisation de l’entropie de sortie de chaque neurone. En effet,
dans le cas d’un neurone possédant une fonction sigmoïde du type :
28 Faut-il voir là un phénomène similaire à celui qui se manifeste chez les personnes agées, qui tendent à
réitérer les mêmes comportements ?