Épreuve de contrôle - L2C2 - CNRS

266 David Meunier
Performances
Valeurs des paramètres
Performances
Valeurs des paramètres
Figure 5. Représentation schématique du fonctionnement d’un AE (à gauche)
et d’un algorithme d’optimisation par descente en gradient (à droite).
Le point gris correspond à la meilleure solution trouvée par les algorithmes. L’AE est
capable de trouver rapidement la zone où se trouve l’optimum global, sans forcément l’atteindre.
L’algorithme d’optimisation par descente en gradient est dépendant de la position
de départ, mais trouvera l’optimum local le plus proche.
Un exemple d’utilisation conjointe est la sélection par un AE des valeurs de
poids initiaux dans un RNA, le perceptron multi-couches (cf. section 3). En effet,
un des problèmes de l’apprentissage par rétropropagation est l’initialisation
des poids synaptiques. Lorsque les poids initiaux sont choisis aléatoirement, le
tirage aléatoire va avoir une grande influence sur les propriétés d’apprentissage
du modèle. Kinnebrock montre ainsi que dans ce cas, l’apprentissage aboutit
à de meilleures performances que dans le cas d’un tirage initial aléatoire, et
surtout beaucoup plus rapidement.
Une des applications de l’utilisation conjointe des RNA et des AE est la
simulation de l’effet Baldwin. Cet effet, d’abord à l’origine décrit en biologie,
fait l’objet d’une littérature importante en informatique.
Épreuve de contrôle
Effet Baldwin
Principe de l’effet Baldwin
L’effet Baldwin provient de l’observation que certains caractères, qui sont
initialement appris, peuvent devenir encodés génétiquement après un certain
nombre de générations. Un exemple parmi d’autres nous vient de l’étude
du chant des oiseaux. Si certains oiseaux semblent apprendre leur chant par
imitation de leurs parents ou de leurs congénères, d’autres oiseaux semblent
produire ce chant de manière innée, s’ils sont isolés dès le plus jeune âge. Il
semble donc possible que le chant, initialement appris par imitation, puisse
devenir déterminé génétiquement par la suite.
La transition entre la nature innée à acquise d’un caractere se fait par une
période d’apprentissage de plus en plus courte. L’observation de la modification
du comportement des mésanges, au cours de la révolution industrielle