Actes - Climato.be

25 ème Colloque de l’Association Internationale de Climatologie, Grenoble 20122. Algorithmes d’apprentissageFigure 2 : Différence de structure entre PMC et TDNN.Le but de l’apprentissage est d’ajuster les poids de connexion (paramètres) des neuronesjusqu’à l’obtention du comportement désiré. Afin de déterminer la meilleure valeur duvecteur paramètre w, on doit minimiser le coût qui est une fonction des écarts entre lesmesure { } et les valeurs { } fournies par le modèle. A cet effet, une fonction coûtquadratique J(w) est utilisée. Elle s’écrit :2.1. Algorithme de gradient récursif avec contrainte de poids partagés (algorithme dupremier ordre)L’algorithme récursif du gradient consiste à modifier les paramètres w proportionnellementau gradient de la fonction coût partiel. On parle de poids partagés dans un réseau, si pourchaque neurone i d’une couche l, seulement un groupe réduit de neurones de la coucheprécédente l - 1, est connecté à i. En effet, l’algorithme doit assurer une mise à jour des poidsafin de donner la même valeur aux poids partagés. Soit le poids de connexion entre lescellules j et i du réseau. Ce poids étant partagé par d’autres connexions entre cellules,appelons l’ensemble des couples de cellules qui partagent la connexion . On a donc := {(i 1 , j 1 ), (i 2 , j 2 ), …}. Le gradient de la fonction coût J (w) par rapport à est donné par :Où A i présente l’activation du neurone i et est la sensibilité de J aux changements dans leniveau d’activation A i de neurone i de la couche l pour l’exemple k.Cet algorithme opère en modifiant les paramètres du réseau selon l’équation :(3)W (i-1) (4)(2)Avec μ (i)0 est le pas de progression dans la direction de descente.2.2. Algorithme de Levenberg-Marquardt (algorithme de second ordre)L’algorithme de Levenberg-Marquardt (LM) est basé sur le calcul de la dérivée seconde dela fonction coût et les paramètres du réseau sont modifiés selon l’équation suivante :(5)119