Thèse Sciences Cognitives - Olivier Nerot

Mémorisation par forçage des dynamiques chaotiques dans les modèles connexionnistes récurrents
2. Exposants de Lyapunov.............................................................................................................. 51
2.3.2 TYPE D’ENCODAGE PAR LES DYNAMIQUES CHAOTIQUES 52
1. Etat transitoire de non-reconnaissance ....................................................................................... 52
2. Filtre de nouveauté..................................................................................................................... 53
3. Source de ‘dépersévération’ pour le système ............................................................................... 53
4. Catégories isochrones. ............................................................................................................... 54
5. Mémorisation par l’attracteur..................................................................................................... 55
6. Mémorisation par les mesures de l’attracteur ............................................................................. 57
7. Encodage Formel ....................................................................................................................... 57
2.3.3 SYNTHESE D’UN MODELE PRELIMINAIRE 58
2.4 CONCLUSION 61
2.5 BIBLIOGRAPHIE 62
3. MODELES CONNEXIONNISTES DYNAMIQUES 65
3.1 INTRODUCTION 65
3.2 MODELES A COMPORTEMENT DYNAMIQUE 65
3.2.1 MODELE DE NEURONE SANS DYNAMIQUE PROPRE 65
1. Modèle non linéaire à seuil ........................................................................................................ 65
2. Modèles à délais ........................................................................................................................ 66
3. Modèle à mémoire ..................................................................................................................... 66
4. Modèles réfractaires ................................................................................................................... 67
3.2.2 MODELE DE NEURONE A DYNAMIQUE PROPRE 68
1. Modèle à rétroaction .................................................................................................................. 68
2. Modèle à dynamique chaotique propre ....................................................................................... 69
3.2.3 ARCHITECTURE DU RESEAU 69
1. Architectures Feed-Forward ....................................................................................................... 70
2. Architectures récurrentes ........................................................................................................... 71
3. Architectures modulaires ........................................................................................................... 71
3.3 EXEMPLES DE MODELES CHAOTIQUES 72
3.3.1 WAN ET AUSSEM 72
3.3.2 RENALS 73
3.3.3 CHAPEAU BLONDEAU 73
3.3.4 DOYON, CESSAC, QUOY 74
3.3.5 BABLOYANTZ DESTEXTHE 74
3.3.6 FREEMAN 75
3.3.7 KOHONEN LOGISTIQUE 75
3.4 CONCLUSION 76
3.5 BIBLIOGRAPHIE 76
4. APPRENTISSAGE DANS LES RESEAUX RECURRENTS 79
4.1 INTRODUCTION : REPRODUIRE UN ETAT PASSE 79
4.2 APPRENTISSAGE HEBBIEN 80
4.3 MAXIMISATION DE L'ENTROPIE DE SORTIE 80
4.4 DESCENTE DU GRADIENT DE L’ERREUR 81
4.4.1 RECURRENT BACK-PROPAGATION 83
4.4.2 BACK-PROPAGATION THROUGH TIME 85
4.4.3 REAL TIME RECURRENT LEARNING 86
1. Dans le cas discret ..................................................................................................................... 86
TABLE DES MATIERES VII