Lingot-12-10-2012-ED.ppt [Mode de compatibilité] - L'UTES

Les projets Pépite et LingotObjectifs du cours aujourd’huiDiagnostic cognitif et EIAHDe la recherche aux usagesM2-IFL, DU-TICE, 12-10-2012Elisabeth.Delozanne@lip6.frÉquipe Mocah du LIP61‣ Donner un exemple• de coopération chercheurs en EIAH/professionnels• de modèle d’apprenant et de diagnostic cognitif• d’application en classe de travaux de recherche‣ Vous faire manipuler• des prototypes de diagnostic cognitif• plusieurs types de modèles et de représentations• didactique : texte, tableau• conceptuel : tableau, diagramme• informatique :- en machine : structure d’un fichier xml- à l’interface : visualisation des données xml‣ Montrerlesétapes d’une recherche itérative etpluridisciplinaire en EIAH2PlanDes Pépites et des Lingots ?‣ Les projets Pépite et Lingot• Contexte, objectifs• Démo• Une recherche collaborative et itérative• Questions de recherche‣ Diagnostic cognitif‣ Parcours d’apprentissage différencié‣ Différents types et format de modèles‣ Résultats et perspectives‣ Dans la boue des productions des élèves…• x + 8 = 8x• Il ne faut pas additionner les puissants‣ … trouver les granules de connaissancespour forger‣ … des connaissances conformes auréférentiel des programmes34Origine du projet (~1990)Le projet Lingot‣ Côté didactique‣ Objectifs• Un questionnement sur l’enseignement et• Instrumenter la gestion de la diversité cognitive desl’apprentissage de l’algèbreélèves dans une classe en algèbre élémentaire• Un outil papier crayon de diagnostic et des‣ 3 axes de recherchepropositions d’ateliers en fonction du diagnostic• Diagnostic (projet Pépite)• La nécessité d’informatiser une partie du processus1. Analyser les réponses à des exercices2. Détecter des cohérences• Créer des « lentilles cognitives »- Obstacles/Leviers pour l’apprentissage‣ Côté informatique3. Situer un élève (un groupe d’élèves) par rapport à la• Automatiser un processus de diagnosticcompétence de référence• Déjà très structuré• Déjà validé sur le plan épistémologique, cognitif etdidactique• Déjà testé sur papier : étude de corpus de réponse• Apprentissage• Parcours d’apprentissage adaptées au diagnostic• Instrumentation de l’activité des enseignants• Organiser en classe un enseignement différenciéd’élèves 5 6

Une équipe pluridisciplinaireSésamath‣ Informatique‣ Sésamath‣ Didactique des maths‣ Ergonomie‣ Enseignants…7‣ Une association (2001) de bénévoles + 6 salariés‣ Un site : http://www.sesamath.net/‣ Des manuels• Papier• Bons et moitié moins chers• 18% du marché français• Financent les frais de fonctionnement• En ligne : gratuits et source accessibles‣ Une plateforme d’outils libres et gratuits• Pour les profs de maths• 14 643 inscrits• Pour les élèves :1/4 collègienfrançais• 450 000 inscrits• 1,3 million connections /mois8Les usages : une démo‣ Nous sommes une classe de 3° dans le collège Lingot deTerre Adélie et je suis votre prof de math‣ Nous sommes tous des habitués de la plateformeLaboMepde Sesamath‣ Consignes• Toujours cliquer sur OK avant de changer d’exo• Ne pas revenir en arrière1. Le prof prépare la séance de test diagnostique2. Chaque élève se connecte sur LaboMep et passe le testen répondant aux questions (N’oubliez pas de cliquersur OK)3. Le prof regarde les bilans et choisit un thème4. Le logiciel génère une séance différenciée5. Chaque élève travaille sur les exercices de sa séance(rafraichir pour voir sa séance)9Démarche de recherche itérative‣ Partir• De l’expertise de chercheures en didactique• du laboratoire André Revuz (ex-Didirem)• De l’expertise d’une communauté de pratique• association Sésamath• Des l’état des recherches en EIAH‣ Créer des modèles informatiques et des prototypes‣ Tester les prototypes dans les classes‣ En retour• Enrichir l’expertise didactique• Enrichir l’expertise et la plateforme de Sésamath• Enrichir l’expertise en conception d’EIAH• Être utile aux élèves et aux professeurs ?10Une recherche itérativeConception participative•(Mackay et Fayard, 1997)11La participation des enseignants aux projets de recherche‣ Difficile à mettre en œuvre• Nécessite du temps• Temps de la recherche• Temps de l’action• Une réflexion pour faire leur place• Des prototypes pour expérimenter‣ Collaboration avec l’association Sésamath• "Transformer• une symétrie d'ignorance• en symétrie de participation• et en symétrie de connaissances " [Muller 03]12

Cadres conceptuels‣ Informatique• Conception centrée utilisateur-participative (Schuller 93, Mackay 04)• Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003)• Ingénierie dirigée par les modèles (Favre et al. 06)• Ingénierie ontologique (Mélis et al. 2008 , Desmoulins 2010)‣ EIAH• Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al 00,Caroll 00)• Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08,Sander09, Nicaud04)• Analyse de traces (Dimitracopoulos09, Choquet07, Marty&Mille09)‣ Didactique des mathématiques• Dialectique outils/objets, jeu de cadres et registres,ingénierie didactique , approche anthropologique• (Douady 90, Grugeon 95, Artigue 91, Chevallard, Kieran 92,07)‣ Ergonomie• Activité instrumentée (Rabardel 95, Rogalski 03)13Questions de recherche1. Comment modéliser les connaissances d’un élève ?• Modèle de référence : didactique/enseignants/informatique2. Quelles situations mettre en place pour recueillir des observables ?• Modélisation des tâches diagnostiques, Banque de tests3. Comment inférer les descripteurs à partir des observables ?• Typer et coder les réponses : diagnostic individuel local• Détecter les cohérences : diagnostic individuel global• Situer l’élève par rapport à une référence :stéréotypes/groupes4. Comment exploiter le diagnostic en prenant des décisions à partirdes observables ?• Prise de décisions didactiques (enseignants ou machine)• Aide à la décision pour organiser des parcours• Réflexion métacognitive avec l’élève5. Comment évaluer les outils produits ?14Cycles de rechercheChronologie du projet1. Une analyse didactique cognitive et épistémologique• un outil de diagnostic papier (Grugeon 95)2. Une conception centrée-utilisateur pour automatiser(partiellement) le diagnostic• Prototype preuve de concept : Pépite (Jean 2000)3. Une nouvelle modélisation de l’élève• 3 niveaux : PépiStéréo (Vincent et al. 2005)4. Une modélisation générique du diagnostic• Génération des exercices et de l’analyseautomatique des raisonnements : PépiGen et Pépinière (Prévit2008)5. Dissémination : association Sésamath-MathEnPoche• Prototype/application disponible à large échelle : PépiMep(Darwesh et al. 2010)6. Parcours d’apprentissage différencié (Pilet 2011, El-Kechaï2011)1516Planü Les projets Pépite et Lingot‣ Diagnostic cognitif ?• Définitions• Dans Pépite• Modèle de l’élève• Exercices de diagnostic et génération de clones• Diagnostic local/global‣ Parcours d’apprentissage différencié‣ Différents types et format de modèles‣ Résultats et perspectivesDiagnostic cognitif en EIAH ?‣ Processus• « Processus qui consiste à produire de façonautomatique une description des connaissances ou dessavoir-faire qu’un système a cru déceler chez un élèveen analysant les traces de son activité»(Delozanne et al. 2010)‣ Résultat du processus• Diagnostic cognitif• Modèle de l’élève• Profil cognitif• Bilan des connaissances et des compétences1718

Diagnostic cognitif‣ Analyse de la résolution de problème par un sujet• Performance• Connaissances, procédures et stratégies• Correctes ou inadaptées‣ Objectifs• Intervention• Évaluation diagnostique : Réguler les apprentissages• Évaluation formative : Améliorer la performance• Évaluation sommative : Certifier• Scientifique• Comprendre- des processus de résolution de problèmes,d’apprentissage, d’enseignement, de conception• Modéliser pour simuler, prédire, classifier19Différents modèles (Cf. M. Labat)‣ Approches symboliques• Psychologie cognitive• ACT : geometry tutor, Algebra tutor (équipe de Pittsburg1983 … 2011)• Diane : problèmes additifs école primaire (Hakem ,Sander,Labat, 2005)• Plasturgie (Richard, Pastré, Labat et al. 2006)• Didactiques des disciplines• Balacheff (1995), Stacey (2003) , Luengo (2010)• Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El -Kechaï et al. 2011)‣ Approches numériques• IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009)• Réseaux bayésiens (Labat, Hibou 2007)20Q de recherche (rappel)1. Quel modèle de l’élève ? Quels descripteurs ?2. Comment recueillir les observables ?3. Comment analyser les observables pour obtenir lesdescripteurs ?4. Comment exploiter les résultats du diagnostic ?Architecture fonctionnelleÉtudie le modèle de l’élèveExploite le diagnostic2122Q1 : Modéliser les connaissances d’un élève‣ Enseignants• Connaissance de référence : capacités (Programmes scolaires)• ex. : traduire une expression algébrique comme aire d’une figure,factoriser une expression littérale en appliquant une identitéremarquable• Connaissances d’un élève : Réussite/Erreurs classiques de calcul‣ Recherche en didactique des mathématiques• Connaissance de référence• Organisation mathématique/didactique• Composantes de la compétence algébrique• Des problèmes variés pour couvrir l’ensemble des composantes- trous, capacités implicites• Connaissances d’un élève• Cohérences dans l’activité mathématique des élèves- Pas seulement des erreurs• Rupture entre pensée algébrique et arithmétique• Leviers et obstacles pour l’apprentissage23Modèle de l’élève dans Pépite‣ Bilan cognitif : 3 niveaux de descriptionDiagnostic local (sur un exercice) (exemple)Type de réponse et règles appliquéesDiagnostic global individuel (sur un ensemble d’exercices)(ex)Caractéristiques personnelles, leviers etfragilitésDiagnostic global collectif (exemple)Stéréotype et groupeCodage sur 8 dimensionsPar composante :Taux de réussite,indicateursNiveau sur chaque composante24

PépiGenPépinièreAuteursaisit lesparamètresexpressionalgébriquearbre dessolutionsanticipéesSystème auteurPépiGenestchargéXM Lproduitun cloneXM LBanquesd’exercicesModèle de Classe exercices3132Grille de codage :(x + 6)* 3 - 3 * x(x+6)*3=3x+18-3x=18 Tentative de démarche algébrique maisl’énoncé est traduit par une suite de calculs pas-à-pasenchaînés corrects10.7V3,L3,T4,J3(x+6)*3x*3+18V,73*x3*x+18-3*x18V,31Pépinière‣ Un logiciel de calcul formel qui manipule des arbrespour :• Analyse syntaxique des expressions algébriques• Grammaire algébrique• Transformations algébriques• Règles de réécriture correctes ou incorrectes• Génération des solutions plausibles anticipées• Unification et heuristiques• Comparaison des expressions algébriques• Arbres superposables3334Arbre des solutions anticipéesQ3 : Analyser les observables ?(x+6)*3-3xR1x*3+6*3-3x3x+18-3xR31821x-3xR318xR2x+6*3-3xErreur deparenthèseavec mémoireR43x+18-3xR318R3R4R321x-3x18x-2x+18V1,EA1 V3,EA42 V3,EA31 V3,EA3142 V3,EA32Règles correctesR1 : (A+B)C AC+BCR3 : AB+AC A(B+C)Règles erronéesR2: (A+B)C A+BCR4: AB+C B(A+C)Comment construire le modèle des compétences d’un élève‣ L’élève passe un test PépiTest• Ses réponses sont mémorisées‣ PépiDiag construit le diagnostic en 3 étapes1. Analyse multidimensionnelle de chaque réponse :• type de réponse et vecteur de codes (diagnostic local)2. Agrégation des codes• Bilan cognitif : caractéristiques personnelles +stéréotype3. Formation d’un groupe pour parcours d’apprentissage36

Étape 1 : Analyse des réponsesArchitecture de PépiMep‣ Diagnostic local : PépiDiag• Compare la réponse de l’élève à une des réponsesanticipées de la grille de codage• Utilise d’un logiciel de calcul formel : Pépinière• Traite les problèmes de commutativité• Détecte les règles (correctes/incorrectes)• Teste l’équivalence des expressionsPépiDiagPépiDiagLocalPépiDiagGlobalExploite3738Interpréteur : PépiTestDiagnostiqueur : PépiDiagElèveRésout lesexercicesInterpréteurPépiTestestchargéXM LTest constituéd’exercicesEnregistre letest avec lesréponses del’élèveCharge le testavec lesréponses del’élèveXM LRéponsede l‘élève39XM LRéponsede l’élèveXM Lgrille decodageTesterl’équivalencede 2 arbresd’expressionDiagnostiqueurPépiDiagModulePépinière40retournevrai/fauxEnregistrelesréponsesavec lediagnosticlocal (typeet codes)XM LConception du diagnostic local‣ Fondée sur les réponses anticipées et le fichier grille decodage‣ Réponses ouvertes• ~10-15 % de réponses non diagnostiquées par le logiciel• Erreur de saisie• Réponses imprévisibles‣ Couteux• En expertise didactique + Analyse de corpus‣ Efficace pour les réponses avec une seule expressionalgébrique• Ajout facile d’un type de réponse‣ Complexe pour les raisonnements41Évaluation du diagnostic local‣ Dépend du type de question (ouverte/fermée)‣ Comparaison Diagnostic machine/humain‣ N = 360 élèves‣ 3 experts• trouvent le travail fastidieux (7 à 10 h pour un seulexercice)• se trompent plus que le logiciel‣ Critères• Les réponses correctes ne sont jamais diagnostiquéesincorrectes par PépiDiag• Réponses en une seule expression : OK• Raisonnement : à améliorer• Réponses imprévisibles• 2/3 des réponses incorrectes non analysées par lelogiciel, ne sont pas non plus analysées par les experts 42

Étape 2 : Bilan cognitif‣ Un bilan =• Un stéréotype• niveau de compétence sur les 3 composantes- Usage de l’algèbre, calcul algébrique ettraduction d’une représentation dans une autre• Des caractéristiques personnelles• taux de réussite• leviers• fragilités• liste des erreurs• liste des réussites43Étape 3 : Groupes de travail‣ Gérer la diversité cognitive dans une classe• Apprentissage différencié• Dynamique de l’ensemble‣ Groupes de stéréotypes• 36 stéréotypes, 15 en pratique• Regroupement des stéréotypes voisins selon lacomposante sur laquelle l’enseignant veut travailler• Ex. Groupe A (élèves en CA1) contrôlent leur calculet commencent à choisir les outils adaptés auproblème- A+ : savent traduire algébriquement dessituations diverses- A- : erreurs de traduction‣ Ex. : groupes en 2nde 44Évaluation des groupementsQ4 : Exploitation du diagnostic‣ En cours‣ 1 expérimentation passée• Points de vue Usage• Le prof a fait 3 groupes A, B , C• Travail par 2 : (A+, A-), (B+, B-), (C+, C-)• Pour favoriser les explications entre pairs• Travail en classe, puis devoir à la maison• Nécessité de définir• Des étapes (ex. introduction, entrainement)• Un objectif commun à la classe• Point de vue Élève• Évolution locale importante‣ 4 expérimentations en cours45‣ Tutorat individuel• Réflexion métacognitive avec l’élève‣ Travail dans la classe• Projet avec Sésamath• Parcours d’apprentissage différencié (Pad)• Thèse en didactique des mathématiques de JuliaPilet- Mise au point des parcours d’apprentissagedifférencié- Expérimentations en classe• Post-doc en informatique : Naima El-Kechai- Modèle de connaissances- Logiciel PépiPad : aide à la mise en place46PépiPad : Un scénario‣ Qui ?• Marie-France (MF) enseignante de collège, membre deSésamath, habituée de LaboMep‣ Contexte :• MF va aborder le chapitre calcul littéral dans la classede 3eme A. Elle prépare des séances différenciéespour homogénéiser la classe avant d’introduire lesidentités remarquables‣ Prérequis• MF demande à ses élèves de passer le test à la maison• Sur LaboMep, Pépite lui propose 6 groupes• MF lance PepiPad47Scénario (suite)‣ Paramétrage : MF choisit• Le thème : Identités remarquables• L’étape : Prendre un bon départ• L’objectif principal : Donner du sens aux lettres et auxexpressions‣ PépiPad affiche pour chaque groupe• les objectifs secondaires recommandés, les capacités àtravailler associées et les exercices qui travaillent cescapacités‣ Adaptation• MF qui ne dispose que de 30 min sélectionne un seulobjectif secondaire/groupe• PépiPad met à jour les capacités et exercices associés• MF valide• PépiPad construit des séances pour chaque groupe- Une liste d’élèves- Une liste de ressources• Écran du prof, écran d’un élève 48

Cas d’utilisation de PépiPadModèle de connaissance49‣ Parcours• Un ensemble d’exercices pour un groupe• Exemple de parcours (fichier xml)‣ Exercice caractérisé (exempled’exercice indexé, fichierxml)• Capacités• Niveau scolaire• Variables didactiques• Objets mathématiques• Cadre et registres en jeu• Degré de guidage• Identifiant• Origine (exercice MeP, ouvrage Sesamath, Lingot)• Titre50CapacitéPépiPad‣ Composante de la compétence• Ex. calcul algébrique‣ Groupe de capacités• Ex. calculer, tester, factoriser‣ Capacité• Ex. calculer l’image d’un nombre par une fonction,tester si une égalité est vraie, factoriser uneexpression littérale en utilisant une identitéremarquable• Exemple : capacités liées au calcul algébrique (fichierxml)Bilans cognitifsdes élèvesconstruitPépiteBanqued’exercicesGénérateur deParcoursparamètreRègles de calculde parcoursUtilise l'ontologiedes exercicesParcoursgénérésprof51 52Etat des lieux‣ Fait :• Conception de l’ontologie• Explicitation les objectifs principaux et secondaires• Liens objectifs/capacités/étapes• Indexation des ressources hétérogènes• Exercices interactifs de Math En Poche• Exercices papier des manuels et des didacticiennes• Création automatique des séances‣ En cours• Tests de validité (comparaison avec les parcourshumains)• Filtrage des exercices• Évaluer les bénéfices pour les élèves et les profs53C6-Dissémination (2010-12)‣ Projet PICRI financé par la région Ile-de-France• Lien recherche/association société civile‣ Objectif• mise à disposition des enseignants sur la plateformeSésamath• Diagnostic fiable• Parcours d’apprentissage adaptés au bilan cognitifdes élèves‣ Questions de recherche• Comment passer d’un prototype de recherche à unlogiciel fiable et robuste ?• Conception participative• Comment concevoir la différenciation ?• Gestion de la classe/personnalisation54

Résultats (actuels) du projet‣ Une méthode de diagnostic• Fondée sur une analyse didactique• 3 étapes : analyse des réponses, bilan personnel,positionnement par rapport à la référence• Typage des réponses anticipées‣ Des modèles exécutables• de tâches diagnostiques, d’exercices, de parcours• de bilan cognitif sur trois niveaux de description‣ Une recherche pluridisciplinaire et participative‣ Un logiciel accessible sur une plateforme grand public‣ Des corpus de réponses importants55Méthode de diagnostic‣ Trois temps1. Diagnostic local• Analyse de la réponse à une question• Types de réponses anticipées + vecteur de codes2. Diagnostic global individuel• Cohérences entre les réponses• Par composante : taux de réussite + leviers, fragilités,règles fausses et correctes3. Diagnostic global collectif• Position de l’élève par rapport à une référence/augroupe• Niveau sur chaque composante• Caractéristiques communes à un groupe56Modèles des tâches diagnostic (1)Modèles des tâches diagnostic (2)‣ Un exercice• Interface‣ Une analyse didactique initiale : texte et tableaux• Ex‣ Modèle conceptuel de l’exercice 3 : texte et tableaux plusprécis• Ex‣ Modèle informatique de l’exercice 3 : fichier xml• Originel• Un clone57‣ Modèle général d’une Classe d’exercice : schéma UML‣ schéma‣ Schémas XDS de grille d’analyse des réponses anticipéesà une question• schéma58Ontologie simplifiée : graphiquePerspectives‣ Court terme(fin du financement 2012)• Fiabiliser complètement PépiDiag• PépiPad opérationnel‣ Long terme (prochain projet)• Articuler• Les parcours fondés sur les stéréotypes• Avec des aides interactives fondées sur l’historiqueet les caractéristiques personnelles• Des scénarios plus ludiques5960

Résumé (1)Résumé (2)‣ Cycle N°1 (1995) : outil papier-crayon‣ Coté recherche :• modélisation des compétences‣ Cycle N° 2 (2000) : logiciel Pépite• Comprendre les difficultés des élèves• systématisation, réification du modèle de compétence• Récolter des corpus• diagnostic semi-automatique‣ Cycle N°3 (2005) : exploitation du diagnostic• Produire des modélisations exécutables d’une• expérimentationsexpertise didactique pour l’enrichir et l’approfondir• vers un diagnostic automatique (langage naturel, raisonnement‣ Coté application :algébrique)• vers une géographie de la classe (stéréotypes)• Faciliter l’insertion dans/ l’évolution des pratiques‣ Cycle N° 4 (2008) : PépiGen et Pépinièreenseignantes• diagnostic• plus générique (classes d’exercices)• faciliter la genèse instrumentale• plus fiable (raisonnement algébrique)• Dissémination de résultats de recherche• pour l’élève‣ Cycle N° 5 (2012)• dissémination• parcours différenciés d’apprentissage• Logiciel PépiPad 6162Diagnostic local (pour le prof)Diagnostic local (pour le chercheur)6364Diagnostic local pour le logicielDiagnostic personnel globalBilan Personnel de SamEugèneSam est dans le groupe A-Profil du groupe A- :Les élèves donnent dusens au calcul algébriqueet commencent àdévelopper une pratiquecontrôlée.Ils utilisent peu l’algèbrepour résoudre desproblèmes6566

Diagnostic collectif global