30Dans <strong>de</strong> grands groupesL‟usage <strong>de</strong>s QCM est souv<strong>en</strong>t lié au nombre d‟étudiants à tester, ce qui <strong>en</strong> fait l‟outil privilégié <strong>de</strong>s testsstandardisés d‟évaluations <strong>de</strong> larges cohortes, comme c‟est généralem<strong>en</strong>t le cas pour les exam<strong>en</strong>sministériels <strong>de</strong> fin d‟année au secondaire. C‟est souv<strong>en</strong>t lorsqu‟on est confronté à un « problème <strong>de</strong>pléthore d’étudiants », comme l‟indiqu<strong>en</strong>t Hanz<strong>en</strong> <strong>et</strong> autres (2010), qu‟on se tourne vers <strong>de</strong>s outilsinformatisés pour les administrer.Par <strong>de</strong>s évaluations multiplesL‟exam<strong>en</strong> par Intern<strong>et</strong> peut n‟être qu‟une partie d‟un processus comportant <strong>de</strong>s évaluations multiples, <strong>en</strong><strong>ligne</strong> ou non. En Australie, on donne l‟exemple d‟un cours <strong>de</strong> droit où les étudiants ont un exam<strong>en</strong> <strong>de</strong> mitrimestre,sous forme d‟étu<strong>de</strong> <strong>de</strong> cas sur le Web, sur leur plateforme UTSOnline. Celui-ci compte pour20% <strong>de</strong> la note. L‟<strong>en</strong>vironnem<strong>en</strong>t sert égalem<strong>en</strong>t à prés<strong>en</strong>ter <strong>de</strong>s annonces, du matériel lié à l‟exam<strong>en</strong> <strong>et</strong><strong>de</strong>s forums pour <strong>en</strong> discuter. De plus, <strong>de</strong>s questionnaires <strong>en</strong> <strong>ligne</strong> perm<strong>et</strong>t<strong>en</strong>t <strong>de</strong> pratiquer avant l‟exam<strong>en</strong>même (University of Technology, 2007).Au Québec, <strong>de</strong>s exam<strong>en</strong>s sommatifs sont, <strong>en</strong>tre autres, utilisés pour la partie théorique <strong>de</strong>s coursd‟Éducation physique au Collège Édouard-Montp<strong>et</strong>it. En 2006, déjà plus <strong>de</strong> 100 étudiants y avai<strong>en</strong>teffectué leurs tests sous Exam Studio, l‟outil <strong>de</strong> questionnaire <strong>de</strong> la plateforme DECclic (Vinc<strong>en</strong>t, 2006).Là égalem<strong>en</strong>t, pour réduire les craintes <strong>et</strong> faciliter l‟apprivoisem<strong>en</strong>t <strong>de</strong> l‟outil, les étudiants début<strong>en</strong>t par unexam<strong>en</strong> formatif.De portée limitéeSi les évaluations peuv<strong>en</strong>t être <strong>de</strong> différ<strong>en</strong>tes natures, on peut aussi utiliser exclusivem<strong>en</strong>t <strong>de</strong>sévaluations automatisées, mais <strong>en</strong> attribuant à chacune un pointage très limité, <strong>de</strong> façon à réduire les<strong>en</strong>jeux <strong>de</strong> sécurité.Il peut s‟agir d‟une série d‟exam<strong>en</strong>s séqu<strong>en</strong>tiels, construits les uns à partir <strong>de</strong>s autres, comme dansl‟exemple donné par Berge, Collins <strong>et</strong> Dougherty (2000) 84 ou simplem<strong>en</strong>t <strong>de</strong> tests multiples, comme dansle cours Exploring Sci<strong>en</strong>ce(S104) à l‟Op<strong>en</strong> University. On peut aussi multiplier à la fois les tests formatifs<strong>et</strong> sommatifs. Toujours à l‟OU, le cours Introducing health sci<strong>en</strong>ces(SDK125) utilise les mêmes questions,générées <strong>de</strong> façon aléatoire, à la fois pour <strong>de</strong>s évaluations formatives <strong>et</strong> <strong>de</strong>s exam<strong>en</strong>s <strong>de</strong> portée limitée.Dans ce cas, chacun <strong>de</strong>s six blocs du cours compr<strong>en</strong>d une évaluation formative <strong>et</strong> une évaluationsommative.Au Cégep François-Xavier-Garneau, Marc Simard (2007) explique la procédure suivie dans son coursd‟histoire, reposant sur <strong>de</strong>s tests sous Exam Studio. « P<strong>en</strong>dant la session d’hiver 2006, j’ai donc pianotésur mon clavier pour créer <strong>de</strong>s tests <strong>et</strong> exam<strong>en</strong>s (choix multiples à 5 réponses) à partir <strong>de</strong> mon manueld’Histoire <strong>de</strong> la civilisation occi<strong>de</strong>ntale (ERPI, 2005). J’ai constitué dix banques <strong>de</strong> 30 questions chacune(une par chapitre) <strong>et</strong> trois banques regroupant respectivem<strong>en</strong>t 60, 120 <strong>et</strong> 120 <strong>de</strong> ces questions, lesbanques <strong>de</strong> 30 questions servant <strong>de</strong> tests <strong>de</strong> lecture (valant 1 % chacun) <strong>et</strong> les autres d’exam<strong>en</strong>s <strong>de</strong>lecture (valant respectivem<strong>en</strong>t 5, 10 <strong>et</strong> 10 %) ». Il a <strong>en</strong>suite appris à se servir <strong>de</strong> DECclic I pour créer <strong>de</strong>séchéanciers <strong>et</strong> <strong>de</strong>s évaluations. « J’ai donc pu intégrer ce nouvel outil d’évaluation à mon cours d’Histoire<strong>de</strong> la civilisation occi<strong>de</strong>ntale à l’automne 2006, tout <strong>en</strong> préparant <strong>de</strong> nouvelles banques <strong>de</strong> questions àpartir <strong>de</strong> mon manuel d’Histoire du XXe siècle ».Des exam<strong>en</strong>s <strong>en</strong> <strong>ligne</strong> dans un cours synchroneSuzanne Baril a <strong>en</strong>seigné plusieurs années <strong>en</strong> <strong>ligne</strong> dans le cadre <strong>de</strong> l'Attestation d'étu<strong>de</strong>s collégiales« Ag<strong>en</strong>ts <strong>et</strong> courtiers <strong>en</strong> assurance <strong>de</strong> personnes » du Collège O'Sullivan <strong>de</strong> Québec <strong>et</strong> du GroupeCollégia. Comme elle le rapporte dans l‟article « Enseigner <strong>en</strong> assurance <strong>et</strong> <strong>en</strong> placem<strong>en</strong>t <strong>de</strong>s particuliers àpartir <strong>de</strong> chez soi : une expéri<strong>en</strong>ce hors du commun » <strong>de</strong>s Récits <strong>de</strong> Profweb 85 , ses cours étai<strong>en</strong>t donnés<strong>en</strong> mo<strong>de</strong> synchrone à distance à l'ai<strong>de</strong> <strong>de</strong> la visioconfér<strong>en</strong>ce <strong>de</strong> la plateforme Globe Me<strong>et</strong>ing <strong>et</strong> utilisai<strong>en</strong>tN<strong>et</strong>quiz pour les questionnaires <strong>et</strong> exam<strong>en</strong>s.Ceux-ci servai<strong>en</strong>t à <strong>de</strong>s fins formatives, notamm<strong>en</strong>t pour <strong>de</strong>s interrogations éclair durant la classe. MaisSuzanne Baril les utilisait aussi pour <strong>de</strong>s évaluations sommatives, <strong>en</strong> combinaison avec <strong>de</strong>s travaux. Elledécrit le déroulem<strong>en</strong>t alors suivi dans la vidéo « Administration <strong>de</strong>s travaux ». Un fichier relatif à laprocédure d‟exam<strong>en</strong> est d‟abord inclus dans le matériel du cours <strong>en</strong> <strong>ligne</strong> <strong>et</strong> revu <strong>en</strong> groupe avant le test.REFAD Pratiques <strong>et</strong> <strong>défis</strong> <strong>de</strong> l’évaluation <strong>en</strong> <strong>ligne</strong> 2011
31Au mom<strong>en</strong>t prévu, le cont<strong>en</strong>u est téléversé sur la plateforme. L‟étudiant télécharge le docum<strong>en</strong>t <strong>et</strong> <strong>en</strong>confirme la réception. Le chronométrage <strong>de</strong> l‟épreuve peut alors démarrer. <strong>Les</strong>exam<strong>en</strong>s sont r<strong>et</strong>ournés par courriel <strong>et</strong> le récépissé est transmis par clavardage.Rev<strong>en</strong>ant sur c<strong>et</strong>te expéri<strong>en</strong>ce d‟évaluation sommative <strong>en</strong> <strong>ligne</strong>, elle sou<strong>ligne</strong> àla fois l‟importance <strong>de</strong>s fonctionnalités du logiciel <strong>et</strong> du temps alloué pourcompléter l‟exam<strong>en</strong>. Pour éviter le plagiat, elle recomman<strong>de</strong> « l'utilisation d'unlogiciel où les questions sont <strong>en</strong> ordre aléatoire (incluant aussi les choix <strong>de</strong>réponses <strong>en</strong> ordre aléatoire) ». En matière <strong>de</strong> durée <strong>de</strong> l'épreuve, elle indiquequ‟il « faut allouer suffisamm<strong>en</strong>t <strong>de</strong> temps pour qu'un étudiant qui connaît samatière puisse répondre correctem<strong>en</strong>t à toutes les questions, mais pas assez d<strong>et</strong>emps pour que l'étudiant puisse communiquer avec un autre ». Bref, il faut faire<strong>en</strong> sorte que c<strong>et</strong>te év<strong>en</strong>tuelle communication (par messagerie instantanée,téléphone, courriel, <strong>et</strong>c.) soit trop exigeante <strong>en</strong> terme <strong>de</strong> consommation dutemps.Figure 5: Des vidéos dansl‟article <strong>de</strong> Profweb<strong>Les</strong> tests adaptatifsLe terme testing adaptatif 86 est généralem<strong>en</strong>t réservé à <strong>de</strong>s fonctionnalités qui sont particulières auxquestionnaires informatisés <strong>et</strong> perm<strong>et</strong>t<strong>en</strong>t d‟<strong>en</strong> adapter le déroulem<strong>en</strong>t aux réponses <strong>données</strong> parl‟étudiant.L‟inclusion dans un questionnaire d‟une rétroaction pour chacune <strong>de</strong>s options <strong>de</strong> réponse est une façonsimple d‟adapter minimalem<strong>en</strong>t un test aux compét<strong>en</strong>ces <strong>de</strong> l‟étudiant. On peut aussi utiliser <strong>de</strong>s outils <strong>de</strong>sondage évolués pour générer <strong>de</strong>s questions <strong>en</strong> fonction <strong>de</strong>s réponses <strong>données</strong>. Au Cegep François-Xavier-Garneau, on a employé <strong>de</strong>s logiciels <strong>de</strong> sondage (Voxco <strong>et</strong> Sphinx) à c<strong>et</strong>te fin. Mais <strong>de</strong> nombreuxproj<strong>et</strong>s <strong>de</strong> recherche port<strong>en</strong>t sur le développem<strong>en</strong>t d‟outils adaptatifs spécifiques à l‟éducation, évoluantvers <strong>de</strong>s logiciels <strong>de</strong> tutorat <strong>de</strong> plus <strong>en</strong> plus intellig<strong>en</strong>ts, capables d‟analyser les erreurs faites <strong>et</strong> d‟adapter<strong>en</strong> conséqu<strong>en</strong>ce la suite <strong>de</strong> l‟évaluation, comme les systèmes décrits ci-<strong>de</strong>ssous.Vers l’évaluation 2.0…<strong>Les</strong> États-Unis investiss<strong>en</strong>t massivem<strong>en</strong>t dans le développem<strong>en</strong>t <strong>de</strong> tests informatisés. Par exemple, <strong>en</strong>septembre 2010, le gouvernem<strong>en</strong>t fédéral annonçait une subv<strong>en</strong>tion <strong>de</strong> 176 millions <strong>de</strong> dollars à un proj<strong>et</strong>,le SMARTER Balanced Assessm<strong>en</strong>t Consortium (ou SBAC), pour le développem<strong>en</strong>t d‟exam<strong>en</strong>s adaptatifs<strong>en</strong> <strong>ligne</strong>. Ceux-ci incluront <strong>de</strong>s évaluations sommatives <strong>de</strong> fin d‟année du 3e au 8e niveau d‟étu<strong>de</strong>s <strong>et</strong> ausecondaire, <strong>de</strong>s tests d‟Anglais <strong>et</strong> <strong>de</strong> mathématiques, qui <strong>de</strong>vrai<strong>en</strong>t être utilisés à partir <strong>de</strong> 2014-2015. Enannonçant ces subv<strong>en</strong>tions, le Secrétaire d'État déclarait : ”This is the beginning of assessm<strong>en</strong>ts 2.0” 87 .Évaluer l’effort <strong>et</strong> le souti<strong>en</strong>Un <strong>de</strong>s systèmes adaptatifs complexes développés <strong>en</strong> sol américain est le système ASSISTm<strong>en</strong>t donttrait<strong>en</strong>t F<strong>en</strong>g, Heffernan <strong>et</strong> Koedinger (2009). Il est décrit dans ce wiki <strong>et</strong> illustré dans son gui<strong>de</strong> <strong>de</strong>l‟utilisateur. Ce système <strong>en</strong> réseau offre un tutorat tout <strong>en</strong> évaluant les résultats <strong>de</strong>s étudiants <strong>en</strong>mathématiques. Ses auteurs font l‟hypothèse qu‟une évaluation plus juste doit non seulem<strong>en</strong>t t<strong>en</strong>ir compte<strong>de</strong> la réponse, mais aussi <strong>de</strong> l‟effort <strong>et</strong> <strong>de</strong> l‟assistance requis pour résoudre un problème. Ils s‟appui<strong>en</strong>t pource faire sur <strong>de</strong>s recherches comme celles <strong>de</strong> Campione, Brown <strong>et</strong> Bryant (1985) 88 <strong>et</strong> <strong>de</strong> Grigor<strong>en</strong>ko <strong>et</strong>Sternberg (1998) 89 , qui ont comparé la valeur <strong>de</strong> tests traditionnels, statiques, à <strong>de</strong>s tests dynamiquesfournissant <strong>de</strong> l‟assistance aux étudiants.Leur recherche a débuté <strong>en</strong> 2004 <strong>et</strong> repose sur les <strong>données</strong> du Massachus<strong>et</strong>ts Compreh<strong>en</strong>siveAssessm<strong>en</strong>t System (MCAS), qui applique <strong>de</strong>s tests standardisés <strong>en</strong> Anglais, mathématiques, histoire <strong>et</strong>sci<strong>en</strong>ces à tous les étudiants <strong>de</strong> la 3e à la 10e année. L‟État a publié les tests utilisés <strong>en</strong> 8e année <strong>de</strong> 1998à 2007, soit près <strong>de</strong> 400 questions. À celles-ci, l‟équipe <strong>de</strong>s chercheurs a ajouté un scaffolding ou étayagec‟est-à-dire un <strong>en</strong>semble <strong>de</strong> sous-questions décomposant chacune <strong>de</strong>s interrogations originales.Une évaluation formative pour l’étudiant <strong>et</strong> l’<strong>en</strong>seignantL‟intérêt du système ti<strong>en</strong>t à la fois, pour l‟étudiant, dans l‟appr<strong>en</strong>tissage progressif qu‟il favorise <strong>en</strong> li<strong>en</strong> avec<strong>de</strong>s questionnaires très proches <strong>de</strong> l‟exam<strong>en</strong> réel <strong>et</strong>, pour le formateur ou l‟établissem<strong>en</strong>t, dans l‟informationdétaillée qu‟il fournit sur la façon d‟appr<strong>en</strong>dre <strong>et</strong> les progrès <strong>de</strong>s élèves.REFAD Pratiques <strong>et</strong> <strong>défis</strong> <strong>de</strong> l’évaluation <strong>en</strong> <strong>ligne</strong> 2011
- Page 1 and 2: Les pratiques et défis de l’éva
- Page 3 and 4: TABLE DES MATIÈRESSommaire .......
- Page 6 and 7: IntroductionAssessment is central t
- Page 8 and 9: Chapitre 1.Des facteurs de dévelop
- Page 10 and 11: 10comme ailleurs, on fait un consta
- Page 12 and 13: 12Des évaluations variéesRegardle
- Page 14 and 15: 141,26 La fréquence de la mesureRa
- Page 16 and 17: 161,3 Vers un alignementA good teac
- Page 18 and 19: 18Une histoire, quatre perspectives
- Page 20 and 21: 20de la recherche sous-jacente d‟
- Page 22 and 23: Chapitre 2.Des pratiques et modèle
- Page 24 and 25: 24Les QCM conventionnels ne sont to
- Page 26 and 27: 26Son utilisationJusqu‟au début
- Page 28 and 29: 28réordonner les questions et les
- Page 32 and 33: 32En ce qui a trait à l‟étudian
- Page 34 and 35: 34simulations. En effet, on peut al
- Page 36 and 37: 36le tuteur. Les nombreux outils ma
- Page 38 and 39: 382,22 Les cyberportfoliosIl me sem
- Page 40 and 41: 40Le portfolio comme activité d’
- Page 42 and 43: 42L’Option du blogueSonia Blouin
- Page 44 and 45: 44Des sites de logiciels comme Zuna
- Page 46 and 47: 46handicapé, l‟impact du daltoni
- Page 48 and 49: 48éventuellement à lui construire
- Page 50 and 51: 50Les étudiants complètent chaque
- Page 52 and 53: 52madame Blouin pour cette recherch
- Page 54 and 55: 54Le plagiatLa Commission de l‟é
- Page 56 and 57: 56• Une faible minorité d‟appr
- Page 58 and 59: 58Des recherchesPlusieurs études o
- Page 60 and 61: 6057,2 % d’entre eux vont encore
- Page 62 and 63: 62relevait des taux de tricherie de
- Page 64 and 65: 64parmi le groupe le plus à risque
- Page 66 and 67: 66journaux étudiants, dans la docu
- Page 68 and 69: 68La formation à la rechercheIl se
- Page 70 and 71: 70• demander l’analyse ou la cr
- Page 72 and 73: 72De façon générale, on estime q
- Page 74 and 75: 74• Le climat de non-confiance au
- Page 76 and 77: 76Grijalva et autres (2006) font é
- Page 78 and 79: 78En résumé : Des exercices sur l
- Page 80 and 81:
80168 Bunn, D. N., Caudill, S. B. e
- Page 82 and 83:
Chapitre 4.Des avantages et d’aut
- Page 84 and 85:
84l‟ouvrage et de s‟assurer que
- Page 86 and 87:
86réussissaient mieux l‟examen f
- Page 88 and 89:
88styles d‟apprentissage et perso
- Page 90 and 91:
90En résumé : Des exercices sur l
- Page 92 and 93:
ConclusionThe issue for e-assessmen
- Page 94 and 95:
ANNEXE : Un inventaire de logiciels
- Page 96 and 97:
96mots à partir d’un fichier au
- Page 98 and 99:
98Respondussecondaire, liés à des
- Page 100 and 101:
100CMapToolsComputerisedassessment
- Page 102 and 103:
102CopyTrackerLogiciel libre de dé
- Page 104 and 105:
Bibliographie 1Cette bibliographie
- Page 106 and 107:
106system that tutors as it assesse
- Page 108 and 109:
108http://www.matimtl.ca/ePortfolio