86réussissai<strong>en</strong>t mieux l‟exam<strong>en</strong> final que ceux qui avai<strong>en</strong>t utilisé <strong>de</strong>s tests <strong>de</strong> pratique plusconv<strong>en</strong>tionnels, où les réponses sont affichées. De même, Hanz<strong>en</strong> <strong>et</strong> ses collaborateurs (2010),<strong>en</strong> regard <strong>de</strong>s résultats <strong>de</strong> 270 étudiants, constat<strong>en</strong>t un impact sur la réussite : « le nombre d<strong>et</strong>ests formatifs effectués contribu<strong>en</strong>t à la qualité <strong>de</strong> leur réussite » <strong>et</strong> sur la motivation àpersévérer.L‟adaptation <strong>et</strong> la personnalisation. <strong>Les</strong> fonctionnalités perm<strong>et</strong>tant d‟adapter le choix <strong>de</strong>squestions <strong>en</strong> fonction <strong>de</strong>s réponses <strong>données</strong> perm<strong>et</strong>t<strong>en</strong>t <strong>de</strong>s tests diagnostiques plus précis, unemeilleure compréh<strong>en</strong>sion <strong>de</strong>s processus cognitifs <strong>de</strong>s étudiants <strong>et</strong> peuv<strong>en</strong>t m<strong>en</strong>er à une véritablepersonnalisation <strong>de</strong>s parcours.Parmi les critiques :<strong>Les</strong> compét<strong>en</strong>ces évaluées. On reproche souv<strong>en</strong>t aux QCM <strong>et</strong> autres tests <strong>de</strong> n‟évaluer que lamémorisation (Law <strong>et</strong> Eckes, 1995; Simonson <strong>et</strong> autres, 2000) <strong>et</strong> d‟être peu appropriés pourévaluer <strong>et</strong> développer <strong>de</strong>s capacités cognitives <strong>de</strong> haut niveau, comme la p<strong>en</strong>sée critique, lacréativité, la réflexion (Juwah, 2003) ou les métacompét<strong>en</strong>ces (Gr<strong>en</strong>oble, 2004) <strong>et</strong>, même dansles cas <strong>de</strong> simulations, d‟être <strong>en</strong>core ess<strong>en</strong>tiellem<strong>en</strong>t <strong>de</strong>s exercices individuels. Mais d‟autressoulign<strong>en</strong>t leurs possibilités d‟adaptation à une vaste gamme d‟appr<strong>en</strong>tissages, incluant <strong>de</strong>sactivités <strong>de</strong> haut niveau cognitif, par exemple <strong>de</strong>s étu<strong>de</strong>s <strong>de</strong> cas 221 . On indique par ailleurs qu‟ilsera probablem<strong>en</strong>t toujours nécessaire, particulièrem<strong>en</strong>t dans certains champs d‟étu<strong>de</strong>s, <strong>de</strong>vérifier <strong>de</strong>s connaissances. Ripley <strong>et</strong> autres (2009) donn<strong>en</strong>t à c<strong>et</strong> égard l‟exemple <strong>de</strong> cours« where factual knowledge and robust procedural knowledge has to be acquired […] Curr<strong>en</strong>tEuropean initiatives to standardise the assessm<strong>en</strong>t of language comp<strong>et</strong><strong>en</strong>ce provi<strong>de</strong> oneexample; in the context of ICT comp<strong>et</strong><strong>en</strong>ce, the European Driving Lic<strong>en</strong>ce, and Microsoftaccreditation provi<strong>de</strong> others”. <strong>Les</strong> tests sur Intern<strong>et</strong> ai<strong>de</strong>nt alors à améliorer l‟évaluation <strong>de</strong> cesconnaissances, <strong>en</strong>tre autres par leurs capacités multimédias qui les r<strong>en</strong><strong>de</strong>nt adaptables àdiffér<strong>en</strong>ts paliers, incluant à l‟alphabétisation, <strong>et</strong> à divers suj<strong>et</strong>s, comme les langues <strong>et</strong> les arts.La qualité <strong>de</strong> la conception. Fabi<strong>en</strong>ne Lancellale faisait ressortir dans sa contribution à laprés<strong>en</strong>te étu<strong>de</strong>: « que <strong>de</strong> compét<strong>en</strong>ces pourréaliser/ concevoir un questionnaire pertin<strong>en</strong>td'évaluation […] Combi<strong>en</strong> <strong>de</strong> fois nous avons étéconfrontés à <strong>de</strong>s questionnaires <strong>de</strong> très, trèsmauvaise qualité ! […] <strong>Les</strong> compét<strong>en</strong>cesnécessaires à la conception d'un questionnairecouvr<strong>en</strong>t aussi bi<strong>en</strong> <strong>de</strong>s domaines <strong>de</strong> rédacteur<strong>de</strong> cont<strong>en</strong>us, la maîtrise <strong>de</strong>s objectifs pédagogiques, une connaissance <strong>et</strong> une expertise sur lesoutils d'évaluations dans toutes leurs dim<strong>en</strong>sions (consignes, feedback, consignes successives,attribution <strong>de</strong>s notes,...) ». Il faudrait donc égalem<strong>en</strong>t former à la conception <strong>de</strong>s tests <strong>et</strong> <strong>en</strong>vérifier la qualité. Le JISC (2007) écrit à ce propos : “Questions in item banks also need to beassessed and in<strong>de</strong>xed so that each candidate experi<strong>en</strong>ces a test of equal measure to their ability,regardless of the combination of questions pres<strong>en</strong>ted to them in a randomly g<strong>en</strong>erated test”(JISC, 2007). De telles vérifications vis<strong>en</strong>t à assurer à la fois la fiabilité du test, c'est-à-dire sacapacité à m<strong>en</strong>er à <strong>de</strong>s résultats semblables lorsqu‟il est répété <strong>et</strong> sa validité, c‟est-à-dire sacapacité à bi<strong>en</strong> mesurer l‟atteinte <strong>de</strong> l‟objectif d‟appr<strong>en</strong>tissage fixé. L‟élaboration <strong>de</strong> ces outilspeut cep<strong>en</strong>dant être une occasion <strong>de</strong> collaboration comme dans le cas évoqué par Michel Vinc<strong>en</strong>t(2006) où, dans <strong>de</strong>s cours offerts par plusieurs professeurs, « ceux-ci ont parfois mis leursquestions d'évaluation <strong>en</strong> commun, perm<strong>et</strong>tant <strong>de</strong> créer <strong>de</strong>s blocs <strong>de</strong> questions aléatoires ». Etces <strong>défis</strong> <strong>de</strong> conception sont <strong>en</strong>core plus grands quand il s‟agit <strong>de</strong> simulations.<strong>Les</strong> questionnairesDes normes pour l’évaluationIl existe maint<strong>en</strong>ant une norme ISO (ISO/IEC23988:2007) sur l‟évaluation électronique. Lanorme : Information technology -- A co<strong>de</strong> ofpractice for the use of information technology (IT)in the <strong>de</strong>livery of assessm<strong>en</strong>ts <strong>et</strong> <strong>de</strong>sRecommandations internationales sur les testsinformatisés ou les tests distribués par Intern<strong>et</strong>.<strong>Les</strong> questionnaires, bi<strong>en</strong> plus que les simulations, suscit<strong>en</strong>t <strong>de</strong>s critiques <strong>en</strong> regard <strong>de</strong>s compét<strong>en</strong>cesqu‟ils peuv<strong>en</strong>t évaluer. Ils sont aussi, particulièrem<strong>en</strong>t lorsqu‟examinés sous l‟angle assez étroit <strong>de</strong>sévaluations sommatives à forte portée, ceux qui suscit<strong>en</strong>t le plus <strong>de</strong> craintes <strong>en</strong> matière <strong>de</strong> sécurité <strong>et</strong> d<strong>et</strong>richerie.Ils ont toutefois un avantage clair sur les autres mo<strong>de</strong>s d‟évaluation <strong>en</strong> <strong>ligne</strong> : l‟économie <strong>de</strong> temps <strong>et</strong> <strong>de</strong>REFAD Pratiques <strong>et</strong> <strong>défis</strong> <strong>de</strong> l’évaluation <strong>en</strong> <strong>ligne</strong> 2011
87coûts d‟administration qui y est liée. Dans les domaines où les connaissances <strong>et</strong> savoir-faire à évaluersont assez stables, une fois le développem<strong>en</strong>t complété, ils sauv<strong>en</strong>t effectivem<strong>en</strong>t du temps <strong>de</strong> correction<strong>et</strong> <strong>de</strong> rétroaction, du papier <strong>et</strong> d‟autres frais d‟administration. Le fait qu‟une même banque <strong>de</strong> questionspuisse servir à la fois à <strong>de</strong>s fins diagnostiques, formatives <strong>et</strong> sommatives contribue égalem<strong>en</strong>t à ceséconomies, tout <strong>en</strong> favorisant une évaluation continue.Ils sont, parmi les outils d‟évaluation surle Web, ceux que l‟informatique a sansdoute le plus <strong>en</strong>richis. En eff<strong>et</strong>, lesfonctionnalités <strong>de</strong>s questionnairesautomatisés ai<strong>de</strong>nt à contrer certaineslacunes pédagogiques <strong>de</strong> c<strong>et</strong>te formed‟évaluation qui était souv<strong>en</strong>t, dans uncadre d‟évaluation plus traditionnel, unemesure à une seule occasion, laissantune certaine place au hasard, incapabled‟éclairer suffisamm<strong>en</strong>t sur laprogression d‟un étudiant ou <strong>de</strong> luidonner une rétroaction significative (Dikli,2003). Au contraire, ces outils facilit<strong>en</strong>t maint<strong>en</strong>ant une évaluation quasi continue <strong>et</strong> peuv<strong>en</strong>t intégrer lesouti<strong>en</strong> à l‟appr<strong>en</strong>tissage <strong>et</strong> la rétroaction à l‟activité d‟évaluation même. Ils peuv<strong>en</strong>t égalem<strong>en</strong>t fournir àl‟<strong>en</strong>seignant <strong>de</strong>s <strong>données</strong> détaillées sur la progression individuelle <strong>de</strong>s étudiants <strong>et</strong> les difficultésr<strong>en</strong>contrées par le groupe <strong>et</strong> être ainsi susceptibles d‟améliorer son <strong>en</strong>seignem<strong>en</strong>t.<strong>Les</strong> simulationsContrairem<strong>en</strong>t aux questionnaires, dans le cas <strong>de</strong>s simulations, on m<strong>et</strong> l‟acc<strong>en</strong>t sur leur capacité à tester<strong>de</strong>s compét<strong>en</strong>ces non seulem<strong>en</strong>t <strong>de</strong> plus hauts niveaux, mais aussi <strong>de</strong>s types <strong>de</strong> compét<strong>en</strong>ces difficiles àtester sur campus, particulièrem<strong>en</strong>t <strong>de</strong>s savoirs faire. Elles <strong>de</strong>vi<strong>en</strong>n<strong>en</strong>t indisp<strong>en</strong>sables dans les cas oùl’expérim<strong>en</strong>tation est soit risquée, soit trop coûteuse, comme <strong>en</strong> santé, <strong>en</strong> transport ou <strong>en</strong> servicesd‟urg<strong>en</strong>ce <strong>et</strong> <strong>de</strong> sécurité. Elles <strong>en</strong>couragerai<strong>en</strong>t par ailleurs la p<strong>en</strong>sée critique <strong>et</strong> l’appr<strong>en</strong>tissage par ladécouverte, selon l‟étu<strong>de</strong> faite par Granland, Bergland <strong>et</strong> Erikson (2000) 224 qui ont examiné troissimulations <strong>en</strong> <strong>ligne</strong> dans trois universités.Leurs coûts peuv<strong>en</strong>t cep<strong>en</strong>dant être démesurém<strong>en</strong>t élevés. Ripley (2007) traite, par exemple, du proj<strong>et</strong>Key Stage 3 <strong>de</strong> la Qualifications and Curriculum Developm<strong>en</strong>t Ag<strong>en</strong>cy britannique, dont il dit qu‟il est “oneof the largest scale and most exp<strong>en</strong>sive e-assessm<strong>en</strong>t <strong>de</strong>velopm<strong>en</strong>ts in the world”. Il amène les étudiantsà résoudre <strong>de</strong>s problèmes <strong>de</strong> haut niveau dans un mon<strong>de</strong> virtuel, la ville <strong>de</strong> Pepford, s‟appar<strong>en</strong>tant àl‟<strong>en</strong>vironnem<strong>en</strong>t offert par Second Life. Toutefois, malgré ces coûts: “the full range of planned innovationhas not be<strong>en</strong> <strong>de</strong>livered”.Enfin, plus la simulation est complexe, plus il peut être difficile d’évaluer justem<strong>en</strong>t le parcours <strong>et</strong> lesrésultats d‟un appr<strong>en</strong>ant (Buzz<strong>et</strong>to-More <strong>et</strong> Ala<strong>de</strong>, 2006).4,22 <strong>Les</strong> autres évaluations <strong>en</strong> <strong>ligne</strong>Des quiz comme expéri<strong>en</strong>ce auth<strong>en</strong>tiqueL‟élaboration <strong>de</strong> quiz peut, <strong>en</strong> soi, être un appr<strong>en</strong>tissage <strong>et</strong> unexercice évalué. Comme le suggère Jacques Rod<strong>et</strong> 222 <strong>en</strong> parlant<strong>de</strong>s étudiants : « plutôt que <strong>de</strong> leur soum<strong>et</strong>tre <strong>de</strong>s quiz, faites leur<strong>en</strong> concevoir […] Ceci constitue une activité cognitive <strong>de</strong> bi<strong>en</strong> plushaut niveau que la simple mémorisation, seule nécessaire pourrépondre aux quiz » <strong>et</strong> perm<strong>et</strong> <strong>de</strong> constituer une banque <strong>de</strong>questions réutilisables.C‟est <strong>en</strong> partie ce qu‟a fait WikiV<strong>et</strong>, un site collaboratif d‟écolesvétérinaires britanniques. Ses WikiQuiz, <strong>de</strong>s tests formatifs, ont étéconstruits avec la participation d‟étudiants 223En ce qui a trait aux activités d‟évaluation plus alternatives sur le Web, on sou<strong>ligne</strong> comme principauxavantages communs:L‟ouverture sur le mon<strong>de</strong>. De façon générale, ces activités <strong>en</strong> <strong>ligne</strong> : “connect to the worldoutsi<strong>de</strong> the classroom, to research topics that would otherwise be inaccessible, to access expertsand to <strong>en</strong>gage in conversations with peers” (Mcloughlin <strong>et</strong> Luca, 2001).L‟interaction <strong>en</strong> <strong>ligne</strong>. Non seulem<strong>en</strong>t, elles repos<strong>en</strong>t fréquemm<strong>en</strong>t sur une conversation ou unecollaboration qui est <strong>en</strong> soit formative, elles perm<strong>et</strong>t<strong>en</strong>t à <strong>de</strong>s étudiants qui s‟exprim<strong>en</strong>t peu <strong>en</strong>classe <strong>de</strong> s‟y s<strong>en</strong>tir plus à l‟aise (University of Technology, 2007) <strong>et</strong> <strong>de</strong> poser leurs questions aumom<strong>en</strong>t qui leur convi<strong>en</strong>t. Drave (2000) 225 souti<strong>en</strong>t d‟ailleurs qu‟il y a maint<strong>en</strong>ant une interactionplus gran<strong>de</strong> dans les cours sur le Web que dans l‟instruction plus traditionnelle. Le dialogue yserait égalem<strong>en</strong>t plus personnel <strong>et</strong> plus <strong>en</strong> profon<strong>de</strong>ur <strong>et</strong> les r<strong>en</strong>seignem<strong>en</strong>ts personnels fournis,généralem<strong>en</strong>t dans <strong>de</strong>s messages <strong>de</strong> prés<strong>en</strong>tation, ai<strong>de</strong>nt les formateurs à mieux évaluer lesREFAD Pratiques <strong>et</strong> <strong>défis</strong> <strong>de</strong> l’évaluation <strong>en</strong> <strong>ligne</strong> 2011
- Page 1 and 2:
Les pratiques et défis de l’éva
- Page 3 and 4:
TABLE DES MATIÈRESSommaire .......
- Page 6 and 7:
IntroductionAssessment is central t
- Page 8 and 9:
Chapitre 1.Des facteurs de dévelop
- Page 10 and 11:
10comme ailleurs, on fait un consta
- Page 12 and 13:
12Des évaluations variéesRegardle
- Page 14 and 15:
141,26 La fréquence de la mesureRa
- Page 16 and 17:
161,3 Vers un alignementA good teac
- Page 18 and 19:
18Une histoire, quatre perspectives
- Page 20 and 21:
20de la recherche sous-jacente d‟
- Page 22 and 23:
Chapitre 2.Des pratiques et modèle
- Page 24 and 25:
24Les QCM conventionnels ne sont to
- Page 26 and 27:
26Son utilisationJusqu‟au début
- Page 28 and 29:
28réordonner les questions et les
- Page 30 and 31:
30Dans de grands groupesL‟usage d
- Page 32 and 33:
32En ce qui a trait à l‟étudian
- Page 34 and 35:
34simulations. En effet, on peut al
- Page 36 and 37: 36le tuteur. Les nombreux outils ma
- Page 38 and 39: 382,22 Les cyberportfoliosIl me sem
- Page 40 and 41: 40Le portfolio comme activité d’
- Page 42 and 43: 42L’Option du blogueSonia Blouin
- Page 44 and 45: 44Des sites de logiciels comme Zuna
- Page 46 and 47: 46handicapé, l‟impact du daltoni
- Page 48 and 49: 48éventuellement à lui construire
- Page 50 and 51: 50Les étudiants complètent chaque
- Page 52 and 53: 52madame Blouin pour cette recherch
- Page 54 and 55: 54Le plagiatLa Commission de l‟é
- Page 56 and 57: 56• Une faible minorité d‟appr
- Page 58 and 59: 58Des recherchesPlusieurs études o
- Page 60 and 61: 6057,2 % d’entre eux vont encore
- Page 62 and 63: 62relevait des taux de tricherie de
- Page 64 and 65: 64parmi le groupe le plus à risque
- Page 66 and 67: 66journaux étudiants, dans la docu
- Page 68 and 69: 68La formation à la rechercheIl se
- Page 70 and 71: 70• demander l’analyse ou la cr
- Page 72 and 73: 72De façon générale, on estime q
- Page 74 and 75: 74• Le climat de non-confiance au
- Page 76 and 77: 76Grijalva et autres (2006) font é
- Page 78 and 79: 78En résumé : Des exercices sur l
- Page 80 and 81: 80168 Bunn, D. N., Caudill, S. B. e
- Page 82 and 83: Chapitre 4.Des avantages et d’aut
- Page 84 and 85: 84l‟ouvrage et de s‟assurer que
- Page 88 and 89: 88styles d‟apprentissage et perso
- Page 90 and 91: 90En résumé : Des exercices sur l
- Page 92 and 93: ConclusionThe issue for e-assessmen
- Page 94 and 95: ANNEXE : Un inventaire de logiciels
- Page 96 and 97: 96mots à partir d’un fichier au
- Page 98 and 99: 98Respondussecondaire, liés à des
- Page 100 and 101: 100CMapToolsComputerisedassessment
- Page 102 and 103: 102CopyTrackerLogiciel libre de dé
- Page 104 and 105: Bibliographie 1Cette bibliographie
- Page 106 and 107: 106system that tutors as it assesse
- Page 108 and 109: 108http://www.matimtl.ca/ePortfolio