Les pratiques et défis de l'évaluation en ligne - Base de données en ...

33transversale d’habituer les étudiants à se questionner sur leur propre certitude », qui « assure unepluridimensionnalité car sont alors mesurés à la fois l’exactitude des réponses (cognition) de l’étudiant etle réalisme (métacognition) de cet étudiant » (Poumay, 2003). Il permet aussi d‟identifier plus justementles fausses perceptions et d‟ajuster la pédagogie en conséquence, comme le note le JISC (2010) enregard de son application à l‟Université de Glamorgan. Cette façon d‟évaluer est employée depuis lesannées 1990 à l‟école de médecine de l‟University College de Londres (UCL). L‟étudiant inscrit un degréde certitude en regard de chaque question de tests puisés dans une banque de questions. Le test mêlequestions simples et complexes, ce qui favorise une réflexion plus approfondie. De même, ce type demesure est utilisé dans les tests administrés par Hanzen et autres (2010) à l‟Université de Liège. Ils yemploient une échelle de certitude à six degrés et donnent des résultats différents aux réponses correcteset incorrectes selon le degré de confiance indiqué. Ainsi, l‟étudiant qui associe une confiance plus élevéeà une bonne réponse obtient davantage de points, mais il en perd davantage si sa réponse est mauvaise.Pour le JISC (2007), cette façon d‟évaluer peut faire en sorte que des questionnaires, même objectifs,mesurent des compétences de plus haut niveau, en obligeant l‟étudiant à réfléchir davantage et às‟autoévaluer.Le développement de banques de questionsUn des principaux défis de l‟utilisation des questionnaires par Internet est le temps considérable qui doitgénéralement être consacré à la construction d‟exercices de qualité. Il faut non seulement « beaucoup detemps pour rédiger les énoncés et les propositions » de façon à ce qu‟ils soient exacts, clairs et valides enregard des objectifs d‟apprentissage, mais il faut en plus élaborer « les corrections et rétroactions auxréponses fournies par les apprenants » 91 . Ils sont donc, comme l‟indique Vincent (2006): « le résultat d’undur labeur, collectif ou individuel ».Pour faciliter la tâche, des services comme Respondus donnent accès à des milliers de questions liées auxmanuels scolaires de grands éditeurs anglophones. Mais les efforts collaboratifs entre enseignants d‟unmême établissement, d‟un même domaine ou d‟un même réseau se multiplient. Ceux-ci accroissent nonseulement la quantité d‟exercices disponibles, mais contribuent à en améliorer la qualité, en incluant desmécanismes de révision par les pairs.L‟Écosse par exemple, sous la gouverne de sa Scottish Qualifications Authority (SQA), a développé unetelle banque des questions en ligne (JISC, 2006 et 2007). C‟est aussi en Écosse que s‟est développé leprojet Collaborating for change (COLA), lui-même partie du projet COLEG (Scottish Colleges Open learningExchange Group) pour construire des tests automatisés pouvant être utilisés dans les quatreenvironnements d‟apprentissage alors présents dans les collèges écossais : Blackboard, Moodle, Serco(Teknical) Virtual Campus et WebCT.Il a mené au développement collaboratif, par environ 100 auteurs, d‟une banque de plus de 500 jeuxquestionnairesformatifs en réseau. Le projet a d‟abord choisi, parmi 18 disciplines, trois domaines àdévelopper en priorité : l‟informatique, les technologies de l‟information et les affaires. Il a par ailleurs limitéle type de questions à concevoir. Les rédacteurs volontaires ont été formés lors d‟ateliers. Leurs questions,rédigées à l‟aide de modèles en Word, étaient revues par les pairs et par les responsables du projet.La conversion des questions dans un format compatible avec les quatre environnements d‟apprentissage aété un défi. Le IMS Question and Test Interoperability (QTI) standard (IMS-QTI) a été choisi, mais il s‟estavéré que les plateformes n‟y étaient pas totalement compatibles. Les questions d‟infrastructures etd‟interopérabilité qui peuvent freiner de tels projets sont abordées plus en détail dans le rapport de la ItemBanks Infrastructure Study (IBIS), également financé par le JISC.Les exerciseurs par Internet résultant du projet COLA sont utilisables par les collèges écossais depuis2005. « Tutors who have used the assessments regard them very highly » (JISC, 2006) et tant lesformateurs que les étudiants considèrent leur usage bénéfique. Il semble que le projet a également aidé àfaire connaître l‟évaluation en ligne et ses possibilités.2,12 Les simulationsLorsque des logiciels de questionnaire automatisés permettent l‟emploi d‟éléments multimédias à la foisdans les questions et dans les réponses, il peut devenir difficile de tracer une frontière entre QCM etREFAD Pratiques et défis de l’évaluation en ligne 2011