Processus d'élaboration des tests - CPASS - Université de Montréal

Vol. 50, n° 1, 2004 AUTO-ÉVALUATION DES INTERNES EN NEUROCHIRURGIE 69d’un questionnaire anonyme portant sur les besoinsressentis par les internes, le Collège des Enseignantsde Neurochirurgie a proposé la mise enplace d’une auto-évaluation des étudiants aucours de leur cursus [10]. En effet, il est apparu, àla lecture des résultats de ce questionnaire, queles internes ressentaient, du fait de leur petit nombreet de leur éloignement géographique, le besoinde mesurer au cours de leur formation leurniveau d’expertise, tant par rapport aux autres internesque par rapport au niveau de connaissancesrequis en fin d’internat.L’intérêt d’une évaluation formative, c’est-à-direune évaluation qui vise à donner aux étudiants desinformations quant à leur progression en cours decursus est aujourd’hui largement reconnu [7, 12] :l’étudiant peut (sous la supervision de son tuteurdans le cas de la Neurochirurgie) reconnaître sespoints forts, mais aussi ses faiblesses, et recentrer sinécessaire ses apprentissages. En Neurochirurgie, leTCS est utilisé comme outil d’une évaluation formative,et non sanctionnelle. Par ailleurs, l’architecturedu test permet son utilisation dans le cadred’une auto-évaluation donnée sur Internet.En Neurochirurgie, il a été décidé, pour desquestions de faisabilité, de limiter la taille de chaquetest de concordance de script à 30 unités, soit 90items, auxquelles l’interne doit répondre en uneheure au maximum. Le passage du test se fait parInternet, à partir du site du campus numérique deNeurochirurgie (www.campus-neurochirurgie.org).Un logiciel a été développé au préalable par le départementcommunication, audiovisuel et multimédia(DCAM) de l’Université Bordeaux-2. Leresponsable du test choisit initialement, dans la banquede questions, les 30 unités qu’il retiendra pour letest. Ce choix peut se faire par présentation clinique,par domaine de la spécialité, ou de façon aléatoire.L’étudiant accède au site Internet en utilisantun identifiant propre. Le score obtenu lui estindiqué à l’issue du test. Le test devant être passépar l’ensemble des internes, le site reste accessiblependant une période de temps donnée (une semaine).Chacun peut se connecter, quand il le souhaite,pendant cette période. Cette possibilité depasser le test sur une période d’une semaine seulementa été décidée afin de permettre de présenterles résultats de chaque interne par rapport à l’ensembledu groupe, ainsi qu’à ceux des autres internesplus ou moins avancés dans leur formation.LES ÉTAPES DE LA RÉALISATIONPREMIÈRE ÉTAPE : DÉFINITION DES DIFFÉRENTSDOMAINES DE LA SPÉCIALITÉLa population-cible et le domaine à évaluerétant connus, la première étape consistait en laTABLEAU I. — Liste des 18 domainesde Neurochirurgie.TABLE I. — The 18 domains of neurosurgery.1. Traumatologie : crâne2. Traumatologie : rachis3. Tumoral :crâne4. Tumoral :rachis5. Vasculaire : crâne6. Vasculaire : rachis7. Dégénératif8. Fonctionnel9. Pédiatrie10. Pathologie nerveuse périphérique11. Malformatif12. Hydrocéphalie13. Infections et parasitoses : crâne14. Infections et parasitoses : rachis15. Complications de la chirurgie16. Diagnostics non chirurgicaux17. Investigation18. Localisationdéfinition des différents domaines de la spécialité,c’est-à-dire des grandes catégories diagnostiquesqui permettent de classer les items par étiologie(nosographie). Ce travail a été effectué par le bureaudu Collège, en janvier 2002. Quinze domainesont initialement été retenus. Nous avons étéamenés, dans un second temps, à ajouter troisnouveaux domaines (tableau I), ne rentrant dansaucun domaine de la spécialité mais fréquemmentretrouvés en clinique :— diagnostics non chirurgicaux (n° 16) : neurologiquesou rhumatologiques, la plupart dutemps,— investigation (n° 17) : il s’agit de questionsportant sur la stratégie d’investigation permettantd’arriver au diagnostic,— localisation (n° 18) : la localisation d’unelésion peut ne faire référence à aucun diagnostic.DEUXIÈME ÉTAPE : DÉFINITIONDES PRÉSENTATIONS CLINIQUESNous nous sommes attachés à définir les présentationscliniques considérées comme les plusreprésentatives de la Neurochirurgie.Les présentations cliniques qui devaient êtreretenues ont été sélectionnées selon la méthode« PUIGE » : prévalence — urgence — interventionthérapeutique possible — gravité — exemplarité(c’est-à-dire valeur didactique).Trente-deux présentations ont été retenues initialement; deux ont été ajoutées secondairement(tableau II).

70 F. CAIRE et al. NeurochirurgieTABLEAU II. — Liste des présentations cliniques retenues.TABLE II. — Clinical presentations retained.1. Mouvements anormaux2. Troubles cognitifs3. Syndrome confusionnel4. Troubles de la vigilance et coma5. Main douloureuse insomniante6. Lombalgies et dorsalgies chroniques7. Lombo-radiculalgies8. Névralgie cervico-brachiale9. Algie faciale10. Céphalées11. Syndrome méningé12. Traumatisme crânien de l’enfant13. Traumatisme crânien de l’adulte14. Traumatisme rachidien15. Complications post-opératoires chez un opéré crânien ourachidien16. Paralysie faciale17. Hémiplégie18. Monoplégie19. Paraplégie et tétraplégie (hors traumatismes)20. Suivi d’une tumeur cérébrale21. Découverte fortuite d’une image au scanner22. Crise convulsive inaugurale23. « Un signe, une image » : corrélation radio-clinique24. Troubles de la vision et exophtalmie25. Surdité unilatérale et acouphènes26. Déformation crânio-faciale27. Anomalie du périmètre crânien28. Écoulement liquidien par le nez ou les oreilles29. Déformation rachidienne douloureuse30. Dysraphisme et anomalie de charnière31. Troubles sphinctériens32. Troubles de la marche et de la statique33. Tumeurs de la voûte du crâne34. AnosmieLes 4 à 5 hypothèses diagnostiques les pluspertinentes pour chacune des présentations cliniquesont ensuite été définies. La définition desgestes cliniques, de la stratégie d’investigation etde la stratégie thérapeutique pour chaque présentationa été réalisée ultérieurement.TROISIÈME ÉTAPE : RÉDACTION DES TCSLa rédaction des vignettes cliniques et desitems correspondants a été réalisée par deux desauteurs entre mai et octobre 2002. Ce travail a étéréalisé au cours d’un préceptorat de pédagogie àl’Unité de Recherche et de Développement enÉducation des Sciences de la Santé (URDESS) del’Université de Montréal.Pour chaque présentation clinique, ont été définis,dans la continuité des travaux du Collègedes Enseignants, les signes cliniques (confirmantou infirmant le diagnostic) qui doivent être recherchésà l’interrogatoire et à l’examen clinique,la stratégie d’investigation ainsi que les résultatsattendus des examens complémentaires, enfin lesschémas thérapeutiques envisageables.Le test de concordance de script est un outil endevenir ; il est donc apparu nécessaire de formaliserautant que possible les règles à suivre pour larédaction des unités. Ainsi, il a été décidé de travaillerexclusivement sur la base des trois formatsprésentés plus haut (vignettes diagnostiques, vignettesd’investigation, vignettes de traitement).Le nombre d’items a également été fixé à troispour les différentes unités, alors que la plupartdes travaux réalisés jusqu’alors utilisaient unnombre variable d’items. En dehors d’un souciévident de lisibilité, nous espérions ainsi faciliterle travail d’interprétation des résultats du test.Nous avons relevé quatre difficultés particulièresau cours de la rédaction des vignettes et desitems :1) Le TCS est utilisable pour l’exploration deproblèmes cliniques mal définis. Il est intéressantdans des cas où existe un certain degré d’incertitude,c’est-à-dire lorsque les données à la dispositiondu clinicien sont incomplètes ou ambiguës.Cela exclut toutes les questions (notamment cliniques)auxquelles on peut répondre par « oui » ou« non ». De telles questions sont du ressortd’autres modes d’évaluation, notamment lesQCM. Tous les cas pour lesquels il existait une solutionobjective et consensuelle ont donc été éliminés.2) Le TCS ne permet pas d’explorer des présentationscliniques très inhabituelles ou atypiques :le clinicien, n’ayant pas rencontré auparavant desituation similaire, ne peut pas faire appel à desscripts, c’est-à-dire à des réseaux de connaissancesdéjà organisées [4]. On sait d’ailleurs que, quelque soit le mode d’évaluation, les questions lesplus difficiles ne sont pas les plus discriminantes.3) Nous avons relevé une relative difficultéd’écriture des vignettes diagnostiques faisant appelà des éléments cliniques strictement neurochirurgicaux.En effet, ces vignettes font intervenir trèslargement des diagnostics différentiels neurologiqueset rhumatologiques. Un diagnostic n’estqu’exceptionnellement neurochirurgical d’emblée,et une vignette d’orientation diagnostiquepeut très facilement ne comporter que des diagnosticsneurologiques. Ce problème est toutefoisprobablement spécifique de la Neurochirurgie, etnon transposable à d’autres spécialités.4) L’estimation du niveau de difficulté desitems au cours de leur rédaction reste un des problèmesmajeurs. Il est en effet délicat d’estimer apriori quel est le degré d’expertise requis pour résoudretel ou tel item. Le risque récurrent est derédiger un item non discriminant parce que tropfacile ou trop difficile. Seule l’analyse docimologiquea posteriori permet d’éliminer de tels items.

72 F. CAIRE et al. NeurochirurgieSIXIÈME ÉTAPE : CONSTRUCTION DES GRILLESDE RÉPONSECette dernière étape a pu être réalisée lors ducolloque annuel du Collège des Enseignants deNeurochirurgie, en janvier 2003. Dix-neuf expertsont été répartis en trois groupes, chacun ayant encharge la cotation de 78 unités. Les experts ontpassé les tests dans les mêmes conditions que lesétudiants, leurs réponses permettant d’établir lagrille de correction selon le modèle décrit plus haut.CONCLUSIONLe test de concordance de script est un outildocimologique novateur, permettant d’évaluerle raisonnement clinique en contexte d’incertitude,c’est-à-dire lorsque le clinicien ne disposepas de toutes les données permettant la résolutiondu problème. En Neurochirurgie, le TCSest utilisé comme instrument d’évaluation formative,destiné aux internes DES et DIS. Il permetà l’étudiant de se situer par rapport à laréférence que constitue le panel d’experts, maisaussi par rapport aux autres étudiants, de mêmeniveau ou de niveaux différents. Il permet surtoutà chacun de suivre sa propre évolution aucours de son cursus, pour les différents domainesde la spécialité. Son informatisation sur lesite du campus numérique de Neurochirurgie luiconfère, par ailleurs, une grande souplesse demise en œuvre et d’utilisation.Le travail qui a été réalisé a permis la mise enplace du cadre de cette nouvelle évaluation, ainsique la rédaction d’une première série d’unités. Unpremier test de concordance de script composé de30 unités portant sur trois domaines différents aainsi pu être organisé au cours d’une Journée Nationaled’Enseignement.L’implication de la communauté neurochirurgicaledans ce projet est indispensable, pour en assurerla pérennité et la diffusion, mais aussi laqualité, en permettant la rédaction de nouvellesquestions.Remerciements. — Deux des auteurs ont bénéficié debourses du Collège de Enseignants de Neurochirurgiepour réaliser ce travail.RÉFÉRENCES[1] BORDAGE G. Elaborated knowledge : a key to successfuldiagnostic thinking. Acad Med 1994 ; 69 : 883-5.[2] BRAILOVSKI C, CHARLIN B, BEAUSOLEIL S, COTE S,VAN DER VLEUTEN C. Measurement of clinical reflectivecapacity early in training as a predictor of clinicalreasoning performance at the end of residency : anexperimental study on the script concordance test. MedEduc 2001 ; 35 : 430-6.[3] CHARLIN B, BORDAGE G, VAN DER VLEUTEN C. L’évaluationdu raisonnement clinique. Pédagogie Médicale2003 ; 4 : 42-52.[4] CHARLIN B, TARDIF J, BOSHUIZEN HP. Scripts andmedical diagnostic knowledge : theory and applicationsfor clinical reasoning instruction and research. AcadMed 2000 ; 75 : 182-90.[5] CHARLIN B, VAN DER VLEUTEN C. Standardized assessementin context of uncertainty : the script concordanceapproach. Evaluation and the health professions.Submitted, July 2003.[6] CHARLIN B, GAGNON R, SIBERT L, VAN DER VLEUTENC. Le test de concordance de script, un instrumentd’évaluation de raisonnement clinique. PédagogieMédicale 2002 ; 3(3) : 136-144.[7] CROSSLEY J, HUMPHRIS G, JOLLY B. Assessing healthprofessionals. Med Educ 2002 ; 36 : 800-5.[8] LEGENDRE R. Dictionnaire actuel de l’éducation.1 re édition. Paris : Larousse, 1988.[9] LLORCA G, ROY P, RICHE B. Evaluation de la résolutionde problèmes cliniques mal définis en éthique clinique: variation des scores selon les méthodes decorrection et les caractéristiques des jurys. PédagogieMédicale 2003 ; 4(2) : 80-88.[10] MOREAU JJ. Améliorer la formation en Neurochirurgie.Neurochirurgie 2002 ; 48 : 307-8.[11] SCHMIDT HG, NORMAN GR, BOSHUIZEN HP. A cognitiveperspective on medical expertise : theory andimplication. Acad Med 1990 ; 65 : 611-21.[12] WASS V, VAN DER VLEUTEN C, SHATZER J, JONES R.Assessment of clinical competence. Lancet 2001 ; 357 :945-9.