Prestaties op papieren en digitale examens wat is het verschil?

zij van Steps gebruik wilden maken door de knop More steps al dan niet aan te klikken. Om de
maximumscore te behalen, moest de leerling alle deelvragen goed beantwoord hebben. De keuze
voor Steps leidde dus niet automatisch tot aftrek van punten. De keuze voor Steps bleef echter niet
geheel ongestraft, aangezien de toets een tijdslimiet kende en de stapsgewijze bevraging meer tijd
bleek te kosten dan de reguliere bevraging. Zoals verwacht bleken goede leerlingen de toetsvragen
vaak snel te beantwoorden zonder de tussenstappen te gebruiken. Sommigen van hen liepen
daardoor echter punten mis die zij wel gekregen zouden hebben als een menselijke beoordelaar hun
antwoorden op papier beoordeeld zou hebben. Zwakkere leerlingen kozen veelvuldig voor Steps,
bijvoorbeeld als zij niet onmiddellijk in staat waren een ‘beginnetje’ te vinden of tussentijds
‘vastliepen’ bij het vinden van een antwoord. Zij verdienden daardoor punten die beoordelaars van
een PPT ook gegeven zouden hebben. Het kwam maar weinig voor dat de zwakkere leerlingen niet
voor Steps kozen terwijl zij dat beter wel hadden kunnen doen.
Deze keuze om Steps al dan niet te gebruiken vereist toetsvaardigheden die bij een PPT niet nodig
zijn. De kandidaat moet het voordeel van het uitzicht op partial credit namelijk afwegen tegen het
nadeel van een toename van de afnametijd. De onderzoekers doen dan ook de aanbeveling om deze
nieuwe toetsvaardigheden terdege te trainen.
McGuire, Youngson, Korabinski en McMillan (2002)
Aanleiding van het onderzoek van McGuire, Youngson, Korabinski en McMillan (2002) waren de
problemen met de alles-of-niets scoring van alleen het eindantwoord in traditionele CBT. Als het
scoringsalgoritme de kandidaat nul punten toekent, betekent dat niet automatisch dat hij of zij over
geen enkele wiskundige vaardigheid beschikt.
Modernere CBT’s die mogelijkheid bieden tot stapsgewijze aanbieding van vragen, kunnen partial
credit toekennen, bijvoorbeeld voor het vinden van het juiste begin van het antwoord (Engels: the
correct start to the answer), voor de correcte toepassing van de formule (ook al gebruikte de
kandidaat in de formule een verkeerd getal vanwege een reken- of slordigheidsfoutje eerder in de
opgave) of voor stapelfouten (Engels: follow-through errors) waarmee wordt voorkomen dat
dezelfde fout de kandidaat meer dan één keer aangerekend wordt.
In een zeer invloedrijk onderzoek vergeleken McGuire, Youngson, Korabinski en McMillan (2002) de
digitale beoordeling van wiskundige vaardigheden met en zonder recht te doen aan gedeeltelijk
goede antwoorden. In een experimenteel onderzoeksontwerp vergeleken zij de volgende drie versies
van dezelfde wiskundetoets die verschilden in de hoeveel hulp die de kandidaat geboden werd:
No Steps format (NS): een traditionele CBT-versie met geautomatiseerde dichotome scoring van
alleen het eindantwoord. In het No Steps format werden gedeeltelijk goede antwoorden dus niet
beloond.
Compulsory Steps (CS) format: een CBT-versie met zogenoemde Steps waarbij elke examenvraag
in een aantal deelvragen was opgedeeld. Om de maximumscore te behalen, moest de kandidaat
zowel de antwoorden op de deelvragen als het antwoord op de eindvraag goed hebben. De
deelvragen kwamen bij benadering overeen met de “method the student would have to go
through in order to solve the question” (p. 224). Omdat de kandidaat niet voor Steps kon kiezen,
werd deze versie aangeduid met de term Compulsory Steps.
Optional Steps (OS) format: een hybride CBT-versie die het midden hield tussen NS en CS. De
kandidaat kreeg de examenvraag eerst in het NS-format te zien en kon daarna desgewenst
kiezen voor Steps. Had de kandidaat eenmaal voor Steps gekozen, dan moesten alle deelvragen
© Stichting Cito, Arnhem 2015 16