Prestaties op papieren en digitale examens wat is het verschil?

mede veroorzaakt doordat de computer ingevoerde antwoorden van kandidaten ten onrechte als
fout interpreteert terwijl een menselijke beoordelaar ze op papier goed of gedeeltelijk goed zou
rekenen (zie hiervoor ook paragraaf 3.5).
Een andere mogelijk bron van moduseffecten is dat het ontwerp van de interface het niet toestaat
om fouten bij het invoeren van antwoorden onmiddellijk te corrigeren of om eerder ingevoerde
antwoorden te bekijken en zo nodig te veranderen, zoals bij een PPT-versie van dezelfde toets
uiteraard wel mogelijk is. Overigens zijn de auteurs van mening dat het hier een triviaal
ontwerpprobleem betreft aangezien er ten tijde van hun review reeds verschillende goede
oplossingen beschikbaar waren (die vanaf 2015 ook in de rekentoetsen geïmplementeerd zijn).
Wise en Plake (1989)
De review van Wise en Plake (1989) is vooral van belang voor onze derde vraagstelling naar het
vermeende negatieve effect van het ontbreken van mogelijkheden tot item review in eerstegeneratie
CBT op de prestaties. Vandaar dat we de resultaten ervan bespreken in paragraaf 3.3.
Dillon (1992)
De review van Dillon (1992) is voor ons minder interessant omdat het vooral betrekking heeft op
verschillen tussen het lezen en begrijpen van grote hoeveelheden informatie op het scherm of
papier. Een van de conclusies was dat het lezen van het scherm ongeveer 20% tot 30% langzamer
gaat dan van papier, een conclusies die anno 2015 vanwege de grote technische verbeteringen
waarschijnlijk grotendeels achterhaald is.
Bergstrom (1992)
Bergstrom (1992) analyseerde twintig studies zoals beschreven in acht onderzoeksrapporten waarin
de prestaties op PPP werden vergeleken met die op adaptieve computertoetsen (CAT). Ondanks
verschillen tussen de studies qua getoetste leerstof, de leeftijd van de proefpersonen, het gebruikte
IRT-model en het onderzoekontwerp bleken PPT en CAT over het algemeen tot vergelijkbare
prestaties te leiden. Na verwijdering van vijf studies die te sterk bijdroegen aan de heterogeniteit van
de effectgroottes, vond zij een gemiddelde effectgrootte van -.002. In de studies waarin een
significant gemiddeld verschil gevonden werd, waren de scores op de PPT hoger dan die op de CAT
als de PPT als eerste was afgenomen. De auteur doet de aanbeveling nader onderzoek te doen naar
scrollen als mogelijke verklaring voor de lagere prestaties op CAT.
Mead en Drasgow (1993)
In hun meta-analyse analyseerden Mead en Drasgow (1993) een groot aantal studies naar verschillen
tussen papieren en digitale afname van power en speedtests. Voor power tests met een tijdslimiet -
die in het onderwijs veel gebruikt worden - bedroeg de effectgrootte van het gemiddeld verschil
tussen PPT en CBT .03 met een standaarddeviatie van .15. CBT’s zijn gemiddeld dus nauwelijks
moeilijker dan PPT’s en het gemiddeld prestatieverschil varieert weinig van studie tot studie.
Mead en Drasgow (1993) keken ook naar het effect van de afnamemodus op de rangordening van
degenen die getoetst werden. Voor power tests was de gemiddelde correlatie (na correctie voor
onbetrouwbaarheid) zeer hoog, te weten .91 over 123 geanalyseerde correlaties, wat er op wijst dat
de rangordening van de leerlingen nagenoeg gelijk is.
Voor speed tests was de gemiddelde correlatie veel lager, namelijk .72 over 36 correlaties.
De auteurs vonden geen verschil tussen lineaire (CBT) en adaptieve (CAT) digitale toetsing.
© Stichting Cito, Arnhem 2015 10