Prestaties op papieren en digitale examens wat is het verschil?

Mason, Patry en Bernstein (2001)
Mason, Patry en Bernstein (2001) vergeleken de scores op PPT en CBT met een vergelijkbare
flexibiliteit. Dit wil zeggen: met vergelijkbare mogelijkheden om terug te keren naar eerder gemaakte
vragen, vragen over te slaan, antwoorden opnieuw te bekijken en zo nodig te veranderen en
dergelijke. Aan het onderzoek namen 27 psychologiestudenten deel. Voor de prestaties bleek het
niet uit te maken of de studenten de PPT of de CBT maakten. De onderzoekers schrijven dit toe aan
het gegeven dat hun CBT de flexibiliteit van een PPT nauwkeurig nabootste (en de motivatie van de
studenten in beide condities even hoog was). De kandidaten konden op effectieve wijze door de CBT
navigeren en behaalden daardoor met PPT equivalente scores.
Russell, Goldberg en O’Connor (2003)
Op basis van een review concluderen Russell et al. (2003) dat ”administration factors, such as
transfer of problems from the screen to scratchwork space, lack of scratchwork space, and inability to
review and/or skip individual test items, were found to affect [computer-based] test performance
significantly” (p. 282). Verder concluderen zij dat “research on some mathematics tests indicates that
validity is threatened when students experience difficulty accessing scratch paper in which they
perform calculations” (p. 288). Voor een bespreking van de uitkomsten van de door hen aangehaalde
studies wordt de geïnteresseerde lezer verwezen naar paragraaf 3.4 en 3.5 van dit rapport.
Revuelta, Ximénez en Olea (2003)
Revuelta, Ximénez en Olea (2003) namen drie versies van een digitale test Engels voor Spaanstalige
eerste-jaarstudenten psychologie. De drie versies waren lineaire CBT, adaptieve CAT en een CATversie
(ECAT) met toewijzing van iets gemakkelijkere items dan bij de ‘gewone’ CAT. De vier condities
waren: geen item review, review alleen aan het einde van de toets, review per blok van vijf items en
review voor elk item.
Item review resulteerde bij alle drie versies in hogere prestaties, maar ook in een aanzienlijke
verlenging van de toetstijd (gemiddeld over alle versies en condities met 21%). Van alle leerlingen
maakte 90% gebruik van de mogelijkheden tot item review, waarvan 65% van item review
profiteerden.
De onderzoekers rapporteren ook de uitkomsten afzonderlijk voor de lineaire CBT-versie (die het
meest vergelijkbaar is met de rekentoets). Van de leerlingen maakte 87% gebruik van item review.
Van alle antwoorden werd 16% gewijzigd. Van de gewijzigde antwoorden werd 59% gewijzigd van
fout naar fout, 32% van fout naar goed en 9% van goed naar fout. Van alle leerlingen in de CBTconditie
profiteerde 64% van item review.
Paek (2005)
Paek (2005) reviewde een aantal K12-studies met meerkeuzetoetsen die vóór en na 1993 waren
uitgevoerd. Zij concludeert dat de scores op recentere PPT en CBT vergelijkbaar zijn over leerjaren en
vakgebieden. Zij geeft hiervoor twee mogelijke verklaringen. Een eerste verklaring is dat kandidaten
tegenwoordig vaardiger zijn in het gebruik van de computer dan voorheen. Als tweede verklaring
noemt zij het gegeven dat moderne toets-systemen vergelijkbare mogelijkheden bieden om vooruit
en achteruit te bladeren, items over te slaan en itemantwoorden te bekijken en te veranderen als
traditionele papieren toetsen. De nieuwe navigatietools maken het mogelijk dezelfde test-takingstrategies
toe te passen als bij papieren toetsen, met als resultaat meer equivalente scores. Een
uitzondering vormen meerkeuze-items met lange leesteksten waar kandidaten moeten scrollen: die
© Stichting Cito, Arnhem 2015 27