Rapportage EMP-project - Landscape of Digital Testing and ...

Rapportage EMP-project
‘Voorwaarden voor de realisering van een
papierloos toetstijdperk voor de opleiding GNK en
andere opleidingen in en buiten het UMC Utrecht’
September 2007-september 2008
Projectteam:
dOO-UMCU
Willie Hols (projectleider)
Anke Bootsma
Olle ten Cate
IVLOS
Robert-Jan Simons
Magda Ritzen
Versie 1.0, 26 september 2008

Samenvatting EMP-rapportage 5
1. Inleiding 6
2. Digitaal toetsen in het UMCU: stand van zaken 8
3. Pilots met digitaal toetsen 9
4. Randvoorwaarden digitaal toetsen in UMCU 12
4.1 Inleiding 12
4.2 Onderwijskundige randvoorwaarden (o.a. itembanken) 12
4.3 Organisatorische randvoorwaarden 12
4.4 Technische randvoorwaarden 13
4.5 Financiele randvoorwaarden 13
4.6 Conclusie (inclusief haalbaarheid binnen UMCU) 13
4.7 Schets van toepassingsscenario elektronische toetsafname 14
5. Mogelijkheden van digitaal toetsen 16
5.1 Intro 16
5.2 Mogelijkheden 16
5.3 Conclusie 24
6. Wensen en beleid in UMCU m.b.t. digitaal toetsen 25
6.1 Algemeen 25
6.2 Medewerkers 25
6.3 Conclusie 26
7. Het vervolg 27
7.1 Uitgangspunten 27
7.2 EMP voorstel Ontwikkeling en invoering Digitaal toetsen 27
Literatuur 29
Bijlage 1 Matrix wel/niet digitaal toetsen 31
Bijlage 2 Verslagen brainstormsessies 41
Bijlage 3 Tips om fraude te voorkomen 44
Bijlage 4 Twelve tips for computer-based assessment in medical education 45
Bijlage 5 Advies inzet stemkastjes als toetsmethode 55
Bijlage 6 Stappenplan implementatie computer based assessment 63
Bijlage 7 Materialen TestVision 70
3

Samenvatting EMP-rapportage
Naam project
‘Voorwaarden voor de realisering van een papierloos toetstijdperk voor de opleiding GNK en andere
opleidingen in en buiten het UMC Utrecht’
Faculteit/opleiding: dOO-UMCU
Looptijd: september 2008 tot september 2009
Projectresultaat
• Een rapport dat antwoord geeft op de vragen:
1. aan welke randvoorwaarden moet worden voldaan - financieel, organisatorisch en in ander
opzicht – om schriftelijke toetsing in de opleiding geneeskunde volledig te verlaten,
2. welke mogelijkheden zijn er om aan die voorwaarden te voldoen,
3. wat is de kosten/baten verhouding en is er draagvlak in en buiten het buiten het UMCU om
aan deze overstap te werken?
Zie hoofdstuk 4.
• Het rapport bevat tevens een overzicht gegeven van de toegenomen (onderwijskundige)
mogelijkheden van het elektronisch toetsen.
Zie hoofdstuk 5.
• Een plan, waarin de volgende stap naar papierloos toetsen is uitgewerkt.
Zie hoofdstuk 7.
Ervaringen / lessen voor collega’s, bv. opleidingsdirecteuren:
• Digitaal Toetsen vraagt om investering en veronderstelt een keuze op opleidingsniveau.
• Investering is nodig in:
o aanschaf van toetssoftware, computers, bedrijfszekere en beveiligde infrastructuur.
o ondersteuning van docenten (leren werken met toetssoftware, didactische
ondersteuning, ondersteuning bij afname).
• Uitgaan van een gemeenschappelijk ontwerp van een itembank.
• Inzet van digitale toetsen draagt onder andere bij aan de verbetering van de kwaliteit van de
toetsen.
• Besteed aandacht aan (het ontsluiten en presenteren van) de goede voorbeelden van collega’s.
• Het voorkomen van fraude tijdens afname van toetsen is relatief eenvoudig te realiseren.
• Zet studenten en co-assistenten in bij de ontwikkeling van een itembank / vervanging van
huidige schriftelijke vragen (staflid blijft verantwoordelijk).
• Stemkastjes zijn niet geschikt voor summatieve toetsing.
Producten/documenten:
• Randvoorwaarden digital toetsen (hoofdstuk 4)
• Overzicht mogelijkheden digitaal toetsen (hoofdstuk 5)
• Plan 08/09 Implementatie digitaal toetsen (hoofdstuk 7)
• Matrix wel/niet digitaal toetsen (bijlage 1)
• Tips om fraude bij toetsafname te voorkomen (bijlage 3)
• Twelve Tips for computer-based assessment in medical education (bijlage 4)
• Advies inzet stemkastjes bij responsiecolleges (bijlage 5)
• Stappenplan implementatie computer based assessment (bijlage 6)
• Beknopte handleiding voor de docent bij de uitvoering van Testvision (bijlage 7)
• Materialen Testvision (bijlage 8)
Projectleider: Willie Hols
Telefoon: 088-7556350
e-mail adres: w.p.m.hols@umcutrecht.nl
5

1. Inleiding
In het EMP-project ‘Voorwaarden voor de realisering van een papierloos toetstijdperk voor de
opleiding Geneeskunde en andere opleidingen in en buiten het UMC Utrecht’ staan de
mogelijkheden, wensen en voorwaarden van digitaal toetsen centraal. Het start vanuit het
gegeven, dat schriftelijke tentamens al zeer lang de dominante vorm van toetsing in het hoger
onderwijs: het is de vraag of de laatste fase hiervan niet is aangebroken. In de literatuur worden
verschillende argumenten genoemd voor digitaal te toetsen (Verkroost, 2002; Milius, 2007), zoals
verbetering van de kwaliteit van de toetsvragen op basis van de resultaten van toets- en
vraaganalyse, tijdwinst door het gebruik van een itembank en het geautomatiseerd nakijken,
grotere betrouwbaarheid doordat het gemakkelijker is om verschillende toetsen samen te stellen
met een vergelijkbare moeilijkheidsgraad en mogelijkheden om beeld en geluid toe te voegen.
Op termijn levert digitaal toetsen tijdswinst op voor de docent (Bull & Stevens 1999) en doordat de
student meer inzicht krijgt in de eigen voortgang, verhoogt het de betrokkenheid van studenten
(Sambell et all 1999).
Toetsing is een proces dat start met een ontwerp, daarna wordt de toets samengesteld,
opgeslagen, afgenomen, nagekeken, beoordeeld, geanalyseerd, geëvalueerd en worden de
toetsresultaten vrijgegeven.
Het ontwerpen, beheren, afnemen en verwerken van toetsen geschiedt al gedeeltelijk en in
wisselende mate met elektronische hulpmiddelen, met name voor kleinere groepen studenten en
voor toetsen die een formatieve functie vervullen. Formatief digitaal toetsen stelt minder hoge
eisen aan beveiliging en voorkoming van fraude dan summatief toetsen.
Op dit moment zijn veel instellingen voor hoger onderwijs geïnteresseerd in de mogelijkheden van
digitaal toetsen, maar er is terughoudend in het invoeren van digitale summatieve toetsing (zie
Daniels & Van der Vleuten, 2002). Deze terughoudendheid heeft te maken met:
• De hoeveelheid tijd die nodig is om een toetsprogramma te leren kennen en –in afstemming
met collega’s- een vragenbank in te richten en te vullen.
• Het ontbreken van faciliteiten, dat wil zeggen grote computerzalen (300 studenten).
• De angst voor een onvoldoende beveiligd netwerk waardoor scores aangepast kunnen worden.
Men vreest dat studenten gebruik maken van ongeoorloofde digitale informatiebronnen bij het
beantwoorden van de vragen en dat ze inloggen onder een andere naam. Ook is men bang
voor uitval van het netwerk op het moment dat studenten de toets maken.
• Het ontbreken van beleid op dit terrein: in toetsbeleid wordt niet alleen aangegeven waarom en
hoe men digitaal wil toetsen, maar ook hoeveel belang men er aan hecht en waarin wordt
geïnvesteerd (infrastructuur, faciliteiten en ondersteuning).
Hols-Elders e.a. (2008) voegen daar specifiek voor het Nederlandse medisch onderwijs aan toe:
• Gebrek aan technische kennis en vaardigheden op het terrein van digitaal toetsen bij medische
docenten.
• Gebrek aan tijd en gevoel van ‘noodzaak’.
• Onvoldoende voorzieningen, zoals diverse vormen van ondersteuning en computerfaciliteiten.
Het project beoogt antwoord te geven op de vraag aan welke randvoorwaarden moet worden
voldaan - financieel, organisatorisch en in ander opzicht – om schriftelijke toetsing in de opleiding
geneeskunde volledig te verlaten, welke mogelijkheden zijn er om aan die voorwaarden te voldoen,
wat is de kosten/baten verhouding en is er draagvlak in en buiten het buiten het UMCU om aan
deze overstap te werken? De antwoorden op deze vragen staan in deze rapportage, evenals een
overzicht van de toegenomen (onderwijskundige) mogelijkheden van het elektronisch toetsen en
een werkplan, waarin de volgende stap naar papierloos toetsen is uitgewerkt.
De context van dit project is het onderwijs van het UMC Utrecht, de resultaten zijn eveneens
bruikbaar in andere opleidingen van de Universiteit Utrecht.
In het project zijn verschillende activiteiten uitgevoerd. De resultaten hiervan zijn per hoofdstuk
beschreven. Hoofdstuk 2 bevat een inventarisatie van de huidige stand van zaken op het terrein
6

van toetsing binnen de directie Onderwijs en Opleidingen (dOO) van het Universitair Medisch
Centrum Utrecht (UMCU): wat wordt getoetst, op welke manier en met welk doel (formatief of
summatief). Hoofdstuk 3 beschrijft de resultaten van de pilots die in het kader van dit project zijn
uitgevoerd, de pilots zijn uitgezet om het draagvlak, de mogelijkheden en de voorwaarden met
betrekking tot digitaal toetsen in kaart te brengen. In hoofdstuk 4 wordt (onder andere naar
aanleiding van de pilots) de hoofdvraag van het project beantwoord: aan welke randvoorwaarden
moet worden voldaan - onderwijskundig, organisatorisch, technisch en financiëel- om digitaal te
toetsen. Via deskresearch is onderzocht welke mogelijkheden er op dit moment zijn op het terrein
van digitaal toetsen, de resultaten hiervan zijn samengevat in hoofdstuk 5. Per toetstool zijn
voorwaarden geformuleerd. Het afgelopen jaar vonden bij iedere opleiding van de dOO
brainstormsessies plaats waarin de wensen op het terrein van digitaal toetsen zijn
geïnventariseerd. Hierbij waren zowel studenten, als docenten als coördinatoren/managers
betrokken. Deze wensen (‘draagvlak voor digitaal toetsen’) zijn samengevat in hoofdstuk 6.
Hoofdstuk 7 bevat het voorstel voor een vervolgproject op het terrein van digitaal toetsen. Het
voorstel is gebaseerd op de resultaten van het huidige project en op de ‘Twelve tips for computer-
based assessment in medical education’ die zijn geformuleerd door Hols-Elders e.a. (in publicatie
bij Medical Teacher).
7

2. Digitaal toetsen in het UMCU: stand van zaken
Het UMC Utrecht is verantwoordelijk voor de opleidingen geneeskunde (2 opleidingen: CRU’99 en
2006 en SUMMA), de opleiding Gezondheidswetenschappen en, samen met andere faculteiten,
Biomedische wetenschappen en Biomedical science
Geinventariseerd is hoeveel thans wordt gedaan aan digitale toetsing met een summatief doel.
De Geneeskundeopleiding CRU (250-300 studenten per jaargroep) kent 70 toetsen die jaarlijks
worden afgenomen (excl herkansingen). Daarvan vinden vier plaats in electronisch vorm.
Overigens zijn dit toetsen die meermalen per jaar, bij kleine groepen dan de jaargroep, worden
afgenomen.
De Geneeskundeopleiding SUMMA (ca 40 studenten per jaargroep) kent geen electronische
toetsing
De opleiding BMW (ca 180 studenten per jaargroep) heeft circa 45 cursussen die met toetsing
worden afgesloten, waarvan één in electronische vorm
De Opleiding Gezondheidswetenschappen kent ca 15 toetsen waarvan er één electronische wordt
afgenomen.
In alle drie deze opleidingen is in het afgelopen jaar geëxperimenteerd met computergestuurde
toetsing bij andere studieonderdelen, zij het dat een daadwerkelijke afnamen nog niet heeft
plaatsgevonden.
8

3. Pilots met digitaal toetsen
Olle neemt hoofdstuk drie voor zijn rekening
In 2007-2008 zijn verschillende korte CBA projecten uitgevoerd bij diverse toetsen in het
geneeskunde curriculum. TestVision, het programma waarmee al enkele jaren ervaring bestaat in
het UMCU is als model gebruikt.
I. Invoering van TestVision bij toetsing met hoge frequentie en kleine groepen
Het derdejaars studieonderdeel Acute Chirurgie en Perioperatieve Zorg (ACPOZ) wordt 10 maal per
jaar voor groepen van 24 studenten verzorgd. Er is 4 maal per jaar een schriftelijke toets waarover
de mening verdeeld zijn. Een nadeel is dat de toets voor velen niet direct na het onderwijs volgt en
ook is een veelgehoorde klacht dat de aansluiting bij het onderwijsgebrekkig is. De
betrouwbaarheid is i.h.a. niet hoog.
Mede op verzoek van de coördinator zijn voorbereiding getroffen op met ingang van 2008-2009 de
toets met TestVision af te nemen. Deze voorbereiding is voor een belangrijk deel uitgevoerd door
twee zesdejaar studenten geneeskunde die dit onderwijs als onderwijsadviesproject tijdens een
onderwijsstage hebben uitgevoerd: Elize Berg en Marique Sorel. Als bijlagen (X, XX en XXX) zijn
hun verslagen van dit project toegevoegd. De eerste bijlage betreft een algemeen verslag
(verdiepingsonderwerp) over de toepassing van computer based assessment van Elize Berg, de
beide andere verslag betreffen het eigenlijke adviesproject.
Het resultaat van deze pilot is (a) een uitstekende beschrijving van een algemeen stappenplan voor
de invoering van CBA, (b) een beknopte handleiding voor de docent bij de uitvoering van een toets
met TestVision en (c) een nagenoeg startklare voorbereiding voor de invoering in het ACPOZ blok.
De belangrijkste les voor de toekomst is dat een goede centrale bewaking va toetsvraagkwaliteit
leidt tot de behoefte aan vervanging van veel vragen. Als voor een dergelijke toets ca 500 vragen
beschikbaar komen in een vragenbank, dan kan CBA in een dergelijk blok de huidige schriftelijke
toetsing bij alle afnames per jaar goed vervangen. Het inzetten van co-assistenten voor het
ontwerpen van vragen is daarbij een goede optie, mits een staflid de vragen mee beoordeelt.
Er zijn geen technische belemmeringen.
II. Toepassing van TestVision bij toetsing die driemaal per jaar met middelgrote
groepen plaatsvindt
Dit pilotproject is voorbereid onderwijsstagiaire, Annieke Bosker, bij het derdejaars blok Gezonde
en Zieke Cellen III. Daarbij is gebruik gemaakt van TestVision. Een voorbeeldtoets is ontwikkeld en
op het internet geplaatst (www.testvision/umcutrecht.nl). De uitvoering van deze electronische
toets is evenwel niet doorgegaan, omdat in de randvoorwaarden niet tijdig kon worden voorzien.
III Toepassing van TestVision in bij toetsing met short-answer vragen voor grote
groepen (Martien Quaak)
UVT Papierloos
In 2007-2008 is er onderzocht in hoeverre het mogelijk is om de Utrechtse VoortgangsToets UVT af
te nemen met behulp van het toets programma Testvision.
Probleemstelling
Voor de uitvoering van de UVT is erg veel werk nodig bij het nakijken van de vragen. De examens
worden geprint. De antwoorden worden op papier geschreven en de papieren moeten geknipt en
gedistribueerd worden per vraag naar de docent, de beoordelingen moeten vervolgens met de
hand worden ingevoerd.
Het zou een groot logistiek voordeel opleveren als de toets electronisch kan worden afgenomen
waarbij de student zelf de antwoorden intypt. Vervolgens kan electronisch een sortering gemaakt
worden, waarna de docent op het scherm de antwoorden kan bekijken en kan scoren.
9

Onderzoek
Onderzocht is of met de bestaande functionaliteit van Testvision de UVT kan worden afgenomen.
Sam Verdoes heeft verschillende tests gedaan om vragen in Testvision te zetten. Omdat in de UVT
gewerkt wordt met een casus en twee soorten vragen biomedisch en klinisch en per vakgebied
meerdere vragen kunnen worden gesteld en dus ook meerdere antwoorden kunnen worden
gegeven in vrije tekst is het lastig te implementeren. Ook moet voor het nakijken de docent
kunnen zien wat de antwoordvoorbeelden zijn. In meerdere sessies is gewerkt aan een uitwerking
van een geschikte invulling van Testvision.
De heer Molkenboer van Testvision was hierbij aanwezig om advies te geven. Uiteindelijk lijkt het
mogelijk te zijn om Testvision te gebruiken voor het afnemen en nakijken van de UVT, zonder dat
er specifieke aanpassingen moeten worden gedaan aan het programma zelf.
Proef
Het plan is om in een proef met Testvision in het studiejaar 2008 – 2009 een klein aantal vragen
aan een aantal studenten electronisch voor te leggen en te laten beantwoorden en daarna enkele
docenten deze vragen electronisch na te laten kijken. Als dit lukt dan kan daarna bij een UVT
afname een deel van de studenten een electronische versie worden afgenomen.
Uitvoeringsvoorwaarde
Voor het uitvoeren van een volledig electronische afname van de UVT zijn veel computers nodig.
Binnen het UMC zouden verschillende computerleerzalen en het studielandschap kunnen worden
gereserveerd in de avonduren. Maar dan nog zijn er niet genoeg computers om iedereen (ongeveer
450) in een keer te examineren. Het zou goed zijn als er binnen de UU een grote zaal is met veel
computers die gereserveerd kan worden voor electronische afname van toetsen.
Database aanpassing
Los van dit experiment met de afname en het nakijken van de UVT is het ook nodig om voor een
beter beheer van de UVT een andere database opzet te maken. Omdat er veel bijkomende
gegevens bij iedere vraag staan is het niet mogelijk om dit in de Testvision database in te voeren.
De huidige opzet is niet geschikt om de vragen en het examineren efficiënt en goed te kunnen
beheren. Er is begonnen met het analyseren en ontwerpen van een duidelijker databasestructuur.
Deze zal dan vervolgens geïmplementeerd moeten worden, waarbij ook aandacht besteed moet
worden aan de koppeling van de database met de Testvision database voor afname en het nakijken
van de vragen.
IV. Toepassing van stemkastjes bij toetsing met hoge frequentie en kleine groepen
Dit project betreft een onderzoek naar de uitvoerbaarheid van het gebruik van stemkastjes voor
toetsingsdoeleinden. Hiertoe werd bij de afdeling Kindergeneeskunde, die beschikt over een
collegzaal en stemkastjes die ingezet worden bij een wekelijkse bijeenkomsten met artsassistenten,
onderzocht aan welke voorwaarden dit systeem zou moeten voldoen bij inzet in
blokonderwijs met frequente toetsing in kleine groepen van ca 24 studenten. Het project is
uitgevoerd door onderwijsstagiaire Froukje Landsman met de volgende vraagstelling: “Hoe zouden
we de stemkastjes, die gebruikt worden op vrijdagochtend tijdens de responsiecolleges, kunnen
gebruiken om te toetsen voor een resultaat dat mee telt in de beoordeling van het blok
stofwisseling III en het co-schap kindergeneeskunde? Wat zijn de organisatorische voorwaarden?”
Het verslag van dit project is bijgevoegd als bijlage 5.
De conclusie van het project, waarvoor 46 studenten en 27 arts-assistenten zijn geënquêteerd, is
dat een toetsafname met stemkastjes een sturende functie kan hebben, c.q. maakt dan mensen
zich beter voorbereiden op een onderwijsbijeenkomst, maar ook dat er sterke beperkingen zijn aan
deze toepassing van ‘papierloos toetsen’ voor summatieve doeleinden. Eén daarvan is het
gedwongen tempo van de toetsing; een andere is de techniek die altijd vlekkeloos is. Concluderend
zijn een goede ‘toetssfeer’, een valide en betrouwbare toets en goede technische ondersteuning
belangrijke organisatorische voorwaarden om een betrouwbare toetsuitslag te krijgen van toetsing
10

met gebruik van stemkastjes; toetsvragen met stemkastjes zorgen er voor dat een onderwijsdag
voor artsassistenten beter wordt voorbereid en AIOS vinden het maken van de toetsvragen nuttig.
Echter, de toetsvragen bevorderen de interactie met de sprekers niet. Dat laatst is uiteraard gene
doel van summatieve toetsing, maar het gebruik van stemkastjes voor formatieve doelen zou deze
functie in theorie wel kunnen hebben.
11

4. Randvoorwaarden digitaal toetsen in UMCU
4.1 Inleiding
De hoofdvraag van het project luidt: ‘aan welke voorwaarden moet worden voldaan –financieel,
organisatorisch en in ander opzicht- om schriftelijke toetsing bij de opleidingen van de Directie
Onderwijs en Opleidingen volledig te verlaten, welke mogelijkheden zijn er om aan die
voorwaarden te voldoen en wat is de kosten/baten verhouding’. Dit hoofdstuk geeft hierop een
antwoord.
4.2 Onderwijskundige randvoorwaarden (o.a. itembanken)
- Toetsen bepalen het gedrag van studenten in grote mate. Daarom is het van belang dat er
vanuit het onderwijs voortdurend naar wordt gestreefd, de toetsen zo representatief mogelijk
te maken voor het onderwijs en de voorgeschreven studiestof. Een elektronische itembank
maakt inzichtelijk welke onderwijsonderwerpen door de examenvragen worden gedekt. Aan de
hand van de scores kan gezien worden welke kennis bij de student aanwezig is. Slechte vragen
zijn te herkennen aan een afwijkend antwoordpatroon. Met deze instrumenten kan de kwaliteit
van de examenvragen en van het gegeven onderwijs worden gemonitord en worden verbeterd.
- De toetsaanpak hangt samen met de manier waarop het onderwijs wordt uitgewerkt. Dat
betekent dat een onderwijsvisie en daarmee samenhangend beleid de kaders vormen voor
keuzes met betrekking tot toetsing. De Directie van de dOO is verantwoordelijk voor
beleidsmatige ondersteuning en praktische uitvoerbaarheid, zij bepalen of en in welke mate er
structureel van digitale toetsondersteuning gebruik gemaakt kan worden. Hierbij spelen ook
praktische en financiële overwegingen een rol zoals bijvoorbeeld: verhoogde efficiëntie bij
elektronisch toetsen in kleine groepen studenten, mogelijkheid tot een hoge frequentie van
toetsafname en ondersteuning van docenten bij gebruik van TestVision.
- Voor de afstemming, kwaliteitscontrole en (op termijn) efficiëntie is het aan te bevelen een
digitale itembank met toetsvragen op te zetten en in te richten. De opbouw van zo’n itembank
dient gefaseerd te worden aangepakt. Om te beginnen kan gestreefd worden naar het
opbouwen van itembanken per blokcoördinator. Iedere blokcoördinator zou een eigen versie
van zijn/haar bank van vragen op de eigen pc moeten hebben. Door deze vragen zelf te
beheren weet de coördinator welke vragen eerder zijn gesteld, hoe de ervaringen daarmee
waren en welke probleemgebieden door de vragen worden gedekt. Door het zelf te beheren is
de blokcoördinator/docent verantwoordelijk voor het up to date houden van de vragen.
Het is technisch mogelijk om de verschillende bestanden te combineren in een systeem, zodat
blokcoördinatoren/docenten ook van elkaar vragen kunnen bekijken en overnemen. Hier
moeten goede afspraken over worden gemaakt in verband met beveiliging en auteursrechten.
- Op basis van een elektronische itembank kan een papieren examen worden gemaakt of een
elektronische versie voor elektronische afname, dit mede afhankelijk van de praktische
mogelijkheden en onderwijskundige wenselijkheid.
- Het programma moet gebruiksvriendelijk te bedienen zijn. Zowel voor de docent die vragen in
de vragenbank zet, vragen kan aanpassen, examens samenstelt en resultaten verwerkt, als
voor de student die de toets op de computer maakt.
4.3 Organisatorische randvoorwaarden
- Het is van belang dat er ondersteuning is bij het onderhouden van een vragenbank door
docenten, hulp bij het installeren en opzetten van het programma en het inrichten van de
vragenbank en hulp bij het maken van examens, het printen van examens en het klaarzetten
van elektronische examens.
- Menskracht om het gebruik van de server te ondersteunen, te updaten en bij docenten
beschikbaar te maken, evenals het gebruik bij het afnemen van toetsen.
- Beschikbaar zijn van surveillanten die bij elektronisch afgenomen examens de aanwezigheid
van studenten controleren, evenals het juiste gebruik van het examenprogramma.
12

4.4 Technische randvoorwaarden
- Het toetsprogramma moet geïnstalleerd zijn op een server die wordt onderhouden en waar
regelmatig back-ups van worden gemaakt.
- Verder moeten er toetszalen zijn met grote aantallen pc’s of laptops. Om het aantal
werkstations te bepalen kan worden uitgegaan van aantal studenten dat wordt getoetst : 2. Dit
veronderstelt toetsen in shifts (2 groepen na elkaar). De toetszaal moet overzichtelijk zijn
ingericht om tijdens de toets gemakkelijk te kunnen surveilleren. Door gebruik te maken van
een wireless netwerk kunnen laptops worden aangesloten op een examennetwerk. Deze
laptops kunnen beveiligd worden afgestemd op het netwerk. Het netwerk moet degelijk
afgeschermd worden van inbraakpogingen van buitenaf.
- PC’s van docenten moeten geschikt zijn om het toetsprogramma op te kunnen installeren en te
laten werken.
4.5 Financiele randvoorwaarden
- Er zijn verschillende manieren waarop de kosten voor digitaal toetsen kunnen worden
doorberekend. Draaijer (2004) noemt er drie: 1. centrale financiering door ‘afroming’, 2.
decentrale financiering waarbij opleidingen vergoedingen betalen voor het gebruik van de
centraal ondersteunde systemen en organisatie en 3. gedifferentieerde financiering waarin de
toetstools worden bekostigd op basis van gebruik per cursus of toets.
- De kosten van de aanschaf en het gebruik van het toetsprogramma komen in de huidige opzet
voor rekening van het Expertisecentrum van de dOO. Gebruikers van buiten de dOO betalen
mee aan de licentie en het beheer. Kosten worden verdeeld over de gebruikers van het
programma bij de verschillende divisies De divisies die gebruik maken van elektronisch
toetsen hebben een organisatorisch voordeel bij het elektronisch afnemen van de toets in
vergelijking met een papieren toets. De kosten van de papieren versie kunnen afgezet worden
tegen de kosten van de elektronische toets.
- De kosten voor het gebruik van de centrale server worden gedragen worden door de dOO en
verrekend met UMC gebruikers..
- De kosten voor support worden door de dOO betaald en in rekening gebracht. Hiervoor is een
SLA opgesteld voor de gebruikers van niet academische opleidingen Hierdoor zijn de divisies
verzekerd van support voor het programma.
- Een kosten-baten analyse is lastig te maken. Er spelen teveel onbekende factoren een rol:
welke opleidingen willen zoveel mogelijk digitaal toetsen, hoe hangt dit samen met de kosten
die aan een opleiding worden doorberekend, welk financieringsmodel wordt gehanteerd? Hoe
waardeer je de didactische voordelen van digitale toetsing en de kwaliteitsverbetering?
Duidelijk is dat invoering van digitaal toetsen vraagt om grote investeringen. Een deel van die
investeringen kunnen worden terugverdiend door bijvoorbeeld computerlokalen te verhuren
aan andere instellingen en externe bedrijven.
4.6 Conclusie (inclusief haalbaarheid binnen UMCU)
- Tot nu toe zijn de ervaringen met elektronische toetsen positief bij het UMCU, al een aantal
jaren wordt op relatief bescheiden schaal, maar wel continu, gebruik gemaakt van elektronisch
toetsen. De uitvoering verloopt goed, maar vergt veel support.
- Op dOO Directie niveau zal er een keuze gemaakt moeten worden voor elektronisch toetsen
(op grote schaal) en de organisatorische en financiële uitvoering daarvan.
- Het is van belang dat de verdeling van de kosten tussen dOO en divisies goed wordt
besproken, zodat in de toekomst een garantie van het gebruik van het programma (TestVision)
gecontinueerd wordt. Thans wordt de medewerker die ontwikkeling en toepassing van
TestVision in het takenpakket heeft belast met oneigenlijk docentenwerk.
- Door het beheer van de vragen en de examens bij de docent te leggen wordt de
verantwoordelijkheid van de docent voor het examen duidelijker. De gewoonte om bij
electronische toetsing deze taken uit handen te geven zal moeten veranderen om deze
werkwijze geaccepteerd te krijgen.
13

- Voor het afnemen van toetsen bij grote groepen studenten is een grote zaal nodig, het zou
wenselijk zijn als de UU centraal een grote zaal inricht met computers die voor elektronisch
toetsen kan worden ingehuurd inclusief de daarbij behorende technische support.
4.7 Schets van toepassingsscenario elektronische toetsafname
UMCU - dOO
Betrokkenen
- Coördinator beheert eigen vragenbank, ontvangt vragen van docenten.
- Secretariaat van coördinator is intermediair tussen coördinator en toets ondersteuner
en regelt communicatie met studenten.
- Centrale toetsondersteuner beheert examenprogramma, plaatst examens en
genereert toetsresultaten.
- Onderwijskundige ondersteuning en advisering
Fromatieftoetsen
- Coördinator stelt examen samen en levert die aan om centraal te worden afgenomen.
- Secretariaat geeft gegevens studenten door en communiceert met studenten.
- Centrale ondersteuner plaatst examen en zet het klaar voor groep.
- Examen kan worden afgelegd in studielandschap.
- Technische ondersteuning is op afroep beschikbaar , wie?
- Na het examen kan de student het examen en de feedback op de antwoorden
bekijken
Summatief toetsen
- Coördinator stelt toets samen en levert die aan om centraal te worden afgenomen.
- Secretariaat reserveert examenruimte, surveillant en geeft gegevens studenten door.
- Centrale ondersteuner plaatst examen en zet het klaar voor groep.
- Examen wordt afgenomen in zaal met pc’s, en/of meerdere zalen met pc’s en/of
studielandschap en/of zaal met laptops afkomstig uit een mobiele kar met laptops
en/of zaal van de UU met pc’s of laptops.
- Bij het examen zijn surveillanten aanwezig en is technische ondersteuning op afroep
beschikbaar.
- Open vragen moeten worden nagekeken, hier zit vaak een hele logistiek aan vast, als
er een beoordeling door het toetsprogramma is gedaan moet deze gecontroleerd
worden.
- Na het examen worden resultaten verwerkt door centrale ondersteuner en naar het
secretariaat/coördinator verstuurd.
- Inzien van gemaakte examen door studenten wordt door secretariaat ondersteund.
- Coördinator verbetert op basis van vraagscores de vragen in de vragenbank en geeft
wijzigingen door aan docenten.
Voorwaarden
- Divisies betalen dOO voor ondersteuning door centrale ondersteuner en gebruik van
computers, computerzalen en surveillanten.
- Divisies zorgen voor coördinator, docenten en functionerend secretariaat.
- dOO zorgt voor centrale toets ondersteuner en pc en/of laptops en geschikte zalen.
- dOO zorgt voor inroosteringsmogelijkheden van zalen en surveillanten
- dOO biedt onderwijskundige en inhoudelijke ondersteuning bij het maken van vragen
en het opstellen en beoordelen van toetsen
- Voor de uitvoering van de administratie is het belangrijk dat er een koppeling is
tussen de bestanden met medewerkergegevens en studentgegevens en Testvision.
14

Deze koppeling moet specifiek worden geprogrammeerd. Met behulp van een
dergelijke koppeling kan de inschrijving van studenten en medewerkers die een toets
willen afleggen worden vereenvoudigd. Ook de resultaten zullen rechtstreeks vanuit
Testvision in Osiris terug kunnen worden gezet of in een portfolio van een
medewerker. Tevens kan een koppeling met het kwaliteitssysteem worden gemaakt
zodat er meteen een evaluatie kan worden ingevuld.
Een variant in dit scenario is afname op papier van vragen die afkomstig zijn uit een
elektronische vragenbank. Hierbij zal speciale aandacht moeten worden besteed aan
opname van de antwoorden in het electronische bestand..
Voor elektronisch toetsen bij de UU geldt hetzelfde scenario, waarbij voor divisies
faculteiten kunnen worden gelezen en centraal de UU een beheer en
ondersteuningsservice kan leveren, maar het kan ook per faculteit worden opgezet.
15

5. Mogelijkheden van digitaal toetsen
5.1 Intro
De manier waarop wordt getoetst hangt samen met de manier waarop het onderwijs is
vormgegeven (vergelijk vakgericht onderwijs, probleem gestuurd onderwijs, competentiegericht
onderwijs) en het doel van de toetsing (formatief of summatief).
De dOO-UMCU omvat drie academische opleidingen geneeskunde (GNK), biomedische
wetenschappen (BMW), algemene gezondheidswetenschappen (AGW) en de opleidingen van het
Opleidingscentrum (OC). In deze opleidingen is aandacht voor de opbouw van een kennisbasis
(met declaratieve en procedurele kennis), oplossing van praktijkproblemen en ontwikkeling van
competenties. Deze worden op verschillende manieren getoetst: ict kan hierbij een belangrijke rol
spelen.
In de inleiding is aangegeven wat de voordelen zijn van digitaal toetsen. In dit hoofdstuk staan de
mogelijkheden van digitaal toetsen centraal. De mogelijkheden worden gerelateerd aan de in
geneeskunde opleidingen veel gehanteerde piramide van Miller.
5.2 Mogelijkheden
Bij de beschrijving van mogelijkheden van digitaal toetsen wordt gebruik gemaakt van de piramide
van Miller (1990, p. 63-67, geciteerd in van Tartwijk e.a. 2003, p. 15-17). Miller ontwikkelde een
piramide waarmee de niveaus van bekwaamheid van geneeskunde-studenten kunnen worden
beschreven. Een onderliggend niveau vormt steeds het fundament voor de bovenliggende laag.
Figuur 1: Millers driehoek
Toelichting:
Knows: het onderste niveau wordt gevormd door de kennis waarover een student moet beschikken
om zijn toekomstige taken als arts uit te kunnen voeren.
Knows how: de student weet hoe hij die kennis moet gebruiken bij het uitvoeren van zijn
probleemoplossende taken.
Shows how: de student laat zien dat hij kan handelen in een gesimuleerde omgeving, onder meer
op basis van zijn kennis. Het gaat hier dus om kennen en handelen (cognitie en gedrag).
Does: de student handelt zelfstandig in de complexe praktijk van alledag. Daarbij wordt een
beroep gedaan op een geïntegreerd geheel van kennis, vaardigheden, houdingen en persoonlijke
eigenschappen.
In dit hoofdstuk worden de volgende toetsmogelijkheden beschreven:
• Toetsprogramma’s met voorgestructureerde antwoorden
• Toetsen met behulp van stemkastjes, mobiele telefoons en PDA’s
• Adaptief toetsen
• Essaytoetsing op basis van voorgestructureerde feedback
• Essaytoetsing
• Peerfeedback-tools
• Portfolio
Deze toetsmogelijkheden worden in onderstaande tabel gerelateerd aan de bekwaamheidsniveaus
van Miller en vervolgens toegelicht.
16

Bekwaam-
heids-
niveaus
Inhoud Vorm Digitale mogelijkheden
Knows Kennis Tentamen:
Knows how Kennis op juiste manier
gebruiken: waar moet je
op letten bij stellen van
een diagnose
Shows how Vaardigheid = handelen
in gesimuleerde
omgeving, diagnose
stellen na onderzoek bij
gesimuleerde patient
Does Adequaat functioneren in
praktijk
reproductie-
vragen
Tentamen op
basis van cases
Simulatie-
patienten,
assessment-
centers
• Toetsprogramma’s met
voorgestructureerde antwoorden
• Toetsen met behulp van
stemkastjes, mobiele telefoons en
PDA’s
• Adaptief toetsen
• Toetsprogramma’s met
voorgestructureerde antwoorden
• Toetsen met behulp van
stemkastjes, mobiele telefoons en
PDA’s
• Adaptief toetsen
• Essaytoetsing op basis van
voorgestructureerde feedback
• Essaytoetsing
• Peerfeedback-tools voor
schrijfopdrachten
• Peerfeedbacktool - samenwerken
• Peerfeedback-tool - DIVIDU
• Peerfeedbacktool - samenwerken
• Peerfeedbacktool - DIVIDU
• Portfolio
Digitale toets met voorgestructureerde antwoorden
Digitaal toetsen met voorgestructureerde antwoorden (gesloten vragen) sluit het best aan bij de
traditionele manier van (schriftelijke) meerkeuze vragen. De stap naar digitaal toetsen lijkt niet zo
groot, maar de inzet van digitaal toetsen vereist een flinke voorinvestering (aanschaf software,
training gebruikers, computerzalen) en samenwerking tussen docenten. Daarom komt digitale
toetsing langzaam op gang.
De meeste Elektronische Leeromgevingen (ELO’s als Blackboard, WebCT, zie
http://www.blackboard.com/us/index.bbb’) beschikken over een toetsfunctionaliteit, maar de
beveiliging en vraag– en analysemogelijkheden zijn in deze programma’s beperkt. Digitale
toetsprogramma’s als Testvision (www.testvision.nl) en Question Mark Perception
(http://www.stoas.nl/stoas_com/d8b2cbf34bd85b999007a875c4298359.php) worden steeds vaker
in het onderwijs gebruikt. De meeste ELO’s en toetsprogramma’s beschikken over de mogelijkheid
om beeld en geluid toe te voegen aan toetsvragen, bij toetsprogramma’s gaat dit
gebruiksvriendelijker dan bij ELO’s. Beide type programma’s beschikken eveneens over de
mogelijkheid op basis van een gegeven antwoord inhoudelijke feedback of studeeraanwijzingen te
formuleren. Studenten waarderen deze mogelijkheid en vinden het prettig zichzelf (thuis of in de
instelling) te toetsen: deze vorm van toetsing is motivatie-verhogend en het leereffect is groter
dan bij feedback na verloop van tijd. Docenten krijgen op deze manier inzicht in de voortgang
van de studenten en zijn minder lang bezig met het nakijken. De beslissing om digitaal te gaan
17

toetsen en een itembank in te richten, leidt vaak tot verbetering van de kwaliteit van toetsvragen:
niet alleen in de fase van het ‘invoeren’ van de vragen, maar ook bij het analyseren van de
antwoorden. De analyse geeft informatie op twee niveaus: over de kwaliteit van de meting
als geheel, en van de vragen afzonderlijk: is de meting betrouwbaar, is de toets
voldoende consistent, differentieert het tentamen en de vragen in voldoende mate, is er
voldoende variatie in moeilijkheidsgraad aangebracht? Het doel van de analyse is om
aanwijzingen te vinden voor verbetering van de vragen en om evidentie te leveren voor
evenwichtige samenstelling van nieuwe toetsen (zie verder
http://www.ivlos.uu.nl/adviesentraining/aanboduniversite/toetsenenbeoorde/stappenplan
/evaluatie/18404main.html).
dOO-UMCU maakt gebruik van de toetsoptie in WebCT en van Testvision. WebCT wordt formatief
en summatief ingezet, Testvision voornamelijk summatief. Werken met Testvision veronderstelt de
inrichting van een ‘toetsmatrijs’, het invullen van zo’n matrijs (match onderwijsdoelen –
toetsonderdelen) maakt de representativiteit van een toets aanzienlijk hoger.
Met Testvision kunnen maatregelen worden genomen voor sequentiemanipulatie (wel/niet
terugkijken). Dit type toetsprogramma’s groeit mee met gebruikerswensen (gegevens zijn goed
afgeschermd, toename in vraagtypen, toename van mogelijkheden van toets- en vraaganalyse,
webbased, gebruiksvriendelijkheid), en vervult vooral een functie bij toetsing van kennis en inzicht
(‘knows’ en ‘knows how’).
Toetsen met behulp van stemkastjes, mobieltjes en PDA’s
Stemkastjes (http://www.interwritelearning.nl/interwrite_virtual_prs.php) kunnen worden ingezet
bij colleges: de docent stelt een vraag en de student beantwoordt de vraag via een stemkastje
(keuze uit alternatieven). De scores worden via een PowerPoint presentatie geprojecteerd.
Voordeel is dat grote groepen studenten tegelijk kunnen worden getoetst, dat de volgorde van
vragen vastligt -waardoor kan worden voortborduurd op bepaalde vragen/antwoorden- en dat na
afloop direct feedback kan worden gegeven –bijvoorbeeld bij vragen die het slechtst zijn
beantwoord-.
In 2007 is in de UU een pilot uitgevoerd over stemkastjes (Paul, 2007). In het project zijn onder
andere de toepassingsmogelijkheden van stemkastjes bij tentamens onderzocht. Studenten bleken
erg tevreden over de inzet van stemkastjes bij proeftentamens (formatieve functie van toetsing).
‘Echte’ tentamens (summatieve functie van toetsing) met behulp van stemkastjes werden niet op
prijs gesteld. Dit had onder andere te maken met het feit dat studenten (Turningpoint 2006) geen
bevestiging kregen van het feit dat ze gestemd hadden.
Stemkastjes kunnen ook worden ingezet bij het geven van peerfeedback, bijvoorbeeld na een
presentatie van een mede-student.
Mobieltjes en PDA’s kunnen worden ingezet voor dezelfde doeleinden als stemkastjes, hiermee is in
Nederland nog weinig ervaring.
Stemkastjes kunnen een functie vervullen bij het toetsen van kennis en inzicht (‘knows’ en ‘knows
how’).
Adaptief toetsten
Bij computergestuurd adaptief toetsen (CAT) wordt de moeilijkheid van de toets tijdens het toetsen
constant aangepast aan het niveau van de student (zie http://elearning.surf.nl/elearning/onderzoek/2321).
Bij CAT krijgt de student niet in één keer een gehele toets voorgelegd:
afhankelijk van de score op een beperkt aantal vragen beslist het programma om de student al dan
niet vervolgvragen voor te leggen en te bepalen welke moeilijkheidsgraad dan voorgelegd wordt
(lager, gelijk of hoger). Op deze manier kan met veel minder vragen een betrouwbaar oordeel
worden gegeven over de beheersing van bepaalde stof door een student. Dit is van belang voor de
student die veel sneller klaar is met de toets maar ook voor de toetsconstructie en docenten kan
het besparingen opleveren in tijd en geld.
Voordeel van CAT is dat iedere student een unieke toets krijgt voorgelegd. Dat maakt het mogelijk
om studenten te toetsen op het moment dat het ze zelf schikt.
18

Adaptief toetsen vereist specifieke software, zie het programma FastTest via
http://www.assess.com.
Om een adaptieve toets betrouwbaar genoeg te maken dienen er veel items in de toetsbank te
zitten waaruit een toets wordt gegenereerd en moeten deze items gekalibreerd zijn: het moet
bekend zijn welke moeilijkheidsgraad een item heeft. Dat vergt een uitgekiende en
arbeidsintensieve aanpak: de items moeten –als onderdeel van een toets- worden uitgetest op zo’n
1000 studenten (Thissen & Mislevy 2000). Dat is één van de grote struikelblokken voor het
invoeren van dergelijke toetsen in het hoger onderwijs. De investering is erg hoog, waarbij – door
voortdurende verandering van curricula en specifieke lokale eisen – de toepasbaarheid van een
dergelijk programma klein is, zeker op een langere termijn (zie Draaijer 2004).
Daarnaast worden als nadelen van adaptief toetsen genoemd: studenten vinden het vervelend dat
ze niet terug kunnen kijken naar eerder beantwoorde vragen; het is niet mogelijk om studenten
een toets te geven die wat betreft inhoud vergelijkbaar is (Van der Linden, 2005).
Adaptief toetsen vervult voornamelijk een functie bij toetsing van kennis en inzicht (‘knows’ en
‘knows how’).
Essaytoetsing op basis van voorgestructureerde feedback
Software, waarin essay-opdrachten worden nagekeken op basis van voorgestructureerde feedback
worden in deze rapportage getypeerd als ‘semi-geautomatiseerd’. Draaijer (2004) beschrijft twee
programma’s voor het semi-geautomatiseerd nakijken, Markin en MarkThis. In Nederland is weinig
ervaring met deze programma’s. De Vrije Universiteit voert pilots uit met een derde programma
‘Turnitin’ in het kader van het SURFproject ‘Proof’.
• Markin
Markin (http://www.cict.co.uk/software/markin) ondersteunt bij het nakijken van digitaal
ingeleverde tekstdocumenten. Het biedt de mogelijkheid om tekstdelen te markeren met
feedback, commentaar of hyperlinks. De docent selecteert uit het ingeleverde werk één of
meerdere woorden (of zinnen) en kiest daarbij de gestandaardiseerde of zelf geformuleerde
feedback die op het geselecteerde stuk van toepassing is. Het programma biedt een aantal
knoppen waarmee negatieve feedback kan worden gegeven voor spelling, syntaxis,
grammatica, morfologie, vocabulaire en inhoud. Verder heeft Markin een aantal knoppen
waarmee positieve feedback kan worden geven. Aan elk aspect van deze feedback kan een
waarde worden toegekend, zodat belangrijke aspecten zwaarder worden meegewogen dan
andere aspecten.
Als het werk is voorzien van feedback, kan de toets (als internetpagina) direct via e-mail naar
de student worden teruggestuurd, met daarin de toegekende feedback, het cijfer en eventueel
de statistieken over de feedback. Dit laatste is een soort samenvatting, zodat studenten snel
kunnen zien hoeveel positieve en hoeveel negatieve feedback ze hebben gekregen.
Het voordeel van Markin is dat studenten keurig geannoteerde inhoudelijke feedback op hun
werk krijgen, en wel exact op de plaats waarop de feedback slaat. Nadeel is dat na het
invoegen van alle feedback het programma niet de totale waarde berekent, dit blijft een
handmatige taak van de docent.
• MarkThis
MarkThis (www.circle-of-excellence.com) is vergelijkbaar met Markin. Een nadeel van MarkThis
is dat de gegeven feedback niet in de tekst komt te staan. De student ontvangt slechts de
resultaten.
• Turnitin
Turnitin (http://www.turnitin.com/static/index.html) vervult twee functies: fraudedetectie en
semi-geautomatiseerd nakijken. In het kader van dit project is de laatste functie relevant.
Turnitin is –anders dan de eerder genoemde programma’s-, niet exclusief bedoeld voor de
docent, maar ook voor de student (peerreview). Turnitin is wat betreft opbouw vergelijkbaar
met Markin. Daarnaast biedt Turnitin de mogelijkheid om overall-categorieën te formuleren die
gewaardeerd kunnen worden op en schaal van 1 t/m 5. Op deze manier voorziet de
feedbackgever (docent of student) het paper van een cijfer (Kaandorp, 2007).
19

Het (semi-) geautomatiseerd nakijken en beoordelen van essayvraagstukken vervult een functie bij
het tonen van bekwaamheid op het gebied van ‘knows how’.
Essaytoetsing
Sinds begin 2000 zijn er tools op de markt waarmee open vragen kunnen worden gescoord.
• CODAS (Conceptuele Documenten Analyse Systemen)
Codas (http://www.andromatics.nl) kan antwoorden op opdrachten en essayvraagstukken
analyseren en heeft een fraudedetectie- en nakijkmodule.
De nakijkmodule analyseert een klein aantal essays die handmatig zijn nagekeken. De docent
kent scores toe (maximaal vier) en merkt een beperkt aantal essays daarvan als voorbeelden
of tegenvoorbeelden. Deze scores worden in het programma toegevoegd, waarna CODAS alle
opgaven aan de hand van deze gemarkeerde documenten ordent. De docent kan vervolgens in
de ordening grenzen aangeven voor de gewenste beoordelingscategorieën. Steekproefsgewijs
kan de ordening gecontroleerd en verfijnd worden. Vervolgens laat men het programma
opnieuw de documenten ordenen en bepaalt de docent de cesuur. Het ordenen (nakijken)
gebeurt op basis van een statistische analyse van woordfrequenties. CODAS beoordeelt de
inhoud van documenten dus niet op het 'microniveau' van de precieze formulering en volgorde
van zinnen, maar op een meer geabstraheerd, 'hoger', 'conceptueel' niveau.
CODAS heeft een aantal kenmerken die het programma lastig maken in gebruik: minimale
grootte van de essays is 300 woorden, betrouwbaarheid en tijdwinst gaan spelen vanaf 50
essays, het taalgebruik van populatie dient homogeen te zijn, het programma werkt beter als
er grote spreiding is in antwoordkwaliteit (goede en slechte essays). Door deze kenmerken kan
de betrouwbaarheid niet worden gegarandeerd en is summatieve toetsing geen optie.
Formatieve toetsing is eveneens geen optie: in het programma kan geen inhoudelijke feedback
worden gegeven (zie Draaijer 2004).
• Intellimetric
Intellimetric (http://www.vantagelearning.com/school/products/intellimetric) is de eerste tool
voor essay-toetsing die gebruik maakt van kunstmatige intelligentie. Daarnaast worden scores
gebaseerd op ‘natural language processing’ en statistische technologie (zie Eliot 2003, p. 71
geciteerd in Dikli, 2006, p.15).
De inzet van zo’n programma vraagt om training: het programma leert op basis van essays die
reeds gescoord zijn door experts. De gescoorde essays, worden door de tool gebruikt als basis
voor de geautomatiseerde scoring. Dikli (2006) stelt dat er 300 ‘oefen’ essays nodig zijn om te
komen tot een adequate scoring.
De scoring gebeurt op basis van inhoudelijke en structuur aspecten. Inhoudelijk wordt er gelet
op kenmerken die te maken hebben met de inhoud / het onderwerp, de reikwijdte van het
onderwerp; cohesie en consistentie; en de opbouw van het betoog. Wat betreft de structuur
wordt er gelet op overeenstemming met de conventies in de taal, zinscomplexiteit en variëteit.
Het grootste bezwaar tegen Intellimetric zijn de kosten. De opstartkosten voor het nakijken
van een essay (300 trials) zijn € 8.000,-. Dit maakt programma alleen geschikt voor steeds
terugkerende opdrachten/essays en grote aantallen studenten.
Het geautomatiseerd nakijken en beoordelen van essayvraagstukken vervult een functie bij het
tonen van bekwaamheid op het gebied van ‘knows how’.
Tools voor Peerfeedback
In het onderwijs wordt op bescheiden schaal gebruik gemaakt van peer feedback: studenten geven
elkaar feedback op teksten en/of inzet (samenwerken) en/of performance.
In de UU zijn twee tools ontwikkeld voor het geven van feedback, namelijk het Annotatiesysteem
en de Peerfeedbacktool. Dividu is ontwikkeld in het kader van (een project van) de Digitale
Universiteit.
De tools zijn in eerste instantie ontwikkeld voor peer2peer-contact, maar kunnen ook door de
docent worden gebruikt bij de beoordeling van studenten.
• Het Annotatiesysteem
20

Het Annotatiesysteem (AS) is ontwikkeld door het IVLOS en wordt gebruikt voor het aan elkaar
voorleggen van teksten voor online peer feedback (zie Van den Berg e.a., 2005; Van der Pol,
2007). Het AS is het enige systeem waarin het mogelijk is om de gegeven feedback ‘te
waarderen’ (rating).
Het Annotatiesysteem werkt heel eenvoudig. In Aan de slag met het Annotatiesysteem staat
precies welke stappen je moet volgen om rond te kijken, in te loggen (als docent of student),
hoe je cursussen en groepen studenten aanmaakt, documenten upload (PDF) en deze in
onderlinge samenwerking becommentarieert met behulp van annotaties (opmerkingen) en
feedback op elkaars berichten. De tekst staat rechts op het scherm, annotaties en feedback
verschijnen links in beeld. Met een rating kun je aangeven hoe belangrijk je een annotatie
vindt (van 1 tot 5 sterretjes). Door de mogelijkheid op elkaars vragen en feedback te reageren
ontstaat er een inhoudsgerichte discussie die helpt bij het bestuderen en verwerken van een
tekst.
• De Peerfeedback Tool
De Peer feedback Tool is ontwikkeld bij het departement Informatica. Met de tool geven
studenten elkaar feedback op aspecten van samenwerken (zie Van den Berg e.a., 2005).
• Dividu
DiViDU (http://info.dividu.nl) is een webgebaseerde videorepository waarin studenten en
docenten hun eigen, in de beroepspraktijk opgenomen videofragmenten (van kritische
praktijksituaties) onderbrengen, beschrijven en coderen met metadata. Daaraan gekoppeld zijn
er drie didactische componenten: Analyse (student analyseert praktijksituaties op video, die
ook theoretische concepten, zoals samenwerkend leren, illustreren); Reflectie (student
reflecteert met behulp van video op het eigen handelen in een praktijksituatie en ontvangt
hierop feedback van peers en begeleiders); Assessment (trainee toont eigen handelen en eigen
ontwikkeling aan). In het kader van het SURF-project ‘Digitale videodossiers bij het begeleiden
en beoordelen van studenten’ zijn onder andere bij de UU (Diergeneeskunde en Geneeskunde)
pilots uitgevoerd waarin DIVIDU een rol speelde.
In de projectrapportage is geconcludeerd dat het digitale videodossier ‘een effectief middel is
voor begeleiding van studenten: het vermogen tot zelfreflectie van studenten wordt groter, de
motivatie voor reflectie op het eigen handelen wordt groter, en studenten worden zich beter
bewust van het eigen handelen. Het digitale videodossier geeft in de gevallen waarin ook het
aspect van beoordeling aan de orde is gekomen aan dat de competenties van studenten valide
kunnen worden weergegeven. Dit betekent dat het voor studenten duidelijk is welke
competenties zij moeten laten zien en voor docenten op welke competenties zij hun
begeleiding en beoordelingen moeten afstemmen’.1
Feedback op peers kan op verschillende manieren een rol spelen in de beoordeling: 1. de docent
betrekt de feedback die de peer geeft op een medestudent, bij de beoordeling van de peer, 2. de
docent betrekt de ‘reactie’ van de medestudent op de feedback bij de beoordeling van de
medestudent, 3. De docent gebruikt de genoemde tools om zelf de studenten van feedback te
voorzien.
Het Annotatiesysteem is ontwikkeld voor peerfeedback (zie ook Turnitin), maar kan een rol
vervullen bij het (semi-) geautomatiseerd nakijken en beoordelen van essayvraagstukken en
vervult daarmee een functie bij het tonen van bekwaamheid op het gebied van ‘knows how’.
De Peerfeedbacktool en Dividu kunnen een functie vervullen bij zowel ‘shows how’ als ‘does’ .
Portfolio-toetsing
Een portfolio is een georganiseerde, doelgerichte documentatie van de
professionele groei en van het leerproces van een student. Het portfolio bevat een (digitale)
collectie van bewijsmateriaal waarmee de student zijn competenties, kennis en vaardigheden als
1 Meer informatie over de inzet van DIVIDU in het kader van beoordeling staat op
https://www.surfgroepen.nl/sites/dividossier/handboek/Wiki%20Pages/Home.aspx
21

zich onwikkelende professional zichtbaar maakt. Het portfolio is een instrument in handen van de
student (Kösters & Ritzen, 2002).
Portfolio’s spelen een steeds grotere rol in het onderwijs en vervullen een belangrijke functie bij
het tonen van bekwaamheid op het niveau van ‘Does’.
Bij de dOO wordt reeds op diverse plaatsen gebruik gemaakt van het portfolio. Portfolio’s krijgen
betekenis voor de student op het moment dat ze werken in een praktijk gerichte context
(bijvoorbeeld co-schappen). Het onderzoek naar de validiteit en betrouwbaarheid van portfolio’s
staat nog in de kinderschoenen: van Keulen & ter Braak (2008) geven aan dat het portfolio zowel
beperkingen als mogelijkheden kent. Diverse klinische vaardigheden en de patiëntbejegening
blijken bijvoorbeeld niet uit het portfolio, deze zullen via directe observatie beoordeeld moeten
blijven. Cognitieve aspecten zoals het klinisch redeneren en de verslaglegging zijn wel goed te
beoordelen via het portfolio. Driessen (2008) concludeert op basis van eigen en ander onderzoek,
dat het portfolio een goed instrument is om reflectievaardigheden te stimuleren en te beoordelen.
met acceptabele interbeoordelaarsbetrouwbaarheid.
Er zijn verschillende digitale tools voor portfolio op de markt, via SURF kan een licentie worden
aangeschaft voor een portfolio dat is gebouwd in SharePoint, de Uva werkt met een portfolio dat is
ontwikkeld in het kader van de Digitale Universiteit. De dOO maakt (nog) geen gebruik van een
digitale versie van het portfolio.
Tot slot kan worden opgemerkt dat voor deze tools dezelfde voorwaarden gelden als voor eerder
genoemde tools (zie ook hoofdstuk 4): licentiekosten, computers en zalen, bedrijfszekerheid,
voorinvestering (waaronder ondersteuning van docenten), op termijn tijdwinst van docenten,
presentatie goede voorbeelden, kwalitatief goede toetsvragen.
Bijlage 1 bevat een matrix, die is bedoeld om de vraag ‘wel/niet digitaal toetsen’ te onderbouwen.
22

TOOL MEERWAARDE VOORWAARDE
Toetsprogramma’s met
voorgestructureerde
antwoorden
• toevoegen beeld en geluid
• sequentiemanipulatie
• analyse vragen Kwaliteitsverhoging
Toetsen met stemkastjes • formatief toetsen
• gerichte feedback
• geen grote computerlokalen nodig
• verhoogt interactie/levendigheid
Adaptief toetsen • iedere student unieke toets
Essaytoetsing met
voorgestructureerde
feedback
• kortere toetsen mogelijk
• minder vragen
• handig bij kennis die niet veroudert
•
• mogelijkheid om feedback voor te
structureren
• gegeven feedback kan rol spelen in
beoordeling
• op basis van feedback is
waardering/cijfer mogelijk
Essaytoetsing • software beoordeelt essay / open vraag
Peerfeedback:
schrijfproducten
Annotatiesysteem
Peerfeedback:
samenwerken
Peerfeedback: gedrag
in context DIVIDU
• handig bij terugkerende opdrachten en
grote groepen studenten
• docent neemt slechts steekproef
• inhoudsgerichte discussie
• feedback kan rol spelen in beoordeling
• feedbackontvanger kan feedback
waarderen (‘raten’)
• feedbackgever kan vragen om
specifieke feedback
• studenten kunnen elkaar beter in
samenwerking beoordelen dan docent
• student (feedback-vrager) kan zelf
input leveren voor
beoordelingsinstrument
• ondersteunt analyse, reflectie en
assessment van handelen in
beroepspraktijk
• ondersteunt docent bij beoordeling
Portfolio • geeft student verantwoordelijkheid
voor beoordeling
• beoordelen is ‘bewijzen’ (i.p.v.
‘afstraffen’)
• rechten op beeld/geluid
• inrichten itembank
• tijd beschikbaar stellen voor
kwaliteitsverbetering
• beheer van stemkastjes is ‘nabij’
• didactische ondersteuning
• fraude-maatregelen bij
summatief toetsen
• items uittesten op 1000
studenten
• kies programma dat feedback
door docent en door student
mogelijk maakt (vergelijk
Turnitin met Markin).
• programma vereist 300
oefentrials per essay
• student krijgt
verantwoordelijkheid in
beoordelingsproces
• veronderstelt onderwijs waarin
studenten in teams werken aan
een opdracht
• beoordeling van studenten
betrekken bij beoordeling
docent
• veronderstelt leren in
praktijksituaties
• intentie is om een
videorepository op te bouwen
• vraagt didactische
ondersteuning van de docent
• portfolio speelt wezenlijke rol in
beoordeling
23

5.3 Conclusie
In dit hoofdstuk worden diverse mogelijkheden van digitaal toetsen beschreven.
1. Het opbouwen van kennis is een belangrijk onderdeel van competentieontwikkeling. In de
praktijk blijkt dat het opbouwen van deze kennis en het meten of deze kennis verworven is, nog
altijd efficiënt en effectief kan plaatsvinden via toetsvragen en toetsen (Draaijer 2004). Toetsen
kunnen op verschillende manieren worden ondersteund door digitale tools. Tools zijn niet alleen
beschikbaar voor het direct meten van kennis via ‘knows’ en ‘knows how’ , maar ook voor het
indirect toetsen van kennis via ‘shows how’ en ‘does’. Dat betekent dat digitale toetsen kunnen
worden ingezet om ieder niveau van bekwaamheid, zoals aangeduid in de piramide van Miller, te
bewijzen of te checken.
2. Iedere tool heeft een specifieke meerwaarde. Deze meerwaarde kan alleen worden gerealiseerd
als aan een aantal voorwaarden is voldaan. Deze zijn in bovenstaande tabel samengevat.
Tot slot: Onlangs heeft het College van bestuur van de UU besloten Blackboard Next Generation
UU-breed (Bb NG) te implementeren. Bb NG belooft veel op het gebied van toetsen. De inzet van
digitale toetsen zal toenemen en efficiëntie opleveren als de ondersteuning goed is geregeld: hierin
is een belangrijke rol weggelegd voor het IDC (onderhoud, beheer, computerlokalen, basale
workshops) en het IVLOS (didactische inzet, kwaliteitsverhoging).
24

6. Wensen en beleid in UMCU m.b.t. digitaal toetsen
6.1 Algemeen
Het UMCUtrecht voert al sinds de jaren 80 een actief beleid waar het gaat om electronische
ondersteuning van het onderwijs. In 1999 een afdeling ICTO (ICT in onderwijs) ingesteld, in 2005
ondergebracht als team voor Onderwijstechnologie in het Expertisecentrum voor Onderwijs en
Opleiding. Het accent in deze ondersteuning heeft steeds vooral gelegen op electronische
leeromgeving en op hulp bij het gebruik van COO applicaties. Geleidelijk echter heeft electronische
toetsing in de laatste jaren een sterkere plaats verworven. In het bijzonder het toetsprogramma
TestVision wordt door de opleidingen en toenemend door andere gebruikers in het UMC toegepast.
In vergelijking met andere UMC’s in Nedederland wordt in het UMCU relatief veel gedaan aan
electronische toetsing. Ook worden toenemend aan voorlichting en training van docenten gedaan.
Deze ontwikkeling kan anderzijds echter ook beschouwd worden als slechts een voorzichtige eerste
stap in de richting van het ‘reduceren van papierwerk’ bij toetsing. Kwantitatief, in vergelijking met
het aantal toetsen dat jaarlijks door opleidingen van het UMCU worden afgenomen, beslaat
electronische toetsing niet meer dan enkele procenten, veelal voor kleine groepen studenten. Ook
is er geen beleid van de examencommissie in deze richting. Dit EMP project beoogt een basis te
leveren op grond waarvan beleid zou kunnen worden geformuleerd.
6.2 Medewerkers
Er zijn drie brainstormsessies gehouden met medewerkers, studenten en leidinggevenden van de
verschillende opleidingen in de dOO. De sessies waren bedoeld om de wensen van opleidingen
m.b.t. papierloos toetsen /digitalisering uitgaande van de huidige situatie (toetsen) te
inventariseren. Na een schets van de mogelijkheden mbt digitaliseren & toetsen kregen de
aanwezigen de volgende twee vragen voorgelegd:
Vraag 1: welke wensen zijn er m.b.t. digitalisering van (specifieke) toetsen?
Vraag 2: wat is daarvoor nodig?
Wensen
Samenvattend kwamen de volgende wensen naar voren:
1. De meerwaarde van digitale toetsing zit in de feedback-mogelijkheid: instaptoets (drempel:
weet student voldoende) en tussentoets (diagnostisch wat is niveau).
2. Digitale toetsing kan docenten tijdwinst opleveren, maar vraagt organisatie, afstemming
(databank), ondersteuning en samenwerking.
3. De casustoetsing is een belangrijke vorm van toetsing vanwege de mogelijkheden van beeld en
geluid. Deze vorm zal door steeds meer docenten worden gebruikt.
4. Toetsing van open vragen (essay toetsing) zou erg handig zijn, maar lijkt weinig reëel (zie
hoofdstuk 5).
5. Toetsing met behulp van voorgestructureerde feedback (semi-geautomatiseerd) is een reële
optie.
6. Ontsluiten van goede voorbeelden waarin de kracht van het digitaal toetsen duidelijk wordt en
ook de mogelijkheden van de verschillende soorten vragen.
7. Gezamenlijk optrekken met andere UMC’s via landelijke SURF-projecten.
Voorwaarden:
1. Ondersteuning:
• gebruik toetsprogramma
• inhoudelijk (onderwijskundig)
• zoveel mogelijk just in time (via Doo).
25

2. Start maken met inrichten van een itembank met vragen.
3. Beschikbaarheid grote computerzalen (150 werkplekken)
6.3 Conclusie
Gezien de snelle ontwikkeling van electronische en internet toepassingen in de maatschappij,
waaronder de verschuiving van schrijven met de hand met pen en papier naar het gebruik van
beeldscherm en toetsenbord, mag de toepassing van “paper-and-pencil” toetsen bijna als archaïsch
worden beschouwd. De beperkte toepassing van computerondersteunde toetsing mag daarom
enerzijds als verwonderlijk worden gezien. Deze voorzichtigheid bij de invoering ervan lijkt echter
terecht.
Zoals elders in deze rapportage van het EMP project Papierloos toetsen is te lezen zijn er talloze
randvoorwaarden waar voldaan moet worden, ook andere, meer technische, dan die in de
brainstormsessies zijn genoemd. Het is terecht dat beleid om toetsing in te voeren in dit stadium
vooral moet komen vanuit individuele examinatoren die zelf verantwoordelijkheid nemen voor hun
eigen toetsen. Veel docenten zijn nog onbekend met de mogelijkheden en voorwaarden van
digitale toetsing op grote schaal. Het opleggen van een beleid vanuit een examencommissie zou
waarschijnlijk thans tot veel problemen leiden. De resultaten van dit project kunnen echter wel
beleidvorming in deze richting ondersteunen.
26

7. Het vervolg
7.1 Uitgangspunten
Op basis van onderzoek naar de behoefte aan digitaal toetsen onder docenten komen onder andere
de volgende punten naar voren:
1. De meerwaarde van digitale toetsing zit in de feedback-mogelijkheid: instaptoets (drempel:
weet student voldoende) en tussentoets (diagnostisch wat is niveau).
1. De casustoetsing is een belangrijke vorm van toetsing vanwege de mogelijkheden van
beeld en geluid. Deze vorm zal door steeds meer docenten worden gebruikt.
2. Toetsing met behulp van voorgestructureerde feedback (semi-geautomatiseerd) is een
reële optie.
3. Ontsluiten van goede voorbeelden waarin de kracht van het digitaal toetsen duidelijk wordt
en ook de mogelijkheden van de verschillende soorten vragen.
In het artikel Twelve tips for computer-based assessment in medical education komen de volgende
punten naar voren:
1. Maak duidelijk waarom digitaal getoetst moet worden
2. Gebruik een erkend software programma
3. Zorg voor adequate hardware en infrastructuur
4. Onderzoek de mogelijkheden van digitaal toetsen
5. Selecteer de vraagtypes
6. Start met een pilot maar hou rekening met schaalvergroting bij keuze van software en
ondersteuning
7. Schipper niet op beveiligingsaspecten
8. Hoe er rekening mee dat technologie faalt
9. Informeer de studenten
10. Geef feedback over resultaten
11. Train de docenten
12. Evalueer de examens
Aan bovenstaande punten wordt al deels voldaan in het UMCU. Een en ander resulteert tot de
volgende EMP aanvraag waarin de nadruk ligt op het duidelijk krijgen door middel van onderzoek
wat de meerwaarde is van verschillende vormen van digitaal toetsen in vergelijking met
conventioneel toetsen, op het opzetten van een ondersteunende organisatie die het mogelijk maakt
om deze vorm van toetsing ook op grote schaal adequaat en efficiënt uit te voeren en op het
ontsluiten van goede voorbeelden.
7.2 EMP voorstel Ontwikkeling en invoering Digitaal toetsen
Vervolg op EMP project voorwaarden voor papierloos toetstijdperk.
Ontwikkeling en invoering digitaal toetsen
Betrokken eenheden/medewerkers
UMCU, Directie Onderwijs en Opleiding - dOO, ExpertiseCentrum - EC, afdeling
OnderwijsTechnologie - OT.
Martien Quaak, Sam Verdoes, Olle ten Cate, Lars van der Plank
Coördinatoren en docenten van het onderwijs in Geneeskunde - GNK, BioMedische
Wetenschappen - BMW, Algemene Gezondheids Wetenschappen - AGW en het
OpleidingsCentrum - OC.
Anke Lecluse, Cecile Ravesloot, Marijke Canninga, Saskia Mol, Joost Frenkel
Projectteam:
27

Martien Quaak, Olle ten Cate, Anke Bootsma, Sam Verdoes, Cecile Ravesloot, Magda
Ritzen
Omschrijving project
Het toenemend gebruik van digitaal toetsen wordt met dit project ondersteund.
- Docenten/coördinatoren worden ondersteund met het opzetten en onderhouden van
een eigen vragenbank en het samenstellen van een examen.
- Voor het afnemen van de toetsen worden in dit project de mogelijkheden om op grote
schaal toetsen af te nemen onderzocht (met aandacht voor fraudebestendigheid en
draagbare apparatuur zoals stemkastjes).
- In verschillende pilots wordt ervaring opgedaan met het afnemen van verschillende
soorten toetsen (gesloten en open vragen, toetsen met voor-gestructureerde
feedback) met een schaalgrootte van 60 -150 studenten.
- Vergelijkend onderzoek van papieren en digitale toets.
- Onderzoek van de manier van ondersteuning van de docenten bij het opzetten en
onderhouden van de vragenbank en het afnemen en verwerken van de toetsen
(aandacht voor toetskwaliteit).
- Ontsluiten van goede voorbeelden
In grote lijnen bestaat het project uit drie delen:
1. Onderzoek van de ervaringen met twee vormen van toetsing: op papier en
digitaal.
2. Opstellen van een organisatieopzet waarbij de uitvoering van het digitaal
toetsen is ingebed in de organisatie, afstemming met de directie ICT van de
UU (o.a. vanwege toetslokalen).
3. Vervolg pilots die aansluiten bij het EMP Project Papierloos toetsen, met name
gericht op de aspecten van toetsen op grote schaal en semi-geautomatiseerd
toetsen.
Voorwaarde
Het is van belang dat het management van de dOO achter dit plan staat en bereid is om
voor de uitvoering van de pilots en de inbedding van de uitvoering van het digitaal
toetsen beslissingen te nemen die een continuering van de uitvoering van het digitaal
toetsen waarborgen.
Doel
Het verder onderzoeken van de ervaringen met digitaal toetsen en het inbedden van
digitaal toetsen (op grote schaal) in de organisatie.
Gewenst resultaat
- Een beschrijving van de onderzoeksresultaten van de vergelijking tussen papier en
digitaal toetsen.
- Een opzet van een organisatievorm waarin digitaal toetsen is ingebed in de
organisatie.
- Een evaluatie van de pilots van toetsen op grote schaal.
Doorlooptijd project
Start zomer 2008 en doorlopend tijdens studiejaar 2008-2009.
Benodigde expertise IVLOS
Onderwijskundige en strategische expertise om te komen tot een plan van aanpak en het
ondersteunen en begeleiden van de uitvoering van dit project.
28

Literatuur
Berg, I. van den, Pilot, A. & Admiraal, W. (2005). Peer assessment als leermiddel. Voorbeelden uit
het hoger onderwijs (IVLOS-Reeks). Utrecht: IVLOS, Universiteit Utrecht.
Bull, J. and Stevens, D. (1999). The use of QuestionMark software for formative and summative
assessment at two universities IETI 36 (2) 128-136.
Daniels, J. & Van der Vleuten, C. (2002). De rol van ICT in toetsen en beoordelen. In:
Frencken, H., Nedermeijer, J., Pilot, A. en Dam, I. ten (2002). ICT in het hoger onderwijs. Stand
van zaken. Utrecht/Leiden: IVLOS/ICLON, 37-51.
Zie ook http://e-learning.surf.nl/e-learning/artikelen/1437.
Dikli, S. (2006). An Overview of Automated Scoring of Essays. Journal of Technology, Learning,
and Assessment, 5(1). Retrieved [October, 10, 2007] from http://www.jtla.org.
http://www.vantagelearning.com/intellimetric/about.html
Draaijer, S. (2004). Flexibilisering van Toetsing. Utrecht, Digitale Universiteit: pag. 20-21.
Adaptief Toetsen
Driessen, E. (2008). Educating the self-critical doctor: using a portfolio to stimulate and assess
medical students'reflection. Academisch Proefschrift, Universiteit Maastricht.
Willie Hols-Elders, Peter Bloemendaal, Nynke Bos, Martien Quaak, Roel Sijstermans, Peter de Jong.
Twelve tips for computer-based assessment in medical education. Medical Teacher
2008;30(7):673-678
Keulen, J. van, & Braak, E.W.M.T. ter, (2008). Beoordelen met een portfolio in de co-schappen:
voldoende betrouwbaar?, presentatie NVMO-congres 2008.
Kösters, J.M.P. en Ritzen, M. (2002), Educatieve faculteit Amsterdam: Portfolio's in de
lerarenopleiding in Driessen, E., Beijaard, D. e.a. (ed.), Portfolio's (pp. 80-97), Groningen, Wolters
Noordhoff.
Langewis, E. (2008). Verslag Grassroot Elektronisch Toetsen (intern document). Utrecht: CPIO,
Universiteit Utrecht.
Linden, W.J. van der, (2005). A Comparison of Item-Selection Methods for Adaptive
Tests with Content Constraints. Journal of Educational Measurement, Vol. 42, No. 3, pp. 283–302.
Milius, J. (2007). Schriftelijk tentamineren. Een draaiboek voor docenten in het hoger onderwijs
(IVLOS-Reeks Hoger Onderwijs). Utrecht: IVLOS, Universiteit Utrecht.
Miller, G. (1990). The assessment of clinical skills/competence/-performance. Academic Medicine
65 (9), 63-67.
Ogg, H., Beijering, J. & Moonen, J. (2004). W@@rde van E-learning. Utrecht: Digitale Universiteit.
Paul, L., & Bergeijk, E. van (2007). Evaluatierapport Pilot Stemkastjes. Utrecht: Faculteit
Geowetenschappen.
29

Pol, J. van der, (2007). Facilitating online learning conversations. Exploring tool and affordances in
higher education. Utrecht: IVLOS, Universiteit Utrecht.
Sambell, K., Sambell, A. and Sexton, G. (1999). Student perceptions of the learning benefits of
computer-assisted assessment: a case study in electronic engineering, Chapter 19, 179-192 in
Brown, S., Race, P. and Bull, J. (eds) Computer-Assisted Assessment in Higher Education London:
Kogan Page/SEDA
Tartwijk, J. van, E. Driessen, B. Hoeberigs, J. Kösters, M. Ritzen, K. Stokking en C. v.d. Vleuten,
(2003). Werken met een elektronisch portfolio. Groningen: Wolters Noordhoff.
Thissen, D., & Mislevy, R.J. (2000). Testing Algorithms. In Wainer, H. (Ed.) Computerized Adaptive
Testing: A Primer. Mahwah, NJ: Lawrence Erlbaum Associates.
Verkroost, M.J. (2002). Wel of niet geautomatiseerd toetsen? Geraadpleegd 29 augustus 2007, op
de website van Digitale Didactiek: http://www.digitaledidactiek.nl/dd/toetsen/51
30

Bijlage 1 Matrix wel/niet digitaal toetsen
Analyseschema dat ondersteunend is aan de beslissing: digitalisering van toets ja/nee (inclusief voorbeelden)
In deze bijlage worden drie manieren van digitaal toetsen bekeken:
1. De MC-toets via een toetstool (gesloten vragen).
2. De Utrechtse VoortgangsToets (UVT) via een toetstool (korte open vragen).
3. Inzet van tools als stemkastjes en mobiele telefoon bij gesloten en korte open vragen.
Deze drie manieren van digitaal toetsen worden nader bekeken: per fase in de toetscyclus is een swot-analyse uitgevoerd.
Doel is te komen tot een gefundeerd besluit: wel of niet inzetten van een toetstool.
Uitgangspunt:
De SWOT-analyse is ondersteunend aan de keuze wel/niet digitaal (= papierloos).
Het betreft toetsen die summatief (itt formatief) worden ingezet.
Het betreft toetsen die digitaal kunnen worden afgenomen en/of verwerkt met speciale tools.
Algemeen
De voordelen van digitaal toetsen:
• tijd- en plaatsonafhankelijk toetsen;
• tijdsbesparing voor docenten vanwege automatisch beoordelen;
• werken met databank met toetsvragen ad random toets samenstellen studenten kunnen toets meerdere keren maken zonder dezelfde vragen
te krijgen vragen voorzien van moeilijkheidsniveau (goede studenten krijgen andere vragen);
• een digitale toets kan veel informatie leveren voor de docenten: wie heeft de toets gemaakt en met welk resultaat, en waar zitten hiaten in de kennis
van studenten. Sommige toetsprogramma’s (zoals Testvision) leveren uitgebreide analysetools waarmee onder andere de betrouwbaarheid van
afzonderlijke vragen gecontroleerd kan worden. Goedkoper: bij het digitaal toetsen kan gebruik worden gemaakt van gedetailleerde kleurenfoto’s. Bij
het gebruik van deze foto’s op papieren toetsen, lopen de kosten voor het drukken of printen van de toetsen al snel op;
• mogelijkheid om adaptief te toetsen: d.w.z. dat het niveau van de vragen wordt aangepast aan de prestatie van studenten op eerder vragen.
De nadelen van digitaal toetsen:
• het invoeren van de vragen in een toetsprogramma kost extra tijd;
• voor ad random samengestelde toetsen moeten veel vragen ontwikkeld worden. De mogelijkheden voor het stellen van open vragen beperkt, tenzij
wordt gekozen voor essay-toetsprogramma nadeel is dat t programma veel ‘leertijd’ nodig heeft;
• een grote databank vraagt om veel ontwikkelwerk en samenwerking met collega’s, ook over opleidingen heen;
• mogelijkheden m.b.t. fraude.
31

MC-toets
Strengths Weaknesses Opportunities Threats
Fase in cyclus /
SWOT
Toetsen van kennis die snel
veroudert vraagt om een tool
die door docent zelf kan
worden beheerd.
Voordelen digitaal toetsen. Nadelen digitaal toetsen. Transparantie: wat moet
student weten (know/know
how) en hoe wordt dat
getoetst (ontwikkeling
vragen, beoordeling /
evaluatie).
Toetsontwerp
Let bij keuze van tool op
gebruiksvriendelijkheid: wie
voert vragen / antwoorden in;
wie stelt toets samen; welke
ondersteuning is voor wie
nodig, hoeveel tijd vraagt dit?
Ondersteund door tool:
toetsboom opstellen:
duidelijkheid in relatie
cursusonderdeel-toets.
Docenten moeten vragen
invoeren en onderhouden,
dit vereist: vaardigheid in
omgaan met tool
(zie bijv. Testvision).
Constructie Toets kan worden gegenereerd
uit (koppeling) toetsbank of
specifiek bestand (aanvullend
beeld/geluid).
Mogelijkheid om meta-tags
aan vragen te koppelen
(sequentieel toetsen).
Eenvoudiger om toetsvarianten
te construeren (meta-tags).
Ontwikkelen van een MCvraag
kost veel docenttijd
(onafh. van wel/niet
digitaal).
Mogelijkheid om adaptief te
toetsen (samenwerking met
andere UMC’s).
Randomisatie, zowel op het
niveau van de vraag als op het
niveau van de alternatieven.
Adaptief toetsen alleen
mogelijk op basis van
grote investering (veel
vragen, veel trials i ).
Netwerk ligt plat.
Uitsluiten van bepaalde
vragen via tags (bv. voor
Beschikbaarheid
computers.
Afname Inzet Multi-media.
32

Fraude.
hertentamen).
Randomisatie.
Fraude maatregelen
nodig. ii
Onvoldoende grote zalen op
gewenst moment.
Ook handig voor kleine
groepen studenten.
Beperkingen Testvision, bijv.
back up tijdens afname?
Mogelijkheid om vraag (fout)
ter plekke aan te passen.
Tool-vaardigheid studenten.
-
- Updaten van vraag-en
antwoordmodellen.
Beoordelen Nakijken van een mc-vraag kost
weinig docenttijd
(geautomatiseerd).
Cijfer toekennen op basis
van score.
Snelle beoordeling, snelle
terugkoppeling naar studenten.
-
- Aan rapportage koppelen:
mogelijkheid van
afspraak/spreekuur.
Rapporteren Studenten kunnen onafhankelijk
van tijd en plaats resultaten
inzien.
- Hogere kwaliteit vragen. -
Analyse/evaluatie Statistische analyse op diverse
niveaus, onder andere over de
kwaliteit van de toets.
Conclusie:
Digitaliseren van een mc-tentamen is vooral zinvol wanneer:
- er gewerkt wordt met verschillende varianten van een toets
- beeld en geluid onderdeel uitmaken van de mc-vraag
- een snelle terugkoppeling naar studenten is gewenst
- er controle gewenst is op de kwaliteit van de vraag en de toets
33

Toets met open korte vragen: de UVT iiiiv
Fase in cyclus Strengths Weaknesses Opportunities Threats
/ SWOT
Toetsontwerp Ontwikkelen van een open Er zijn zowel bij ontwikkeling als
vraag kost minder tijd dan beoordeling veel mensen
ontwikkelen van een mc- betrokken!
vraag.
UVT via Testvision: veel klikwerk.
v
Ontwikkelen van vragen
Indien wordt gekozen voor
(afstemmen tussen docenten) en essaytoetsing: open vragen
toetsconstructie via toetstool laten zich lastig automatisch
levert tijdwinst op.
beoordelen. Het ‘leren’ van
het toetstool vraagt veel
trials en inzet (bijsturing!)
van docent.
Digitaliseren van afname levert
tijdwinst op (antwoorden
invoeren in toetstool, makkelijker
leesbaar).
Kosten en leertijd van tool
voor ‘essaytoetsing’
(benodigde aantallen testen
/ studenten is 300): bij
UMCU te weinig studenten
om gebruik rendabel te
maken.
Digitaliseren van correctie
(nakijken van open vragen door
computer=essaytoetsing vi ) levert
nog meer winst op (evt.
aanvullen met vangnet van
docenten bij uitschieters).
Let bij keuze van tool op
gebruikersvriendelijkheid en
leertijd: wie voert vragen /
antwoorden in; wie stelt
toets samen; welke
ondersteuning is voor wie
nodig?
Door tussenkomst tool,
minder betrokkenheid
docent (minder aandacht
voor updating vragen),
meer aansturing van
coördinator nodig.
Ondersteund door tool:
toetsboom opstellen:
duidelijkheid in relatie
cursusonderdeel-toets.
Docenten moeten vragen
invoeren en onderhouden, dit
vereist: vaardigheid in omgaan
met tool (zie bijv. Testvision).
Constructie Alle vragen staan in 1
database.
Toets kan worden
gegenereerd uit toetsbank
(aanvullend beeld/geluid).
Inhoudelijke check is mogelijk
door coördinator van de UVT.
Tool moet mogelijk maken om
vragen toe te kennen aan
Eenvoudiger om
34

toetsvarianten te
construeren (meta-tags).
Mogelijkheid om meta-tags aan
vragen te koppelen (sequentieel
toetsen).
verschillende docenten
(Testvision=rechtenstructuur is
onvoldoende fijnmazig).
Randomisatie: volgorde
vragen (cases).
Ontwikkelen van open vraag kost
weinig tijd (vergelijk mc-vraag).
Voorstructureren van
antwoorden.
Netwerk ligt plat.
Uitsluiten van bepaalde vragen
(bv. voor hertentamen).
Beperkingen Testvision, bijv.
back up tijdens afname?
Afname Studenten voeren
antwoord in de tool in.
Fraude.
Handig voor afname van kleine
en grote groepen studenten.
Beschikbaarheid computers.
Inzet Multi-media (filmpjes
en plaatjes).
Onvoldoende grote zalen op
gewenst moment.
Fraude maatregelen.
Mogelijkheid om vraag (waarin
fout zit) ter plekke aan te
passen.
Tool-vaardigheid studenten.
Mogelijkheid om als antwoord
een plaatje te tekenen (meestal
niet aanwezig in toetstools).
Netwerk ligt plat.
Back-up tijdens correctie.
Leertijd docent.
Bij ‘essaytoetsing’:
docenten (tijd) eventueel alleen
inzetten in gevallen van twijfel of
extreme scores.
Tool moet mogelijk maken om
antwoorden toe te kennen aan
verschillende docenten
(Testvision=probleem).
Beoordelen Tijdsbesparing voor
docenten:
antwoorden zijn leesbaar,
correctie kan eerder
starten.
Weerstand oudere (i.t.t.
jongere) docent.
Inzicht krijgen in tijd die het kost
om vraag na te kijken (relatie
bep. type vraag-correctietijd?).
Updaten van vraag-en
Bij ‘essaytoetsing’:
- Tool moet input krijgen (trials)
om te ‘leren’ / antwoorden te
Snelle beoordeling
(antwoorden digitaal
beschikbaar), snellere
terugkoppeling naar
35

antwoordmodellen.
studenten.
Cijfer toekennen op basis van
score.
scoren.
- Onwenselijk is beoordeling op
spelfouten!
-Twijfelgevallen moeten alsnog
worden nagelopen door
betrokken docent.
Correctie via print:
alle antwoorden op 1 vraag
kunnen worden geprint.
Automatische alert bij deadline
correctie (mogelijk bij alle
tools?).
Aan rapportage koppelen:
mogelijkheid van
afspraak/spreekuur.
Rapporteren Studenten kunnen
onafhankelijk van tijd en
plaats resultaten inzien.
Betere kwaliteit van de vragen.
Analyse / evaluatie Statistische analyse op
diverse niveaus, onder
andere over de kwaliteit
van de toets.
Conclusie:
Digitaliseren van een tentamen met korte open vragen is vooral zinvol wanneer:
- er gewerkt wordt met verschillende varianten van een toets
- beeld en geluid onderdeel uitmaken van de korte open vraag
- een snelle terugkoppeling naar studenten is gewenst
- er controle gewenst is op de kwaliteit van de vraag en de toets
De UVT is opgebouwd uit cases en korte open vragen (klinische en niet-klinische vragen). Deze vragen horen inhoudelijk bij elkaar. Loskoppeling van
deze vragen is niet wenselijk.
Bij de inzet van één tool t.bv. de UVT is van belang:
1. zijn de vragen (beoordelingscheck) toe te wijzen aan specifieke docenten?
2. hoe kan een antwoord op een korte open vraag worden voorgestructureerd t.b.v. correctie door de tool?
36

Toetsen met stemkastjes / mobiele telefoons
Fase in cyclus/SWOT Strengths Weaknesses Opportunities Threats
Studenten zijn onzeker over
techniek (komen de
antwoorden goed binnen)
Transparantie: wat moet
student weten (know/know
how) en hoe wordt dat
getoetst (ontwikkeling
vragen, beoordeling /
evaluatie).
Studenten werken niet
vanuit overzicht van alle
vragen (hebben geen
controle)
Voordelen
stemkastjes/mobiel: de
totaal score kan direct
worden gepubliceerd
Toetsontwerp
Kosten: stemkastje
aanschaffen? Kosten voor
mobiel?
Toetsen zijn heel eenvoudig
up-to-date te houden door
docent.
Mobielnetwerk aanleggen
ivm voorkomen van sms-
kosten
Ter plekke mogelijkheid om
te besluiten om vragen
wel/niet in te zetten:
duidelijkheid in relatie
cursusonderdeel-toets.
Mogelijkheid om sequentieel
te toetsen. Vragen worden
na elkaar geprojecteerd.
Ontwikkelen van een MCvraag
kost veel docenttijd
(onafh. van wel/niet
digitaal).
Constructie Docenten moeten vragen
invoeren en onderhouden,
dit vereist: vaardigheid in
omgaan met tool en
powerpoint
Mogelijkheid om handmatig
adaptief te toetsen (bijv. bij
totaalscore ≥ x)
Toetsvraag wordt
geknipt/geplakt uit
toetsbank.
Geen meta-tags nodig.
Stemkastjes: verveelt snel
Ook handig voor kleine
groepen studenten
Afname Inzet Multi-media
Mobiel: kosten voor student
of kosten m.b.t. campusprovider
Stemkastjes, mobieltjes en
ondersteunend materiaal
nodig, bijvoorbeeld laptop
met verwerkingssoftware,
beamer (uitschrijven).
Randomisatie en fraude
maatregelen zijn niet nodig
Door gebrek aan overzicht:
sequentieel toetsen mogelijk
Geen computers / zalen
nodig
Studenten zien toets vraag
voor vraag en missen het
37

overzicht; het verloop van
de toets wordt volledig door
de docent gestuurd -
studenten kunnen zelf het
tempo niet bepalen en niet
teruggaan naar eerdere
vragen
-
Ter plekke kan worden
besloten om bepaalde
onderwijsonderdelen
wel/niet te intensiveren
Geen directe terugkoppeling
op individueel niveau
Beoordelen van open vragen
(antwoorden) kost veel tijd.
Beoordelen Nakijken van een mc-vraag
kost geen docenttijd en
directe terugkoppeling op
groepsniveau
(geautomatiseerd).
Nodig?
Aan rapportage koppelen:
mogelijkheid van
afspraak/spreekuur
Rapporteren Nodig?
Studenten kunnen
onafhankelijk van tijd en
plaats resultaten inzien
- Hogere kwaliteit vragen
Analyse/evaluatie Statistische analyse op
diverse niveaus (o.a. meer
informatie over kwaliteit van
toets)
Let op: e.e.a. behoeft aanvulling op basis van info over stemkastjes en inzet mobiele telefoons..
Inzet Digitaal potlood (electronic pencil).
The pencil has a connection with a computer.
Google did not give any meaningful results on electronic pencisl. In the key note presentation ALTc2007, the Anoto pen was mentioned. Anoto® digital
pen/paper system that captures handwriting in digital form. The pen makes a pattern of tiny dots, which are too small to see in normal use - the paper
just looks slightly off-white. The pen has a camera which reads the dot pattern and records exactly where the pen is on the page - 70 times a second, to
the nearest 0.3 mm This means that you have a digital record of what was written that can be analysed, for example to score a questionnaire or
38

cognitive test automatically. Data are transferred to a PC via a docking cradle (or Bluetooth etc) and the resulting score is worked out automatically,
without manual transcription. http://www.penscreen.com/Digital%20Pen.htm
39

ALGEMEEN:
Voorwaarden bij inzet van toetstools:
- Ondersteuning en tijd voor docent
- Gebruiksvriendelijke tool
- Opzetten databank met toetsvragen (samenwerking)
Algemene conclusies m.b.t. inzet van een toetsbank (i.t.t. tentamenvarianten):
• een toetsbank (veel toetsvragen) inrichten is vooral zinvol voor grote studentaantallen (ontwikkeltijd).
• een toetsbank is zinvol wanneer meerdere docenten zijn betrokken bij het onderdeel / de toetsing (beheer)
• een toetsbank inrichten is zinvol wanneer vragen om een of andere reden voorzien moeten worden van een meta-tag (bijv. specifieke volgorde)
i Winer & Mislevy (2000): It is impossible to field an operational adaptive test with brand-new, unseen items; all items must be pretested with a large enough sample to
obtain stable item statistics. This sample may be required to be as large as 1,000 examinees. Each program must decide what percentage of the test can reasonably be
composed of unscored pilot test items.
ii Fraude maatregelen: vragen in random volgorde, alternatieven in random volgorde, inloggen op bepaalde tijd of voor bepaalde tijdsduur, alleen vanaf de
computerleerzalen, checken door surveillanten of inlognaam klopt met hun collegekaart, onmogelijk module te verlaten, onmogelijk te internetten.
iv De UVT: Per toets (20 vakgebieden), die 3 keer per jaar wordt aangeboden aan 4 de en 5 de jaars Geneeskunde studenten, worden er 40 vragen in de vorm van casuïstiek
gesteld en per casus is er een klinische en een biomedische vraagstelling. De voorzitter van de Examencommissie geeft opdracht voor het aanleveren van de vragen. De
antwoorden van studenten op deze casuïstiek worden vervolgens fysiek in tweeën gesplitst en per docent, die ook de vragen aangeleverd heeft, beantwoord. Vervolgens
worden deze gedeelten weer samengevoegd. Per antwoord zijn er 3 punten te verdelen. De student heeft minimaal een 5 nodig als gemiddelde van de laatste 4 deelnames
aan de toets en om door te mogen naar het 6 de jaar.
v Testvision vereist veel klikwerk: Voorbeeld 1: een toets klaarzetten op het web: Inloggen op Administratieve module eerder gemaakte CSV-file met studentgegevens
inlezen Inloggen op TestVision Eerder samengestelde toets toewijzen aan studenten Inloggen op Internetmodule Toets exporteren Inloggen op TestVision
website Uploaden toets
vi IntelliMetric needs to be trained with a set of pre-scored essays with known scores assigned by human raters. These essays are then used as a foundation to extract the
scoring scale and the wisdom of the human raters: 300 essays are required for training (Dikli, 2006, p. 23).
40

Bijlage 2 Verslagen brainstormsessies
4 febr. 08 Resultaten brainstorm GNK ‘mogelijkheden digitaal toetsen’.
Aanwezig:
T.W. van Haeften, P.H. Steenbergh (Paul), C. van Hoven (Celine), A.L. Bootsma (Anke), G. Croiset
(Gerda), A.H. Verdoes (Sam), M.J.Quaak (Martien), F. Landsman (Fraukje), W.P.M. Hols (Willie) en
M. Ritzen (Magda).
Mogelijkheden mbt digitaal toetsen:
Algemeen
Voordelen:
- Casus toetsing – realistisch (6 groene stippen= goed idee
- Audiovisuele mogelijkheden (5 groene stippen)
- In te zetten als staptoets bij blok (is beginniveau goed genoeg, o.a. bij co-schappen) (5 groene
stippen)
- Adaptieve toetsen handig, bijvoorbeeld tav de UvT (proeftest) en Farmacotherapie (3 niveau’s)
(3 groene stippen)
- Kwaliteitsanalyse (2 groene stippen)
- Mogelijkheid van databank (met andere UMC’s?) (1 groene stip)
- Alle toetsen digitaal en gevarieerd, behalve clinical skills (2 rode stippen=minder goed idee)
Formatief: voordeel voor studenten:
- feedback-optie is verrijkend, want beeld krijgen van eigen niveau en beeld krijgen van waar
het in het betreffende blok om gaat (4 groene stippen)
Voordeel voor docenten:
- zicht krijgen op hiaten in de groep (1 groene stip)
Summatief: voordeel voor docenten:
• open vragen na laten kijken
• ondersteunende vakken toetsen
• toetsen van open vragen: KLO, Kennisvragen en histologie, pathologie, CT-scan, afbeeldingen.
Voorwaarde: heen en weer springen tussen vragen moet mogelijk blijven
Voorwaarden:
1. Ondersteuning:
• gebruik toetsprogramma
• inhoudelijk (onderwijskundig)
• zoveel mogelijk just in time (via Doo).
2. Start maken met inrichten van een databank met vragen.
3. Ontsluiten van goede voorbeelden waarin de kracht van het digitaal toetsen duidelijk wordt en
ook de mogelijkheden van de verschillende soorten vragen.
4. Gezamenlijk optrekken met andere UMC’s via SURF-projecten.
Conclusie:
- De meeste aanwezigen vinden Casustoetsing de belangrijkste vorm van toetsing. Digitaal toetsen
ondersteunt dit doordat er plaatjes en bewegend beeld toegevoegd kunnen worden.
- Digitale toetsing is handig omdat het meerdere functies kan vervullen en feedbackmogelijkheid
heeft: instaptoets (drempel: weet student voldoende) en tussentoets (diagnostisch wat is niveau).
- Digitale toetsing kan docent werk uit handen nemen, maar vraagt organisatie, afstemming
(databank), ondersteuning en samenwerking.
41

13 mei 08 Resultaten brainstorm AGW en OC ‘mogelijkheden digitaal toetsen’.
Aanwezig:
Roely Witvoet (OC), Corinne Vollbehr (OC), Jeroen de Groot (AGW), Truus van der Hooft (AGW),
Jaap van der Bijl (AGW), Claudia Gamel (AGW), Martien Quaak (Expertisecentrum) en Magda
Ritzen (IVLOS).
Mogelijkheden mbt digitaal toetsen:
OC (2 personen):
• Alle kennis digitaal toetsen (Testvision) (2 groene OC-stippen).
• bij schrijftoetsen: mogelijkheid om te controleren op ongeoorloofd hergebruik (fraude door
hergebruik van voorgaande jaren) (1 groene stip).
• Digitaal portfolio inzetten: summatief en formatief.
AGW (4 personen):
• Twijfels over zin / mogelijkheden van digitaal toetsen bij het opzetten van onderzoek, opstellen
van een onderzoeksverslag, schrijven van een artikel. Mogelijkheid: peerfeedback via tool!
• Digitale ondersteuning (essay toetsing) bij het onderdeel ‘Kwaliteit van Zorg’ (studenten
schrijven een samenvatting en een betoog) beoordelen studenten zichzelf a.d.h.v. het ideale
(voorbeeld) antwoord. Pilot loopt. (1 groene stip).
• Digitale correctie / feedback van open-vragen (3 groene stippen, waarvan1 van OC)
• Toetsing waarin student kan laten zien wat hij weet: dit is een kwaliteitsaspect, toets sluit niet
goed aan bij inhoud cursus.
• Checklistpunten (criteria) die door een (toets)programma worden omgezet in een waardering /
scoring (2 rode stippen)
• feedback-optie is verrijkend, want beeld krijgen van eigen niveau en beeld krijgen van waar
het in het betreffende blok om gaat (2 groene OC-stippen).
Voorwaarden:
OC:
1. Ondersteuning is goed geregeld (Lars en Sam), maar graag meer inzicht in mogelijkheden van
het programma. Nu voelt men zich te afhankelijk van ondersteuners (scoring is weinig doorzichtig,
enz.). Men wil het zelf doen (opm. dit is ook de bedoeling).
2. Te weinig computerzalen beschikbaar op gewenst moment (aantal computers is geen probleem
= 30 studenten per keer) ( Er is ook een keer in het Studielandschap een toets afgenomen).
AGW:
1. Essay toetsing : betrouwbaar programma ontbreekt, evenals massa (voldoende trials i.v.m.
leercurve van programma)
2. Ontsluiten van goede voorbeelden waarin de kracht van het digitaal toetsen duidelijk wordt en
ook de mogelijkheden van de verschillende soorten vragen.
3. Gezamenlijk optrekken met andere UMC’s via SURF-projecten.
Conclusie:
• OC en AGW: Digitale toetsing kan docent werk uit handen nemen, maar vraagt organisatie,
afstemming (databank), ondersteuning en deskundigheidsbevordering van docent.
• Het OC is al vanaf 2006 bezig met kennistoetsing via Testvision en merkt duidelijk meerwaarde
(tijdwinst, kwaliteitscontrole).
• AGW (enige opleiding in Nederland) ziet vooral mogelijkheden in essay-toetsing, een
programma corrigeert de antwoorden op korte open vragen (wellicht t.z.t. ook op lange open
vragen –artikelen-, maar daar is onvoldoende massa voor).
Divers:
Er ontstond een gesprek naar aanleiding van het feit dat studenten de toets soms niet goed
afgestemd vinden op de kennis die de student in het blok heeft verworven. Dat heeft voor een deel
te maken met een onvolledige match onderwijsinhoud – toets, maar er kan ook worden nagedacht
over manieren waarop studenten hun kennis beter kunnen etaleren. Dit kan via een portfolio, maar
wellicht zijn er meer mogelijkheden.
42

2 juni 08 Resultaten brainstorm BMW ‘mogelijkheden digitaal toetsen’.
Aanwezig:
Astrid Freriksen (opleidingscoördinator) , Elly Holthuizen, Marloes Letteboer, Paul Steenbergh,
Isabel Thunnissen, Steven Bream (student), Evelien Berends (student), Martien Quaak
(Expertisecentrum) en Magda Ritzen (IVLOS).
Mogelijkheden mbt digitaal toetsen
Nakijken open vragen:
• Criteria voor beoordeling moeten zinvol / compleet zijn
• Korte lijnen (niet complex): opzetten van een vragenbank moet makkelijk uitvoerbaar zijn
• Just in time: nakijken van vragen moet snel uitvoerbaar zijn
• Samenwerken binnen de opleiding en tussen opleidingen (is ook belangrijk buiten digitale
toetsing)
• Tekeningen en formules moeten ook beoordeeld kunnen worden
• Inzetten computer bij open vragen in de zin van ‘voorselectie’.
Mogelijkheid om tijdens tentamen digitale bestanden in te kunnen kijken (en af te kunnen
sluiten).
Mogelijkheid van een ander type vragen
• Verschillende niveaus
• Interactief / simulaties (BMS)
• Compiler check
Mogelijkheid van verschillende soorten toetsen
• multiple choice
• open vragen elektronisch nakijken
• open vragen handmatig nakijken, afname digitaal 2
Vraag: tot wanneer kun je spreken van ‘open vragen’?
Valt een voorgestructureerd antwoord hier ook onder?
Opmerking: Op zich krijgt men voldoende tijd om een tentamen (met open vragen) na te kijken,
maar iedereen voelt een enorme werkdruk en een tentamen moet binnen 10 werkdagen
nagekeken zijn!
Voorwaarden:
Goede computerzalen (wat betreft grootte). Nu zijn er te weinig computerzalen beschikbaar op een
gewenst moment.
Toets in het Studielandschap is niet ideaal!
Let op privacy van student bij het maken van de toets (‘afkijken’)
Let op poorten die open/dicht moeten staan en programma’s die afgegrendeld moeten zijn.
Conclusie:
• Digitale toetsing kan docent werk uit handen nemen, vooral als dat kan met ‘open vragen’.
• BMW ziet vooral mogelijkheden in digitale mogelijkheden bij toetsing van ‘open vragen’, een
programma corrigeert de antwoorden op korte open vragen.
2 Studenten schrijven minder op wanneer ze de antwoorden digitaal moeten invoeren.
43

Bijlage 3 Tips om fraude te voorkomen
Elly Langewis, 2008.
Toetsconstructie: randomisatie
1. Vragen in random volgorde
• Eventueel klusters van gerandomiseerde vragen
• Eventueel random trekken uit één of meerdere groepen vragen
2. Vraag zelf in random vorm
• Alternatieven in random volgorde
• Inhoud in random variatie (bv. links/rechts , of licht/donker verwisselen
etc)
1. Niet bij alle vragen mogelijk
2. Exponentiële groei aantal varianten bij meerdere te verwisselen
begrippen
3. Goede antwoord is daardoor niet hetzelfde voor elke variant
Inloggen
3. Inloggen op bepaalde tijd
• Ervóór: alleen docenten/studentassistenten
• Erna: alleen mogelijk (eigen) antwoorden te bekijken
• Checken van datum + tijd via de server, niet de locale pc (meestal alhet
geval)
4. Alleen vanaf de computerleerzalen
• Inloggen met een paswoord dat pas ter plekke wordt uitgereikt
• Checken van collegekaart met inlognaam
5. Inloggen voor beperkte tijdsduur
• Bij herstarten midden onder de toets wordt gebruikte tijd weer afgetrokken
• Herstarten met goedkeuring docent
1. Docent moet dan ook ID en password geven
• Waarschuwing ruim van te voren
• Afmaken van huidige vraag
• Aan einde tijd automatisch alle ongemaakte vragen fout
Tijdens de toets
6. Onmogelijk module te verlaten
• Geen taakbalk beschikbaar
• Geen alt-tab mogelijk
• Window schermvullend
7. Onmogelijk te internetten
• Niet altijd af te schermen
• Door surveillanten controleren
44

Bijlage 4 Twelve tips for computer-based assessment in
medical education
Willie Hols-Elders, Peter Bloemendaal, Nynke Bos, Martien Quaak, Roel Sijstermans, Peter de Jong.
Notes on contributors
W.P.M. Hols-Elders, MSc is associate professor at the Center for Research and Development of
Education at the University Medical Center Utrecht in the Netherlands.
P.M. Bloemendaal, MSc is assistant professor at the department of Surgery at the Leiden University
Medical Center in the Netherlands.
N.R. Bos, MSc is E-learning consultant at the Academic Medical Center – University of Amsterdam
in the Netherlands.
Dr. M.J. Quaak is senior consultant at the Center for Research and Development of Education at
the University Medical Center Utrecht in the Netherlands.
R. Sijstermans, MSc is E-learning coördinator at the Academic Medical Center – University of
Amsterdam in the Netherlands.
Dr. P.G.M. de Jong is staff adviser E-learning at the Center for Education in Internal Medicine at the
Leiden University Medical Center and chair of the NVMO Special Interest Group on E-Learning in
the Netherlands.
All contributors are member of the Special Interest Group on E-learning of the Netherlands
Association of Medical Education
Correspondence:
Willie Hols-Elders, MSc
Center for Research and Development of Education
University Medical Center Utrecht
P.O. Box 85090, HB4.05
3508 AB Utrecht
The Netherlands
Email: w.p.m.hols@umcutrecht.nl
Word count: 3449
Willie Hols-Elders, Peter Bloemendaal, Nynke Bos, Martien Quaak, Roel Sijstermans, Peter de Jong.
Twelve tips for computer-based assessment in medical education. Medical Teacher
2008;30(7):673-678
45

Abstract
The use of computers in education in general and in medical education in particular is nowadays
well established, but the use of computer-based assessment (CBA) in higher education lags behind.
In this article we explore the reasons for this situation and provide tips for teachers to guide the
introduction of CBA, based on our experiences. Attention is given to benefits and drawbacks of CBA
hardware solutions, the choice of software, types of test questions, security, instructing students
and teachers and evaluation.
Introduction
Since decades, the use of computers in medical education, and in higher education in general, has
become common in all sorts of settings, be it for classroom teaching, self-directed learning or other
purposes (Kulik, Kulik and Cohen 1980; Sargeant 2005). By now, many handwritten activities have
been replaced, and even in clinical settings electronic patient records rapidly replace scribbled
dossiers. The era of written books is gradually transforming to an era of electronic media. Their use
for assessment purposes however seems to lag behind. In most medical schools, paper-and-pencil
tests are still common or even the only form of knowledge assessment, even though CBA can have
clear advantages (Cantillon et al. 2004; Peterson et al. 2004; Hayes et al.1996; Grunewald et al.
2004; Kronz et al. 2000). CBA opens new ways for place-independent and time-independent
testing; it provides possibilities for purposeful sequencing of questions; it gives the option to work
with images, still or moving; to adapt the composition of tests to previous performances of the
student; scores can rapidly be calculated and tailored feedback can be given to individual students,
to name just a number of advantages. Even skills such as communication proficiency can be tested
with computers (Hulsman et al. 2004; Kennedy et al. 2008; Salpeter 2003). Students have been
found to appreciate CBA (Ogilvie et al. 1999; Sambell et al. 1999; King 1995; Johnstone 2006).
The use of computers inherently makes the process of assessment subject to automation, can help
relieve faculty from an administrative and time consuming burden, while potentially enhancing the
test quality (Johnstone 2006; Doukas & Andreatos 2007; Bull & Collins 2002).
In the Netherlands, CBA is still exceptional in undergraduate medical education, particularly for
summative purposes, and we believe that this reflects the situation in many countries. Why is this
the case?
Several causes can be identified, such as the lack of technical knowledge and skills to develop CBA
among medical teachers and no time or need felt to acquire this knowledge, a lack of resources
and a lack of computer facilities to execute CBA. But we do observe a gradual increase of interest
in CBA.
With the following twelve tips, we want to share our experiences so far. We do not want to
suggest that transforming the habit of paper-and-pencil testing to CBA is easy, particularly with
large numbers of students. On the contrary, using computers for assessment of students on a large
scale is a complex task and campus wide implementation is a challenging endeavour. Many aspects
must be taken into account before CBA can be effectively and efficiently incorporated in the
curriculum.
46

Tip 1 – Make explicit and communicate why CBA should be introduced
It is important to determine why CBA is beneficial to the institution. Implementing CBA brings
about investments in technology and human resources. Many individual teachers are not in a
position to provide these conditions. There needs to be a plan, and it needs to land on the desk of
the managers who decide. Convincing reasons are a necessary foundation of the plan. Which
benefits can be listed?
Assessment can be performed independently of time and place. You may like to give students the
possibility to test their own level of knowledge at a self selected moment in time. Another reason to
use CBA is the possibility to automatically calculate results at the end of an exam. Using a question
bank with evaluation features can help to efficiently improve the quality of education and the
validity of assessments in the curriculum. Other benefits include those mentioned in the
introduction.
An essential distinction is the use of CBA for formative or for summative purposes. If the CBA is for
self-evaluation only, questions from former exams can be re-used and feedback can be provided
for optimal learning of the student. Security is not important and students can take the CBA where
and when they want for quizzes or self evaluation. Frequent formative evaluation of students’
progress is a clear advantage of CBA that is not easily attained without computers.
Tip 2 - Use an established item bank
Many paper-and-pencil tests are constructed in the weeks before the examination, in integrated
courses often by several teachers who send draft test questions. The drawback of this procedure is
that test quality may vary considerably over occasions if no stable documentation of previous tests
exists and is used. The computer is an excellent tool not only to deliver tests, but to manage item
and test production (De Jong et al. 1998). An item bank with a thoughtful blueprint of topics that
covers all essential elements of the course can greatly enhance the content validity of tests.
Consistency of similar tests over time is specifically useful in outcome based education with
specified objectives. This is not a prerogative of CBA, but the computer can be very helpful to
manage an item bank.
From such a databank, individual questions can be re-used in time, but also cross-field examination
is possible. By adding statistics on used items, the quality of questions and tests can be monitored
and improved. Items in the bank must be classified with labels of relevant characteristics to
facilitate a balanced composition of the test. Labels with clinical questions could refer to (a)
discipline, (b) stage of the clinical encounter or key-feature that is questioned such as diagnosis,
examination, treatment or complications, and (c) relevance, significance or priority of the objective
(must this topic be included in every test or only sometimes?). Industry offers several item bank
systems for CBA. Question Mark Perception ® is one example; EGEL and TestVision ® are other
examples, used in The Netherlands. Virtual learning environments such as Blackboard ® also offer
facilities for online assessment, but lack the questionbank facilities. We strongly advise medical
schools to choose one established model and to build experience.
Tip 3 - Ensure adequate computer hardware and infrastructure
CBA requires adequate computer facilities. Many schools now have computer rooms for students,
but often they are not necessarily designed for the purpose of CBA. Enough individual
47

workstations, sufficiently separated, are needed to prevent cheating. Workstations should be
incorporated in a secured network for central data storage and backup services. During an exam, a
failure of the computer system and / or network, even for only a few minutes, is not acceptable.
Centralized facilities offer manageable services and equipment and easy ways to keep in control of
the students while performing the exam.
One problem that medical schools face, when summative CBA is to replace regular tests, is the
number of stations needed. If CBA happens infrequently but requires hundreds of stations, this
investment may not likely be made. What other solutions are there?
- First, is a collective test necessary? If a school or a subunit has a large high quality item bank,
48
students may be tested in small groups or individually, by drawing sample tests from the bank.
If well stratified tests are drawn, they may be considered equal.
- Second, students may be tested in shifts (Kreitler et al. 2003). If a test is given twice, in
immediate sequence, communication between students may be avoided and the required
hardware may be reduced to 50%.
- Third, multiple locations may be used, as long as a network connection can be established.
Even facilities that are usually not applied for education could be used. Schuwirth has described
this for assessment of medical problem solving during clerkships (Schuwirth, 1998)
- Fourth, If an adequate wireless network exists, laptop computers can be used in places where
usually no computer facilities are present. These can be stored and distributed when needed,
or personal devices can be used, provided that sufficient security measures are taken. In some
cases, other portable devices may be used, such as PDAs.
- Fifth, campus-wide collaboration may also alleviate the capacity problem. If your enrolment is
large and other studies (law, social sciences etcetera) face the same wish to apply large scale
CBA, a central location to accommodate different groups may be established.
When CBA is regularly applied, a dedicated support team is recommended to be available to set up
and maintain all computerized assessments. Such team should be compiled of experts in the fields
of educational technology, IT development, IT infrastructure and security with medical teachers as
content experts.
Tip 4. Explore the unique possibilities of CBA
CBA differs from paper-and-pencil tests roughly in two ways: (a) how it stimulates cognitive
processes in students during a test and (b) how information is managed. Cognitive features of CBA
that are not possible in paper-and-pencil test include the presentation of moving visual information
(e.g., for items that focus on diagnosing neurological disorders, or items that require the detection
of significant features in microscopic slides or in CT images), the presentation of auditory
information (e.g., to recognise heart or lung murmurs), the presentation of events that change
over time and interact with students’ responses (examinees may handle cases by applying
medication and respond to their effects). Information management possibilities of CBA include
sequential and adaptive testing. An example of sequential testing is when pass/fail decisions are to
be made for groups of student with a short test. Those scoring high and low may be categorized
and leave the test, while those scoring around a cutting score may be provided with an extended
test to allow for a more reliable pass/fail decision. Adaptive testing means that candidates are
presented with test items of differential levels, according to there immediate past performance.

Adaptive testing is specifically useful in formative tests. Poorly performing students may want to
practice with more easy items, whereas smart or advanced student may like to answer increasingly
difficult test items. Other aspects of information management in CBA include item banking,
automated score calculation and psychometric analysis – these are covered in other tips.
Tip 5 - Decide on the type of questions to be used
The easiest types to use are closed format items of the multiple choice family, with alternatives
ranging from 2 to 5. Closed format questions can be scored automatically. Other closed format
questions are matching tests. Matching items with images urges candidates to move the cursor to
a spot of choice. Extended matching questions (Case & Swanson 1993) use multiple case vignettes
and up to 20 alternatives to be matched with cases. Comprehensive Integrative Puzzle tests
require students to match diagnostic categories with clinical scenarios (Ber, 2003) and Script
Concordance Tests ask candidates to estimate the change in likelihood of a diagnosis, after the
addition of particular diagnostic information (Sibert et al. 2005). Both types of matching tests have
been applied with computers. When very many alternative options are provided in so-called long-
menu questions, students may type an answer that is recognised from a list, which resembles a
constructed response item (Schuwirth at al. 1996).
Open-ended questions require students to fill in answers by typing. Computerised open ended
questions tests that require expert judgement may not seem to have advantages over paper-and-
pencil tests, but there are a few. For one thing, reading hand written answers is avoided. Also,
paper handling is not present when answers are presented on the screen. The marking may take
place at convenient moments and places if the communication is web based. When short-answer-
questions are used, the grouping of candidates by questions may speed up the marking and
enhance its quality. Finally, if marks are entered on the computer screen, automatic scoring and
psychometric analysis is easily and quickly done, which is usually not executed with paper-and-
pencil constructed response tests.
Variation in questions in one test is no problem. There is not one type intrinsically better than
another (Perkin 1999), but question format should be related to the objectives of the test. On the
other hand, to guide the production of questions by several teachers it may be helpful to allow only
a limited number of formats. This can also minimise confusion among students during the test.
Tip 6 - Start small but think big in the choice of software and support
Making your first CBA test is thrilling and relatively simple. If successful, other teachers may join
this effort in their own course, all demanding their own functionality. As the use of computer tests
increases, the ability to scale up depends on the software that is used and a dedicated support
team is needed. This is where scalability becomes important. Keep in mind that you will probably
want to integrate several computer exams to enable longitudinal follow-up of student’s
performance. Another important fact you might want to think of is the possibility to integrate your
CBA software with the campus wide software, such as student administrations systems. The key
word here is “open standards”. The Sharable Content Objective Reference Model (SCORM) is the
international standard for the exchange of e-learning specifications, including CBA questions. We
advise to choose CBA software that supports open standards in their data structure. It is not so
much the functionality of the CBA software that matters, but the way data (questions, answers of
49

students, categories and so on) are stored. Create databases you can read with standard database
software, to enable switching to other CBA software in the future. Always think: ‘What if my project
has any success and is adopted by many other teachers?’
Tip 7 - Don’t compromise on security issues in summative tests
Examination is a driving force for students. Many students will do anything to pass their exams.
The majority will actually study. But what if students can pass exams in a different way? Your
database with questions is hot material for your students, so you must secure the system tightly.
This also holds for scores and grades. Don’t let your students come near your CBA systems at any
time. Computerised information may be accessed inadvertently more easily that paper copies of
exams. Some students are likely to outreach your digital capabilities!
At some point in time however you will have to let your students get nearby your database with
questions and answers: that is when your students take the digital examination. This is the
weakest moment in the defence. One reported method used by students to copy complete exams,
is to prepare the computer(s) before taking the examination. A classroom with controlled
computers can prevent misuse. Some students would like to know how the database is accessed by
the examination software. Be sure to protect connection properties at all times and instruct
secretaries and others working with it to do the same.
Another aspect of security is to avoid access by students during the examination to other
computers in the network or to the Internet. This can and should be blocked. You don’t want
student to pass exams by googling the answers.
A last security issue is authentication. At examination time, two entities are important; the exam
itself and the student taking it. The exam is controlled by the teacher, but who controls the
student? How do you know the proper student is taking the test? Even when the test is taken in a
similar setting as a paper-and-pencil test, you must trust that students log on with their own
identity. Randomisation of questions is an advantage for a class-based computer assessment
(Rawles et al. 2002). It can decrease the security risks.
Many medical schools have virtual learning environments including unique email addresses for all
students with corresponding passwords. It is important to provide a secure way to enter this
authentication. In the future, security measures such as biometrics or security devices that
generate random numbers may be used. Integration of CBA software with authentication
mechanisms already in use may further secure the students’ identity.
Web-based testing at a distance poses additional security challenges. Obligatory web-cameras
cannot exclude fraud, and neither can the repeated asking for pass words, although this helps a
bit. Summative distance tests are therefore not recommended at this stage of technology.
Tip 8 – Be sure technology works, but be prepared in case of failure
Technology problems are annoying during computer assisted instruction, but intolerable during
exams. As full proof electronic devices do not exist, and CBA requires a chain of conditions that
should be met, all with intrinsic risks, you should be able to provide alternative testing options
when problems occur. We recommend the ability to provide paper exams if necessary. A printed
version and a rapid copy facility nearby may help to prevent disasters (Brown et al. 1999; Bull &
50

McKenna 1999, 2003). Students’ work should also be backed up immediately after the exam on at
least one safe server.
Tip 9 – Inform and instruct students
As with all exams, students must be well informed about place, conditions, rules and regulations
concerning the exam. In addition, CBA may present additional challenges for them. At any rate, the
time available for the test must be fully available for cognitive processing of questions and
answers. Computer facilities can hamper this if students do not understand exactly what to do.
Remember, most of them are stressed anyway. It is very useful to provide a mock exam
beforehand and to carefully instruct all students step-by-step. Specific attention may be given to
security measures, see also tip 7. During the exam, the examiner and other staff are needed to
supervise and explain procedures. When the available computer facilities do not allow all students
to take the exam at the same time or the same place, additional instructions are needed. During
many exams, announcements are given – this information should be uniform if students are not
taking the exam together.
Tip 10 - Provide feedback on results
Students should preferably learn from the results of their exams. CBA has excellent possibilities to
do this. During a self test, immediate feedback can be given to each question as well as scores.
Feedback to answers can be adjusted and when collective tests are taken, students can be
presented with personal information, contrasted with group scores.
Formative tests may provide immediate and tailored feedback to the student. Summative tests,
with groups of students, cannot provide feedback until everyone has finished the exam.
With CBA it is possible to give summative scores and grades straight after the test. In case the
teacher wants to make some adjustments, based on raw scores, grades may be communicated at a
later stage. Other feedback may include a descriptive summary of the test, with suggestions for
further reading.
Tip 11 – Train teachers
The effort teachers to master the technology is often underestimated in ICT rich environments if
they are not well trained (Singer et al. 2000). Busy teachers need convenient ways to get
acquainted with CBA. A one afternoon hands-on teacher course on how to start computer based
testing is usually enough to get teachers thrilled about the possibilities. Let them bring their own
test questions and apply them with a step-by -step instruction, to ensure that CBA training has
maximum benefit (Margerum-Leys & Marx 2002).
Tip 12 - Evaluate exams
Evaluation of the quality of a test can include opinions of students and psychometric analysis of the
test. Obtaining quantitative and qualitative data rapidly about the exam is one of the strongest
assets of CBA. The big advantage of CBA is that the efficient managing and administration of
students’ data. If a test is taken individually, as is the case when tests are individually drawn from
an item bank, the psychometric information tha can be generated in limited, as reliability
51

calculations require a group of students that have taken the test. But also individual remarks to
questions by students may help to evaluate the test.
Many tests can be improved after the test is taken before scores are made public. Psychometric
analysis can identify items with unusual properties that may be discarded, leading to more reliable
test scores. Statistical results provide useful information about the knowledge of the students, the
effectiveness of a particular study program and the proficiency of the teacher preparing the
questions.
Conclusions
Computer-based assessment offers a range of advantages: place-independent assessment in
formative test, the use of multimedia, the automatic processing of results, automatic statistical
analysis of exams and the reusability of questions. However, before implementing CBA many things
have to be considered. Summative tests do require conditions that are sometimes harder to meet
than paper-and-pencil tests. The purpose and the aimed efficiency and costs must therefore be
carefully considered.before implementing CBA
The choice from the wide range of offered systems makes it necessary for an institution to
prioritize the above tips and moreover to involve a team of experts at an early stage in the
selection of a CBA system.
Establishing a dedicated support team is necessary for implemeng CBA within the institution and
for the maintenance of the technical and logistic processes it brings along.
References
Ber R. 2003. The CIP (Comprehensive integrative puzzle) assessment method. Medical Teacher
52
25(2):171-176.
Brown S, Race P & Bull J. 1999. Computer-assissted assessment in Higher Education. London:
SEDA and Kogan Page.
Bull J and Collins C. 2002. The use of computer-assisted assessment in engineering: some results
from the CAA national survey conducted in 1999. International Journal of Electronic
Engineering Education 39/2: Accessed 15 April 2008, available at
http://findarticles.com/p/articles/mi qa3792/is /ai n9070277.
Bull J, McKenna C. 2003. Blueprint for Computer-assissted assessment. London: Routledge Falmer.
Bull J, McKenna C. 1999. Testing Times, 1(1). Available at;
http://www.caacentre.ac.uk/dldocs/NEWSLETTER1.pdf (Accessed 14 April 2008).
Cantillon P, Irish B, Sales D. 2004. Using computers for assessment in medicine. BMJ 329:606-609.
Case SM, Swanson DB. 1993. Extended-matching items: a practical alternative to free-response
questions. Teaching and Learning in Medicine 5(2):107-115.
De Jong PGM, Bloemendaal PM, Van Leeuwen T. 1998. Experiences with a central item bank for
computer-based testing. In: The Eighth International Ottawa Conference on Medical
Education and Assessment Proceedings Melnick DE (eds), vol 1. Philadelphia (USA),
2000:151-4.
Doukas N, Andreatos A. 2007. Advancing electronic assessment. International Journal of
Computers, Communications and Control 2(1):56-65.

Grunewald M, Heckemann RA, Wagner M, Bautz WA, Greess H. 2004. ELERA: A WWW Application
for evaluating and developing radiologic skills and knowledge. Acad Radiol 11:1381-8.
Hayes KA, Lehmann CU. 1996.The interactive patient: a multimedia interactive educational tool on
the world wide web. MD Comput 13:330-4.
Hulsman RL, Mollema ED, Hoos AM, de Haes JCJM, Donnison-Speijer JD. 2004. Assessment of
medical communication skills by computer: assessment method and student experiences.
Med Educ 38:813-824.
Johnstone. 2006 Comments to Senate Committee on Education Electronic Assessment Delivery.
Available at:
http://www.senate.state.tx.us/75r/Senate/commit/c530/handouts06/100406.c530.Johnston
e_Comments.pdf (Accessed 14 April 2008).
Kennedy G, Gray K, Tse J. 2008. “Net Generation” medical students: technological experiences of
pre-clinical and clinical students, Medical Teacher, 30 (1):10-16.
King T. 1995.Using computer-aided assessment (CAA) for objective testing in higher education: a
case study at the University of Plymouth 121-128 in Hart J. Innovations in Computing
Teaching SEDA Paper 88, Birmingham: Staff and Educational Development Association.
Kreiter C, Peterson MW, Ferguson K, Elliott S 2003. The effects of testing in shifts on a clinical in-
course computerized exam. Med Educ 37:202-04.
Kronz JD, Silberman MA, Allsbrook WC, Epstein JI. 2000. A web-based tutorial improves practicing
pathologists' Gleason grading of images of prostrate carcinoma specimens obtained by
needle biopsy: a validation of a new medical education paradigm. Cancer 89:1818-23.
Kulik JA, Kulik CC, & Cohen PA. 1980. 'Effectiveness of Computer Based College Teaching: A meta
analysis of findings'; Review of Educational Research, 50(4): 525-544.
Margerum-Leys J & Marx R. 2002.Teacher knowledge of educational technology: A study of
student teacher/mentor teacher pairs. Manchester, New Hampshire: Journal of Educational
Computing Research 26(4):427-462.
Ogilvie RW, Trusk TC, Blue AV. 1999. Students attitudes towards computer testing in a basic
science course. Med Educ Vol. 33:828-831.
Perkin M. 1999. Validating Formative and Summative Assessment, Sta and Educational
Development Series 55-62. Kogan Page.
Peterson MW, Gordon J, Elliott S, Kreiter C. 2004. Computer-based testing: initial report of exten-
sive use in a medical school curriculum. Teach Learn Med. Winter 16(1):51-9.
Rawles S, Joy M & Evans M. 2002. Computer-Assisted Assessment in Computer Science: Issues
and Software, Research Report 387, Department of Computer Science, University of
Warwick, Coventry. Warren. Available at http://www.ics.heacademy.ac.uk/ (Accessed 14
April 2008).
J. Salpeter, 2003. 21st Century Skills: Will Our Students Be Prepared? Available at
http://www.techlearning.com, (Accessed 14 April 2008)
Sambell K, Sambell A, and Sexton G. 1999. Student perceptions of the learning benefits of
computer-assisted assessment: a case study in electronic engineering, Chapter 19, 179-192
in Brown S, Race P, and Bull J. (eds) Computer-Assisted Assessment in Higher Education
London: Kogan Page/SEDA.
53

Sargeant JM. 2005. Medical education for rural areas: Opportunities and challenges for information
54
and communications technologies. J Postgrad Med [serial online] 51:301-7.
Schuwirth LWT. 1998. An approach to the assessment of medical problem solving: computerized
case-based testing. PhD dissertation, Maastricht University.
Schuwirth LWT, Van der Vleuten CPM, Stoffels HEHJ and Peperkamp AGW. 1996. Computerised
long-menu questions as an alternative to open-ended questions in computerised assessment.
Medical Education 30:50-55.
Sibert L, Darmoni SJ, Dahamna B, Weber J, Charlin B. 2005. Online clinical reasoning assessment
with the Script Concordance test: a feasibility study. BMC Med Inform Decis Mak. Jun 20
5:18.
Singer J, Marx RW, Krajcik J and Clay-Chambers J. 2000. Constructing extended inquiry projects:
Curriculum materials for science education reform. Educational Psychologist 35(3): 165-178.
Acknowledgements
The authors thank Elize Berg, medical student at UMC Utrecht, for providing a recent paper on
computer based assessment and Ali Leijen for reviewing the article.

Bijlage 5 Advies inzet stemkastjes als toetsmethode
Froukje Landsman, 0145440. Onderwijsstage jan-mrt 2008; Schakeljaar 07-08; Groep P1-4
Inleiding
Tijdens het blok Stofwisseling III en het daaropvolgende co-schap kindergeneeskunde wonen de
studenten op vrijdagochtend interactieve colleges bij. Om de interactie met docenten te
bevorderen is enkele jaren terug begonnen met het gebruik van stemkastjes. Omdat studenten
weinig aanwezig waren op deze interactieve vrijdagochtend, zijn de colleges sinds enkele maanden
verplicht gesteld en geldt daarbij ook de eis dat 80% van alle toetsvragen op vrijdagochtend
voldoende moet zijn, wil je je co-schapcijfer op Osiris ontvangen. Ter evaluatie van de
stemkastjestoetsing heb ik 6 weken lang de colleges bijgewoond en heb ik een enquête afgenomen
onder de studenten.
De vraag die ik stelde aan het begin van deze onderwijsstage was als volgt:
Hoe zouden we de stemkastjes, die gebruikt worden op vrijdagochtend tijdens de
responsiecolleges, kunnen gebruiken om te toetsen voor een resultaat dat mee telt in de
beoordeling van het blok stofwisseling III en het co-schap kindergeneeskunde? Wat zijn de
organisatorische voorwaarden?
Deze vraag wilde ik beantwoorden dmv de uitkomst van mijn observaties bij de responsiecolleges,
de uitkomst van de afgenomen enquête onder studenten en aan de hand van een
literatuuronderzoek. Helaas heb ik door gebrek aan tijd geen kans gezien om een uitgebreide
literatuurstudie te doen en wil ik me in dit verslag beperken tot een advies op basis van mijn eigen
observaties.
Observaties interactieve colleges
TOPS
1. Meestal goede technische ondersteuning. Apparatuur werkt (grotendeels), de kaarten worden
goed op naam uitgedeeld.
2. Een aantal docenten gebruikt de antwoorden om te belangrijkste punten van het college aan te
stippen.
3. Enkele docenten bespreken de antwoorden direct na, dit geeft een duidelijke feedback naar de
studenten.
TIPS
1. De studenten overleggen veel met elkaar, het resultaat van de toets lijkt me hierdoor minder
betrouwbaar
2. De handout van een van de colleges worden voorafgaand aan de toetsvragen uitgedeeld
waardoor de antwoorden opgezocht kunnen worden
3. Het komt regelmatig voor dat de vraagstelling niet helder is of dat vragen slecht gesteld zijn.
Enkele vragen zijn verkeerd overgenomen in de presentatie en een aantal vragen komt niet
overeen met de stof die daarna behandeld werd in het college. Deze vragen werden dan ook
overgeslagen.
55

4. de vragen van medische psychologie waren voor een aantal studenten gelijk aan de vragen van
enkele weken terug.
5. In verhouding met het aantal colleges is er veel pauze. Enkele docenten zijn zelfs na een half
uur al klaar met hun verhaal. Aan de ene kant is het prettig dat er geen lange, saaie colleges
zijn, aan de andere kant kan te veel pauze ook zorgen voor een lange ochtend waarin aan het
eind weinig stof wordt opgenomen.
6. Nieuwe groepen krijgen niet uitgelegd hoe het stemkastjessysteem werkt en daardoor is het
iedere 2 weken onrustig in de collegezaal.
Resultaten enquête voor studenten ter evaluatie van de toetsvragen
56
aantal studenten (n=46)
25
20
15
10
5
0
Voorbereiding interactieve colleges
0.0 0.5 1.0 1.5 2.0 2.5 3 (of meer)
voorbereidingstijd (uren)
20/46 (43%) bereidt de interactieve colleges niet voor. 22/46 (48%) besteedt een half uur tot een
uur aan de voorbereiding. 4/46 (9%) besteedt 2 uur of meer aan de voorbereiding van het
interactieve college.
aantal studenten (n=47)
1 6
1 4
1 2
1 0
8
6
4
2
0
L is s a u e r F ie ld V a n d e n
B r a n d e
G e b r u i k t e b o e k e n t e r v o o r b e r e i d i n g
L is s a u e r
e n F ie ld
L is s a u e r
e n V a n
d e n
B r a n d e
F ie ld e n
V a n d e n
B r a n d e
L is s a u e r ,
F ie ld e n
V a n d e n
B r a n d e
A n d e r s G e e n
22/47 (47%) gebruikt het boek Kindergeneeskunde van Van den Brande ter voorbereiding op het
interactieve college. 14/47 (30%) gebruikt geen boeken om zich voor te bereiden op het
interactieve college. Illustrated textbook of paediatrics van Lissauer wordt door 16/47 (33%)

gebruikt in de voorbereiding. Tutorials in paediatric differential diagnosis van Field wordt door geen
van de studenten als enige bron gebruikt ter voorbereiding op het interactieve college. 2/47 (4%)
gebruikt dit boek icm Lissauer en eveneens 2/47 (4%) gebruikt dit boek icm met Lissauer en Van
den Brande.
10/47 (21%) bereidt zich voor uit 2 of meer boeken uit de opgegeven literatuur.
aantal studenten (n=46)
45
40
35
30
25
20
15
10
5
0
Gebruik Lissauer: Illustrated textbook of paediatrics en
Field: Tutorials in paediatric differential diagnosis
aangeschaft studielandschap niet
Lissauer
15/46 (33%) heeft het boek Illustrated textbook of paediatrics van Lissauer aangeschaft. 19/46
(41%) gebruikt dit boek in het studielandschap. De overige studenten gebruiken dit boek niet.
1/46 (2%) heeft het boek Tutorials in paediatric diffential diagnosis van Field aangeschaft. 4/46
(9%) gebruikt dit boek in het studielandschap. De overige studenten gebruiken dit boek niet.
aantal studenten (n=45)
35
30
25
20
15
10
5
0
zorgen de toetsvragen voor een betere voorbereiding op de
interactieve colleges?
ja nee geen mening
32/45 (71%) bereidt zich door de toetsvragen niet beter voor op het interactieve college. 12/45
(27%) bereidt zich beter voor door de toetsvragen op het interactieve college.
Field
57

58
aantal studenten (n=45)
25
20
15
10
5
0
altijd meestal
wel
even vaak
wel als
niet
Toetsing
meestal
niet
nooit geen
mening
interactie met docenten
nut toetsing
overeenkomst vragen en
opgegeven literatuur
31/45 (69%) vindt dat de toetsvragen de interactie met de docenten bevorderen. 7/45 (15%)
vindt dat dit even vaak wel als niet het geval is.
19/46 (41%) vindt het altijd of vaak nuttig dat de stof getoetst wordt voorafgaand aan het
interactieve college. 22/46 (48%) vindt dit niet. 5/46 (11%) vindt dit even vaak wel als niet nuttig.
26/46 (57%) vindt dat de toetsvragen op vrijdagochtend meestal niet of nooit overeenkomen met
de opgegeven literatuur. 10/46 (22%) geeft aan niet te weten of de toetsvragen op vrijdagochtend
overeenkomen met de opgegeven literatuur. 5/46 (11%) vindt dat de toetsvragen even vaak wel
als niet overeenkomen met de opgegeven literatuur. 5/46 (10%) vindt dat de toetsvragen meestal
of altijd overeenkomen met de opgegeven literatuur.
aantal studenten (n=47)
50
45
40
35
30
25
20
15
10
5
0
Moet het toetsresultaat meetellen voor het eindcijfer v/h coschap?
ja nee geen mening
44/47 (94%) vindt het niet goed als het resultaat van de toets mee gaat tellen voor het eindcijfer
van het co-schap. 1/47 (2%) vindt het wel goed als het resultaat van de toets mee gaat tellen.
Vraag 10
Voor hoeveel procent zouden de toetsscores van de vrijdagochtenden mogen meetellen voor het
eindoordeel van het co-schap?
0 %

5 %
10 %
15 %
20 %
25 %
Totaal: ? studenten
Helaas is bij deze vraag iets misgegaan met de antwoorden van de studenten…
Bespreking
Voorbereiding
Gemiddeld vulden 46 studenten de enquêtevragen in. Ruim 40% van de studenten bereidt de
interactieve colleges niet voor. Van de studenten die zich wel voorbereiden, besteedt 85%
maximaal een uur aan de voorbereiding. Kindergeneeskunde van Van den Brande wordt door 22
studenten gebruikt in de voorbereiding. Lissauer door 10 studenten en Field door 4 studenten.
Waarbij Field alleen in combinatie met Lissauer en/of Van den Brande gebruikt wordt. 14 studenten
gebruiken geen boeken ter voorbereiding op de interactieve colleges.
Field is door 1 student aangeschaft, 4 studenten gebruiken dit boek in het studielandschap. 15
studenten hebben Lissauer aangeschaft en nog eens 19 studenten gebruiken dit boek in het
studielandschap.
Concluderend wordt er weinig gedaan aan de voorbereiding van de interactieve colleges. De
voorbereiding geschiedt meestal uit Kindergeneeskunde van Van den Brande. Lissauer en met
name Field zijn door weinig studenten aangeschaft. Lissauer is echter wel door een kleine 40%
gebruikt in het studielandschap. Dit is niet per se ter voorbereiding op de colleges. Opvallend is dat
slechts 14 studenten geen boeken gebruiken in de voorbereiding op het interactieve college, terwijl
er 20 studenten zijn die zich niet voorbereiden.
Toetsing
41% vindt het (bijna) altijd nuttig dat de opgegeven literatuur getoetst wordt voorafgaand aan de
interactieve colleges. 48% is het hier niet mee eens. 69% vindt dat de toetsvragen de interactie
met de docenten bevordert.
57% van de studenten vindt dat de toetsvragen op vrijdag ochtend (bijna) nooit overeenkomen
met de opgegeven literatuur. 11% vindt dat de toetsvragen even vaak wel als niet overeenkomen
met de opgegeven literatuur. 22% geeft aan niet te weten of de toetsvragen overeenkomen met
de opgegeven literatuur.
94% vindt het op dit moment niet goed als het resultaat van de toets mee zou gaan tellen voor het
eindcijfer van het co-schap.
Concluderend vindt een kleine 70% van de studenten dat de toetsvragen de interactie met de
docenten bevordert. Slechts een kleine 40% vindt het nuttig dat de opgegeven literatuur getoetst
wordt voorafgaand aan de interactieve colleges. Daarnaast vindt een ruime meerderheid dat de
toetsvragen niet overeenkomen met de opgegeven literatuur en bijna niemand wil dat de
resultaten van de toets mee gaan tellen voor het eindcijfer van het co-schap.
Beantwoording vraag
Hoe zouden we de stemkastjes, die gebruikt worden op vrijdagochtend tijdens de
responsiecolleges, kunnen gebruiken om te toetsen voor een resultaat dat mee telt in de
beoordeling van het blok stofwisseling III en het co-schap kindergeneeskunde? Wat zijn de
organisatorische voorwaarden?
De eerste organisatorische voorwaarde is dat er een sfeer gecreëerd dient te worden waarin de
studenten gaan ervaren dat er sprake is van een toetsmoment. Nu wordt er nog veel overlegd in
de collegezaal en dat maakt de uitslag van de toets onbetrouwbaar. Daarnaast viel me op dat
nieuwe studenten geen uitleg krijgen over het stemkastjessysteem. Dit zorgt iedere 2 weken voor
59

onrust in de collegezaal en onbegrip bij de studenten. Het niet weten wanneer de volgende vraag
komt, maakt dat studenten verontwaardigd reageren als ineens de volgende vraag voorstaat.
Tevens denk ik dat de onrust in de zaal verminderd kan worden door alle toetsvragen in één keer
af te nemen. Hiermee wordt voorkomen dat de 1e spreker antwoord geeft op de vragen van de 2e
spreker en weten de studenten en de organisatie precies wanneer er getoetst wordt. De ‘toetssfeer’
zou je kunnen creëren door aan nieuwe studenten uit te leggen hoe het stemkastjessysteem werkt
(eigen id-kaart, welke knopjes gebruiken), door één toetsmoment op de dag te hebben, door te
zorgen voor stilte tijdens de toetsing en door vooraf aan te geven hoeveel tijd studenten hebben
om een vraag te beantwoorden.
Een tweede voorwaarde is het opstellen van een goede toets waarvan je weet wat je toetst en
waarom je dit wilt toetsen. Daarbij is het belangrijk dat de toetsvragen overeenkomen met de
opgegeven stof. Volgens een kleine 60% van de studenten is dit nu niet het geval. Daarnaast moet
er rekening gehouden worden met de raadkans van de antwoorden, de wijze van vraagstelling en
de betrouwbaarheid van een toets. Eveneens is het belangrijk om rekening te houden met het feit
dat een student tijdens de toets niet meer kan terugbladeren om vragen te corrigeren of alsnog in
te vullen indien het antwoord in eerste instantie niet paraat was, maar in tweede instantie wel.
Een laatste voorwaarde voor de organisatie is de technische ondersteuning. Weliswaar werkte de
computer en de stemkastjes meestal goed, het kwam toch geregeld voor dat enkele studenten hun
stemkastje omruilden omdat deze niet goed werkten. Indien de stemkastjes als toetsmiddel
gebruikt gaan worden, moet de apparatuur voor 100% functioneren en moet ook diegene die de
apparatuur bediend kennis van zaken hebben.
Concluderend zijn een goede ‘toetssfeer’, een valide en betrouwbare toets en goede technische
ondersteuning belangrijke organisatorische voorwaarden om een betrouwbare toetsuitslag te
krijgen van toetsing met gebruik van stemkastjes.
Resultaten Enquête voor AIOS ter evaluatie van de toetsvragen
60
aantal aios (n=27)
14
12
10
8
6
4
2
0
Voorbereidingstijd onderwijsdag
1 2 3 4 5 6 7 8
tijd (uren)
13/27 (48%) besteedt 1 uur aan de voorbereiding van de maandelijkse onderwijsdag. Eén persoon
besteedde 8 uur aan de voorbereiding van de onderwijsdag.

aantal aios (n=28)
14
12
10
8
6
4
2
0
Gebruikte boeken ter voorbereiding op onderwijsdag
Nelson 2007
Nelson vorige druk
Kindertraumatologie
(Kramer)
20/28 (72%) heeft ter voorbereiding van de onderwijsdag het boek van Nelson gebruikt. Twaalf
(43%) AIOS gebruikten de laatste druk uit 2007. Zes (21%) AIOS hebben geen boeken gebruikt
om zich voor te bereiden. Niemand heeft gebruik gemaakt van het boek Kindertraumatologie van
Kramer.
aantal aios (n=28)
25
20
15
10
5
0
Toetsvragen
meestal wel om het even meestal niet geen mening
Andere bron
Geen
bevorderen interactie met
sprekers
overeenkomen met opgegeven
literatuur
20/28 (71%) vindt dat de toetsvragen de interactie met de sprekers niet bevordert. 5/28 (18%)
vindt dit wel, en 3/28 (11%) maakt het niet uit.
6/26 (23%) vindt dat de toetsvragen op de onderwijsdag meestal wel overeenkomen met de
opgegeven literatuur. 7/26 (27%) vindt dit niet. De overige 13 (50%) AIOS weten het niet of
maakt het niet uit.
61

62
aantal aios (n=28)
30
25
20
15
10
5
0
Mening over toetsen
ja nee geen mening
betere voorbereiding door
toetsvragen
nuttig om stof te toetsen
23/28 (82%) vindt dat de toetsvragen er voor zorgen dat zij zich beter op de onderwijsdag
voorbereiden. 4/28 (14%) vindt dit niet. En 1/28 (4%) heeft hier geen mening over.
24/28 (86%) vindt het nuttig dat er voorafgaand aan de onderwijsdag getoetst wordt. 3/28 (11%)
vindt dit niet. 1/28 (3%) heeft geen mening.
Bespreking
Voorbereiding
Gemiddeld vulden 28 AIOS de enquête in. Een kleine 50% van deAIOS besteedde een uur aan de
voorbereiding van de maandelijkse onderwijsdag. Maximaal werd er 8 uur besteed aan deze
voorbereiding. Ter voorbereiding maakt 72% van de AIOS gebruik van het boek van Nelson, de
helft van deze AIOS gebruikt de laatste druk. Niemand heeft gebruik gemaakt van het boek
Kindertraumatologie van Kramer.
Concluderend wordt er weinig tijd gestoken in de voorbereiding van de onderwijsdag en wordt er
ter voorbereiding voornamelijk gebruik gemaakt van het boek van Nelson.
Toetsing
Ruim 70% vindt dat de toetsvragen de interactie met de sprekers niet bevordert. Een kleine 30%
vindt dat de toetsvragen niet overeenkomen met de opgegeven literatuur, terwijl een ruime 20%
dit wel vindt. De andere helft heeft hier geen duidelijke mening over.
Ruim 80% vindt dat de toetsvragen er voor zorgen dat zij dit beter op de onderwijsdag
voorbereiden en hetzelfde percentage vindt dat het nuttig is om voorafgaand aan de onderwijsdag
te toetsen.
Concluderend, zorgen de toetsvragen er voor dat de onderwijsdag beter wordt voorbereid en
vinden de AIOS het maken van de toetsvragen nuttig. Echter, de toetsvragen bevorderen de
interactie met de sprekers niet en de overeenkomst met de opgegeven literatuur is niet duidelijk.

Bijlage 6 Stappenplan implementatie computer based
assessment
Computer-based assessment in het Medisch Onderwijs; een handleiding voor
implementatie van een digitale toets in een outcome based curriculum
Elize Berg
Inleiding
Computers worden al sinds de jaren ’60 gebruikt bij het afnemen van toetsen. In eerste instantie
bleken zij met name bruikbaar als hulpmiddel bij het formatief toetsen, maar de laatste jaren
wordt internationaal in toenemende mate gebruik gemaakt van computers bij het summatief
toetsen.1 Een voorbeeld hiervan is het officiële artsexamen van de Verenigde Staten dat
tegenwoordig als online digitale toets wordt afgenomen (www.usmle.com).
In Nederland wordt op medische faculteiten echter nog weinig gebruik gemaakt van computers bij
het testen van vaardigheden en kennis, terwijl uit recente literatuur niet alleen blijkt dat computer-
based assessment (CBA) even adequaat toetst als toetsen met pen op papier 2 3 , maar ook dat
studenten een CBA meer waarderen dan een traditionele toetsvorm. 4 Deze gegevens in
combinatie met de positie die de computer in het dagelijkse leven van de huidige student inneemt,
doen afvragen waarom de opleidingsbrede implementatie van het CBA in de verschillende medische
curricula tot op heden op zich heeft laten wachten.
Het antwoord op deze vraag is niet eenduidig, maar laat zich deels raden uit het antwoord op de
vraag hoe een digitale toets gemaakt en geïmplementeerd moet worden. Mogelijk bestaat er een
lacune in de kennis en vaardigheden van examinatoren en coördinatoren met betrekking tot de
huidige mogelijkheden op dit gebied. Mogelijkheden die natuurlijk per onderwijsinstelling
verschillen en deels afhankelijk zijn van de beschikbaarheid van hardware en software. Dat de
praktische procedure voor het implementeren van een CBA per instelling verschilt wil echter niet
zeggen dat er geen algemene richtlijn of handleiding ontwikkeld kan worden.
Dit artikel hoopt te voorzien in dergelijke algemene handleiding voor examinatoren en
coördinatoren die hun huidige toets met pen op papier om willen vormen naar een CBA,
onafhankelijk van de mogelijkheden die de verschillende faculteiten hebben op het gebied van ICT
en toetsprogramma’s.
Wat is een computer-based assessment (CBA)?
Een computer-based assessment is een toets die wordt afgenomen met behulp van de computer.
Waar de computer tot op heden vooral werd ingezet bij de analyse en beoordeling van toetsen
middels voorbedrukte antwoordformulieren, wordt deze bij een CBA daadwerkelijk gebruikt als
toetsmiddel; studenten maken de toets achter de computer.
Afhankelijk van het type toetsing (formatief of summatief) wordt respectievelijk gebruik gemaakt
van feedback naar aanleiding van de gegeven antwoorden zodat studenten kunnen oefenen met de
stof, of wordt de feedback achterwege gelaten en een zak-slaag beslissing verbonden aan het
resultaat van de toets.
63

De software
De feitelijke invulling en lay-out van een CBA is afhankelijk van het toetsprogramma dat wordt
gebruikt. Tegenwoordig zijn de meeste toetsprogramma’s vanuit een centrale server via een
internet- of netwerkverbinding op elke aangesloten computer te benaderen. Bij de keuze voor een
bepaald toetsprogramma moet onder andere gelet worden op de type vraagstellingen die het
programma invulling kan geven; alleen multiple-choice vragen of ook open vragen en bijvoorbeeld
key-feature vragen. Inhoudelijk hebben de meeste toetsprogramma’s gemeen dat voor het
samenstellen van de toets gebruik gemaakt wordt van een itemdatabase; een gestructureerd
bestand van vragen.
Een outcome based curriculum leent zich bij uitstek voor het gebruik van dergelijke itemdatabase
omdat gewerkt wordt met eindtermen die eenvoudig hiërarchisch gestructureerd kunnen worden
(figuur 1). De toetsvragen kunnen aan deze eindtermen worden gekoppeld waardoor zij
gemakkelijk terug te vinden zijn.
Een onderwijsblok Chirurgie zou bijvoorbeeld in de verschillende hoofdthema’s ‘Ziektebeelden’,
‘Anatomie’, ‘ATLS’ en ‘Medicatie’ kunnen worden opgesplitst. Elk hoofdthema heeft vervolgens een
eigen boomstructuur welke leidt naar de specifieke eindtermen binnen dit thema.
64
- Onderwijsblok (Chirurgie) >
o Hoofdthema (Ziektebeelden) >
Figuur 1. De op eindtermen gebaseerde hiërarchische structuur van een itemdatabase.
Stappenplan
Implementatie van een valide en betrouwbaar CBA is afhankelijk van een aantal factoren. Voor de
introductie van het CBA is niet alleen de vakinhoudelijke kennis van docenten essentieel, ook dient
de nodige expertise op het gebied van ICT aanwezig te zijn. Smart et al. ontwikkelden een
vragenlijst die zou kunnen helpen bij het ontwikkelen en toepassen van een CBA. 5 Deze vragenlijst
is op basis van ervaringen binnen het UMC Utrecht aangevuld waar nodig en omgezet in een
duidelijke, stapsgewijze handleiding voor implementatie van een CBA in een outcome based
curriculum zoals dat van het UMC Utrecht. In figuur 2 wordt een samenvatting van de hieronder
beschreven handleiding weergegeven.
Onderwerp (Galblaas en galwegen) >
• Deelonderwerp (Cholelithiasis) > toetsvraag
Stap 1. Vaststellen dat toepassing van het CBA meerwaarde geeft aan de toetsing.
Er zijn verschillende redenen te bedenken die aanleiding kunnen geven tot het overgaan van een
toets met pen op papier op een CBA. Zo zou de coördinator van een willekeurig onderwijsblok dat
in een collegejaar meerdere keren achtereenvolgens wordt gegeven, maar weinig frequent en in
grote cohorten moet worden getoetst, misschien de toetsfrequentie op willen voeren, liever toetsen
in de kleine groepen waarin ook het onderwijs wordt gegeven of sneller de uitslag willen weten na
afname van de toets om zo de doorstroom van studenten te kunnen bevorderen.
Een andere reden kan zijn dat de huidige toets niet aan gestelde kwaliteitseisen voldoet of niet
goed genoeg geëvalueerd kan worden. Omzetting naar een CBA kan dan aanleiding geven om

kritisch naar de huidige toetsing te kijken en deze zo nodig te saneren van elementen die de
kwaliteit niet ten goede komen.
Met een CBA kan de toets eenvoudig worden gegenereerd uit een itemdatabase en hoog frequent
worden afgenomen, mits de benodigde ICT faciliteiten (computers en software) aanwezig zijn.
Huidige toetsprogramma’s bieden daarnaast de mogelijkheid de toetsresultaten grondig te
analyseren en zij voeren deze analyse vrijwel direct na afnemen van de toets uit waardoor de
resultaten direct beschikbaar zijn.
Als deze eerste stap is gezet kan toegewerkt gaan worden naar de realisatie van het CBA. Het is
daarbij praktisch met enkele enthousiastelingen een werkgroep te vormen die zich bezig gaat
houden met de ontwikkeling van het CBA en die tevens aanspreekpunt is voor betrokken docenten.
Het maken van een reële tijdsplanning is in deze fase essentieel.
Stap 2. Vaststellen wat getoetst moet worden.
De feitelijke inhoud van toetsing is afhankelijk van het soort onderwijs, het doel van de toetsing en
het type toetsing. Vaardigheidsonderwijs moet op een andere manier getoetst worden dan
blokonderwijs 6 7 8 , formatieve toetsing heeft door de mogelijkheid van feedback een totaal andere
invulling dan summatieve toetsing en toetsen met behulp van multiple-choice vragen behoeft een
heel andere organisatie en geeft een andere resultaat dan toetsen met open vragen. 9
Stap 3. Verkennen van de mogelijkheden van de onderwijsinstelling.
Als men het over de inhoudelijke vorm eens is, moet geïnventariseerd worden wat de
mogelijkheden zijn binnen de onderwijsinstelling waar men werkzaam is. In principe bestaan er
dan twee opties;
1) er is een digitaal toetsprogramma beschikbaar via de onderwijsinstelling, 2) er is (nog) geen
toetsprogramma beschikbaar.
De eerste optie biedt de mogelijkheid gebruik te maken van het beschikbare toetsprogramma en
de ervaringsdeskundigen die er binnen de onderwijsinstelling inmiddels zijn. Zo kan men instructie
vragen over het gebruik van het programma en eventueel overgaan tot installatie op de eigen
computer. Vragen over kosten en betrouwbaarheid zijn in deze situatie snel beantwoord,
afhankelijk van de inmiddels opgedane ervaring.
De tweede optie betekent een grotere tijdsinvestering, daar nu eerst de mogelijkheden tot
aanschaf van een programma moeten worden verkend of, als dat geen optie is, er gekeken moet
worden of zelf in samenwerking met ICT medewerkers van de instelling een programma gemaakt
kan worden.
In het UMC Utrecht wordt op dit moment het resultaat van beide opties naar tevredenheid
gebruikt, zij het dat de implementatie van het zelf geschreven programma aanzienlijk meer tijd
heeft gekost en dat de mogelijkheden van dit programma beperkter zijn dan die van het
aangeschafte programma.
Zonder toereikende computerfaciliteiten geen CBA. Voordat een programma wordt gemaakt of
aangeschaft moet een schatting gemaakt worden van de beschikbaarheid van het benodigde aantal
computers en de aanwezigheid van geschikte onderwijsruimten (o.a. internetverbinding).
65

Stap 4. Het maken van de toets.
Het feitelijk samenstellen van de toets met behulp van een toetsprogramma is, mits een goede
structuur in de itemdatabase is aangelegd, een routinematig proces dat naarmate men meer
ervaring krijgt met het programma, minder tijdsintensief zal blijken.
Bij het samenstellen van de eerste toets zal een toetsmatrijs moeten worden bedacht en opgesteld
als deze nog niet beschikbaar is. Daarbij kan op basis van leerdoelen en eindtermen worden
bepaald over welke onderwerpen toetsvragen relevant zijn en welk type vraagstelling het meest
7 9
geschikt is voor de toetsing van de leerdoelen.
Een groot voordeel van toetsing via het CBA is dat relevante foto’s, röntgenopnamen of
bijvoorbeeld labuitslagen kunnen worden toegevoegd aan een vraag. Daarmee worden de vragen
niet alleen aantrekkelijker voor studenten, maar kunnen zij ook gerichter worden gesteld.
Bestaande vragen kunnen vervolgens vaak eenvoudig worden ingevoerd in een toetsprogramma.
Echter, als men met het invoeren van het CBA ook een kwaliteitsverbetering beoogt, dan is de
beoordeling van bestaande vragen op validiteit en betrouwbaarheid met behulp van bijvoorbeeld de
alfa-waarde en Rit-waarde essentieel voordat zij worden geïmplementeerd in de itemdatabase. 9
Het aantal benodigde vragen is afhankelijk van de frequentie waarop getoetst wordt en het aantal
vragen per toets. Een toets van 50 vragen die 10 keer per jaar wordt afgenomen heeft idealiter
een itemdatabase met 500 vragen. Dit is nodig om een goede randomisatie te kunnen garanderen
en daarmee de veiligheid van de toets met betrekking tot frauderen door studenten te waarborgen.
Indien de vragen geformuleerd zijn kunnen zij in het toetsprogramma worden gekoppeld aan de
(deel)onderwerpen in de itemdatabase zoals hierboven is beschreven in het hoofdstuk over
software.
Deze koppeling maakt het samenstellen van de toets eenvoudig, al is de precieze methode
natuurlijk afhankelijk van het toetsprogramma dat wordt gebruikt. Een coördinator of examinator
hoeft alleen aan te geven hoeveel vragen van welk onderwerp er in de toets moeten komen,
waarop het programma zelf de vragen selecteert per deelonderwerp en deze randomiseert per
student. Het randomiseren betekent dat zowel de volgorde van vragen als die van de mogelijke
antwoorden per vraag verschillend zijn voor elke student die de toets maakt. Daardoor maakt elke
student een uniek samengestelde toets, maar beantwoordt het hele cohort wel dezelfde vragen en
kunnen studenten vrijwel niet frauderen tijdens het maken van de toets.
Stap 5. Het testen van de toets.
Studenten staan positief tegenover het gebruik van computers bij het afnemen van toetsen en
waarderen een CBA meer dan het traditionele tentamen dat met pen en papier moet worden
gemaakt. 4 Mits er een duidelijke handleiding wordt verstrekt en uitleg wordt gegeven over het
juist gebruiken van het toetsprogramma, is het CBA in de ogen van studenten tevens
gebruiksvriendelijk. Als voor het eerst een CBA wordt afgenomen kan het lonen de toets op
gebruiksvriendelijkheid te laten testen door zowel studenten als docenten. Daarmee kan tevens
een inschatting worden gemaakt van de compatibiliteit van het CBA met de computervaardigheden
van studenten (en docenten).
66

Stap 6. Beoordeling van de toets vaststellen.
Nadat de toetsmatrijs is gevormd, de toets op basis van de itemdatabase is samengesteld en deze
op gebruiksvriendelijkheid is getest kan worden nagedacht over de beoordeling van de toets. Het
scoresysteem dat beoordeling mogelijk maakt zit in moderne toetsprogramma’s ingebouwd in de
software; aan elke vraag kan een willekeurige weegfactor worden toegekend waarmee de
computer het resultaat per student kan berekenen op basis van diens antwoorden. De gokkans
wordt vanzelfsprekend meegenomen in deze berekening.
Als het scoresysteem is vastgelegd kan met behulp van een testversie van de toets die wordt
afgenomen bij docenten een idee worden verkregen van de validiteit en betrouwbaarheid van de
toets.
Stap 7. Toetsevaluatiemethode bepalen.
De mogelijkheden op dit gebied zijn afhankelijk van het toetsprogramma waarmee gewerkt wordt.
Op het gebied van toetsevaluatie kan CBA meerwaarde bieden ten opzichte van toetsen met pen
op papier, omdat niet alleen een uitgebreide vragenanalyse direct na afname van de toets
beschikbaar is, maar ook toetsen onderling en resultaten van verschillende cohorten geanalyseerd
kunnen worden.
Stap 8. Implementatie in het curriculum.
Eenmaal zover gekomen is de implementatie van het CBA een kwestie van formaliteiten. Om zeker
te zijn van een valide en betrouwbare toetsing dienen studenten de mogelijkheid te krijgen een of
enkele keren met de nieuwe methode van toetsing te oefenen zodat hun prestaties ten tijde van de
toets niet negatief beïnvloed worden door onwennigheid. Vervolgens moet een moment worden
vastgesteld waarop het eerste cohort getoetst gaat worden met behulp van het CBA.
Een aandachtspunt bij de daadwerkelijke afname van het CBA is de veiligheid van de toetsing.
Hierbij moet niet alleen gedacht worden aan betrouwbare computers die de software aankunnen en
die zijn aangesloten op een beveiligd netwerk, ook moet zoveel mogelijk voorkomen worden dat de
inhoud van de toetsen wordt gekopieerd door of uitlekt naar studenten. Kennis en kunde van ICT
medewerkers op het gebied van beveiliging is hierbij essentieel, evenals de aanwezigheid van
surveillanten tijdens het afnemen van de toets ter controle van de identiteit van de deelnemers en
het eerlijk verlopen van de toetsing.
Stap 9. Evaluatie.
De kwaliteit van toetsing kan alleen worden gewaarborgd als de toets en haar analyse regelmatig
kritisch tegen het licht worden gehouden. Evaluatieresultaten van de toets als geheel (coefficiënt
alfa) en de vragen zelf (P’, Rir-waarde) geven een indruk van de validiteit en betrouwbaarheid van
de toets en haar onderdelen. Op basis van deze resultaten en met behulp van de ervaringen van
studenten en docenten kan de toets indien nodig steeds weer worden aangepast en verbeterd.
Stap 10. Up-to-date houden van de itemdatabase.
Voortvloeiend uit de vorige stap, is het up-to-date houden van de itemdatabase gebaseerd op het
adequaat analyseren van gebruikte vragen. Indien nodig kunnen vragen worden aangepast of
67

vervangen door nieuwe vragen als de analyse daartoe aanleiding geeft. Ook moet worden
gecontroleerd of de vragen adequaat aansluiten bij de leerdoelen en moeten zij als de leerdoelen
wijzigen hierop worden aangepast.
Figuur 2. Handleiding bij de implementatie van een CBA in een outcome based curriculum.
Stap 1:
Stap 2:
Stap 3:
Stap 4:
Stap 5:
Stap 6:
Stap 7:
Stap 8:
68
CBA heeft meerwaarde:
1. Enthousiasmeren betrokken docenten en opleiders
2. Werkgroep vormen
3. Tijdsplanning
Vaststellen wat getoetst moet worden:
1. Soort onderwijs
2. Doel toetsing
3. Type toetsing
Verkennen van de mogelijkheden onderwijsinstelling:
1. Digitaal toetsprogramma beschikbaar?
- JA: instructie en installatie programma, contact
opnemen met ervaringsdeskundigen
- NEE: oriënteren aanschaf toetsprogramma of zelf een
programma schrijven mbv ICT medewerkers
2. Faciliteiten onderzoeken: computers (aantal toereikend,
betrouwbaarheid, toetsruimten, veiligheid)
Maken van de toets:
1. Bepalen type vraagstelling(en)
2. Bestaande vragen evalueren (validiteit en betrouwbaarheid)
3. Opzetten itemdatabase o.b.v. leerdoelen en eindtermen
4.Vragen koppelen aan itemdatabase
5. Aantal vragen per toets bepalen
6. Toets samenstellen in programma
Testen van de toets:
1. Gebruiksvriendelijkheid studenten en docenten
2. Compatibiliteit met computervaardigheden
3. Validiteit en betrouwbaarheid
Beoordeling vaststellen:
1. Scoresysteem ontwikkelen
Toetsevaluatiemethode vaststellen(afhankelijk programma)
Implementatie in het curriculum:
1. Oefenmogelijkheid bieden aan studenten
2. Moment eerste CBA vaststellen
3. Beveiliging en surveillance
Evaluatie:
1. Ervaringen studenten en docenten
2. Evaluatieresultaten vragen/toets (validiteit&betrouwbaarheid)

Stap 9:
Stap 10:
Referenties
1) Cantillon P, Irish B, Sales D. ABC of learning and teaching: Using computers for assessment
in medicine. BMJ vol. 329, September 2004: 606-609.
2) Russell M, Haney W. Testing writing on computers: an experiment comparing student
performance on tests conducted via computer and via paper-and pencil. Education Policy
Analysis Archives 1997; 5(3).
3) Wolfson PJ, Velosky JJ, Robeson MR Maxwell KS. Administration of open-ended test
questions by computer in a clerkship final examination. Acad Med 2001 Vol. 76: 835-839.
4) Ogilvie RW, Trusk TC, Blue AV. Students attitudes towards computer testing in a basic
science course. Med Educ 1999 Vol. 33; 828-831.
5) Smart C. Computer based assessment guide; Questions to guide the introduction of
computer based testing. (www.is.bangor.ac.uk)
6) Smee S. ABC of learning and teaching: Skill based assessment. BMJ Vol. 326, March 2003:
703-706.
Up-to-date houden van itemdatabase:
1. Vragen aanpassen/vervangen o.b.v. analyseresultaten
7) Lambert WT Schuwirth, Cees PM van der Vleuten. ABC of learning and teaching: Written
assessment. BMJ Vol. 326 March 2003: 643-645.
8) Devitt P, Palmer E. Computers in medical education 3: a possible tool for the assessment of
clinical competence? Austr.N.Z.J.Surg. 1998 vol. 68: 602-604.
9) Jaap Milius. Schriftelijk tentamineren. Een draaiboek voor docenten in het hoger onderwijs.
2007 IVLOS, Universiteit Utrecht.
Met dank aan S. Verdoes, ICT medewerker directie Onderwijs en Opleidingen van de Faculteit
Geneeskunde (UMC Utrecht) en dr. Y. van der Drift, KNO-arts UMC Utrecht.
69

Bijlage 7 Materialen TestVision
Er is een uitgebreide Gebruikershandleiding beschikbaar bij Teelen Kennismanagement in Wilp. Zie
www.teelen.nl
70