Toename computergebaseerde toetsing - Open Universiteit Nederland

p tentamen
'In het hoger onderwijs lopen we in veel opzichten onverminderd voorop'
Toename computergebaseerde toetsing
Is de toets het visitekaartje van elke OU-opleiding? Wat kan
anders of beter? Modulair vroeg het aan dr. Desirée Joosten
ten Brinke (op foto) en drs. Fred de Roode, alle twee
onderwijstechnoloog bij het Centre for Learning Sciences and
Technologies (CELSTEC). Het interview met beiden, die een
langjarig verleden als fulltime toetsdeskundige delen, leverde
verrassende eye-openers en een boeiend tijdsdocument op.
Tentaminering, certificering en diplomering behoren tot de primaire
processen binnen elke instelling voor hoger onderwijs. Wat
dat betreft is het goed om weet te hebben van de verschillende
verantwoordelijkheden binnen de OU. Welnu: de Commissie
voor de examens (CvE) is
formeel verantwoordelijk
voor de goede gang van
zaken rond tentamens.
Maar de CvE bemoeit zich
niet met de wijze waarop
deze worden afgenomen,
en evenmin met de inhoud
ervan. Voor de inhoud en
het type tentamen zijn de
faculteit, respectievelijk de
decaan en de examinator
verantwoordelijk. De onderwijs-
en toetsdeskundigen
van CELSTEC zijn verantwoordelijk
voor advies,
ontwerp en vernieuwing.
De afdeling Tentaminering
en certificering is belast
met zaken als praktische
organisatie, uitvoering en
beheer. En tot slot is er ook
nog de OU-brede werkgroep
Kwaliteitszorg onderwijs.
Studenten vinden dat de nadruk teveel ligt op
MC-tentamens en detailkennis …
‘Als leerdoelen gericht zijn op "kennis verwerven over" of "inzicht
hebben in" dan zijn meerkeuzevragen gewoon een heel goede en
efficiënte manier van tentamineren. Dat geldt zeker voor de basiscursussen.
Soms is detailkennis ook noodzakelijk. Van de ongeveer
350 cursussen van de OU hebben 130 cursussen toetsen met
meerkeuzevragen, waarvan 103 in sys/CBI (zie verderop; red.). De
andere cursussen worden afgesloten met bijzondere verplichtingen,
mondelinge tentamens (21) of open vragen. De verhouding
van (gesloten) meerkeuzevragen naar meer bijzondere verplichtingen
is de laatste jaren overigens duidelijk verschoven. Neem de
masteropleiding Onderwijswetenschappen, die vanuit CELSTEC
wordt geregisseerd: de gehele opleiding wordt afgesloten met
bijzondere verplichtingen in de vorm van werkstukken tot en met
de scriptie.’
Hoe zit dat bij andere onderwijsinstellingen?
‘Het beleid van examineren met gesloten vragen is ingegeven door
de hang naar objectivering. Ook in de rest van het onderwijs zag en
zie je dat. Daarbij speelt de financiële beheersbaarheid van de, zeker
bij de OU zeer flexibele tentaminering, nadrukkelijk op de achtergrond
mee. Een cursus moet wél betaalbaar blijven. In de rest van
het hoger onderwijs zie je nu een steeds verdergaande ontwikkeling
van digitale toetsen, met daarbij het gebruik van gesloten vragen.’
Doet de OU het slechter of beter dan andere
onderwijsinstellingen?
‘In vergelijking met de rest van het hoger onderwijs lopen we in veel
opzichten onverminderd voorop. We zijn de enige onderwijsinstelling
die al twintig jaar lang een geautomatiseerd systeem kent in
de vorm van sys. En dit systeem wordt in de nabije toekomst verder
gedigitaliseerd. Nergens anders in het hoger onderwijs worden ook
consequent statistische analyses van alle tentamens gemaakt.’
Kunnen jullie in het kort iets vertellen over de inbreng
van toetsdeskundigen?
‘Vijf full time toetsdeskundigen vervulden lange tijd – ongeveer tot
1997 – een cruciale spilfunctie in het tentamentraject. In die periode
was er een heel intensieve band tussen de toetsdeskundigen en de
examinator. Geen enkele examinator kon om de toetsdeskundige
heen. Elk schriftelijk tentamen, elk sys-bestand, moest ons passeren.
We bekeken elk item en elke vraag voordat die bij de student
terechtkwam. Wij screenden alleen op toetsdeskundige aspecten.
Dan moet je denken aan relevantie, leesbaarheid en objectiviteit
van vragen. Ook maakten wij de analyse. Daaruit blijkt bijvoorbeeld
dat een toets betrouwbaar is geweest of dat een vraag toch wel erg
slecht gemaakt was. Pas nadat de analyse was besproken met de
examinator en eventuele fouten hersteld waren, kon de uitslag worden
vrijgegeven.’
Daar blijkt later verandering in gekomen …
‘Dat vloeide voort uit een bestuurswisseling halverwege de jaren
negentig. De nieuwe collegevoorzitter oordeelde dat alle toetsdeskundigen
naar het OTEC (nu CELSTEC; red.) moesten. Het standpunt
was toen: als examinatoren advies willen of steun, dan kunnen ze
aankloppen bij jullie. Dat vonden we niet onlogisch, maar het betekende
voor ons wél een breuk met de tentamenpraktijk. In zekere zin
is de stringente bewaking toen toch wat meer losgelaten.’
Daarmee is een belangrijk element in de kwaliteitsbewaking
verloren gegaan?
‘De examinatoren hebben uiteraard nog altijd de beschikking
over de analyses na het tentamen. En deze worden ook nog altijd
gebruikt voor een interpretatie van de resultaten. Hoe dan ook konden
wij er toen voor zorgen dat de tentamens aan alle toetskundige
eisen voldeden. Om dat te waarborgen, hebben we in het verleden
ook heel veel docenten getraind. Je merkt dat deze docenten hun
kennis weer deels doorgeven aan nieuwe docenten. Maar nieuwe
docenten weten gewoon niet alle zaken van toetsing. Helaas zien we
dat sommige vragen minder goed van kwaliteit zijn.’
20 Open Universiteit
Modulair 10 september 2010

Dat hebben studenten ook gemerkt?
‘Als je kijkt naar de vragen, dan zit er een blijvende basiskwaliteit
in door de ervaring van de oudere docenten. Maar er zitten soms
ook vragen bij die wij zouden herzien of verbeteren. Die variatie in
kwaliteit zullen studenten waarschijnlijk ook merken.’
En dus?
‘Er moet gezocht worden naar een juiste balans van toets- en
vraagvormen over de opleiding heen. Je merkt overigens dat faculteiten
langzaam terug willen naar de good practices van goede
en beschikbare ondersteuning. De vraag van de faculteiten naar
toetsingsdeskundigheid heeft inmiddels geleid tot het opnieuw
aanstellen van een universitair docent bij CELSTEC, met als primaire
taak toetskundige ondersteuning van de faculteiten. Verder draagt
het zogeheten BKO-traject – (bij)scholing in didactische bekwaamheid
– ook bij tot kwaliteit.’
Uit welke tentamenmogelijkheden kan de docent kiezen?
‘We kennen vier hoofdcategorieën: de schriftelijke tentamens, in
jargon reguliere tentamens, die drie keer per jaar in gesloten of
open vorm of combinatie daarvan, worden afgenomen in studiecentra,
en soms ook in het buitenland. Verder kennen we de
sys-tentamens. Deze schriftelijke variant wordt langzaam vervangen
door individuele computerafnamen, de zogenaamde
CBI-tentamens. Dat zijn tentamens die samengesteld worden uit
vragen uit een vragenbank. Studenten krijgen bij deze tentamenvormen
direct na het afleggen van de toets hun uitslag. Ook kennen
we bijzondere verplichtingen, dat zijn opdrachten tot de scriptie
aan toe. Meestal zijn dat schriftelijke werkstukken. En in heel
bescheiden mate mondeling tentamens. De examinatoren maken
uiteraard de vragen, wij combineren die tot een itembank.’
Hangt de manier van tentamineren niet af van de
leerdoelen?
‘Ja, natuurlijk! Bij een masteropleiding mag je meer reflectieve
vaardigheden, schrijfvaardigheid en argumenterend vermogen verwachten.
Dat kun je minder gemakkelijk toetsen met meerkeuzevragen.
Ook het aantal studenten weegt mee. En, wederom spelen
de beheersbaarheid van het systeem, financieel en organisatorisch,
natuurlijk ook een rol. Leerdoelen gericht op kennisverwerving en
inzicht zijn, zoals gezegd, zeer geschikt voor toetsen met gesloten
vragen. Kritiek is vaak dat die vragen dan te veel op details gericht
zijn. Soms is detailkennis echter ook noodzakelijk, maar indien dat
niet gewenst is, kan dat voorkomen worden.’
Zijn er nog nieuwe ontwikkelingen?
‘We zitten momenteel in de overgang naar computergebaseerd
toetsen (CBT), waarbij het hele tentamentraject verder wordt
gedigitaliseerd. Studenten leggen direct vanachter de computer
de toets af. Bij de CBT-tentaminering maken we gebruik van
Questionmark Perception (QMP). Daarmee zijn meerdere soorten
vragen mogelijk: open vragen, standaard vierkeuzevragen, aanvulvragen,
kort-antwoord-vragen en combineervragen. Studenten
kunnen dan, net zoals bij sys nu, op flexibelere tijden tentamen
doen. Een nieuw aspect is dat QMP onthoudt welke vragen een
student al heeft gehad. Bij een hertentamen krijgt een student dan
nooit meer exact dezelfde vragen. Uiteindelijk willen we ook een
kwaliteitsslag maken in het schrijven van items die bij casussen
horen.’
Vergroot het CBT-systeem ook anderszins de flexibiliteit?
‘Ja, met name ten aanzien van de tentamens die nu nog niet in sys
zitten. Er kunnen nu ook itembanken ontwikkeld worden voor open
vragen, waardoor ook die flexibel afgenomen kunnen worden.
Daarnaast zijn bij CBT ook andere toepassingen mogelijk. We kunnen
bijvoorbeeld met videobeelden en audio werken. Daarmee kun
je de toetsing nog verder laten aansluiten bij de praktijk, casusgericht
dus. De student krijgt ook meteen na afloop van zijn/haar
tentamen feedback. En, op het beeldscherm ziet hij/zij direct de
voorlopige uitslag.’
Wat is de actuele stand van zaken?
‘De sys-tentaminering loopt nog tot 1 september 2011. Het overzetten
van de sys-banken naar CBI (individueel) moet eind dit
jaar voor alle faculteiten gerealiseerd zijn. De overgang van de
schriftelijke groepstentamens naar computergebaseerde tentamens
zal ook in 2011 verder worden uitgewerkt. We willen minder
groepstentamens en meer individuele tentamens gaan tentamineren.
Overigens worden studenten hierover altijd tijdig geïnformeerd.’
Hoe reageren studenten op de vernieuwing?
‘We hebben nu 44 cursussen in CBI en 4 cursussen in CBG (groep).
Ruim 90 procent van de reacties is positief: fijne manier van
afname, het systeem werkt goed, fijn dat uitslag meteen bekend is.
Overigens vinden de meeste studenten het ook heel fijn om hun
antwoorden te typen, want ze zijn tegenwoordig niet meer echt
gewend om te schrijven.’
Wat leren jullie van de projectgroep Struikelvakken, in het
bijzonder waar het gaat om de bredere toepassing van de
voorgestelde oplossingen?
‘Het probleem van struikelvakken los je niet op door iets te doen
aan de tentamens. De eisen blijven dezelfde, daar moet je ook niet
mee willen sjoemelen. Tentamens veranderen niet qua inhoud en
vorm. Het is wél zaak om voortijdig te signaleren, om te voorkomen
dat mensen halverwege stuklopen en een hoop tijd en geld kwijt
zijn. De oplossingen bij struikelvakken liggen in de opleidingsrichting,
voorkennis en voortgangstoetsen. Je moet dus een scherp
onderscheid maken tussen voortgangstoetsen, en tentamens
die het eindniveau meten. Als je een item-bank hebt, kun je met
behulp van voortgangstoetsen studenten tijdens de cursus al na
30 uur studie een toets voorleggen. Studenten hoeven dan niet te
wachten tot ze 200 uur gestudeerd hebben, om te zien waar ze staan.’
In de reeks ‘Op tentamen’ worden diverse onderwerpen
belicht uit het algehele proces van de OU-tentaminering, van
inschrijving tot certificering. De volgende onderwerpen passeerden
reeds de revue: Tentamen doen in het buitenland
(Modulair 8, juli 2010); Struikelvakken (Nummer 7, juni 2010);
Administratie en beheer (Nummer 6, mei 2010). In e-Modulair
kunt u de artikelen raadplegen via het speciale dossier.
Tekst: Ton Reijnaerts
Foto: Chris Peeters
Open Universiteit
Modulair 10 september 2010
21