OnderwijsInnovatie - Jacob van Kokswijk

BOX 1: KWALITEITSSCHAKELS DIE ASSESSMENTSCORES
VERBINDEN MET CONCLUSIES OVER COMPETENTIES
Minder verheugend is dat men vaak
het praktisch deel van het rijexamen
als lichtend voorbeeld noemt van zo’n
proeve van bekwaamheid. Het is
merkwaardig om te constateren dat
een examen waar zoveel kandidaten
voor zakken kennelijk toch veel waardering
oogst. Om een indruk te geven:
jaarlijks gaan meer dan 400.000 personen
op voor het praktijkdeel van het
rijexamen en minder dan 45 procent
daarvan slaagt (kijk op: http://rijbewijs.cbr.nl/index.asp).
Ik vermoed dat
docenten die jaar na jaar minder dan
de helft van hun studenten laten slagen,
ernstig rekening zouden moeten
houden met een berisping of stevig
gesprek met hun directie.Waar de
lage slaagcijfers door veroorzaakt
worden, is zonder onderzoek niet te
zeggen. Maar dat spanning een van
de oorzaken is, lijkt voor de hand te
liggen. Er hangt veel af van het kunnen
presteren op dat ene moment.
Daarbij komt dat de verkeerssituaties
voor een groot deel de moeilijkheid
van het examen bepalen, maar dat de
examinator deze helaas niet of nauwelijks
onder controle heeft. Als kandidaat
kun je daar pech of geluk mee
hebben. Maar het besef dat je de prestatie
niet geheel in eigen hand hebt,
vergroot de spanning.
Met bovenstaand verhaal willen we
waarschuwen tegen een te snelle
keuze voor assessment-instrumenten
die heel valide overkomen, maar dat
niet altijd zijn. Om solide conclusies te
trekken over competentie moet een
assessment scores opleveren die accuraat,
generaliseerbaar en extrapoleerbaar
zijn (zie box 1). Deze kwaliteitskenmerken
vormen een denkbeeldige
keten die de assessmentscore
verbindt met de beslissing over het
al dan niet verworven zijn van de
competentie. Elke schakel in de keten
moet intact zijn om die conclusie te
kunnen trekken. Zoals hierna nog duidelijk
zal worden, zijn dit zware eisen.
Instrumenten waarvan men altijd
dacht dat die ‘het neusje van de zalm’
waren, blijken hier niet aan te kunnen
voldoen. De schijn bedriegt dus.
Kwaliteitsketen waarborgt juiste
conclusies
Accurate scores heet de eerste schakel
(zie box 1) die de prestatie op het
assessment verbindt met de conclusie
over competentie. U herinnert zich
misschien nog wel van de middelbare
schooltijd de klasgenoten die opstellen
uitwisselden met leerlingen uit parallelklassen
om die over te schrijven.
Het scheelde veel werk en het cijfer
was op voorhand bekend. Althans,
daar werd vanuit gegaan. Regelmatig
voelde de bedrieger zich bedrogen
als hij een aanzienlijk lager punt kreeg
dan de originele auteur. Of blij verrast,
als het punt hoger bleek te zijn dan
dat van de rechtmatige eigenaar. De
fluctuerende waarderingen voor één
en hetzelfde werkstuk waren een aanwijzing
dat het met de accuraatheid
van de beoordeling niet goed zat.
Kennelijk speelden andere dingen
mee in de beoordeling dan de prestatie
van de kandidaat of keken beoordelaars
anders aan tegen bepaalde aspecten
van de prestatie. Hoe dan ook,
dergelijke uiteenlopende beoordelingen
geven aan dat conclusies over
personen soms gebaseerd zijn op
drijfzand. De accuraatheid van scores
kan bevorderd worden door bij de
beoordeling gebruik te maken van
eenduidig geformuleerde prestatiecriteria.
Een ander beproefd middel is
om met meerdere onafhankelijk werkende
assessoren te werken en hun
gemiddelde oordeel te gebruiken. En
een training van de assessoren wil
ook nog wel eens helpen om de onvermijdelijke
interpretaties van de
prestatiecriteria binnen de perken te
houden.
Behalve accuraat moeten de scores
die een assessment oplevert ook generaliseerbaar
zijn. Dat wil zeggen dat
de score niet alleen een indicatie is
assessment-score
conclusie over
competentie
accuraatheid
generaliseerbaarheid
extrapoleerbaarheid
voor het prestatieniveau op de aangeboden
taak of taken, maar tevens
voor alle andere taken die in principe
ook aangeboden hadden kunnen
worden om een indruk te krijgen van
de competentie van de kandidaat. Als
de examinator bij het rijexamen de
kandidaat vooral laat rijden buiten de
bebouwde kom, dan is het risico op
een verkeerde beslissing over de rijvaardigheid
niet denkbeeldig aangezien
het rijden binnen de bebouwde
kom een beroep doet op andere kennis
en vaardigheden. Het zal duidelijk
zijn dat het risico van verkeerde beslissingen
groter wordt naarmate de
competenties ruimer geformuleerd
zijn. Om de generaliseerbaarheid van
de scores te waarborgen is het daarom
zaak veel verschillende taken aan
te bieden. Dit vergroot de kans dat
het assessment een voldoende afspiegeling
is van de betreffende competentie.
Extrapoleerbaarheid is het
derde kwaliteitskenmerk van assessmentscores.
In hoeverre lijkt de uitgevoerde
taak in het assessment op
een uitgevoerde taak in de reële
werksituatie? Er zijn vele redenen
waarom men bij een assessment ervoor
kiest de werkelijkheid na te
bootsen. Gevaar is er een van. Bij de
opleiding voor de mijnopruimingsdienst
bijvoorbeeld, worden zogeheten
‘dummies’ gebruikt: nauwkeurige
OnderwijsInnovatie juni 2004 19