OnderwijsInnovatie - Jacob van Kokswijk
OnderwijsInnovatie - Jacob van Kokswijk
OnderwijsInnovatie - Jacob van Kokswijk
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
BOX 2: KWALITEIT EN INTERPRETATIE VAN ASSESSMENTSCORES<br />
Assessmentscore<br />
Zijn de scores<br />
voldoende<br />
accuraat ?<br />
JA<br />
Zijn de scores<br />
voldoende<br />
generaliseerbaar?<br />
JA<br />
Zijn de scores<br />
voldoende<br />
extrapoleerbaar?<br />
JA<br />
Gerechtvaardigde<br />
conclusie over<br />
competentie<br />
NEE<br />
NEE<br />
NEE<br />
De score is geen betrouwbare indicatie<br />
voor het prestatieniveau op de<br />
uitgevoerde taak of taken.<br />
De score zegt alleen iets over het<br />
prestatieniveau op de uitgevoerde<br />
taak of taken.<br />
De score zegt alleen iets over het<br />
prestatieniveau op taken die onder<br />
assessment-condities zijn uitgevoerd.<br />
replica’s <strong>van</strong> mijnen, granaten of<br />
bommen, maar dan zonder explosieve<br />
lading. De beschikbaarheid <strong>van</strong> geschikte<br />
problemen is een andere<br />
reden. Gevorderde EHBO-ers moeten<br />
een ‘triage’ kunnen uitvoeren (een selectie<br />
<strong>van</strong> gewonden). Maar calamiteiten<br />
met grote aantallen gewonden<br />
zijn natuurlijk niet op afroep beschikbaar.<br />
De kosten kunnen eveneens een<br />
belangrijke reden zijn om de werkelijkheid<br />
te reduceren. Of een militair<br />
een Patriot kan afschieten, wordt getest<br />
met een simulator omdat het afschieten<br />
<strong>van</strong> zo’n raket een half miljoen<br />
euro kost. De vraag is of een<br />
prestatie die geleverd is in een nagebootste<br />
werksituatie zomaar kan worden<br />
doorgetrokken of geëxtrapoleerd<br />
naar een prestatie in een reële<br />
werksituatie.Vaak niet, zo is gebleken<br />
uit allerlei onderzoek. Zo bleken artsen<br />
in opleiding zich bijvoorbeeld anders<br />
te gedragen bij een computersimulatie<br />
dan bij een werkelijk arts-patiënt<br />
contact. In een computersimulatie<br />
waren ze veel sneller geneigd over<br />
te gaan tot het aanvragen <strong>van</strong> allerlei<br />
onderzoek bij de patiënt dan in werkelijkheid<br />
(Goran,<br />
Williamson & Gonnella, 1973). Box 2<br />
laat zien welke conclusies toelaatbaar<br />
zijn als de scores <strong>van</strong> het assessment<br />
aan één of meer <strong>van</strong> de genoemde<br />
kwaliteitskenmerken voldoen.<br />
Assessmentmethodes<br />
Nu we weten aan welke kwaliteitseisen<br />
scores op assessments dienen te<br />
voldoen, is het in principe mogelijk om<br />
uit te zoeken wat de beste assessmentmethode<br />
is. Het is te bewerkelijk om<br />
dit voor elke methode afzonderlijk te<br />
doen aangezien er veel verschillende<br />
methodes zijn. Om die reden benoemde<br />
Straetmans (1998) de sterke en<br />
zwakke punten <strong>van</strong> drie klassen <strong>van</strong><br />
assessmentmethodes: hands-on,<br />
hands-off en simulatie.<br />
_ Hands-on staat voor assessmentmethodes<br />
waarbij kandidaten in een realistische<br />
of zelfs reële werksituatie<br />
en met gebruik <strong>van</strong> echte apparatuur,<br />
gereedschappen of instrumenten<br />
kenmerkende taken uitvoeren.<br />
Het praktisch deel <strong>van</strong> het rijexamen<br />
is een goed voorbeeld <strong>van</strong> een<br />
hands-on assessment. Een ander<br />
voorbeeld is het geven <strong>van</strong> een<br />
proefles in een EVC-procedure voor<br />
zij-instromers in het lerarenberoep<br />
(http://extern.stoas.nl/asizo/ html/<br />
inhoud_bg.html). Het sterke punt<br />
<strong>van</strong> hands-on methodes zit in de<br />
overdraagbaarheid <strong>van</strong> de beoordeelde<br />
prestatie naar het prestatievermogen<br />
in een reële werksituatie.<br />
Een zwak punt betreft de accuraatheid<br />
<strong>van</strong> de scores. Er zijn slechts beperkte<br />
mogelijkheden om gedrag uit<br />
te lokken. Assessoren moeten dus<br />
maar afwachten welk gedrag zich zal<br />
voordoen en dat maakt observatie<br />
en scoring <strong>van</strong> het waargenomen<br />
gedrag extra moeilijk.Taken uitvoeren<br />
in een realistische of reële werksituatie<br />
gaat vaak gepaard met hoge<br />
kosten, gevaar of organisatorische<br />
problemen. Dat is de reden om het<br />
aantal assessments en de duur er<strong>van</strong><br />
zoveel mogelijk te beperken. Het<br />
aantal verschillende taaksituaties dat<br />
aan iemand kan worden voorgelegd<br />
is daarom meestal niet zo groot. De<br />
generaliseerbaarheid <strong>van</strong> de scores<br />
is daarom eveneens een zwak punt.<br />
_ Bij hands-off methodes worden<br />
taken voorgelegd waaruit moet blijken<br />
of kandidaten de cognitieve<br />
component <strong>van</strong> een competentie<br />
beheersen. Dit kan op papier maar<br />
tegenwoordig zien we steeds vaker<br />
dat er gebruik wordt gemaakt <strong>van</strong> de<br />
mogelijkheden <strong>van</strong> multimedia om<br />
taaksituaties zo realistisch mogelijk<br />
te presenteren. Een methode die zich<br />
in een toenemende belangstelling<br />
mag verheugen is de Situational<br />
Judgment Test (SJT). In een SJT wordt<br />
een kandidaat geconfronteerd met<br />
een groot aantal aan de betreffende<br />
competentiegerelateerde problemen.<br />
Het gaat daarbij steeds om<br />
20 <strong>OnderwijsInnovatie</strong> juni 2004
Change language