COTAN beoordelingssysteem voor de kwaliteit van tests - NIP

Woord vooraf
Voor u ligt de herziene versie van het COTAN Beoordelingssysteem
voor de Kwaliteit van Tests. Deze versie bouwt voort op eerdere
versies van het systeem, zoals gepubliceerd in de Documentatie
van Tests en Testresearch van 1982 (Visser, van Vliet-Mulder, Evers
& ter Laak) en 2000 (Evers, van Vliet-Mulder & Groot) en op de
website van het NIP in 2004 (www.psynip.nl). Deze nieuwe versie
is tot stand gekomen in een werkgroep van de Commissie
Testaangelegenheden Nederland (COTAN), die bestaat uit de vier
ondertekenaars van dit woord vooraf. Aan de discussie over de
inhoud van deze nieuwe versie van het beoordelingssysteem hebben
alle COTAN-leden een bijdrage geleverd en deze tekst is goedgekeurd
in de COTAN-vergadering van 19 maart 2009. Tijdens de
voltooiing van deze herziening bestond de COTAN uit de volgende
leden: K. Sijtsma (voorzitter), J.B. Blok (secretaris), A. Evers
(senior editor testbeoordelingen), R.M. Frima (stafmedewerker),
R.H. van den Berg, M.Ph. Born, H.W. van Boxtel, M.E. Dinger,
B.T. Hemker, P.P.M. Hurks, W.W. Kersten, W.I. Lucassen, R.R. Meijer,
E.F.M. Pouw, W.C.M. Resing, J.D.L.M. Schutijser en T. van Strien.
Deze herziening betreft een ingrijpende aanpassing van het beoordelingssysteem
in het licht van de ontwikkelingen die zich in de loop
der jaren op het gebied van de testtheorie en de testconstructie
hebben voorgedaan. Voorbeelden van deze ontwikkelingen zijn
Computer Based Tests, Item Respons Theorie en continue normering.
Hoewel de vorige versie van het beoordelingssysteem met enige
flexibiliteit ook kon worden toegepast op tests die gebruikmaakten
van deze nieuwe ontwikkelingen, was de tekst toch vooral gericht
op tests die op de klassieke wijze waren ontwikkeld en op de
klassieke wijze werden aangeboden. Aan deze nieuwe technieken
en benaderingen wordt in deze herziening explicieter aandacht
besteed. De COTAN hoopt daarmee de bruikbaarheid en toepasbaarheid
van het beoordelingssysteem op een hoger peil te hebben
gebracht. De complexiteit van de nieuwe ontwikkelingen, evenals
de noodzaak om de gehanteerde procedures en resultaten voor
testgebruikers en de COTAN op adequate wijze te rapporteren,
stelt hoge eisen aan de kennis en vaardigheden van de testauteur.
Bij de toepassing van deze meer geavanceerde technieken zullen
testauteurs dan ook vaker dan voorheen een beroep moeten doen
op de expertise van deskundigen.
Ook in dit nieuwe beoordelingssysteem worden tests beoordeeld
op de bekende zeven criteria, die in de inleiding van deze tekst
worden genoemd. Uiteraard heeft het voortschrijdende inzicht
op het gebied van testtheorie, testconstructie en testtoepassing
geleid tot aanpassingen in de beoordelingsgezichtspunten en
de wijze waarop deze per criterium tot een beoordeling leiden.
Een consequentie daarvan is dat bij één instrument de
beoordelings resultaten volgens het oude en het nieuwe systeem
van elkaar zouden kunnen verschillen.
Is het beoordelingssysteem nu strenger geworden? Over het algemeen
kan dat niet worden gezegd. Voor sommige kenmerken, waarover
in het vorige systeem een hard oordeel werd geveld, wordt nu
een nuancering in de beoordeling mogelijk gemaakt, terwijl op
andere punten de eisen juist zijn aangescherpt. De belangrijkste verandering
is echter dat de beoordelingsvoorschriften veel specifieker
– en niet noodzakelijkerwijs soepeler of strenger – zijn geworden.
In deze publicatie worden bij de diverse criteria de kwaliteitseisen
beknopt toegelicht. Deze beschouwingen hebben niet de pretentie
van volledigheid, noch vormen zij een receptenboek voor testconstructie.
Van testauteurs mag worden verwacht dat zij op de
hoogte zijn van de fundamenten van de psychometrie en van
actuele kwaliteitsmaatstaven in de testconstructie, zodat zij ten
volle de verantwoordelijkheid voor de kwaliteit van hun instrument
kunnen nemen.
Voor deze herziening zijn met instemming van de betreffende
auteurs tekstdelen overgenomen uit publicaties van Keuning (2004)
over Computer Based Tests, Wools, Sanders en Roelofs (2007)
over absoluut normeren en Bechger, Hemker en Maris (2009)
over continue normering. De COTAN is hun veel dank verschuldigd
voor hun deskundige bijdragen.
In de tweede druk is het erratum in de tabel voor de vaststelling
van het eindoordeel voor criterium 4 verwerkt. Verder zijn enkele
kleine redactionele verbeteringen aangebracht.
Arne Evers, Wouter Lucassen, Rob Meijer en Klaas Sijtsma
April 2010
COTAN Beoordelingssysteem voor de kwaliteit van tests
1