COTAN beoordelingssysteem voor de kwaliteit van tests - NIP

Aanwijzingen bij basisvraag 4.1: “Worden normen verstrekt?”
Normgegevens, hetzij bedoeld voor normgerichte interpretatie
(zoals normtabellen), hetzij bedoeld voor domeingerichte of
criteriumgerichte interpretatie (zoals grensscores of verwachtingstabellen),
moeten beschikbaar zijn op het moment dat de test
voor daadwerkelijk gebruik verkrijgbaar is. De volgende situaties
kunnen leiden tot een negatief antwoord op deze vraag:
• De hier bedoelde gegevens worden niet verstrekt (er worden
bijvoorbeeld alleen gemiddelden en standaarddeviaties van
de onderzochte groepen vermeld).
• Bij tests die zijn bedoeld voor interpretatie op groepsniveau
worden normtabellen verstrekt die zijn gebaseerd op individuele
scores, en omgekeerd (zie ook ad. 4.3.a).
• Nadat de normen zijn verzameld, hebben er nog wijzigingen
in de test zelf plaatsgevonden, bijvoorbeeld wijzigingen in de
items of de instructie.
• De normen zijn verzameld met behulp van een papier-en-potloodversie,
terwijl de te beoordelen versie een computerversie
betreft (of vice versa). Voor vragenlijsten heeft dit in het
algemeen weinig invloed op de waarde van de normen
(Bartram, 2005; King & Miles, 1995; Mead & Drasgow, 1993).
Voor capaciteiten- en vaardigheidstests en/of tests die
gebonden zijn aan een tijdslimiet zullen echter nieuwe normen
moeten worden verzameld.
Aanwijzingen bij basisvraag 4.2: “Zijn de normen actueel?”
Normen zijn aan slijtage onderhevig. Van de psychometrische
kenmerken van een test zijn normen het meest gevoelig voor
maatschappelijke veranderingen, veranderingen in het onderwijs
en in de inhoud van functies. Daarom moet er van tijd tot tijd
hernormering van de test plaatsvinden, of moet de auteur
door onderzoek aantonen dat hernormering niet nodig is. Voor
intelligentietests moet bijvoorbeeld rekening worden gehouden
met het Flynn-effect, waardoor normen verouderen (zie bijvoorbeeld
Resing & Drenth, 2007, p. 142-145). Dit effect wordt geschat
op 3 IQ-punten per tien jaar, of 4.5 IQ-punten per vijftien jaar. Dit
is gelijk aan circa één standaardmeetfout (bij een betrouwbaarheid
van .91). Waarschijnlijk geldt een dergelijk effect ook voor verwante
tests, zoals testbatterijen voor algemene of specifieke cognitieve
capaciteiten. Voor persoonlijkheidstests is er niets bekend over
dergelijke algemene effecten. Vergelijking tussen de gegevens in
de handleidingen van enkele Nederlandse tests heeft het volgende
opgeleverd. Voor de Amsterdamse Beroepen Interessen Vragenlijst
(Evers, 1979, 1992) worden over een periode van zestien jaar voor
sommige schalen verschillen gevonden die oplopen tot twee
standaarddeviaties. Voor de NPV worden over een periode van ruim
twintig jaar verschillen gevonden van maximaal 1.4 standaarddeviatie
bij de normgroep selectie, van maximaal 1.2 standaarddeviatie bij
de normgroep algemeen en van maximaal 0.5 standaarddeviatie bij
de normgroep psychiatrische patiënten (Luteijn, Starren & van Dijk,
1985; Barelds, Luteijn, van Dijk & Starren, 2007). Hierbij moet
overigens worden aangetekend dat in beide vragenlijsten ook items
zijn gewijzigd. Amerikaans onderzoek (Twenge, 2000) laat zien dat
over een periode van veertig jaar angst- en neuroticismescores in
de VS met circa een hele standaardafwijking zijn toegenomen.
In het Duitse beoordelingssysteem voor de kwaliteit van tests
(Kersting, 2006) wordt een periode van acht jaar voor hernormering
aanbevolen, overigens zonder hier consequenties aan te verbinden.
In de APA-Standards (APA, 1999, p. 59, Standard 4.18) wordt
gesteld dat: “... so long as the test remains in print, it is the
publisher’s responsibility to assure that the test is renormed with
sufficient frequency to permit continued accurate and appropriate
score interpretations”. De APA noemt hierbij geen termijn. Op basis
van bovenstaande bevindingen en daarbij een afweging makend
tussen wat praktisch haalbaar en wenselijk is, komt de COTAN
tot de volgende regel. Om de gebruiker te attenderen op mogelijk
versleten normen, wordt aan de beoordeling van tests waarvan
hernormerings- of ijkingsonderzoek sinds vijftien jaar na het
afsluiten van het normeringsonderzoek niet heeft plaatsgevonden,
de kwalificatie “De normen zijn verouderd” toegevoegd. Na nog
eens vijf jaar zonder dergelijk onderzoek wordt deze kwalificatie
gewijzigd in: “Wegens veroudering zijn de normen niet meer
bruikbaar” en wordt de beoordeling ‘onvoldoende’. Eenmaal per
jaar zullen alle testbeschrijvingen in de via internet te raadplegen
Documentatie van Tests en Testresearch op dit punt worden
aangepast. Om te kunnen beoordelen in hoeverre normen mogelijk
zijn verouderd, is het vermelden van het jaar (of de periode) van
gegevensverzameling van belang. Als dit niet wordt vermeld, wordt
de beoordeling voor ‘Normen’ daarom ‘onvoldoende’.
Normgerichte interpretatie
Aanwijzingen bij basisvraag 4.3: “Wat is de kwaliteit
van de verstrekte normgroepen?”
In principe moet de testauteur normen verschaffen voor elk door
hem genoemd gebruiksdoel (zie vraag 1.1). Het kan blijken dat de
groepen waarvoor normen worden verschaft slechts gedeeltelijk
de meetpretentie dekken. Wanneer een auteur bijvoorbeeld
aangeeft dat een test is bedoeld voor keuzebegeleiding binnen
het voorbereidend beroepsonderwijs én voor selectie voor functies
op dit niveau, dan moeten voor beide situaties normen worden
verstrekt. Het is echter irreëel te verwachten dat voor elke functie
op dit niveau normen worden verschaft.
Wil een normgroep goed aan zijn doel kunnen beantwoorden
(namelijk het vormen van een betrouwbare reeks van referentiepunten),
dan moet de normgroep én van voldoende omvang te zijn
én representatief zijn voor de bedoelde groep. Voor de beoordeling
van beide aspecten worden hieronder aanwijzingen gegeven. De
beoordeling voor vraag 4.3 kan alleen ‘goed’ worden wanneer beide
aspecten (vragen 4.3.a en 4.3.b) als ‘goed’ worden beoordeeld. De
beoordeling wordt ‘onvoldoende’ wanneer minstens een van beide
aspecten ‘onvoldoende’ wordt beoordeeld. In alle andere gevallen
wordt de beoordeling ‘voldoende’.
COTAN Beoordelingssysteem voor de kwaliteit van tests
21