COTAN beoordelingssysteem voor de kwaliteit van tests - NIP

• Omvang van de steekproef
De steekproef moet voldoende groot zijn om te voorkomen dat
de itemparameters onnauwkeurig geschat worden. Er zijn hiervoor
om twee redenen geen eenduidige richtlijnen op te stellen.
Ten eerste is de minimale benodigde grootte van de steekproef
afhankelijk van het gekozen item-responsmodel en ten tweede
worden er in de literatuur weinig aanwijzingen gegeven met
betrekking tot de gewenste grootte van de steekproef. Het is
vaak een kwestie van ‘ervaring’. In de literatuur worden nauwelijks
richtlijnen genoemd voor de steekproefgrootte die nodig is
bij de logistische modellen voor dichotome items. Op basis van
Parshall, Davey, Spray en Kalohn (1998) zijn de richtlijnen in
onderstaande tabel opgesteld:
Model N
3-parameter N > 700
2-parameter N > 400
1-parameter N > 200
• Passing statistisch model
Alle statistische methoden zijn gebaseerd op vooronderstellingen
(‘assumpties’) over verdelingen van variabelen (bijvoorbeeld
normaal) en relaties tussen variabelen (bijvoorbeeld lineair).
Dit geldt bijvoorbeeld voor factormodellen en item-responsmodellen,
maar ook voor de bekende product-momentcorrelatie.
Allerlei uitspraken over de kwaliteit van tests die zijn gebaseerd
op statistische berekeningen zijn alleen te vertrouwen als er voor
de betreffende toepassing is aangetoond dat aan deze vooronderstellingen
is voldaan. Het is ondoenlijk om hier aan te geven wat
dit voor elke techniek inhoudt, maar van de testconstructeur mag
worden verwacht dat hij de noodzakelijke informatie over modelpassing
(goodness­of­fit) in de handleiding van de test of vragenlijst
rapporteert.
Gegevens over de invariantie van de factorstructuur en
mogelijke itembias bij verschillende groepen
Dit onderzoek kan plaatsvinden op basis van modellen en procedures
die passen binnen de klassieke testtheorie of de item-
responstheorie. Als er verschillen in factorstructuur zijn vastgesteld
of als er itembias is aangetoond, moeten de conse quenties
worden aangegeven (bijvoorbeeld een schatting van het effect
op de totale testscore). Bijkomend voordeel van onderzoek naar
itembias is dat het informatie oplevert over de mogelijke meerdimensionaliteit
van het gemeten begrip.
Gegevens over de convergente en de discriminante validiteit
Beide typen gegevens kunnen in één onderzoek worden verkregen
via de multi-trait-multi-method-benadering. Gegevens over de
convergente validiteit kunnen ook worden verkregen via correlatie
met ‘soortgenoot’-tests. Gegevens over de discriminante validiteit
zijn van belang om te kunnen uitsluiten dat niet ‘per ongeluk’ een
ander dan het bedoelde begrip wordt gemeten (meet men wel
arbeidstevredenheid en niet bijvoorbeeld negatieve affectiviteit;
meet men wel rekenvaardigheid en niet voor een belangrijk deel
taalvaardigheid?).
Gegevens over verschillen tussen relevante groepen
Afhankelijk van de meetpretentie van een test en de kenmerken
van bepaalde groepen kan men verschillen tussen deze groepen
verwachten. Zo is te verwachten dat leerlingen in basisgroep 8
hoger zullen scoren op een toets voor rekenvaardigheid dan leerlingen
in groep 6. Evenzo is het te verwachten dat kinderen die
zijn gediagnosticeerd als ADHD hoger zullen scoren op een test
voor hyperactiviteit dan ‘normale’ kinderen. Dergelijk groepsvergelijkend
onderzoek is belangrijk, omdat het een eerste aanwijzing
kan geven dat de test groepen kan onderscheiden zoals is bedoeld.
Als er tegen de verwachting in geen verschillen zouden blijken te
zijn, zou het bovendien zeer onwaarschijnlijk zijn dat de test het
bedoelde begrip meet. Het omgekeerde is echter niet waar: als er
verschillen tussen relevante groepen blijken te zijn, hoeft dit nog
niet te betekenen dat de test nu werkelijk meet wat wordt
bedoeld (de rekenvaardigheidstoets kan nog steeds taalvaardigheid
meten en de test voor hyperactiviteit een of andere vorm van
sociaal onwenselijk gedrag).
Overige gegevens
Dit kunnen bijvoorbeeld gegevens zijn over de criteriumvaliditeit die
tevens informatie opleveren over de begripsvaliditeit.
De vraag naar de totaalscore kan met een score ‘2’ worden beoordeeld,
als er resultaten op ten minste twee van de bovengenoemde
typen onderzoek worden gerapporteerd, als deze uitkomsten in
het algemeen de gewenste structuur ondersteunen, en als deze op
zowel de interne als de externe structuur betrekking hebben. De
score ‘3’ kan worden toegekend als resultaten op ten minste drie
van de bovengenoemde typen onderzoek worden gerapporteerd,
deze uitkomsten unaniem de gewenste structuur ondersteunen,
en op zowel de interne als de externe structuur betrekking hebben.
Aanwijzingen bij vraag 6.3.a: “Zijn de procedures op basis
waarvan de begripsvaliditeitsgegevens zijn berekend correct?”
De opzet van het onderzoek en de gebruikte analysetechnieken
moeten voldoende duidelijk zijn beschreven. Onvoldoende informatie
kan namelijk tot het oordeel ‘2’ of zelfs ‘1’ op deze vraag leiden.
Gelet op de veelsoortigheid van dit type onderzoek kunnen hier
verder nauwelijks algemene aanwijzingen worden gegeven, behalve
dat de grootte van de onderzoeksgroep van belang is bij de waardering
van de onderzoeksresultaten. Enkele specifieke aandachtspunten
hierbij zijn:
• Wanneer de samenhang tussen items en (sub)test(s) wordt
onderzocht, moet worden gecorrigeerd voor het aandeel van
het item zelf in de (sub)testscore, omdat de berekende waarden
COTAN Beoordelingssysteem voor de kwaliteit van tests
41