COTAN beoordelingssysteem voor de kwaliteit van tests - NIP

Vragen voor criterium 6
Begripsvaliditeit
Aanwijzingen bij basisvraag 6.1: “Worden er gegevens
over de begripsvaliditeit verstrekt?”
Het gaat hier om onderzoek van de interne of de externe structuur.
De interne structuur kan worden onderzocht door associatiematen
te bepalen tussen (groepen) items, subtests en tussen subtests en
de test als geheel. De externe structuur wordt gewoonlijk onderzocht
door relaties met andere tests te bepalen (convergente en
discriminante validiteit) en verschillen tussen relevante groepen
te berekenen.
Aanwijzingen bij vraag 6.2: “Maken de resultaten voldoende
aannemelijk dat het begrip zoals bedoeld, wordt gemeten (of:
maken de resultaten voldoende duidelijk wat wordt gemeten)?”
Bij begripsvalidering gaat het vooral om de cumulatie van onderzoeksresultaten:
begripsvalidering is nooit af. Het spreekt misschien
voor zich, maar toch wordt er hier benadrukt dat het feit dát onderzoek
naar de begripsvaliditeit is verricht, niet zonder meer tot een
score ‘3’ of ‘2’ bij deze vraag leidt. Bij de beoordeling speelt uitslui-
onv. vold. goed
Basisvraag Worden er gegevens over de begripsvaliditeit verstrekt? 1 3
6.1
Bij negatieve beoordeling (1) van deze vraag kan men de rest van
de vragen van dit criterium overslaan en doorgaan met criterium 7.
6.2 Maken de resultaten voldoende aannemelijk dat het begrip zoals bedoeld,
wordt gemeten (of: maken de resultaten voldoende duidelijk wat wordt
gemeten) op basis van gegevens over:
a. de dimensionaliteit van de scores? 1 2 3
b. de psychometrische kwaliteit van de items? 1 2 3
c. de invariantie van de factorstructuur en mogelijke itembias
bij verschillende groepen? 1 2 3
d. de convergente en de discriminante validiteit? 1 2 3
e. verschillen tussen relevante groepen? 1 2 3
f. op basis van overige gegevens? 1 2 3
6.3.a Zijn de procedures op basis waarvan de begripsvaliditeitsgegevens
zijn berekend correct? 1 2 3
6.3.b Komen de steekproeven die in het begripsvalideringsonderzoek zijn gebruikt,
overeen met groepen waarvoor de test is bedoeld? 1 2 3
6.3.c Wat is de kwaliteit van de andere maten die in het
begripsvalideringsonderzoek zijn gebruikt? 1 2 3
6.3.d Is de kwaliteit van het onderzoek, zoals beoordeeld in de vragen 6.3.a tot
en met 6.3.c, zodanig dat de beoordeling van de begripsvaliditeit, zoals
gegeven in vraag 6.2, kan worden bevestigd? 1 2 3
tend de kwaliteit van de uitkomsten in het licht van de theoretische
uitgangspunten een rol – uiteraard naast de kwaliteit van de
gebruikte procedures en het onderzoeksdesign, maar zie daarvoor
vraag 6.3. Voor de beoordeling van de begripsvaliditeit zijn de
volgende zes typen onderzoeksgegevens relevant:
• gegevens over de dimensionaliteit van scores;
• gegevens over de psychometrische kwaliteit van de items;
• gegevens over de invariantie van de factorstructuur en
mogelijke itembias bij verschillende groepen;
• gegevens over de convergente en de discriminante validiteit;
• gegevens over verschillen tussen relevante groepen;
• overige gegevens.
Hieronder volgt een toelichting over elk van deze onderzoeksgegevens.
COTAN Beoordelingssysteem voor de kwaliteit van tests 39