COTAN beoordelingssysteem voor de kwaliteit van tests - NIP

Nederlandse vertaling van een buitenlandse test, waarvoor al
veel buitenlandse onderzoeksgegevens beschikbaar zijn. Als de
testauteur deze gegevens wil gebruiken om de validiteit van de
Nederlandse versie te onderbouwen, dan zal in eerste instantie,
via bijvoorbeeld confirmatieve factoranalyse, de equivalentie
van beide versies moeten worden aangetoond. Bij een positieve
uitkomst kunnen de buitenlandse validiteitsgegevens worden
meegenomen in de beoordeling. Dit kan echter alleen als deze
gegevens in de Nederlandse handleiding op afdoende wijze
worden samengevat.
Aanwijzingen bij vraag 7.3.b: “Zijn de steekproeven op grond
waarvan de criteriumvaliditeitsgegevens zijn berekend, in
overeenstemming met het beoogde testgebruik?”
Het valideringsonderzoek moet betrekking hebben op de populatie
waarvoor de test wordt gebruikt. Vooral de variantie van de testscore
in de onderzoeksgroep is daarbij van belang. Het is bekend
dat validiteitscoëfficiënten drastisch afnemen wanneer men van
een heterogene groep naar een homogene groep generaliseert. Zo
is het onjuist om een test die is bedoeld voor therapieselectie bij
mensen die zich daarvoor hebben aangemeld (homogene groep) te
valideren op een doorsnee van de ‘normale’ bevolking (heterogene
groep), omdat dit geflatteerde resultaten te zien zal geven. Om
een en ander te kunnen beoordelen, moet de steekproef zijn
beschreven met behulp van mogelijk relevante psychologische
of demografische variabelen.
Vaststelling eindoordeel voor criterium 7
Criteriumvaliditeit
De basisvraag wordt met ‘3’
beoordeeld.
De basisvraag wordt met ‘1’
beoordeeld.
Vraag 7.2 wordt met ‘3’ beoordeeld.
Vraag 7.2 wordt met ‘2’ beoordeeld.
Vraag 7.2 wordt met ‘1’ beoordeeld.
Aanwijzingen bij vraag 7.3.c: “Wat is de kwaliteit van de
criteriummaten?”
Soms ligt de keuze van een criterium voor de hand en is het makkelijk
beschikbaar (slagen/zakken, een rapportcijfer). In andere
gevallen moeten er criteriummaten apart worden geconstrueerd
en verzameld. In beide gevallen moet het criterium zo volledig
mogelijk worden beschreven en moet er zijn aangegeven welke
relevante gedragsaspecten wel en niet in de criteriummaat zijn
opgenomen. Hierbij is zowel construct underrepresentation (niet
alle relevante onderdelen van het criterium worden gemeten) als
construct overrepresentation (er worden gedragsaspecten gemeten
die niet tot het criterium kunnen worden gerekend) van belang.
Zo mogelijk moet de betrouwbaarheid van de criteriummaat worden
vermeld. Dit geldt vooral voor samengestelde criteria. Als de
onderlinge relaties van de afzonderlijke elementen van het criterium
laag zijn, kunnen er beter afzonderlijke validiteitscoëfficiënten voor
elk van de elementen worden gegeven.
Aanwijzingen bij vraag 7.3.d: “Is de kwaliteit van het onderzoek,
zoals beoordeeld in de vragen 7.3.a tot en met 7.3.c,
zodanig dat de beoordeling van de criteriumvaliditeit, zoals
gegeven in vraag 7.2, kan worden bevestigd?”
Negatieve beantwoording op een van de vragen 7.3.a tot en met
7.3.c leidt tot een score ‘1’ bij vraag 7.3.d. Dit betekent dat het oordeel
over de resultaten van het begripsvalideringsonderzoek zoals
gegeven in vraag 7.2 naar beneden moet worden bijgesteld. Ook
meerdere ‘2’-oordelen op de vragen 7.3.a tot en met 7.3.c kunnen
betekenen dat het onderzoek zo veel manco’s vertoont, dat vraag
7.3.d negatief wordt beantwoord en op grond hiervan het oordeel
van vraag 7.2 naar beneden wordt bijgesteld.
Vraag 7.3.d wordt met ‘3’ beoordeeld.
Vraag 7.3.d wordt met ‘2’ beoordeeld.
Vraag 7.3.d wordt met ‘1’ beoordeeld.
Vraag 7.3.d wordt met ‘3’ beoordeeld.
Vraag 7.3.d wordt met ‘2’ beoordeeld.
Vraag 7.3.d wordt met ‘1’ beoordeeld.
goed
voldoende
onvoldoende
voldoende
onvoldoende
onvoldoende
onvoldoende
onvoldoende
COTAN Beoordelingssysteem voor de kwaliteit van tests 45