COTAN beoordelingssysteem voor de kwaliteit van tests - NIP

Aanwijzingen bij vraag 4.9: “Zijn de procedures op grond
waarvan de grensscores zijn bepaald correct?”
Om te kunnen beoordelen of de normen te legitimeren zijn, is het
van belang dat de testauteur de gevolgde procedures nauwkeurig
beschrijft. Bij het beoordelen van deze vraag moet worden gecontroleerd
of aan onderstaande aspecten is voldaan:
• Zijn alle gevolgde stappen en beslissingen in overeenstemming
met de in de methode gedefinieerde definities en procedures?
• Zijn alle in de methode gedefinieerde stappen constant
gehouden? Hieronder vallen ook zaken als instructies,
materialen en beschikbaar gestelde statistische informatie
over prestatie-verdelingen.
Als aan een van beide aspecten niet is voldaan, dan moet het oordeel
‘onvoldoende’ worden toegekend. Het oordeel ‘goed’ mag alleen
worden toegekend als de testauteur beargumenteert waarom een
bepaalde standaardbepalingsprocedure gekozen is, aangeeft hoe er
tijdens de standaardbepalingsprocedure is omgegaan met mogelijke
inconsistenties in beoordelingen, en als de gevolgde procedure
voldoet aan bovengenoemde aspecten. In andere gevallen is het
oordeel ‘voldoende’.
Aanwijzingen bij vraag 4.10: “Zijn de beoordelaars naar
behoren geselecteerd en getraind?”
Omdat de beoordelaars een prominente rol spelen bij een standaardbepalingsmethode,
is het niet wenselijk om ieder willekeurig persoon
erbij te betrekken. De potentiële beoordelaars moeten ten minste
kennis hebben van het domein waarop de test betrekking heeft en
het is wenselijk dat de beoordelaar training heeft gevolgd over het
beoordelen van (werk van) getesten. Daarnaast is het belangrijk dat
elke beoordelaar de standaard bepalingsmethode begrijpt die gevolgd
gaat worden, zodat er geen verschillen in beoordelingen kunnen
optreden doordat beoordelaars de methode anders toepassen. Ook
dit kan worden bevorderd door een training aan te bieden. Om te
kunnen beoor delen of de testauteur de beoordelaars zorgvuldig
heeft gekozen is een beschrijving van de selectieprocedure en de
aangeboden trainingen aan de beoordelaars noodzakelijk.
Criteriumgerichte interpretatie
Grensscores kunnen op velerlei manieren empirisch worden onderbouwd.
Een gemeenschappelijk kenmerk is echter dat in al deze
gevallen niet alleen de testscores van de getesten beschikbaar zijn,
maar ook gegevens over het te voorspellen criterium en daarmee
over de relatie test-criterium. In feite betreft dit onderzoek naar de
criteriumvaliditeit, dat echter ook de functie heeft op empirische
wijze een norm vast te stellen. In deze laatste functie wordt dit
onderzoek hier beoordeeld. Enkele voorbeelden:
• Op basis van onderzoek waarin de relatie tussen testscores en
arbeidsprestaties is vastgesteld, kunnen bij personeelsselectie
aftestgrenzen worden bepaald en/of verwachtingstabellen
worden geconstrueerd.
• In de klinische psychologie kunnen ROC-curves en sensitiviteitsen
specificiteitswaarden gebaseerd op de relatie tussen testscores
en onafhankelijk vastgestelde criteria worden gebruikt
om de meest gunstige grensscores te bepalen.
• Bij het toekennen van licenties of diploma’s kan de zak/slaaggrens
worden bepaald door na te gaan bij welke testscore de
gunstigste verhouding bestaat tussen deelnemers die in de
praktijk succesvol en onsuccesvol blijken te zijn.
Aanwijzingen bij basisvraag 4.11: “Rechtvaardigen de
onderzoeks resultaten het gebruik van grensscores?”
Wanneer grensscores empirisch worden onderbouwd, zal de onderzoeker
het bewijs moeten leveren voor de bruikbaarheid van de
gekozen grensscore. In bijvoorbeeld een selectiesituatie kunnen dit
gegevens zijn over de succesratio en in een klinische situatie over de
sensitiviteit en de specificiteit (zie ook de Aanwijzingen bij de vragen
7.1 en 7.2). Voor de gewenste hoogte van deze maten kunnen geen
algemene aanwijzingen worden gegeven, niet alleen omdat ‘wat
hoog of laag is’ per te voorspellen criterium kan verschillen, maar
ook omdat de predictieresultaten worden beïnvloed door andere
variabelen zoals de ‘base-rate’ of de prevalentie. Het wordt daarom
aan de expertise van de beoordelaar overgelaten de verschillende
factoren tegen elkaar af te wegen en een oordeel te geven over de
hoogte van de gevonden resultaten.
Aanwijzingen bij vraag 4.12: “Is de onderzoeksgroep in
overeenstemming met het bedoelde gebruik?”
Het onderzoek waarin de grensscore wordt bepaald, moet betrekking
hebben op de populatie waarvoor de test wordt gebruikt.
Wanneer de onderzoeksgroep heterogener van samenstelling is
dan de populatie waarvoor de test zal worden gebruikt (en binnen
welke populatie uiteindelijk beslissingen zullen worden genomen),
zal dit niet alleen tot geflatteerde resultaten leiden, maar mogelijk
ook tot andere grensscores, dan wanneer het onderzoek wel bij de
juiste groep had plaatsgevonden. Om een en ander te kunnen
beoordelen, moet de steekproef zijn beschreven met behulp van
mogelijk relevante psychologische of demografische variabelen.
Aanwijzingen bij vraag 4.13: “Is de onderzoeksgroep
groot genoeg?”
Grensscores zijn te beschouwen als ‘normale’ punten in een scoreverdeling
waaraan een bijzondere betekenis wordt toegekend. Voor
de nauwkeurigheid waarmee deze punten worden vastgesteld, gelden
dezelfde eisen als die welke gelden voor normtabellen (waarbij de
nauwkeurigheid voornamelijk wordt bepaald door de grootte van de
groep). Wel is het zo dat het bij de bepaling van een of meerdere
grensscores slechts gaat om een beperkt aantal punten, terwijl bij
normtabellen de nauwkeurigheid van de hele scoreverdeling in het
geding is. De eisen die gesteld worden aan de omvang van de onderzoeksgroep
kunnen daarom worden versoepeld ten opzicht van de
eisen zoals die gelden voor normgerichte interpretatie (zie de aanwijzingen
bij vraag 4.3.a). Ervan uitgaand dat grensscores alleen
worden bepaald in situaties waarin het gaat om ‘belangrijke beslissingen
op individueel niveau’ (voor een omschrijving hiervan zie de
aanwijzingen bij vraag 4.3.a), wordt een onderzoeksgroep bestaande
uit minstens 300 personen als ‘goed’, een groep bestaande uit minstens
200 personen als ‘voldoende’ en een onderzoeksgroep bestaande
uit minder dan 200 personen als ‘onvoldoende’ beoordeeld.
COTAN Beoordelingssysteem voor de kwaliteit van tests 29