COTAN beoordelingssysteem voor de kwaliteit van tests - NIP

komen. Er ligt geen steekproefmodel aan de verzameling van
de gegevens ten grondslag. Het probleem bij gelegenheidssteekproeven
is dat men niet goed weet wat men precies verzamelt.
Wanneer bijvoorbeeld een dergelijke steekproef is gebaseerd op de
cliënten van een aantal beroepskeuzebureaus, kan men een dergelijke
groep dan beschouwen als een doorsnede van de Nederlandse
bevolking van dezelfde leeftijd en opleiding, of is er reden om aan
te nemen dat mensen met een beroepskeuzeprobleem verschillen
van de overige Nederlanders? Of: kan men de normgroep die is
opgebouwd uit de sollicitanten die zijn getest door wervings- en
selectiebureau X met drie vestigingen verspreid over Nederland
gebruiken voor de sollicitanten bij bureau Y? In het algemeen zullen
dergelijke normgroepen de beoordeling ‘onvoldoende’ krijgen,
omdat hun samenstelling onbekend of oncontroleerbaar is. Door
sommige testauteurs wordt de omvang van de normgroep wel als
argument voor de representativiteit, geldigheid of toepasbaarheid
van de normen beschouwd. De omvang van dergelijke normgroepen
is inderdaad meestal geen probleem (aantallen van enkele duizenden
zijn geen uitzondering), maar de omvang van de steekproef zegt op
zich niets over de representativiteit, noch over de bruikbaarheid.
Bijvoorbeeld: de opdrachtgevers van bureau X bestaan voornamelijk
uit bedrijven in de sector ICT. De normen die gebaseerd zijn op deze
sollicitantengroep zijn mogelijk wel geschikt voor andere wervings-
en selectiebureaus die gespecialiseerd zijn in de ICT-branche, maar
niet voor bureaus die hun opdrachten voornamelijk uit andere
branches ontvangen.
Men kan op gelegenheidssteekproeven gebaseerde normen
beschouwen als een bijzondere vorm van regionale normen (omgekeerd
zullen regionale normen ook vaak een gelegenheidssteekproef
zijn); men zou bijvoorbeeld de sollicitanten bij bureau X kunnen
beschouwen als een steekproef van alle sollicitanten in Nederland.
Net zoals bij regionale normen, kan de kwaliteit van een gelegenheidssteekproef
als ‘voldoende’ worden beoordeeld wanneer er een
uitputtende beschrijving van de normgroep over mogelijk relevante
variabelen van de normgroep wordt gegeven. Een beschrijving en
het aantonen van representativiteit voor de beoogde doelgroep in
termen van sekse, leeftijd en etniciteit alléén is echter niet genoeg;
het gaat daarnaast om variabelen die samenhangen met het
gebruiksdoel van de test, zoals bedrijfstak en functie in selectiesituaties
en type stoornis in klinische situaties. Of de beoordeling
‘voldoende’ vervolgens daadwerkelijk wordt toegekend, is volgens
de gebruikelijke wegingsregels afhankelijk van de beoordeling van
de vragen 4.4 tot en met 4.7. De motivering voor het geven van
een ‘voldoende’ in deze gevallen is dat dergelijke normen goed
bruikbaar zijn wanneer de gebruiker weet waarmee een cliënt of
sollicitant kan worden vergeleken.
Aanwijzingen bij vraag 4.4: “Worden de betekenis en de
beperkingen van de normschaal duidelijk gemaakt voor de
gebruiker en is het type normschaal in overeenstemming
met het doel van de test?”
Bij de omzetting van ruwe scores in afgeleide scores kan er een
keuze worden gemaakt uit drie typen normen (Drenth & Sijtsma,
2006): verhoudingsnormen, normen gebaseerd op rangorde en
normen gebaseerd op gemiddelde en spreiding.
Een bekend voorbeeld van verhoudingsnormen is het ouderwetse
Intelligentie Quotiënt (IQ), waarbij mentale leeftijd wordt gedeeld
door chronologische leeftijd. Tegenwoordig wordt deze wijze van
IQ-berekening echter niet of nauwelijks meer gebruikt. Een ander
voorbeeld is het Didactisch Leeftijds Equivalent (DLE), waarbij de
verhouding wordt berekend tussen het niveau van de leerprestatie
die een kind heeft geleverd in termen van aantal maanden onderwijs
waarna deze prestatie mag worden verwacht, en het werkelijk
aantal maanden gevolgd onderwijs. Tegen verhoudingsnormen
bestaan vele praktische en theoretische bezwaren. Zie voor een
uitgebreide bespreking hiervan Evers en Resing (2007). Het gebruik
van verhoudingsnormen in het algemeen en DLE’s in het bijzonder
wordt door de COTAN afgekeurd. Dit heeft als consequentie dat
tests die uitsluitend in termen van DLE’s rapporteren een ‘onvoldoende’
krijgen voor normen. Ook bij tests die naast standaard -
scores of rangordescores DLE’s rapporteren – maar de COTAN ziet
rapportage in termen van DLE’s het liefst geheel verdwijnen – moet
de rapportage in standaardscores of rangordescores vooropstaan en
nadrukkelijk worden aanbevolen, vergezeld van een gedegen uitleg
van deze systemen voor de gebruikers. Daarnaast moet de gebruiker
in elk geval in de handleiding uitdrukkelijk voor de beperkingen van
DLE’s worden gewaarschuwd.
Normen die gebaseerd zijn op rangorde zijn percentielen en daarvan
afgeleide schaaltypen, zoals vigintielen, decielen en het A t/m E-
systeem dat door het Cito wordt gebruikt. Voorbeelden van normtypen
die gebaseerd zijn op gemiddelde en spreiding, hier deviatienormen
genoemd, zijn stanines, C-scores, T-scores en deviatie-IQ’s.
Bij deviatienormen kan er verder nog onderscheid worden gemaakt
tussen lineaire transformaties en genormaliseerde transformaties.
In principe moet er van normaliserende transformaties gebruik
zijn gemaakt, tenzij de ruwe scores al bij benadering normaal zijn
verdeeld. Als er meer dan één normgroep wordt onderscheiden,
bijvoorbeeld voor opeenvolgende leeftijdsgroepen of leerjaren,
is het beter als er eerst fit-procedures zijn toegepast op de cumulatieve
verdeling (Laros & Tellegen, 1991), omdat transformaties die
zijn gebaseerd op het direct omzetten van de geobserveerde cumulatieve
proporties sterk steekproefgevoelig zijn.
Wanneer leeftijds- of leerjaarnormen worden verstrekt, kan een te
breed leeftijds- of leerjaarinterval ertoe leiden dat de prestaties aan
het begin van het interval worden onderschat en aan het eind overschat.
Vooral bij capaciteitentests voor jonge kinderen kan dit een
rol spelen, omdat het verschil in score binnen het tijdsbestek van
een jaar een tiental IQ-punten kan bedragen. Echter, ook in de eerste
leerjaren van het voortgezet onderwijs kan het verschil tussen twee
opeenvolgende leerjaren nog een halve standaarddeviatie bedragen.
Dergelijke vertekeningen kunnen gemakkelijk worden voorkomen
door het aantal normtabellen bij leeftijds- en leerjaarnormen uit te
breiden, door zogenoemde continue normen te gebruiken of door te
corrigeren voor de dag waarop de test is afgenomen (zogenoemde
COTAN Beoordelingssysteem voor de kwaliteit van tests 25