COTAN beoordelingssysteem voor de kwaliteit van tests - NIP

4 Normen
Het scoren van een test levert een zogenoemde ruwe score op.
Ruwe scores worden gedeeltelijk bepaald door de kenmerken van
de test, zoals het aantal items, de keuze van de tijdslimiet, de
moeilijkheidsgraad of de populariteit van de items en de omstandigheden
waaronder de test is afgenomen. Dit zorgt ervoor dat
ruwe scores moeilijk te interpreteren zijn. In het algemeen krijgt de
ruwe score pas betekenis door deze te vergelijken met een norm.
Men kan twee typen normscores onderscheiden (APA, 1999). Bij
het eerste type wordt de behaalde ruwe score vergeleken met die
van anderen. Deze wijze van interpreteren wordt normgerichte
interpretatie genoemd. Men vergelijkt de score met de scoreverdeling
van een of meer referentiegroepen. Het doel is vast
te stellen hoe de onderzochte scoort ten opzichte van andere
personen waarmee een zinvolle (op basis van overeenkomsten in
bijvoorbeeld leerjaar, leeftijd, functie) vergelijking kan worden
gemaakt. Dit type normen wordt ook wel relatieve normen genoemd.
Bij het tweede type vergelijkt men het resultaat niet met dat van
anderen, maar worden de testresultaten absoluut geïnterpreteerd,
dat wil zeggen dat zij met een absolute norm worden vergeleken.
Deze wijze van interpreteren wordt domeingerichte of criterium­
Vragen voor criterium 4
Normen
Algemene basisvragen
gerichte interpretatie genoemd. Bij deze wijze van normeren
worden bepaalde standaarden of grensscores vastgesteld. In het
geval van domeingerichte interpretatie worden deze standaarden
op de een of andere wijze door experts of beoordelaars bepaald.
De norm kan direct zijn afgeleid van een omschrijving van het
domein van vaardigheden of leerstof dat men moet beheersen.
Dit type normen wordt ook wel absolute normen genoemd.
Bij criteriumgerichte interpretatie worden de grensscores aan
onderzoeksgegevens ontleend. Bij deze wijze van normeren moeten
er naast testgegevens dan ook gegevens over het criterium zijn
verzameld. Bij gebruik van een enkele grensscore kan deze het
verschil tussen zakken en slagen of tussen afwijzen en toelaten
aangeven. In het geval van meer dan één grensscore, kunnen bijvoorbeeld
verschillende vaardigheidsniveaus worden onderscheiden.
Als er geen normen worden verstrekt, dan is het eindoordeel
op dit criterium in principe ‘onvoldoende’. Er kunnen echter
beargumenteerde uitzonderingen voorkomen, bijvoorbeeld bij
tests waar een louter intra-individuele vergelijking wordt aanbevolen
en gerechtvaardigd is, zoals bij ipsatieve tests of tests
die vorderingen in de tijd meten. In dat geval kan bij dit criterium
‘n.v.t.’ worden ingevuld.
onv. vold. goed
Basisvraag Worden er normen verstrekt?
4.1
Bij negatieve beoordeling (1) van deze vraag kan men de rest van de vragen
van dit criterium overslaan en doorgaan met criterium 5 1 n.v.t. 3
Basisvraag Zijn de normen actueel?
4.2
Bij negatieve beoordeling (1) van deze vraag kan men de rest van de vragen
van dit criterium overslaan en doorgaan met criterium 5. 1 2 3
Wanneer er van normgerichte interpretatie sprake is, doorgaan met vraag 4.3.
Wanneer er van domeingerichte interpretatie sprake is, doorgaan met vraag 4.8.
Wanneer er van criteriumgerichte interpretatie sprake is, doorgaan met vraag 4.11.
COTAN Beoordelingssysteem voor de kwaliteit van tests
19