Rekenen voor peuters - Toetswijzer

nauwkeurige vaardigheidsbepaling van een zwakke leerling het beste uit zullen zijn met een
toets die hoofdzakelijk meetkunde-items bevat, en voor een sterke leerling met een toets die
vooral breuken-items bevat. Maar daaruit volgt niet dat meetkunde en breuken verschillende
vaardigheden aanspreken. Ook de bevinding dat in een feitelijke itembank het onderscheid
moeilijk – gemakkelijk goeddeels samenvalt met het onderscheid meetkunde – breuken hoeft
niets te betekenen: het zou kunnen zijn dat dit samengaan wijst op een intrinsieke samenhang
(‘breuken zijn op theoretische gronden moeilijker dan meetkunde-items’) of op een min of
meer toevallige samenloop van omstandigheden: de constructeurs waren niet in staat om
moeilijke meetkunde-items en gemakkelijke breuken-items te construeren. Maar deze vraag –
hoe belangwekkend die in sommige contexten ook mag zijn – heeft niets te maken met de
vraag of het beantwoorden van zulke items nu gestuurd wordt vanuit een enkele vaardigheid
of vanuit twee verschillende vaardigheden.
Het voorgaande is eigenlijk een parafrase van wat doorgaans met veel moeilijke woorden aan
discussies wordt gevoerd in psychometrische kringen onder het hoofdje ‘Eigenschappen van
meetmodellen’. Het is prettig als we met meetmodellen kunnen werken die zulke
eigenschappen hebben, want die staan garant voor de eigenschap dat we verschillende
leerlingen met verschillende toetsen kunnen testen en de resultaten toch op een zinvolle
manier kunnen vergelijken. Maar tezelfdertijd ligt hier ook de kern van een groot
misverstand: het Raschmodel en OPLM hebben die eigenschappen, maar dit impliceert
geenszins dat het voldoende is testgegevens door een Raschprogramma of het OPLM
programma te halen om in de praktijk van die eigenschappen verzekerd te zijn. Wat we
moeten aantonen is dat het gebruikte meetmodel geldig (valide) is voor de item-antwoorden
die ermee worden geanalyseerd. En dit aantonen is niet eenvoudig; eigenlijk zouden we
kunnen zeggen dat het principieel onmogelijk is.
Statistisch gezien heeft het gebruikte meetmodel de status van een nulhypothese, en het
statistisch toetsen van een meetmodel is er dus eigenlijk op gericht tot een verwerping van die
nulhypothese te komen. Dit is de logische status van de statistische procedures in
experimenteel onderzoek. Bij het evidentie zoeken ten voordele van een gebruikt model wordt
deze werkwijze omgekeerd, en men spreekt van toetsen voor ‘goodness-of-fit’.
Als protagonist van een bepaald model heeft men er dus belang bij dat de toets niet
significant uitvalt. Maar het niet-significant zijn van een zulk een statistische toets heeft niet
dezelfde argumentatiekracht als een significantie in het experimenteel onderzoek. Dit is
gemakkelijk in te zien door zich toetsen voor te stellen waarvan de analyse gebaseerd is op
een triviaal klein aantal observaties: de kans dat die een statistisch significant resultaat
opleveren is meestal heel erg klein, ook in gevallen waar het veronderstelde meetmodel in
belangrijke mate fout is. In statistisch jargon heet het dan dat de statistische toets geen
onderscheidend vermogen of ‘power’ heeft.
Gegeven een bepaalde statistische procedure (bijvoorbeeld een t-toets om de hypothese van
gelijkheid van twee gemiddelden te toetsen) is het opdrijven van de steekproefgrootte de
belangrijkste manier om de power te vergroten. Maar bij het ontwerpen van toetsen voor
goodness-of-fit speelt er meestal nog een andere kwestie.
Het gebruikte meetmodel (bijvoorbeeld OPLM) is een complexe nulhypothese, en het heeft
helemaal geen zin om te spreken over de statistische procedure om de houdbaarheid van het
model te toetsen. Er zijn talloze toetsen te verzinnen en de nulhypothese (het meetmodel) kan
op talloze manieren onwaar zijn. Voor sommige mankementen aan het model zullen bepaalde
toetsprocedures veel power hebben, terwijl voor andere tekortkomingen andere procedures
4