Rekenen voor peuters - Toetswijzer

geclassificeerd in een van vier categorieën: een overschrijdingskans niet groter dan 50%;
tussen 25% en 50%; tussen 10% en 25% en kleiner dan 10%. De resultaten zijn weergegeven
in Tabel 2. De rechterkolom geeft voor elk van de vier categorieën het verwachte percentage
aan. De andere kolommen geven voor verschillende score-intervallen (aangegeven in de bovenste
rij) de geobserveerde percentages aan. In elke kolom tellen de percentages op tot 100.
Tabel 2. Percentages leerlingen in de Eindtoets Basisonderwijs 2006
36-75 76-105 106-135 135-165 166-195 196-225 226-245 totaal verwacht
47.09 46.34 43.80 44.17 43.81 44.42 45.06 44.53 50
24.63 24.24 24.92 25.01 25.01 25.13 25.97 25.16 25
16.20 15.84 16.20 15.94 16.39 16.49 16.58 16.32 15
12.08 13.58 15.08 14.87 14.79 13.96 12.39 13.99 10
Het is voldoende om naar de onderste rij in Tabel 2 te kijken om te zien dat er behoorlijk meer
significanties op het 10% niveau zijn dan we op grond van het OPLM model mogen
verwachten. Daaruit we moeten besluiten dat het model niet geldig is.
Wat nu? Als we een beter model hadden (en een computerprogramma waarmee we de hele
calibratie met een onvolledig design) konden overdoen, dan zou dat de aangewezen weg zijn:
gebruik niet een slecht model als je een beter hebt. Maar het ziet er niet naar uit dat dit een
realistische optie is; dus zullen we op een of andere manier een compromis moeten zien te
vinden.
Stel dat we in het geval van de individuele profielanalyse een profiel als atypisch hadden
willen aanmerken bij een overschrijdingskans van 10% (dus bij een chi-kwadraatafstand
groter dan 20 (of 19.5 voor de preciezen)). Dan zouden we (voor de populatie die aan de
Eindtoets deelnam) dat niet doen in 10% van de gevallen maar in 14% (voorlaatste kolom,
onderste rij in Tabel 7). Als we dit te veel vinden dan moeten we de drempel hoger gaan
stellen; als we dit nog aanvaardbaar vinden dan weten we dat we in meer dan 10% een
boodschap zullen afgeven. Als we dit op een adequate wijze aan het onderwijsveld weten mee
te delen, dan kan dit heel aanvaardbaar zijn.
Er zit echter een klein addertje onder het gras. De gegevens voor Tabel 2 komen van de
Eindtoets, maar de profielanalyse is in eerste instantie bedoeld voor het LVS en niemand weet
of een soortgelijke tabel voor het LVS ook soortgelijke percentages als die in Tabel 2 zal
opleveren, want we hebben geen gegevens van het LVS.
Een aantal losse opmerkingen
Het profiel dat we als voorbeeld hebben behandeld (zie bijv. Figuur 3) heeft drie categorieën.
De statistische analyse laat zien dat het geobserveerde profiel significant (op 10% niveau) van
het verwachte profiel afwijkt. Deze uitkomst vertelt niet waaruit deze afwijking precies
bestaat en waar (eventueel) het meeste aandacht moet worden aan besteed. Maar een visuele
inspectie van de afwijkingen (bijvoorbeeld aan de hand van Figuur 4) laat hierover weinig
twijfel bestaan. Omdat profielen ipsatief zijn (d.w.z. hun som is constant) is het aantal
mogelijke ‘vormen van de afwijkingen’ redelijk beperkt, en lijkt de interpretatie behoorlijk
eenvoudig. Wanneer echter het aantal categorieën toeneemt gaan de restricties die volgen uit
de ipsativiteit steeds minder een rol spelen, en krijgen we een groeiend aantal mogelijke
patronen van de afwijkingen tussen geobserveerd en verwacht profiel waarbij de interpretatie
soms niet zo voor de hand liggend zal zijn. Het verdient daarom aanbeveling het aantal
categorieën beperkt te houden. In de praktijk moeten we denken aan drie of vier.
16