Rekenen voor peuters - Toetswijzer

Het referentieprofiel
Om terdege rekening te houden met de verschillen in moeilijkheid van de onderscheiden
categorieën kunnen we het beste een soort verwacht profiel gaan nemen als referentielijn.
Maar we dienen goed te formuleren wat we met ‘verwachting’ bedoelen. Nemen we
bijvoorbeeld als verwachting de gemiddelde categoriescore in de populatie van leerlingen van
groep acht die deelnemen aan de Eindtoets, dan wordt de vergelijking weer gecompliceerd
omdat het aldus gedefinieerde verwachte profiel in twee opzichten kan verschillen van het
geobserveerde profiel uit Figuur 1: het kan verschillen door het algemene niveau (in het
voorbeeld doet het dit ook, want een gewogen score van 120 op het onderdeel Rekenen is een
tamelijk lage score) en het kan ook verschillen qua vorm. De directe visuele interpretatie van
beide profielen wordt daardoor bemoeilijkt. We kunnen het probleem vereenvoudigen door
een specifiek geobserveerd profiel te vergelijken met een gemiddeld profiel van alle
leerlingen die op de hele toets (d.i. op het hele onderdeel Rekenen) dezelfde of ongeveer
dezelfde score behalen als de score van het geobserveerde profiel.
Dit verwachte profiel kunnen we op twee manieren bepalen: empirisch of theoretisch.
Empirisch betekent dat we in het databestand van de Eindtoets het gemiddelde profiel bepalen
van alle leerlingen met dezelfde score op het hele onderdeel Rekenen als de onderzochte
leerling. Voor het onderzoek naar een andere leerling met een andere gewogen score op het
onderdeel Rekenen kunnen we hetzelfde doen. We moeten deze hele procedure dus uitvoeren
voor alle mogelijke scores op het onderdeel Rekenen. Drukken we het geobserveerde profiel
uit met gewogen scores, dan moeten we deze procedure toepassen voor alle mogelijke
gewogen scores. In termen van computertijd is dit niet zo’n groot probleem, maar wel in
termen van statistische stabiliteit. Immers de frequentie van sommige gewogen scores zal
behoorlijk groot zijn, maar voor andere scores zullen we onvermijdelijk te maken krijgen met
kleine tot zeer kleine frequenties. De statistische stabiliteit van de verwachte profielen zal dan
van score tot score gaan verschillen en dit is een onwenselijke situatie. Bovendien komt er
nog een probleem bij als we een dergelijke werkwijze zouden willen toepassen in het LVS.
Bij de Eindtoets worden de data centraal verzameld op het Cito, maar bij het LVS is dat niet
zo. De data die daar beschikbaar zijn betreffen alleen de leerlingen van de school zelf en dan
wordt de empirische aanpak wel heel problematisch.
Als de gegevens met OPLM gecalibreerd zijn kunnen we ook theoretisch het verwachte
profiel afleiden. De verwachte (gewogen) score voor elke categorie is een (nogal
ingewikkelde) functie van de itemparameters (de discriminatie-indices en de moeilijkheidsparameters).
Details over hoe die verwachte waarden worden berekend worden gegeven in
Appendix A van dit rapport. In Figuur 3a wordt hetzelfde geobserveerde profiel afgebeeld als
in Figuur 2, maar nu samen met het verwachte profiel. In Figuur 3b zijn beide profielen
omgezet als percentage van de maximum te behalen score op elke categorie.
9