Rekenen voor peuters - Toetswijzer

Inleiding
In een aantal projecten binnen Cito is het de gewoonte toetsgegevens te analyseren met een
unidimensionaal IRT model, zoals het Raschmodel of OPLM. In het PPON project is de
inhoudelijke bepaling van de verzameling items die aldus wordt geanalyseerd vrij beperkt.
In andere toepassingen, bijvoorbeeld het LVS, wordt een soortgelijk model toegepast op een
inhoudelijk veel breder domein van items. In het domein Rekenen-Wiskunde bijvoorbeeld,
worden aan het eind van het basisonderwijs 24 verschillende schalen onderscheiden binnen
PPON, terwijl in het LVS gestreefd wordt om alle onderdelen uit het domein op een enkele
schaal onder te brengen.
Deze op het eerste gezicht niet consistente aanpak heeft praktische en historische redenen die
hier niet aan de orde zullen worden gesteld; wat ons hier zal bezighouden is de vraag of en in
welke mate twee zo duidelijk verschillende wijzen van analyseren psychometrisch kunnen
worden verantwoord.
Het probleem wordt aangepakt vanuit een praktische vraagstelling: indien we de items uit een
breed domein indelen in een aantal (inhoudelijk of op anderszins zinvolle manier bepaalde)
categorieën, welk nut en welke zin heeft het bestuderen van de deelscores op deze onderdelen
als we het hele domein als een unidimensionale verzameling beschouwen. Een rijtje
deelscores uit de verschillende subdomeinen wordt een profiel genoemd, vandaar de titel van
dit rapport.
Het rapport bestaat essentieel uit twee delen. In het eerste deel wordt beargumenteerd in
welke zin het bestuderen van profielen zinvol is bij het gebruik van een unidimensionaal
model. In het tweede deel wordt nader ingegaan op de technische uitwerking van zo’n
profielanalyse. Dit gedeelte wordt dan meteen ook geïllustreerd met voorbeelden uit de
Citopraktijk.
Functie van de profielanalyse
Men zou het volgende standpunt kunnen innemen: indien alle items uit een breed domein
inderdaad een enkele latente dimensie aanspreken (een enkel concept) en we zijn in staat
nauwkeurig te specificeren op welke wijze dit ‘aanspreken’ moet worden begrepen, dan heeft
het bestuderen van profielen weinig of geen zin.We kunnen dan immers de positie van een
leerling op het latente continuum (met een gekende nauwkeurigheid) bepalen aan de hand van
antwoorden op een willekeurige deelverzameling van items uit het brede domein, waarbij
moet worden aangetekend dat de graad van nauwkeurigheid afhangt van welke items men
kiest – en meer in het bijzonder van het aantal items dat men kiest. Om concreet te maken wat
hier precies wordt bedoeld, lichten we het voorgaande toe met een voorbeeld.
Veronderstel dat we het brede domein Rekenen kunnen opdelen in twee deeldomeinen –
breuken en meetkunde. Zeggen dat breuken en meetkunde-items hetzelfde concept
aanspreken betekent dat de prestatie van een leerling op beide deeldomeinen alleen afhangt
van eenzelfde vaardigheid, die we hier voor het gemak rekenvaardigheid noemen.
Dit impliceert dat we de rekenvaardigheid van een leerling kunnen bepalen door hem een
toets voor te leggen die uitsluitend items met breuken bevat, of uitsluitend meetkunde-items
of een willekeurig mengsel van breuken en meetkunde-items. Dit is een belangrijk principe in
de psychometrie, dat soms wordt aangeduid met de term ‘specifieke objectiviteit’.
Daarmee is natuurlijk niet alles gezegd over de meetnauwkeurigheid. Stel dat in de hele
itembank met meetkunde-items en breuken items, deze laatste categorie gemiddeld genomen
substantieel moeilijker is dan de eerste, en wel zodanig dat hele zwakke leerlingen bijna geen
enkel breuken-item correct kunnen beantwoorden, en dat heel vaardige leerlingen bijna geen
fouten maken op de meetkunde-items. Dan ligt het een beetje voor de hand dat we voor een
3