Rekenen voor peuters - Toetswijzer

toelaatbaar kan worden geacht een unidimensionaal model voor de drie deelvaardigheden te
gebruiken. Dit brengt ons op een probleem dat direct met de toetspraktijk heeft te maken.
Bij het schatten van de modelparameters wordt maar ten dele gebruik gemaakt van de
informatie die in de data aanwezig is. Voor het OPLM bijvoorbeeld gebruiken we alleen de
randtotalen van de gegevenstabel: van elk item het aantal keren dat het correct is beantwoord
en van elke leerling zijn score op de toets (ongewogen bij het Raschmodel en gewogen in het
OPLM). De overblijvende informatie wordt dan gebruikt om het model (statistisch) te toetsen:
als de parameters (redelijk) nauwkeurig geschat zijn, kunnen allerlei eigenschappen van de
datamatrix worden voorspeld, en deze voorspellingen kunnen worden vergeleken met de
werkelijke eigenschappen van de datamatrix. Een voorbeeld: voor alle leerlingen met een
bepaalde score op de toets (bijvoorbeeld 25) kan men voorspellen welke proportie van die
leerlingen een bepaald item (bijv. item 1) correct heeft beantwoord, en deze voorspelde
proportie kan men vergelijken met de proportie in de data, die men kan vinden door een
simpele telling. Het probleem is echter dat er talloos veel verschillende voorspellingen
kunnen worden gemaakt, en dat de overeenkomst tussen data en voorspelling soms
minder goed zal zijn dan men zou willen, puur door toeval. Het heeft dus weinig zin om
hap snap enkele voorspellingen eruit te pikken en de overeenkomst met de data te
beoordelen. Het is wel zinvol om weloverwogen de voorspellingen te kiezen vanuit
theoretische of didactische overwegingen en te overwegen wat men zou moeten of
kunnen doen in geval de overeenkomst tussen data en voorspellingen niet goed is.
Profielanalyse zoals hier verder zal worden uitgewerkt past in deze opvatting. Een profiel is
een rijtje deelscores op bepaalde categorieën van items, maar men kan in principe de
categorizering definiëren zoals men wil. Men zou inhoudelijke categorieën kunnen bepalen
(zoals meetkunde, breuken, getalsrelaties, etc.), maar men kan ook andere categoriedefinities
hanteren, zoals de even genummerde items tegenover de oneven genummerde, om maar een
dwaas voorbeeld te noemen. Een goede categorisering is geen psychometrisch of statistisch
probleem, maar een inhoudelijk probleem, en het is aan de inhoudelijke medewerkers
hierover na te denken en een verantwoorde keuze te maken. In het genoemde voorbeeld van
de rekenitems (in deeldomeinen) zou men een aantal overwegingen kunnen aanvoeren voor
de gekozen categorisering:
• Het bestaan van aparte methoden voor de genoemde onderdelen;
• De noodzaak van bepaalde psychologische vaardigheden voor sommige onderdelen
(zoals ruimtelijk inzicht voor meetkunde);
• Het bestaan van didactische praktijken waarbij onderdelen ook echt bloksgewijs
worden onderwezen;
• De mogelijkheid van (partiële) incompetentie van (sommige) leerkrachten, etc.
De eigenlijke profielanalyse bestaat dan uit drie onderdelen:
• Het berekenen van het verwachte profiel met gebruikmaking van de parameters van
het meetmodel;
• De vergelijking van individuele geobserveerde profielen met dit verwachte profiel.
Bij deze vergelijking kan men verschillende standpunten innemen:
o Als de afwijking tussen geobserveerde en verwachte profielen erg groot is voor
zeer veel leerlingen kan men de validiteit van het meetmodel in twijfel gaan
trekken, en eventueel een herziening en/of uitbreiding van het meetmodel
overwegen. Dit is eigenlijk een taak die behoort tot het monitoren van het hele
systeem.
6