Rekenen voor peuters - Toetswijzer

5 Betrouwbaarheid en meetnauwkeurigheid
In hoofdstuk 4 is aangegeven dat elk kind dat deelgenomen heeft aan het onderzoek slechts een deel van
de items gemaakt heeft die uiteindelijk in de toets Rekenen voor peuters opgenomen zijn.
De betrouwbaarheid van de toets in klassieke zin is dan ook niet rechtstreeks te bepalen. Het is echter wel
mogelijk om de betrouwbaarheid van de toets te schatten door gebruik te maken van het feit dat alle items
die zijn opgenomen in de toetsen OPLM-geschaald zijn. Ook andere beschrijvende gegevens, zoals de
gemiddelde score en de standaardmeetfout, zijn te schatten op grond van het feit dat de toets volledig
bestaat uit OPLM-gekalibreerde items. Om relevante beschrijvende gegevens bij de toets te verkrijgen, is
gebruikgemaakt van het programma OPTAL (Verstralen, 1997).
In OPTAL wordt een door Verhelst, Glas en Verstralen (1995) ontwikkelde coëfficiënt berekend die qua
interpretatie een grote overeenkomst vertoont met de betrouwbaarheidscoëfficiënt uit de klassieke
testtheorie. Het begrip ware score is wat meer geëxpliciteerd, namelijk als de verwachte score op een
(vaste) toets, maar dan gezien als functie van de latente variabele . Deze verwachte waarde duiden we
aan met (). Als we bovendien weten hoe in de populatie verdeeld is, kunnen we ook het gemiddelde en
de variantie van de ware scores in de populatie bepalen. De variantie van de ware scores in de populatie
duiden we aan met het symbool Var(). Tussen en () bestaat een één-op-één relatie; de ene kan
immers uit de andere berekend worden. Het is echter niet zo dat een persoon met vaardigheid per se de
toetsscore () moet behalen (dat is alleen zo als de toets oneindig lang gemaakt wordt). De geobserveerde
score bij een eenmalige afname zal dan ook een afwijking vertonen van de verwachte score, waardoor we
met een eenmalige toetsafname niet meer zonder fout de waarde van kunnen bepalen. De variantie van
de geobserveerde toetsscore duiden we aan met Var(t | ()). Door nu gebruik te maken van de distributie
van in de populatie kunnen we ook de gemiddelde variantie van de geobserveerde toetsscores
berekenen:
Var(t) = E[Var(t | ( ))]
Deze variantie kunnen we opvatten als de (gemiddelde) meetfoutvariantie in de metriek van de
geobserveerde scores t. In analogie met de theorie over de betrouwbaarheid definiëren we dan
Var( )
MAcc=
Var( ) + Var(t)
waarin MAcc staat voor 'Accuracy of Measurement'.
Tabel 5.1 bevat informatie over de meeteigenschappen van de toets Rekenen voor peuters. In de eerste
kolom staan de leeftijdscategorieën. Daarna volgen de minimumscores en de maximumscores.
De minimumscore is gelijk aan 0. De maximumscore is 36, gelijk aan het aantal opgaven dat deel uitmaakt
van de totale toets. De tabel betreft namelijk de ruwe ongewogen scores, waarbij ieder goed antwoord
1 punt oplevert. De vierde kolom geeft de geschatte gemiddelde scores van de kinderen op de toets per
normgroep. De vijfde kolom betreft de geschatte standaarddeviatie van de scores van iedere normgroep.
De zesde kolom bevat per normgroep informatie over de geschatte standaardmeetfout van de toets.
De laatste kolom laat zien wat per normgroep de geschatte betrouwbaarheidscoëfficiënt (MAcc) van de
toets is.
De betrouwbaarheidscoëfficiënten liggen allemaal boven de 0.80. Aangezien de toetsen Rekenen voor
peuters bedoeld zijn voor voortgangscontrole zijn de gevonden betrouwbaarheden goed te noemen
(Evers et al., 2010).
41