Drie-Minuten-Toets (DMT) en AVI - Toetswijzer - Kennisnet

6 Validiteit
6.1 Inhoudsvaliditeit
De inhoudsvaliditeit van een toets heeft betrekking op de vraag in hoeverre de opgaven – in het geval van
de DMT: de taken (zie ook paragraaf 2.4.2) – in een toets een welomschreven en afgebakend universum
representeren. De inhoudsvaliditeit van de DMT wordt gewaarborgd door de inrichting van de toets en de
wijze waarop de taken, de leeskaarten, zijn samengesteld. In paragraaf 3.3 (Inhoudsverantwoording) werd al
uitgebreid ingegaan op het aspect van het lezen van woorden (versus het lezen van zinnen of teksten), op
het aspect van het hardop lezen (versus het stil lezen) en op de keuze van woorden (met een bepaalde
leesmoeilijkheid en een bepaalde bekendheid) voor de verschillende leeskaarten.
6.2 Begripsvaliditeit
De begripsvaliditeit van een toets heeft betrekking op de vraag in hoeverre de scores op de toets toe te
schrijven zijn aan de verklarende concepten en constructen die deel uitmaken van het theoretisch kader dat
aan de ontwikkeling van de toets ten grondslag ligt. Hieronder worden drie indicaties gegeven van de
begripsvaliditeit van de DMT.
6.2.1 Passing van het psychometrisch model
Een eerste belangrijke indicatie van de begripsvaliditeit van de DMT is dat de taken (leeskaarten) die daarin
opgenomen zijn, en waarvan de inhoud in paragraaf 3.3 wordt verantwoord, voldoen aan de passingscriteria
die aan bod kwamen in paragraaf 4.3.3. Dat is een goede waarborg voor de constructvaliditeit van de DMT,
omdat er aldus evidentie is voor de aanname dat een en dezelfde vaardigheid ten grondslag ligt aan de
responsen van de leerlingen op de taken in de toets.
Kalibratie-analyse, als puur formeel proces, laat geen uitspraken toe over de validiteit als antwoord op de
vraag: hoe kan worden aangetoond dat het concept dat de taken in DMT meten, dekkend is voor en
samenvalt met het construct technisch lezen zoals dat in het didactisch en het wetenschappelijk forum wordt
bedoeld. Maar in combinatie met de inhoudelijke waarborgen uit paragraaf 3.3, kort opgesomd in
paragraaf 6.1 hierboven, kan de vraag of het concept dat ten grondslag ligt aan de taken van DMT mag
worden opgevat als de technische leesvaardigheid met 'ja' beantwoord worden. De geslaagde kalibratie
maakt duidelijk dat er sprake is van unidimensionaliteit en dat de gekalibreerde taken de latente trek meten
die we de vaardigheid technisch lezen noemen.
6.2.2 Equivalentie met andere toetsen 13
De mate waarin de DMT en de AVI-toets gerelateerd zijn aan soortgenootinstrumenten (zijzelf, ten opzichte
van elkaar, incluis) en niet-soortgenootinstrumenten is een tweede aanwijzing voor de begripsvaliditeit van
de toetsen. In de tabellen 6.1 tot en met 6.6 worden correlaties gerapporteerd tussen scores op de DMT, de
AVI-toets en andere toetsen die in het kader van de ontwikkeling van het Cito-Leerling- en
onderwijsvolgsysteem (LOVS) zijn gecontrueerd: de toetsen die in januari/februari en mei/juni 2008
tegelijkertijd met de DMT en de AVI-toets zijn voorgelegd aan de leerlingen in onze referentiegroep.
De hoogste correlaties in tabel 6.1 zijn die van de DMT met de AVI-toets en van deze toetsen met zichzelf
op het andere afnamemoment. De laagste correlaties zijn die tussen de woordenschattoetsen (WS) en alle
afgenomen technisch-leesinstrumenten (DMT, AVI, LT en LTP). De correlaties van de DMT en de AVI-toets
met Leestechniek (LT) en Leestempo (LTP) nemen een middenpositie in. Alle vier zijn het
leessnelheidsinstrumenten, die echter op twee belangrijke punten van elkaar verschillen: 1) DMT en AVI
laten leerlingen hardop lezen, terwijl LT en LTP stil laten lezen en 2) DMT en LT laten leerlingen woorden
lezen, terwijl AVI en LTP teksten laten lezen (zie ook deze verantwoording tabel 2.2). De gevonden
samenhang tussen DMT en AVI enerzijds en LT en LTP anderzijds is dan ook volgens verwachting; niet van
13
Paragraaf 6.2.2 maakt zowel onderdeel uit van de Wetenschappelijke verantwoording va de DMT (deel 1) als van de
Wetenschappelijke verantwoording van de AVI-toets (deel 2). In paragraaf 12.2.2 van deel 2 zal dan ook terugverwezen worden
naar paragraaf 6.2.2.
49