TNO-rapport - Vereniging van Nederlandse Gemeenten

TNO-rapport | KvL/P&Z 2007.025 | Juli 2007 39 / 65
Wanneer het een test op individueel niveau voor minder belangrijke • beslissingen
betreft, zijn de criteria soepeler: voor onvoldoende: r < 0,70, voor voldoende:
0,70 < r < 0,80, en voor goed: r > 0,80. Omdat op basis van een screeningstest
wordt beslist of het kind nader wordt onderzocht op taalachterstand, hanteren wij de
eerste (strengste) set criteria voor screeningsinstrumenten. Als instrumenten worden
gebruikt voor diagnostiek, wordt de tweede set criteria gehanteerd. De bekendste
coëfficiënt van interne consistentie is de Cronbach’s alpha. Een test is betrouwbaar
voor individueel gebruik wanneer alpha groter is dan 0,90 (en er voor de berekening
van alpha een factoranalyse is uitgevoerd). Als voor de interne consistentie de nonparametrische
item response testtheorie is toegepast, dan is de coëfficiënt gelijk aan
Rho. De betrouwbaarheid is goed wanneer Rho groter is dan 0,65 (Drenth en
Sijtsma, 2006). De interbeoordelaarsbetrouwbaarheid kan o.a. onderzocht worden
via correlatie tussen totaalscores van verschillende beoordelaars.
8 Validiteit: Hier wordt het onderzoek naar de criteriumvaliditeit van het instrument
beschreven (steekproefbeschrijving en steekproefgrootte). De validiteit van een
instrument wordt geëvalueerd door de sensitiviteit en de specificiteit. Soms wordt
de validiteit ook geëvalueerd door de correlatie met andere testen te onderzoeken.
Om de sensitiviteit en de specificiteit te evalueren wordt het instrument vergeleken
met een referentie of gouden standaard. De sensitiviteit van een test is de kans dat
degene met de gezochte aandoening een positieve testuitslag heeft, en de
specificiteit is de kans dat degene die de aandoening niet heeft een negatieve uitslag
heeft. De validiteit van een test heeft praktische consequenties voor de praktijk. Het
bepaalt welk deel van de kinderen met een taalachterstand er gevonden worden
(sensitiviteit) en welk deel van de kinderen met een ‘normale’ taalontwikkeling
desondanks verwezen worden (1-specificiteit). Ook bepaalt het welk deel van de
kinderen dat op basis van de test verwezen wordt ook daadwerkelijk een
taalachterstand heeft (de positief voorspellende waarde of PPV), wat van invloed is
op de werkbelasting van het diagnostische traject.
9 Beoordeling door de Commissie Testaangelegenheden Nederland (COTAN): Deze
commissie van het Nederlands Instituut voor Psychologen (NIP) beoordeelt
instrumenten aan de hand van bepaalde criteria (zie www.cotan.nl). Door de
COTAN worden psychodiagnostische instrumenten beoordeeld aan de hand van
criteria als testconstructie, uitvoering van de handleiding en testmateriaal,
betrouwbaarheid en validiteit. In dit onderdeel beschrijven we of het instrument
door COTAN is beoordeeld en wat de conclusies waren. In de COTAN-beoordeling
worden twee typen validiteit beoordeeld. Bij begripsvaliditeit gaat het erom te
onderzoeken wat de test nu eigenlijk meet. Meet de test het bedoelde begrip of,
gedeeltelijk of voornamelijk, iets anders? Een vaak gebruikte methode voor het
aantonen van de begripsvaliditeit is factoranalyse voor het aantonen van de
ééndimensionaliteit. Bij criteriumvaliditeit onderzoekt men in hoeverre de testscore
een goede voorspeller is van het onderliggende probleem (retrospectief, gelijktijdig
of predictief). De criteriumvaliditeit wordt bepaald door de test te vergelijken met
één of meer externe variabelen die verondersteld worden een directe maat voor het
kenmerk of gedrag in kwestie te zijn (van der Brink, 1998). De validiteit die wij
beschouwen (zie punt hierboven) heeft alleen op dit laatste betrekking.
10 Verwijscriteria: Zijn criteria voor verwijzing naar MDD, logopedie, VVE etc.
gedefinieerd? En zo ja, hoe?
11 Volgen van ontwikkeling: Is dit instrument geschikt voor meerdere testafnemingen
op verschillende leeftijden?