COTAN beoordelingssysteem voor de kwaliteit van tests - NIP

1.96S E bij X op te tellen). Dit interval geeft een indruk van de
nauwkeurigheid van de meting en kan worden gebruikt voor het
toetsen van hypothesen over iemands betrouwbare score.
De standaardschattingsfout kan voor hetzelfde doel worden gebruikt
als de standaardmeetfout, dus het schatten van een betrouwbaarheidsinterval
voor de betrouwbare score. Het verschil is dat er hierbij
een andere schatting van de betrouwbare score wordt gebruikt.
De betrouwbare score wordt hier geschat door middel van lineaire
regressie, wat resulteert in de formule .
Hierin is het gemiddelde van de groep waarin de betrouwbaarheid
is bepaald. Deze formule staat wel bekend als Kelley’s formula.
Omdat hij een lineaire regressieschatting geeft van de betrouwbare
score, wordt nu de standaardschattingsfout,
,
gebruikt om een (95%) betrouwbaarheidsinterval voor T te schatten.
Dat gebeurt door te berekenen: , waarbij men dus de
geschatte betrouwbare score uit Kelley’s formula gebruikt. Het
voordeel van Kelley’s formula ten opzichte van de eerste methode
is dat er meer informatie wordt gebruikt om de betrouwbare score
te schatten. Het idee daarbij is dat naarmate de betrouwbaarheid
geringer is, geobserveerde scores minder gewicht krijgen en het
groepsgemiddelde juist meer. Omgekeerd geldt dat bij een hoge
betrouwbaarheid het groepsgemiddelde nauwelijks meer een rol
speelt en de schatting van T bijna volledig door de geobserveerde
score X wordt bepaald. Zo spelen dus ook de betrouwbaarheid en
de gemiddelde testscore een rol bij de schatting van T, en daarin ligt
het verschil met de standaardmeetfout. Het gevolg van het gebruik
van meer informatie is dat S < S . In woorden: de tweede methode
est E
is nauwkeuriger dan de eerste. De tweede formule voor het schatten
van de betrouwbare score (Kelley’s formula) wordt regelmatig in
de praktijk gebruikt, maar ten onrechte wordt dan de ‘standaardmeetfout’
gerapporteerd. Hier moet men dus goed op letten.
Het betrouwbaarheidsinterval is belangrijk als men statistische toetsen
wil uitvoeren. We noemen twee mogelijkheden: verschilt de score van
persoon v van die van een andere persoon w of van een grensscore X o ?
De eerste mogelijkheid behelst de nulhypothese dat de betrouwbare
scores van twee personen, zeg persoon v en persoon w, gelijk
zijn; dus H 0 : T v = T w . Getoetst wordt dan dus of het verschil gelijk is
aan 0, en beschouwd wordt dan de standaardmeetfout van het verschil
D vw = X v – X w . Deze standaardmeetfout is gelijk aan
Een 95% betrouwbaarheidsinterval voor het ware verschil, dat
wordt geschat met behulp van het geobserveerde verschil, is gelijk
aan . Als de waarde 0 in dit interval ligt, wordt
de nulhypothese geaccepteerd, maar als de waarde 0 buiten het
interval ligt, wordt de nulhypothese verworpen.
Voor de tweede mogelijkheid, het vergelijken van een testscore
met een drempelwaarde, geldt dat deze drempelwaarde perfect
betrouwbaar is. Dan hoeft alleen te worden nagegaan of de drempelwaarde
al dan niet in het betrouwbaarheidsinterval X ± 1.96S E ligt.
Werkt men met de standaardschattingsfout, dan moet er in de
formules steeds S est worden gebruikt in plaats van S E .
Standaardmeetfouten en bijbehorende betrouwbaarheidsintervallen
kan men ook voor andere scores schatten, zoals betrouwbare
verschilscores. Overigens moet men er rekening mee houden dat
verschilscores, zoals ze bijvoorbeeld in profielen worden gebruikt,
notoir onbetrouwbaar zijn, en de betrouwbaarheidsintervallen dus
erg lang. In de literatuur is er veel bekend over psychometrische
problemen met verschilscores, maar het blijft een heikel probleem
(zie bijvoorbeeld Allen & Yen, 1979, pp. 208-211; Drenth & Sijtsma,
2006, pp. 241-243; Murphy & Davidshofer, 1998, pp. 138-139).
Is de test of vragenlijst geconstrueerd met behulp van een item-
responsmodel, dan kan de testconstructeur ervoor kiezen de
testinformatiefunctie te geven of het omgekeerde hiervan, de
standaardfout afhankelijk van de schaal. Met behulp van deze
standaardfout kunnen wederom betrouwbaarheidsintervallen
worden geschat voor het niveau van de respondent (in de context
van de item-responstheorie is dit een andere parameter dan de
betrouwbare score). Het verschil met betrouwbaarheidsintervallen
op basis van de klassieke standaardmeetfout is dat de betrouwbaarheidsintervallen
nu variëren over de schaalwaarden. Hiermee is
duidelijk dat niet iedereen even nauwkeurig met dezelfde test wordt
gemeten. Het verdient aanbeveling om deze lokale informatie over
de meetnauwkeurigheid zowel grafisch (voor de inzichtelijkheid) als
numeriek in de vorm van tabellen (om exacte waarden te kunnen
aflezen) weer te geven.
Voor een positieve beoordeling op deze vraag zal een testconstructeur
minstens een van de drie genoemde mogelijkheden moeten
rapporteren: standaardmeetfout, standaardschattingsfout of testinformatiefunctie/voorwaardelijke
standaardfout, inclusief een
afdoende uitleg voor de testgebruiker over het gebruik van
betrouwbaarheidsintervallen. Het wordt ook aanbevolen voor elke
ruwe score of standaardscore deze intervallen in de handleiding op
te nemen.
Domeingerichte of criteriumgerichte
interpretatie
Bij een test die gebruik maakt van grensscores wordt met behulp
van deze score(s) het hele scorebereik verdeeld in twee of meer
categorieën. Deze categorieën kunnen louter voor beschrijvende
doeleinden worden gebruikt, maar meestal zijn ze bedoeld om
onderscheid te maken tussen groepen geteste personen die een
verschillend programma of een verschillende behandeling krijgen
aangeboden of voor wie een verschillende verwachting geldt.
Zo kan een werkgever een grensscore gebruiken om potentiële
werknemers te screenen, kan een school grensscores gebruiken
om groepen leerlingen verschillende instructieprogramma’s aan
te bieden, kunnen in de geestelijke gezondheidszorg grensscores
worden gebruikt om te beslissen over therapie-indicatie of over
de aanwezigheid van een bepaalde vorm van psychopathologie,
of kunnen bij certificering door de verantwoordelijke instelling
minimum slaagscores worden vastgesteld.
COTAN Beoordelingssysteem voor de kwaliteit van tests 27