De meerwaarde van HKZ-certificering voor GGZ-instellingen

grondige analyse van de invloed van het gebrek aan differentiatie wanneer significante
correlaties werden gevonden.
Voor de HKZ-maat ‘lengte van certificering’ is de mate van differentiatie in de jaren
2006 en 2007 eveneens problematisch. In 2006 is bijna geen enkele instelling
gecertificeerd, waardoor het aantal instellingen met een score van 0 maanden is
oververtegenwoordigd. In 2007 blijft het aantal instellingen met een gering aantal
maanden gecertificeerd oververtegenwoordigd door de 34% niet gecertificeerden (score
0) en het relatief groot aantal instelling dat in december 2007 is gecertificeerd (score 1).
Resultaten op de maat lengte uit deze jaren zijn eveneens met veel voorzichtigheid
geïnterpreteerd. Het aantal maanden in 2008 en 2009 is in tegenstelling tot de periode
daarvoor wel gedifferentieerd. Dat komt door het verdwijnen van instellingen door fusie
en het verschil in maanden waarin de nog niet gecertificeerden hun certificaat hebben
behaald.
Voor de potentiële confounder ‘fusie’ zijn geen analyses verricht. Het aantal instellingen
in een jaar dat gefuseerd is, is dermate klein vergeleken met het aantal niet gefuseerden,
dat de verdeling tussen wel en niet gefuseerd te scheef is om valide analyses te verrichten.
De waarde van significante verschillen
Significantie duidt op het daadwerkelijk aanwezig zijn van een verband. Een p-waarde
van 0,1 duidt op een tendens (matige significantie). Een p-waarde van 0,05 duidt op een
significante relatie en een p-waarde van 0,005 duidt op een hoog significante relatie.
Echter: ook hier is voorzichtigheid bij de interpretatie geboden. De kans op een
significant verschil is ten eerste kleiner wanneer met kleine steekproeven wordt gewerkt.
In dit onderzoek zijn de steekproeven over het algemeen klein. Een niet significante
relatie geeft daarom niet noodzakelijkerwijs aan dat er geen relatie is tussen HKZ en
prestaties. Het ontbreken van een significant verschil kan te wijten zijn aan de grootte van
de steekproef en niet aan de relatie tussen HKZ en prestaties. Omgekeerd kan een wel
gevonden significante samenhang ten tweede niet altijd tot de conclusie leiden dat HKZ
gerelateerd is aan prestaties. De kans op het vinden van significante verschillen stijgt naar
de mate waarin de omvang van het aantal analyses stijgt. Om de kans op onterecht
significant gevonden relaties zo laag mogelijk te houden, zijn resultaten alleen significant
bevonden als de p-waarde kleiner of gelijk was aan 0,05. Significante relaties met een pwaarde
tussen de 0,05 en 0,10 zijn wel in de bijlagen aangetekend om mogelijke trends te
kunnen duiden. Tenslotte is ook gekeken naar de sterkte en richting van de relatie. Niet
142