Oorzaken van Incidenten en onbedoelde Schade in - VMS ...

Bijlage B Opzet betrouwbaarheidsstudie PRISMAanalyses
Aanleiding
De PRISMA-analyses werden uitgevoerd door vijf getrainde wetenschappelijk
onderzoekers uit de onderzoeksgroep. Gedurende de eerste maanden van het onderzoek
werd een Frequently Asked Questions (FAQ) lijst opgesteld, waarin afspraken werden
vastgelegd met betrekking tot keuzes bij het maken van de oorzakenbomen en het
classificeren van de basisoorzaken. Hierbij werd zoveel mogelijk aangesloten bij de
ideeën van de ontwikkelaars van PRISMA. Bij onduidelijkheden werden zij
geconsulteerd.
Ondanks de inspanningen die zijn gedaan om de onderzoekers op een lijn te krijgen, blijft
het mogelijk dat twee onderzoekers een verschillende PRISMA analyse maken van
dezelfde melding, omdat het maken van een oorzakenboom en het classificeren van de
basisoorzaken enige subjectiviteit met zich meebrengt. Om deze reden is de
interbeoordelaars betrouwbaarheid van de PRISMA analyses bepaald.
Interbeoordelaars betrouwbaarheid
De betrouwbaarheid van de PRISMA-analyses is op twee onderdelen onderzocht:
1. De overeenstemming bij het opstellen van basisoorzaken in een PRISMA
oorzakenboom
2. De overeenstemming bij het classificeren van basisoorzaken volgens het
Eindhoven Classificatie Model
Per onderdeel zijn door middel van een random steekproeftrekking 150 meldingen
geselecteerd: per afdeling werden 5 meldingen voor de betrouwbaarheid van de
basisoorzaken getrokken en 5 meldingen voor de betrouwbaarheid van de classificaties.
Iedere melding uit de steekproef van in totaal 300 meldingen werd geanalyseerd door een
tweede beoordelaar uit de onderzoeksgroep, die onbekend was met de betreffende
melding. Deze tweede beoordeling geschiedde op basis van dezelfde informatie als waar
de onderzoeker over beschikte bij het maken van de originele oorzakenboom, inclusief de
aanvullende vragen die waren gesteld aan de melder en de bijbehorende antwoorden. Er
is geen gebruik gemaakt van een gouden standaard bij het bepalen van interbeoordelaars
betrouwbaarheid, omdat het gaat om de mate waarin twee willekeurige onderzoekers uit
de onderzoeksgroep met elkáár overeenstemmen.
Betrouwbaarheid van basisoorzaken
Voor het bepalen van de overeenstemming van de basisoorzaken (onderdeel 1) maakte de
tweede beoordelaar een eigen oorzakenboom met basisoorzaken op basis van alle door de
eerste onderzoeker vergaarde informatie over de melding. Vervolgens werden van iedere
oorzakenboom de basisoorzaken van de eerste en tweede beoordelaar met elkaar
vergeleken op aantal en inhoud door een onafhankelijke derde onderzoeker. De 150
dubbele oorzakenbomen kregen een score van 0 (geen overeenstemming in aantal en
inhoud basisoorzaken) tot 5 (volledige overeenstemming in aantal en inhoud
basisoorzaken) aan de hand van vooraf opgestelde richtlijnen (zie Box 1).
Oorzaken van incidenten en onbedoelde schade in ziekenhuizen, 2008 101