Download "Rapport: Raadsman bij politieverhoor" - Rijksoverheid.nl

38 | Raadsman bij politieverhoor
1.5.3 Inter-beoordelaar betrouwbaarheid
Wanneer met meerdere onderzoekers op basis van observaties verhoortechnieken
gecodeerd worden, is het van belang dat de onderzoekers allen op dezelfde manier
observeren en coderen. In de eerste plaats biedt het gestructureerde observatieschema
houvast aan de onderzoekers. Er is immers een selectie van verhoortechnieken gemaakt
die volgens een gestandaardiseerde schaal gecodeerd dienen te worden. Echter, dit laat
nog ruimte voor interpretatieverschillen tussen onderzoekers. Iedere onderzoeker maakt
een eigen inschatting van de vertaling van bepaalde vragen of opmerkingen van
verhoorders naar specifieke verhoortechnieken. In het geval deze inschattingen tussen
onderzoekers in sterke mate uiteen lopen, leidt dat tot problemen met de
constructvaliditeit. Het is dus van belang verschillen in coderingen tussen onderzoekers
zo veel mogelijk te reduceren. Hiernaar wordt ook wel verwezen als inter-beoordelaar
betrouwbaarheid.
Op verschillende manieren is geprobeerd de inter-beoordelaar betrouwbaarheid
te waarborgen. Zo is in het beginstadium van het onderzoek wekelijks overleg tussen de
onderzoekers geweest waarin op basis van de geobserveerde verhoren besproken werd
hoe de verhoortechnieken geïnterpreteerd werden. Op deze manier konden eventuele
verschillen in een vroeg stadium opgespoord en besproken worden. Daarnaast wordt de
combinatie van het verslag en het observatieschema gebruikt om de inter-beoordelaar
betrouwbaarheid zo goed mogelijk te krijgen. In het observatieschema is te zien dat de
veertien verhoortechnieken aangeduid worden met P3 tot en met P16. Iedere
onderzoeker geeft in het verhoorverslag aan of een verhoortechniek gebruikt wordt door
betreffende P-waarde in het verslag bij de daarbij behorende passage te plaatsen.
Daarnaast geven de onderzoekers van elke verhoortechniek in het observatieschema aan
in welke mate deze gebruikt worden variërend van ‘heel weinig’ tot en met ‘heel veel’
of ‘niet van toepassing’ wanneer een verhoortechniek niet gebruikt wordt. Uiteindelijk
heeft één onderzoeker alle verhoorverslagen en observatieschema’s doorgenomen en is
nagegaan of de codering van de verhoortechnieken in het observatieschema
daadwerkelijk een goede afspiegeling is van wat er op basis van het verhoorverslag is
gebeurd. Wanneer deze onderzoeker van mening was dat de codering van het
observatieschema geen goede afspiegeling was of wanneer deze onderzoeker van
mening was dat bepaalde vragen of opmerkingen niet als de juiste verhoortechnieken
geïnterpreteerd waren ging hij in overleg met betreffende onderzoeker.
Een inter-beoordelaar betrouwbaarheidsanalyse is een belangrijk onderdeel in
een onderzoek op basis van observaties uitgevoerd door meerdere onderzoekers. 35 Voor
een inter-beoordelaar betrouwbaarheidsanalyse zouden de onderzoekers deels dezelfde
35 Cicchetti 1994.