Metodedebatten om evidens med vægt på alternativer til ...

Metodedebatten om evidens
Temadagen Evidensbaseret
biblioteksudvikling
d. 30/3-2011.
Olaf Rieper
Forskningschef i AKF
Anvendt KommunalForskning
www.akf.dk

Oplæggets struktur
• Begrebet evidens
• Evidensdebattens baggrund
• Metodedebatten: Evidenshierarki og
evidenstypologi
• Evidens som forskningsoversigter
• Grænser for evidens

Begrebet evidens:
Evidenstrappen
Global viden
Lokal viden
Forskningsresultater
Praktisk
erfaring
Mine faglige
erfaringer
Vidensdeling
Vores fælles
erfaringer
Dokumentation
Lokal evaluering

Flere definitioner af ”evidens”
• Evidens-baseret politik og praksis er en
omhyggelig, udtrykkelig og kritisk brug af
den aktuelt bedste viden.
• Evidens som lig med troværdig, sikker viden.
• Evidens som forskningsresultater fra RCT.
• Evidens som den viden, der opsamles i
forskningsoversigter (systematiske reviews).

Metodedebattens baggrund og
udvikling – kort fortalt
• Lange spor tilbage i tiden: human & samfundsvidenskaber
versus naturvidenskaber, positivismestriden, kvalitative
versus kvantitative metoder. Debatten foregik overvejende
inden for forskningsverdenen.
• Evidensbevægelsen med forskningsoversigter fra 1990’erne
sætter fokus på udvælgelse af den bedste forskning som
grundlag for forskningsoversigter. Hvilke kriterier skal
anvendes?
• ”Evidensbaseret praksis og politik” bragte debatten ud over
forskningsverdenen til professionelle og politikere.
www.akf.dk

Evidenshierarki
- en rangorden af forskningsdesign
1. Kontrollerede lodtrækningsforsøg (RCT)
2. Kontrollerede forsøg uden lodtrækning
3. Registeranalyser baseret på tidserier
4. Tværsnitsundersøgelser
5. Kvalitative case studier
6. Fagprofessionelles opfattelse
7. Brugeres opfattelse

Argumenter for evidenshierarkiet
• Det kontrollerede lodtrækningsforsøg (RCT)
tilbyder en løsning på det kontrafaktiske
problem: hvad ville være sket, hvis indsatsen
ikke var gennemført?
• Den tilfældige udvælgelse til henholdsvis indsatsog
kontrolgruppe tager højde for ukendte
faktorer, som kan have indflydelse på indsatsens
effekt.
• Registeranalyser baseret på tidserier ”spejler”
denne logik i statistiske analyser, hvor der søges
taget hensyn til påvirkningen fra ”andre
faktorer”.

Argumenter imod evidenshierarkiet
Konteksten: Indsatsens effekt vil være forskellig i
forskellige sammenhænge. RCT (lodtrækningsforsøg) vil
ikke kunne fange dette ind, da RCT gennemføres på
populationer i mange forskellige kontekster, og
konteksternes betydning skjules i gennemsnitstallene.
Indsatser er sammensat og dynamiske: RCT forudsætter
en veldefineret, ensartet og stabil indsats, der gives til hele
indsatsgruppen. Hvis indsatsen ikke er den samme for alle
i populationen, vil der være tale om forskellige ”årsager” (i
indsatsen) i RCT opstillingen.
Årsag-virkning er kompleks og dynamisk: Dynamikken i
komplekse sociale systemer vanskeliggør generalisering af
RCT målt nettoeffekt (høj intern validitet, men lav ekstern
validitet).

Bag om debatten om det randomiserede
eksperiments forrang
• Uenighed om, hvad der er det rette forskningsspørgsmål:
Gennemsnitlig effekt versus meningstilskrivning, kontekstuel
kompleksitet, flere perspektiver…
• Uenighed om, hvad der er den rette anvendelse af
forskningens resultater:
RCT resultater kan give et klart grundlag for beslutningstagere
til at fortsætte eller standse indsatser: eliteorientering. Andre
interessenter har også legitime interesser: medinddragelse.
• Uenighed om RCT’s praktiske relevans:
Hvor velegnet er RCT til effektmåling, når små-medium
effekter er af interesse, og når effekterne risikerer at drukne i
indsatsernes kompleksitet, variation over kontekster,
forhistorie mv? Andre metoder kan være mere velegnede.
www.akf.dk

”Reframing” debatten
• Ikke: Hvor troværdige er resultater fra RTC i forhold til
andre forskningsdesign?
• Men: Hvor vigtig er spørgsmål om effekten af en indsats
i forhold til spørgsmål om, hvilke erfaringer forskellige
interessenter (fx professionelle, brugere) har med en
indsats, eller
• Under hvilke betingelser skal effektivitetsspørgsmålet
vægtes højere/lavere end erfaringsspørgsmålet? Flere
perspektiver?
• Hvem skal bestemme forskningsspørgsmålet?
Forskerne? Politikerne? Indsatsens designere?
Udførerne? Brugerne? Andre?

Evidenstypologi
– et bud på et alternativ til evidenshierarkiet

Evidens som forskningsoversigter
• Eksempler inden for bibliotekssektoren?
www.akf.dk

Evidensbevægelsens organisationer
Forskellige kvalitetskriterier for forskning
• Udgangspunkt i evidenshierarkiet: fx Cochrane,
Campbell, CRD (Centre for Reviews and
Dissemination)
• Andre udgangspunkter: fx EPPI (the evidence for
policy and practice information and coordination
centre), HEN – Health Evidence Network (under
WHO).

Ny epistemisk arbejdsdeling
og
Grænser for evidenstænkningen

Ny epistemisk arbejdsdeling?
• Kvalitetskontrollen af fagprofessioners indsatser
overgår til nye typer af specialiserede
organisationer og deres eksperter (fx Cochrane,
Campbell, What Works Clearing house).
• Der skydes dermed et nyt led ind mellem
forskningsinstitutionerne og professionerne.
• Et led som har magt til også at påvirke politiske
beslutninger.
• forskningsinstitutioner mister kontrol over
vidensproduktionen og over definitionen af, hvad
der defineres som kvalitet af viden.

Grænser for evidenstænkningen
(fra Grimen, H og LI Terum (red.) evidensbaseret profesjonsutøvelse, 2009)
Det kan være uhensigtsmæssigt at
institutionalisere procedurer for vidensøgning
og videnhåndtering i tilfælde, hvor:
• udøvereffekten er stor,
• der er små effektforskelle mellem forskellige
metoder i indsatsen, samt
• hvor omkostningerne ved informationssøgningen
er uforholdsmæssige store.

Grænser for evidenstænkningen
Forskellige grænser afhængigt af:
• Niveau for institutionalisering af procedurer
for vidensøgning: den enkelte udøver,
professions-/organisationsniveau,
policyniveau
• Fag-/professionsområder – hvor relationelle
er fagområdernes indsatser, udøvernes rolle i
bruger-udøver relationen

Udvalgte henvisninger
Yosef Bhatti, Hanne Foss Hansen og Olaf Rieper (2006) Evidensbevægelsens
udvikling, organisering og arbejdsform. AKF.dk
Olaf Rieper og Hanne Foss Hansen (2007) Metodedebatten om evidens.
AKF.dk
Harald Grimen og Lars Inge Terum (red.) (2009) Evidensbasert
profesjonsutøvelse. Abstrakt Forlag.
Olaf Rieper, Frans L. Leeuw og Tom Ling (2010) The Evidence book –
Concepts, generation, and use of evidence. Transaction Publishers.
Ingemar Bohlin og Morten Sager (2011) Evidensens många ansikten. Arkiv
förlag.

Tak for jeres
opmærksomhed!