Systematisk metodevurdering av organisatoriske modeller - Polis
Systematisk metodevurdering av organisatoriske modeller - Polis
Systematisk metodevurdering av organisatoriske modeller - Polis
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
<strong>Systematisk</strong> <strong>metodevurdering</strong> <strong>av</strong><br />
Kunnskapsesenterets<br />
nye PPT-mal<br />
<strong>organisatoriske</strong> <strong>modeller</strong><br />
Unni Krogstad, seniorforsker, dr. philos<br />
http://www.kunnskapssenteret.no/
SMM + Cochrane + HELTEF<br />
2004
Hvorfor kunnskapssenter?<br />
Behov for å styrke kunnskapsgrunnlaget<br />
for faglige beslutninger i helsetjenesten<br />
og forvaltningen for i større grad å<br />
kunne nå helsepolitiske målsetninger og<br />
møte fremtidige faglige utfordringer
Beslutning
Hvorfor kunnskapsoppsummeringer ?<br />
Ekspertene er uenige<br />
Sprikene i praksis er uakseptable<br />
For mye eller for lite benyttet<br />
Økende press fra kommersielle interesser<br />
Store forventninger til helsevesenet
Begrepsforvirring?<br />
Medisinsk <strong>metodevurdering</strong><br />
Kunnskapsoppsummering<br />
<strong>Systematisk</strong>e oversikter<br />
<strong>Systematisk</strong> oppsummering (systematic review)
<strong>Systematisk</strong> tilnærming til<br />
forskningslitteraturen………
<strong>Systematisk</strong>e oversikter<br />
”summerer” noe <strong>av</strong> litteraturflommen<br />
klargjør hva vi vet og ikke vet<br />
<strong>av</strong>dekker kunnskapshull - vise vei for videre forskning<br />
en syntese <strong>av</strong> data fra flere studier, kan bidra til nok<br />
statistisk styrke til å <strong>av</strong>sløre om et tiltak er effektivt<br />
eller ei, og dermed generere “ny” kunnskap<br />
(Làbbeet al. 1987, Haselkorn et al. 1994, Cochrane Colloboration Handbook, 1996)
Målgrupper<br />
Forvaltningen<br />
Administratorer og ledere i helsetjenesten<br />
Helsepersonell i spesialisthelsetjenesten<br />
Helsepersonell i primærhelsetjenesten<br />
Utdanningsinstitusjoner<br />
Befolkning
Hva kjennetegner en systematisk<br />
litteraturoversikt ?<br />
• Klar problemformulering<br />
• Klare kriterier for<br />
- identifisering <strong>av</strong> litteratur<br />
- sortering (vraking)<br />
- vurdering<br />
- syntese
Prosessen i et prosjekt<br />
Dialog med bestiller<br />
– Hva er egentlig spørsmålet?<br />
– Hvilket design kan spørsmålet besvares ved?<br />
– Finnes det allerede systematiske oppsummeringer på<br />
området?<br />
– Sette seg inn i problemområdet<br />
’Scope søk’ -få oversikt over litteraturtilfanget<br />
Skal vi ha en utredningsgruppe?<br />
– På hvilket trinn skal den inn<br />
Planlegge søkestrategi: substans + søke-ekspertise
Å formulere fokuserte spørsmål (PICO)<br />
Population<br />
Populasjon<br />
Beskrive<br />
hvilke<br />
enheter<br />
som er<br />
relevante<br />
Intervention<br />
Tiltak /<br />
eksposisjon<br />
Hvilke tiltak<br />
skal vurderes<br />
Comparison<br />
Evt. alternativt<br />
tiltak<br />
Hva er relevant<br />
sammenligning<br />
(kontrollgruppe)<br />
Outcome<br />
Utfall<br />
Hvilke<br />
utfall/resultater<br />
er viktige
Systematikken består i:<br />
<strong>Systematisk</strong> oppbygd søkestrategi: alle synonymer for<br />
populasjon + alle synonymer for intervensjon + alle<br />
synonymer for utfall + metodefilter<br />
Søk i relevante databaser (Cochrane, CRD, Medline,<br />
Embase, Cinahl ) hjemmesider, håndsøk ++<br />
Trinnvis lesing <strong>av</strong> to u<strong>av</strong>hengige forskere<br />
Titler/ abstrakt (kan være: 1000 – 10 000)<br />
Antatt relevante artikler bestilles ( kan være: 20 - 200)<br />
Inkluderes pga relevans (kanskje 15 – 50)<br />
+ kvalitet (f eks: 10)
Kategorier <strong>av</strong> kvalitet på forskningen<br />
Høy: Det er usannsynlig at videre forskning vil endre vår<br />
tillit til effektestimatet.<br />
⊕⊕⊕⊕<br />
Moderat: Det er sannsynlig at videre forskning vil<br />
påvirke vår tillit til effektestimatet, og det kan forandre<br />
estimatet.<br />
⊕⊕⊕<br />
L<strong>av</strong>: Det er svært sannsynlig at videre forskning på en<br />
viktig måte vil påvirke vår tillit til effektestimatet, og det<br />
er sannsynlig at det vil forandre estimatet.<br />
Svært l<strong>av</strong>: Ethvert estimat <strong>av</strong> effekt er svært usikkert.<br />
⊕⊕<br />
⊕
Sjekklister for følgende typer studier finnes i håndboka<br />
(som er tilgjengelig på www.kunnskapssenteret.no):<br />
• Avbrutt tidsseriedesign<br />
• Evaluering <strong>av</strong> diagnostiske tester<br />
• Kasus-kontrollstudier<br />
• Kohortstudier<br />
• Kontrollerte før-og etter-studier<br />
• Kvalitative studier<br />
•Pasientserier<br />
• Randomiserte kontrollerte studier<br />
• <strong>Systematisk</strong>e oversikter<br />
• Tverrsnittstudier<br />
• Økonomiske evalueringer
Kvalitetsvurdering <strong>av</strong> studien:<br />
Høy kvalitet<br />
Brukes hvis alle eller nesten alle kriteriene fra sjekklisten er oppfylt. De<br />
svakheter som eventuelt er dokumentert antas ikke å kunne endre<br />
studiens konklusjon.<br />
Middels kvalitet<br />
Brukes hvis noen <strong>av</strong> kriteriene fra sjekklisten ikke er oppfylt eller der<br />
kriteriene ikke er tilfredsstillende beskrevet. Når kriteriene ikke er<br />
oppfylt, eller ikke er tilfredsstillende beskrevet, antas det å være<br />
usannsynlig at svakhetene faktisk kunne ha endret studiens<br />
konklusjon.<br />
L<strong>av</strong> kvalitet<br />
Brukes hvis få eller ingen kriterier fra sjekklisten er oppfylt eller ikke er<br />
tilfredsstillende beskrevet. Svakhetene kan innebære at studiens<br />
konklusjon er feil.
Syntese – hente ut data sammenstille og gradere<br />
Meta-analyse<br />
En vurdering <strong>av</strong> oppsummeringstabellene gjør det mulig å<br />
planlegge en kvantitativ oppsummering ved å tydeliggjøre<br />
mulige sammenlikninger, utfall som kan slås sammen (metaanalyse)<br />
og studiekarakteristika som det bør tas hensyn til når<br />
variasjon i effekt skal undersøkes (heterogenitet).<br />
Kvantitativ syntese forutsetter at man i primærstudiene har<br />
undersøkt samme problemstilling på sammenliknbare utvalg<br />
<strong>av</strong> deltakere og har målt det samme. Nok data må foreligge. Så<br />
må man ta stilling til tre spørsmål:<br />
Hvilke sammenlikninger skal gjøres?<br />
Hvilke utfallsmål skal brukes?<br />
Hvilke effektmål skal brukes?
Palliativ smertebehandling<br />
Nakkeslengskade<br />
Misoprostol<br />
Volum-kvalitet<br />
Inneklima<br />
In-vitro fertilisering<br />
Prosjekter i Kunnskapssenteret<br />
Protonterapi<br />
Funksjonsfordeling akutttjenester<br />
Pasientsikkerhet<br />
Radiofrekvensablasjon<br />
Krisepsykiatri<br />
Isolering i sykehus<br />
Herceptin<br />
Søvnaphne<br />
Selvmordsforebygging<br />
TNF-hemmere<br />
Målstyring i sykehus<br />
Kreftrehabilitering<br />
Depresjon hos flyktninger
Tre eksempler på kunnskapsoppsummeringer<br />
med organisatorisk problemstilling<br />
1. Målstyrings<strong>modeller</strong> i sykehus (2007)<br />
2. Funksjonsfordeling <strong>av</strong> akutt-tjenester (2004)<br />
3. ISO sertifisering i sykehus (2006)
Målstyrings<strong>modeller</strong> i sykehus (2007)<br />
Oppdrag fra Helse Vest RHF, å utføre en<br />
kunnskapsoppsummering som vurderer nytten <strong>av</strong><br />
innføring <strong>av</strong> verktøy som Balansert målstyringskort<br />
(BSC) og European Foundation for Quality Management<br />
Exellence Model (EFQM) i sykehusenes strategiledelse<br />
Presisering:<br />
Gir BSC og EFQM bedre strategier, bedre ledelse eller<br />
bedre kvalitet i sykehus?
Litteraturen ble valgt ut etter følgende kriterier:<br />
Inklusjonskriterier:<br />
Populasjon: Sykehus eller <strong>av</strong>delinger<br />
Intervensjon: Innføring <strong>av</strong> Balanced Scorecard (BSC) eller EFQM<br />
Eksklusjonskriterier:<br />
Andre strategi/ styringsverktøy<br />
Studier som bare rapporterer implementerings prosessen<br />
Resultatmål (outcome):<br />
BSC:<br />
– Pasientbehandling<br />
– Utviklingsmål<br />
– Prosessmål<br />
– Økonomi<br />
EFQM:<br />
– Brukere<br />
– Personalet<br />
– Samfunnet<br />
– Produktivitet og økonomi
Utvelgelsesprosessen i målstyringsrapporten<br />
Cochrane<br />
33<br />
EPOC<br />
1<br />
Medline<br />
408<br />
Embase<br />
267<br />
639 vurderte referanser<br />
(titler og sammendrag)<br />
71 artikler lest i fulltekst<br />
Cinahl<br />
134<br />
5 artikler inkludert som<br />
dokumentasjonsgrunnlag for rapporten<br />
ISI<br />
83<br />
Duplikater<br />
287<br />
60 artikler ekskludert<br />
pga manglende empiri<br />
+ 6 artikler ekskludert<br />
pga manglende<br />
relevans
Kvalitativ oppsummering <strong>av</strong> artiklene<br />
En deskriptiv sammenfatning <strong>av</strong> artiklene etter<br />
valgte kriterier :<br />
– Setting for datainnhenting (periode, land, metode,)<br />
– Felles intervensjoner<br />
– Felles utfallsmål<br />
– Felles resultater – hva peker i samme retning, hva<br />
divergerer,<br />
– Felles svakheter<br />
– Overlappende studiepopulasjon<br />
– Metodesvakhet<br />
Kommentar og konklusjon
Resultater og konklusjon<br />
Litteraturen på området består stort sett <strong>av</strong> teori, utvikling <strong>av</strong> <strong>modeller</strong><br />
og beskrivelser <strong>av</strong> implentering.<br />
Vi fant fem studier med systematisk innhenting <strong>av</strong> informasjon om<br />
resultater etter implementering <strong>av</strong> BSC eller EFQM.<br />
Resultater på lokalt definerte dimensjoner.<br />
Ingen <strong>av</strong> studiene er designet slik at resultatene kan generaliseres.<br />
Området bærer preg <strong>av</strong> å være lite studert.<br />
Betydelige metodiske utfordringer (effekt på ulike nivå og til ulik tid).<br />
Det er behov for forskning med god design så vel som metodeutvikling<br />
på dette området.
Funksjonsfordeling <strong>av</strong> akutt-tjenester (2004)<br />
Helse Vest har bedt om en vurdering <strong>av</strong><br />
dokumentasjon som er knyttet til organisering <strong>av</strong><br />
akutte helsetjenester.<br />
Det aktuelle spørsmålet er om det er fornuftig med<br />
en sammenslåing <strong>av</strong> to eksisterende -og geografisk<br />
nærliggende akuttmottak.
Spørsmål<br />
Er det dokumentert optimale størrelser på<br />
akuttmottak?<br />
Hva er gode pasientforløp i akuttmottak<br />
Bør silingsfunksjonene skje i mottaket eller i en evt.<br />
observasjonsenhet etter – evt. i tilknytning til<br />
mottaket.<br />
Er det hensiktsmessig med funksjonsfordeling<br />
mellom ulike medisinske spesialiteter – eller etter<br />
andre kriterier?
Søkestrategi<br />
Søketermer inkluderte:<br />
Sentralisering / Volum -kvalitet<br />
Prehospitale tjenester<br />
samhandling<br />
silingsfunksjon<br />
tilgengelighet<br />
Pasientflyt<br />
”triage”<br />
”fast track” systemer<br />
Observasjonsenheter<br />
Filter: systematiske oversikter
Avgrensning <strong>av</strong> søk:<br />
Populasjon: Akutt-tjenester i sykehus eller som egne<br />
frittstående enheter inklusive prehospitale tjenester<br />
Intervensjon: Organisatoriske tiltak i akutt-tjenestene:<br />
sammenslåing, triage, observasjonsenheter, spesialiserte<br />
enheter, sentralisering<br />
Utfall<br />
– Pasientrelaterte<br />
– Død<br />
– Pasienterfaringer<br />
– Organisatoriske<br />
– Liggetid<br />
– Reinnleggelser<br />
– Korridorpasienter
Funksjonsfordeling akutt mottak<br />
Søk i CRD, Cochrane, Medline, Embase + kontakt INAHTA<br />
786 treff<br />
178 Sammendrag<br />
vurdert<br />
62 oversiktsartikler<br />
lest i fulltekst<br />
12 relevante artikler inkludert<br />
som dokumentasjonsgrunnlag<br />
for rapporten
Guide i valgprosessen:<br />
Relevante problemstillinger<br />
Pasientflyt, samhandling, observasjonsenhet, spesialisering,<br />
sentralisering, pasientvolum, triage<br />
Ikke relevante problemstillinger:<br />
Prosesser for behandling, uten at dette er relatert til struktur<br />
eller organisering (bemanningsstudier anses som ikke<br />
relevant)<br />
Kompetanseoppbygging<br />
EMS (Emergency medical services) indikatorer for måling <strong>av</strong><br />
ytelse og effektivitet<br />
Psykiatriske akutt-tjenester
Funn: Prehospitale tjenester - tilgjengelighet<br />
Kan bedre tilgjengelighet til primærhelsetjenester<br />
redusere presset på akutt-tjenestene?<br />
Ni studier – hvor<strong>av</strong> åtte viste reduksjon i bruk <strong>av</strong><br />
akutt-tjenester ved økt primærhelsetjenestetilbud.
Pasientflyt<br />
”triage”<br />
Ni studier (RCT, før-etter, tidsserier)<br />
- redusert liggetid<br />
- effekt på diagnostikk og utredning ikke konsistent<br />
”fast track” systemer<br />
Fire studier (RCT, før-etter)<br />
- redusert ventetid for pasienter med mindre<br />
alvorlige tilstander<br />
- utilstrekkelig informasjon om tilfredshet,<br />
helseutfall og kostnader
Observasjonsenheter<br />
1 systematisk oversikt omhandlet pasienter med<br />
brystsmerter:<br />
Tre RCT, 2 kontrollerte studier, 11 kohortstudier de<br />
inkluderte studiene ga ikke grunnlag for konklusjon<br />
om<br />
– kliniske utfall<br />
– Liggetid<br />
– Innleggelse<br />
– Reinnleggelse<br />
– Effektivitet<br />
– livskvalitet / tilfredshet<br />
– kostnader
Konklusjoner<br />
Bedre tilgang til primærhelsetjenester reduserer antall<br />
henvendelser til akuttmottak<br />
Fast track systemer bedrer pasientflyt og reduserer ventetid,<br />
det mangler dokumentasjon på kliniske utfallsmål<br />
Observasjonsposter: ikke konsistente funn mht liggetid,<br />
reinnleggelser. Mangler dokumentasjon om nytte på kliniske<br />
utfallsmål<br />
Problem med overføringsverdi mellom ulike systemer<br />
Problem med generalisering over tid<br />
Skandin<strong>av</strong>iske erfaringer er svakt representert
ISO-sertifisering og akkreditering i sykehus<br />
Oppdrag fra Helse Vest:<br />
Mandat<br />
Gå systematisk igjennom foreliggende<br />
dokumentasjon vedrørende effekt <strong>av</strong> Iso-sertifisering<br />
og akkreditering i sykehus
Oversikt over inklusjonskriterier<br />
Populasjon Intervensjon Utfall Studiedesign<br />
Sykehus ISO-sertifisering og<br />
akkreditering<br />
Resultatmål<br />
Prosessmål<br />
Systemetatiske<br />
oversikter og<br />
primærstudier<br />
med<br />
RCT<br />
CBA<br />
ITS<br />
( RCT=Randomiserte kontrollerte studier, CBA=Kontrollerte før- og<br />
etterstudier, ITS=<strong>av</strong>brutte tidsserier)
Utfallsmål<br />
Resultatmål:<br />
– pasientbehandling (liggedøgn, reoperasjon pga feilbehandling,<br />
pasienttilfredshet, morbiditet og mortalitet)<br />
– Forskning<br />
– Undervisning<br />
– Opplæring <strong>av</strong> pasient / pårørende<br />
Prosessmål:<br />
– Dokumentstyring<br />
– Registreringer<br />
– Avviksstyring<br />
– Korrigerende og forebyggende tiltak<br />
– Intern revisjon
Utvelgelsesprosess<br />
Cochrane<br />
19<br />
CRD<br />
0<br />
Medline<br />
430<br />
Embase<br />
161<br />
672 vurderte referanser<br />
(titler og sammendrag)<br />
30 artikler lest i fulltekst<br />
Cinahl<br />
141<br />
5 artikler inkludert som<br />
dokumentasjonsgrunnlag for rapporten<br />
Duplikater<br />
79<br />
28 artikler ekskludert<br />
pga intervensjon<br />
studiedesign
Resultater og konklusjon<br />
Vi fant få studier som har undersøkt effekten <strong>av</strong> ISO-sertifisering og<br />
akkreditering i sykehus.<br />
Èn studie (før–etter) omtalte relevante utfallsmål, og viste en reduksjon i<br />
30 d mortalitet <strong>av</strong> hjerteoperasjoner i studieperioden (2002 – 2003)<br />
Èn studie (kohortestudie) viste at sykehus som hadde søkt akkreditering<br />
hadde flere systematiske prosedyrer og flere komiteer enn de som ikke<br />
hadde søkt akkreditering<br />
Begge studiene var metodologisk svake
Utfordringer
<strong>Systematisk</strong> kunnskapsoppsummering <strong>av</strong><br />
<strong>organisatoriske</strong> <strong>modeller</strong><br />
’State of the art ’<br />
– eller akkumulert kunnskap
Kan vi overføre evidensbegrepet fra<br />
behandling til organisering?<br />
?
Har medisinsk forskning og helsetjenesteforskning<br />
det samme ’bevis’behov?<br />
Forskningens gjenstandsområde?<br />
Hva er relevant metodekompetanse?<br />
Teoretiske perspektiver?<br />
Synet på kausalitet?<br />
Generaliserbarhet – i tid og rom?
Utfordringer i oppsummeringer <strong>av</strong> <strong>organisatoriske</strong><br />
studier<br />
– Formålet med et ’Evidenshierarki’ er å kunne ta riktig forbehold i<br />
forskningen<br />
– inkludere: best mulige forskningsdesign<br />
– Hva er de beste forskningsdesign i organisatorisk forskning?<br />
– Hvor er risikoen størst for feilkonklusjoner i organisatorisk<br />
forskning<br />
finnes ’varige’ sannheter som gjelder i alle kulturer / organisasjoner?
ROTHLEY,<br />
LEICESTERSHIRE<br />
Population: 7325<br />
Altitude: 852<br />
Founded: 1791<br />
TOTAL: 9968
Change language