Peter Dahler Larsen 150911.pdf
Peter Dahler Larsen 150911.pdf
Peter Dahler Larsen 150911.pdf
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
Evaluering af forløbsprogrammer<br />
15. Sept 2011<br />
Professor <strong>Peter</strong> <strong>Dahler</strong>-<strong>Larsen</strong>, PhD<br />
Institut for Statskundskab<br />
Syddansk Universitet, Odense
Evalueringens Bermuda-trekant:
Evaluering<br />
• Systematisk, metodisk<br />
• Vurdering af<br />
• Ide, gennemførelse, præstationer<br />
(output) og udfald (outcome) vedr<br />
offentlig indsats som<br />
• Tænkes at spille i rolle i praktiske<br />
anvendelsessituationer
Situationsanalyse
Evaluering kan være mere<br />
eller mindre…<br />
• Designdrevet<br />
• Teoridrevet<br />
• Værdidrevet<br />
• Forståelsesdrevet<br />
• Problemdrevet<br />
• Anvendelsesdrevet
Eksempler på anvendelser<br />
• Vælge mest effektive behandlingsmetode<br />
• Fremme intern udvikling af projekt/initiativ<br />
• Fremme basisorganisationers læring<br />
• Vinde støtte i fht eksterne parter for at fremme<br />
projektets/initiativets overlevelsesmuligheder<br />
• Fremme vidensudvikling og læring i felt<br />
• Sikre rapport til ministeriet
Brugere af evaluering<br />
Ministeriet<br />
Politikere<br />
Afdelinger<br />
Praktiserende<br />
læger<br />
Kommuner<br />
Hospitalsledelse<br />
Personalegrupper<br />
Forløbskoordinatorer<br />
Andre regioner<br />
Design Finans Støt Implem Lær (i, b, e) Modstand
Argumentation og anvendelse:<br />
Kontekster<br />
konflikt<br />
forandringspres
Situationsanalyse
Evaluability Assessment:<br />
• Veldefineret indsats?<br />
• Klare mål?<br />
• Klar programteori?<br />
• Ved man indsatsen er svagt implementeret?<br />
• Data inden for rækkevidde?<br />
• Veldefinerede beslutningstagere klar til at<br />
tage beslutning pga evaluering?
effektevaluering<br />
• Variansbaserede tilgange<br />
• Hierarki af designs, hvor RCT er øverst<br />
• Procesbaserede tilgange
Hvorfor procesbaseret tilgang?<br />
• Variansbaseret analyse evt umulig pga<br />
• Etik, politik eller praktiske forhold<br />
• Ikke standardiseret indsats<br />
• Ikke kontrolgruppe<br />
• For sent<br />
• Betydningen af kontekst<br />
• Indsatsens karakter (kompleksitet, dynamik)<br />
• Kultur og institutioner<br />
• Mening og engagement<br />
• Der er manglende effekt. Hvorfor?<br />
• Implementeringsfejl eller teorifejl?
Troværdighed i procesbaseret<br />
effektanalyse?<br />
• En stor del af vores viden om kausale<br />
forhold er ikke baseret på<br />
eksperimentelle designs<br />
• Vi drager faktisk seriøse konklusioner<br />
pba procesanalyser
Virkningsevaluering<br />
Holder programteorien?<br />
Programteorien = nogle begrundede<br />
forestillinger om, hvorfor denne indsats<br />
skulle have disse resultater for denne<br />
gruppe mennesker i denne situation
Med programteori kan vi…:<br />
• Formulere indsatsen præcist<br />
• Indledende eval ved logisk/kritisk tænkning<br />
• Præcisere virkningsmekanismer<br />
• Styrke tiltro til indsatsen<br />
• Bestemme hvilke dele af indsatsen virker<br />
• Kvalificere outcome-mål<br />
• Præcisere betydning af kontekst<br />
• Skelne teorifejl/implementeringsfejl
Kilder til programteori<br />
• Teori & forskning<br />
• Faglig teori<br />
• Organisationsteori<br />
• …<br />
• Rapporter, evalueringer<br />
• Observationer fra praksis<br />
• Udsagn fra folk ”i marken”<br />
• Interaktive metoder…
Principper i<br />
virkningsevaluering<br />
• Problemet opstår fordi…<br />
• Velbeskrevet indsats<br />
(eks ”blød funktion”?)(eks roller for forløbskoordinator)<br />
• Teori om hver fase (eks: hvad gør ernæringsepikrisen)<br />
• aktør-verbum-ting, ting-verbum-aktør<br />
• Hvad skal til for at indsatsen kan lykkes<br />
• Outcome så logisk koblet som muligt til filosofien i<br />
indsatsen (eks tegn på god koordination)<br />
• Nødvendighed og specificitet i empiriske tegn
Problemerne opstår fordi…<br />
• Der findes uhensigtsmæssige<br />
sygehuskontakter fordi…<br />
• …<br />
• …<br />
• Patientforløb kan være dårlige fordi<br />
• …<br />
• …<br />
• …
Principper i<br />
virkningsevaluering<br />
• Problemet opstår fordi…<br />
• Velbeskrevet indsats<br />
(eks ”blød funktion”?)(eks roller for forløbskoordinator)<br />
• Teori om hver fase (eks: hvad gør ernæringsepikrisen)<br />
• aktør-verbum-ting, ting-verbum-aktør<br />
• Hvad skal til for at indsatsen kan lykkes<br />
• Outcome så logisk koblet som muligt til filosofien i<br />
indsatsen (eks tegn på godt samarbejde)<br />
• Nødvendighed og specificitet i empiriske tegn
Konsekvenser af tegn på<br />
proces<br />
- Nødvendighed<br />
- Specifitet + Specificitet<br />
+ Nødvendighed
Konsekvenser af tegn på<br />
proces<br />
- Specifitet + Specificitet<br />
- Nødvendighed Hvis tegnet<br />
findes: Svække<br />
andre teorier<br />
+ Nødvendighed Hvis tegnet<br />
mangler:<br />
Falsifikation af<br />
teori
Teori om forløbsprogram<br />
• Organisationens brug af forløbsprogram (udvikle, godkende,<br />
implementere, evaluere)<br />
• Teori om forløbsprogram som virkemiddel<br />
• Hvad kan aftaler og planer (arbejdsdel og koordin)<br />
• kontekst<br />
• Den lb mensk og org indsats<br />
• Forløbskoordinator<br />
• Uformel koordinering<br />
• Teori om et givet forløbsprogram<br />
• Type af aftale/plan<br />
• Kontekst<br />
• Lb mensk og org indsats
terminologi<br />
• Samarbejde<br />
• Koordinering<br />
• Plan<br />
• Struktur/rolle<br />
• Værdier/forståelser<br />
• Dynamik<br />
• Arbejdsdeling<br />
• Hierarki<br />
• Planlagt/uplanlagt<br />
• Formelt/uformelt
Teori om forløbsprogram<br />
• Organisationens brug af forløbsprogram (udvikle, godkende,<br />
implementere, evaluere)<br />
• Teori om forløbsprogram som virkemiddel<br />
• Hvad kan aftaler og planer (arbejdsdel og koordin)<br />
• kontekst<br />
• Den lb mensk og org indsats<br />
• Forløbskoordinator<br />
• Uformel koordinering<br />
• Teori om et givet forløbsprogram<br />
• Type af aftale/plan<br />
• Kontekst<br />
• Lb mensk og org indsats
Situationsanalyse
Brugerorienteret evaluering<br />
• Top-down eller bottom-up: Hvem<br />
sætter kriterierne?<br />
• Afgrænsning af brugere<br />
• Forvekslingsargumentet: god faglighed<br />
versus ”overfladisk” behagelighed?<br />
• Inkonsistens<br />
• Uenighed
Brugerorienteret evaluering<br />
iflg BIKVA-modellen
Participatorisk evaluering<br />
• Forskellighed<br />
• Magtdistance<br />
• Dybde<br />
• Tid<br />
• Styrbarhed