08.06.2014 Views

Peter Dahler Larsen 150911.pdf

Peter Dahler Larsen 150911.pdf

Peter Dahler Larsen 150911.pdf

SHOW MORE
SHOW LESS

Create successful ePaper yourself

Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.

Evaluering af forløbsprogrammer<br />

15. Sept 2011<br />

Professor <strong>Peter</strong> <strong>Dahler</strong>-<strong>Larsen</strong>, PhD<br />

Institut for Statskundskab<br />

Syddansk Universitet, Odense


Evalueringens Bermuda-trekant:


Evaluering<br />

• Systematisk, metodisk<br />

• Vurdering af<br />

• Ide, gennemførelse, præstationer<br />

(output) og udfald (outcome) vedr<br />

offentlig indsats som<br />

• Tænkes at spille i rolle i praktiske<br />

anvendelsessituationer


Situationsanalyse


Evaluering kan være mere<br />

eller mindre…<br />

• Designdrevet<br />

• Teoridrevet<br />

• Værdidrevet<br />

• Forståelsesdrevet<br />

• Problemdrevet<br />

• Anvendelsesdrevet


Eksempler på anvendelser<br />

• Vælge mest effektive behandlingsmetode<br />

• Fremme intern udvikling af projekt/initiativ<br />

• Fremme basisorganisationers læring<br />

• Vinde støtte i fht eksterne parter for at fremme<br />

projektets/initiativets overlevelsesmuligheder<br />

• Fremme vidensudvikling og læring i felt<br />

• Sikre rapport til ministeriet


Brugere af evaluering<br />

Ministeriet<br />

Politikere<br />

Afdelinger<br />

Praktiserende<br />

læger<br />

Kommuner<br />

Hospitalsledelse<br />

Personalegrupper<br />

Forløbskoordinatorer<br />

Andre regioner<br />

Design Finans Støt Implem Lær (i, b, e) Modstand


Argumentation og anvendelse:<br />

Kontekster<br />

konflikt<br />

forandringspres


Situationsanalyse


Evaluability Assessment:<br />

• Veldefineret indsats?<br />

• Klare mål?<br />

• Klar programteori?<br />

• Ved man indsatsen er svagt implementeret?<br />

• Data inden for rækkevidde?<br />

• Veldefinerede beslutningstagere klar til at<br />

tage beslutning pga evaluering?


effektevaluering<br />

• Variansbaserede tilgange<br />

• Hierarki af designs, hvor RCT er øverst<br />

• Procesbaserede tilgange


Hvorfor procesbaseret tilgang?<br />

• Variansbaseret analyse evt umulig pga<br />

• Etik, politik eller praktiske forhold<br />

• Ikke standardiseret indsats<br />

• Ikke kontrolgruppe<br />

• For sent<br />

• Betydningen af kontekst<br />

• Indsatsens karakter (kompleksitet, dynamik)<br />

• Kultur og institutioner<br />

• Mening og engagement<br />

• Der er manglende effekt. Hvorfor?<br />

• Implementeringsfejl eller teorifejl?


Troværdighed i procesbaseret<br />

effektanalyse?<br />

• En stor del af vores viden om kausale<br />

forhold er ikke baseret på<br />

eksperimentelle designs<br />

• Vi drager faktisk seriøse konklusioner<br />

pba procesanalyser


Virkningsevaluering<br />

Holder programteorien?<br />

Programteorien = nogle begrundede<br />

forestillinger om, hvorfor denne indsats<br />

skulle have disse resultater for denne<br />

gruppe mennesker i denne situation


Med programteori kan vi…:<br />

• Formulere indsatsen præcist<br />

• Indledende eval ved logisk/kritisk tænkning<br />

• Præcisere virkningsmekanismer<br />

• Styrke tiltro til indsatsen<br />

• Bestemme hvilke dele af indsatsen virker<br />

• Kvalificere outcome-mål<br />

• Præcisere betydning af kontekst<br />

• Skelne teorifejl/implementeringsfejl


Kilder til programteori<br />

• Teori & forskning<br />

• Faglig teori<br />

• Organisationsteori<br />

• …<br />

• Rapporter, evalueringer<br />

• Observationer fra praksis<br />

• Udsagn fra folk ”i marken”<br />

• Interaktive metoder…


Principper i<br />

virkningsevaluering<br />

• Problemet opstår fordi…<br />

• Velbeskrevet indsats<br />

(eks ”blød funktion”?)(eks roller for forløbskoordinator)<br />

• Teori om hver fase (eks: hvad gør ernæringsepikrisen)<br />

• aktør-verbum-ting, ting-verbum-aktør<br />

• Hvad skal til for at indsatsen kan lykkes<br />

• Outcome så logisk koblet som muligt til filosofien i<br />

indsatsen (eks tegn på god koordination)<br />

• Nødvendighed og specificitet i empiriske tegn


Problemerne opstår fordi…<br />

• Der findes uhensigtsmæssige<br />

sygehuskontakter fordi…<br />

• …<br />

• …<br />

• Patientforløb kan være dårlige fordi<br />

• …<br />

• …<br />

• …


Principper i<br />

virkningsevaluering<br />

• Problemet opstår fordi…<br />

• Velbeskrevet indsats<br />

(eks ”blød funktion”?)(eks roller for forløbskoordinator)<br />

• Teori om hver fase (eks: hvad gør ernæringsepikrisen)<br />

• aktør-verbum-ting, ting-verbum-aktør<br />

• Hvad skal til for at indsatsen kan lykkes<br />

• Outcome så logisk koblet som muligt til filosofien i<br />

indsatsen (eks tegn på godt samarbejde)<br />

• Nødvendighed og specificitet i empiriske tegn


Konsekvenser af tegn på<br />

proces<br />

- Nødvendighed<br />

- Specifitet + Specificitet<br />

+ Nødvendighed


Konsekvenser af tegn på<br />

proces<br />

- Specifitet + Specificitet<br />

- Nødvendighed Hvis tegnet<br />

findes: Svække<br />

andre teorier<br />

+ Nødvendighed Hvis tegnet<br />

mangler:<br />

Falsifikation af<br />

teori


Teori om forløbsprogram<br />

• Organisationens brug af forløbsprogram (udvikle, godkende,<br />

implementere, evaluere)<br />

• Teori om forløbsprogram som virkemiddel<br />

• Hvad kan aftaler og planer (arbejdsdel og koordin)<br />

• kontekst<br />

• Den lb mensk og org indsats<br />

• Forløbskoordinator<br />

• Uformel koordinering<br />

• Teori om et givet forløbsprogram<br />

• Type af aftale/plan<br />

• Kontekst<br />

• Lb mensk og org indsats


terminologi<br />

• Samarbejde<br />

• Koordinering<br />

• Plan<br />

• Struktur/rolle<br />

• Værdier/forståelser<br />

• Dynamik<br />

• Arbejdsdeling<br />

• Hierarki<br />

• Planlagt/uplanlagt<br />

• Formelt/uformelt


Teori om forløbsprogram<br />

• Organisationens brug af forløbsprogram (udvikle, godkende,<br />

implementere, evaluere)<br />

• Teori om forløbsprogram som virkemiddel<br />

• Hvad kan aftaler og planer (arbejdsdel og koordin)<br />

• kontekst<br />

• Den lb mensk og org indsats<br />

• Forløbskoordinator<br />

• Uformel koordinering<br />

• Teori om et givet forløbsprogram<br />

• Type af aftale/plan<br />

• Kontekst<br />

• Lb mensk og org indsats


Situationsanalyse


Brugerorienteret evaluering<br />

• Top-down eller bottom-up: Hvem<br />

sætter kriterierne?<br />

• Afgrænsning af brugere<br />

• Forvekslingsargumentet: god faglighed<br />

versus ”overfladisk” behagelighed?<br />

• Inkonsistens<br />

• Uenighed


Brugerorienteret evaluering<br />

iflg BIKVA-modellen


Participatorisk evaluering<br />

• Forskellighed<br />

• Magtdistance<br />

• Dybde<br />

• Tid<br />

• Styrbarhed

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!