EVALUERING AF PROJEKTER DER HAR ... - Oxford Research

oxfordresearch.dk

EVALUERING AF PROJEKTER DER HAR ... - Oxford Research

EVALUERING AF PROJEKTER DER HAR MODTAGET

STØTTE FRA FOREBYGGELSESFONDEN

- Første delevaluering af Forebyggelsesfondens projekter

Forfatter: VAC Sidst gemt: 22-12-2011 09:38:00 Sidst udskrevet: 22-12-2011 09:38:00

Oxford Research A/S

Amagertorv 19, 3.

1160 København K

Tlf.: +45 33 69 13 69

Fax: +45 33 69 13 33

office@oxfordresearch.dk

www.oxfordresearch.dk

CVR nr. 20 12 40 91

Reg.nr.: A/S 237.171

Valued Acer Customer

Direkte:


Evaluering af projekter der har modtaget

støtte fra forebyggelsesfonden

Første delevaluering af Forebyggelsesfondens projekter

Udarbejdet for Forebyggelsesfonden - december 2011

Rapporten er udarbejdet af:

Oxford Research A/S

Direktør Helle Ourø Nielsen

Chefanalytiker Sandy Brink

Analytiker Jakob Bom

Analytiker Dorte Stenbæk Hansen

Researcher Mikkel Schwab

Researcher Maj Baltzarsen

Kubix ApS

Direktør Bruno Clematide

Konsulent Ph.d. Pernille Bottrup

RUC (Center for Arbejdsmiljø og Arbejdsliv)

Professor Helge Hvid

Ph.d. Lektor Henrik Lambrecht Lund

SFI (forskningsafdeling for Beskæftigelse & Integration)

Seniorforsker Ph.d. Helle Holt

Seniorforsker Ph.d. Jan Høgelund

Arbejdsmedicinsk klinik ved Regionshospitalet Herning

Seniorforsker Ph.d. Merete Labriola

Henvendelse om rapporten kan ske til:

Direktør Helle Ourø Nielsen, Oxford Research A/S

Rapporten kan hentes på Forebyggelsesfondens hjemmeside:

www.forebyggelsesfonden.dk

2


Forord

Dette er første evalueringsrapport om Forebyggelsesfondens resultater. Evalueringsopgaven

varetages af et konsortium bestående af Kubix, Center for Arbejdsmiljø og Arbejdsliv

på RUC, SFI, Statens arbeidsmiljøinstitutt i Norge, Arbejdsmedicinsk klinik i Herning og

Oxford Research. Konsortiet blev valgt til opgaven gennem et EU-udbud i begyndelsen af

2011. Den første evalueringsrapport omfatter 114 projekter, fortrinsvis fra 2007 og 2008.

Forebyggelsesfonden blev oprettet i 2007 med det formål at yde støtte til indsatser på

danske virksomheder, der skal reducere omfanget af nedslidning. Det vil sige til:

• Projekter, der kan forebygge nedslidning gennem arbejdsmiljøforbedringer

• Projekter, der kan bidrage til, at personer der er nedslidte og sygemeldte kan hjælpes

hurtigere tilbage til arbejde

• Projekter, der kan forebygge nedslidning gennem sundhedsfremme.

Fondens fokus er de virksomhedsnære indsatser – altså en slags bottom-up model, hvor

virksomhederne selv definerer konkrete forslag til projekter under de ovennævnte formål.

Det har betydet en stor mængde nytænkende idéer, der har til formål at forebygge nedslidning

og hjælpe nedslidte borgere med at bevare tilknytningen til arbejdsmarkedet.

Bestyrelsen ønsker at prioritere og målrette fondens midler der, hvor de gør mest gavn.

Ønsket om at kunne dokumentere resultaterne af de projekter, fonden giver støtte til, har

betydet, at fondens bestyrelse fra fondens start har stillet krav om, at projekterne evalueres

og afrapporteres i evalueringsrapporter.

Et centralt budskab i nærværende rapport er, at mange projekter ikke formår at måle,

om deres projekt rent faktisk har haft en effekt. Det er således vanskeligt pt. at sige noget

meget håndfast om, hvilke effekter projekterne opnår. Allerede inden rapporten forelå

fra ekstern evaluator, har bestyrelsen foretaget egne resultatopsamlinger, som også

har vist, at det er vanskeligt for projektejerne at måle på deres indsatser. Bestyrelsen har

fulgt op på dette ved bl.a. at:

• Arbejde med at sikre mere konkrete og målbare succeskriterier for de projekter, der

opnår støtte.

• Udarbejde en mere systematisk slutrapport, som projektejerne skal udarbejde ved

afslutningen af deres projekt.

• Udarbejde en uddybet evalueringsvejledning til brug for overvejelser om evalueringsmetoder

i forbindelse med udformningen af projektansøgningen.

Generelt er det bestyrelsens opfattelse, at mange projektejere opfatter, at alene det at

gennemføre en projektproces i sig selv er et resultat, selvom der ikke nødvendigvis kan

måles en effekt. Et stykke ad vejen kan bestyrelsen tilslutte sig dette, idet fondens midler

hermed bidrager til en konkret udviklingsproces på en arbejdsplads, som måske først

viser resultater længe efter, at projektet er afsluttet.

Det er imidlertid helt afgørende for bestyrelsen, at fonden gennem de støttede projekter

kan vise, hvad der virker, og hvorfor noget ikke virker. Derfor er bestyrelsen meget optaget

af at anvende anbefalingerne fra evalueringsrapporten aktivt. F.eks. om man kan

opstille standardiserede indikatorer, som kan anvendes ensartet på tværs af projekter og

således bidrage til, at det i højere grad bliver muligt at opgøre og sammenligne målbare

effekter i de projekter, der støttes fremadrettet.

3


Samtidig ligger der meget brugbar information i de projekter, der er støttet hidtil. Som

nævnt har samtlige projekter resulteret i evalueringsrapporter med beskrivelser af de

forløb, de har gennemgået, samt de resultater de har opnået. På Forebyggelsesfondens

hjemmeside er det muligt at søge i såvel igangværende som afsluttede projekter. Det

videnskabelige niveau for indholdet i rapporterne er meget varierende, men de mange

konkrete historier om projekterne, deres indhold, forløb og resultater er en værdifuld

pulje af viden, som løbende vil blive analyseret yderligere, og som kan tjene som inspiration

til især virksomheder, der går med overvejelser om at udtænke et projekt om forebyggelse

og reduktion af nedslidning.

God læselyst

Johannes Due

Formand

4


Indholdsfortegnelse

Forord ............................................................................................................. 3

Kapitel 1. Resume ........................................................................................... 9

Mangelfulde projektevalueringer – en udfordring for nærværende

evaluering ................................................................................... 9

Sammenhænge mellem organisering, indsatstyper, implementering og

videnspredning .......................................................................... 10

1.2 Anbefalinger på flere niveauer ................................................................... 12

Projektnære vejledninger ....................................................................... 12

Overordnede opmærksomhedspunkter.................................................... 13

Forebyggelsesfondens rådgivende funktion ............................................. 14

Øget strategisk fokus i Forebyggelsesfonden ........................................... 14

Kapitel 2. Baggrund ...................................................................................... 15

2.1.1 Forebyggelsesfondens formål ...................................................... 15

2.1.2 Evalueringens afsæt og metode .................................................. 17

2.1.3 Virkningsevaluering .................................................................... 18

2.2 Centrale evalueringsbegreber ................................................................. 19

2.3 Metode ................................................................................................. 20

2.3.1 Analyseværktøj .......................................................................... 21

2.3.2 Effektvariable og målemetoder .................................................... 21

2.3.3 Kvantitativ analyse ..................................................................... 23

2.3.4 Kvalitative analyser .................................................................... 24

2.3.5 Evalueringsspørgsmål og -hypoteser ............................................ 24

2.4 Rapportens opbygning ........................................................................... 24

Kapitel 3. Projektprofiler inden for hovedformål ......................................... 27

3.1 Projekter fordelt på hovedformål ............................................................ 27

3.2 Projekternes omfang .............................................................................. 28

3.3 Kendetegn ved ejerforhold på tværs af hovedformål ................................ 31

3.4 Projekternes indsatser, metoder og succeskriterier .................................. 33

Kapitel 4. Evaluering af HF 1a....................................................................... 37

4.1 Formålet med HF 1a .............................................................................. 37

4.2 Projekternes kontekst ............................................................................ 37

5


6

4.3 Projekternes indsats .............................................................................. 44

4.4 Opsummering HF 1a ............................................................................. 51

Kapitel 5. Evaluering af HF 1b ...................................................................... 53

5.1 Formålet med HF 1b ............................................................................. 53

5.2 Projekternes kontekst ............................................................................ 53

5.3 Projekternes indsats .............................................................................. 56

5.4 Opsummering HF 1b ............................................................................. 59

Kapitel 6. Evaluering af HF 2 ........................................................................ 61

6.1 Formålet med HF 2 ............................................................................... 61

6.2 Projekternes kontekst ............................................................................ 61

6.3 Projekternes indsats .............................................................................. 64

6.4 Opsummering HF 2 ............................................................................... 66

Kapitel 7. Evaluering af HF 3 ........................................................................ 67

7.1 Formålet med HF 3 ............................................................................... 67

7.2 Projekternes kontekst ............................................................................ 67

7.3 Projekternes indsats .............................................................................. 70

7.4 Opsummering HF 3 ............................................................................... 74

Kapitel 8. Analyse på tværs af hovedformål ................................................ 75

8.1 Kontekstfaktorer ................................................................................... 75

8.1.1 Organisering af beslutningskompetence ...................................... 75

8.1.2 Inddragelse af eksterne konsulenter ........................................... 79

8.1.3 Offentlig og privat projektejerskab .............................................. 86

8.1.4 Projekternes omfang .................................................................. 87

8.2 Indsatstyper ......................................................................................... 88

8.3 Implementering og spredning ................................................................ 91

8.3.1 Typer af output ......................................................................... 92

8.3.2 Typer af spredning .................................................................... 92

8.4 Opsummering på analysen på tværs af hovedformål ............................... 95

Kapitel 9. Konklusioner ................................................................................ 97

Kapitel 10. Anbefalinger ............................................................................ 101

10.1 Projektnære vejledninger ..................................................................... 101

10.2 Overordnede opmærksomhedspunkter .................................................. 101

10.2.1 Forebyggelsesfondens rådgivende funktion ................................ 102

10.3 Øget strategisk fokus i Forebyggelsesfonden ......................................... 104

10.3.1 Programteorier som metode ...................................................... 104


10.3.2 Effektmål og succeskriterier ...................................................... 107

10.4 Opsummering ...................................................................................... 108

Bilag 1: Evalueringens anvendte begreber .................................................111

Bilag 2: Undersøgelsesspørgsmål og hypoteser .........................................115

Undersøgelsesspørgsmål .............................................................................. 115

Hypoteser .................................................................................................... 116

Evalueringsvariable (herunder succeskriterier) ....................................... 116

Institutionelle variable .......................................................................... 116

Indsatsvariable .................................................................................... 117

Procesvariable ..................................................................................... 117

Hovedformålsspecifikke variable .................................................................... 118

HF 1a og HF 1b ................................................................................... 118

HF 2…… .............................................................................................. 118

HF 3…… .............................................................................................. 118

7


Kapitel 1. Resume

Nærværende evaluering er første del af en treleddet evaluering af Forebyggelsesfondens

støttede projekter. Formålet med den samlede evaluering er at evaluere de støttede projekters

effekt og proces. Evalueringen skal ligeledes aktivt bidrage til at udvikle Forebyggelsesfondens

arbejde i forhold til opstilling af krav ved tildeling af midler samt angivelse

af retningslinjer for projekternes egne evalueringer. Særligt sidstnævnte er i fokus i denne

første delevaluering, der ligeledes afdækker, hvordan Forebyggelsesfonden kan støtte

projekterne i at gennemføre valide og meningsfulde evalueringer.

Evalueringens første del omfatter 114 afsluttede projekter 1 . Heraf er 62 projekter afsluttet

inden for hovedformål 1a, 13 inden for hovedformål 1b, 11 inden for hovedformål 2

og 28 inden for hovedformål 3.

Den samlede evaluering løber til 2015 og udføres i et konsortium bestående af Kubix,

Center for Arbejdsmiljø og Arbejdsliv på RUC, SFI, Statens arbeidsmiljøinstitutt i Norge,

Arbejdsmedicinsk klinik i Herning og Oxford Research.

Mangelfulde projektevalueringer – en udfordring for nærværende

evaluering

Evaluator har tidligt i evalueringsprocessen desværre måttet konstatere, at en tværgående

evaluering af de 114 forskellige projekter blev udfordret af manglende anvendelse af

ensrettede retningslinjer for effektmåling og evaluering i de respektive projektevalueringer.

Projektevalueringerne er en essentiel kilde i denne evaluering, og de er så differentierede

i indhold og kvalitet, at det ikke er muligt for evaluator at vurdere og evaluere

projekternes effekt – hverken opdelt på hovedformål eller samlet. End ikke på ofte anvendte

effektmål, som fx nedbringelse af sygefravær, har der i projektevalueringerne

tilnærmelsesvis været anvendt ens opgørelsesmetoder, som har muliggjort en tværgående

effektanalyse. Flere projekter har eksempelvis mod forventning slet ikke anvendt effektvariable.

Det er evaluators vurdering, at knap 1/5 af de gennemførte projekter har projektevalueringer

af høj kvalitet. Det er evaluators vurdering, at denne lave andel af evalueringer af

høj kvalitet beror på henholdsvis forkert anvendelse af evalueringsmetoder og uhensigtsmæssige

metodevalg.

Ydermere vurderer evaluator, at der er en sammenhæng mellem evalueringernes kvalitet

og hovedformål. Eksempelvis vurderer evaluator, at ingen projektevalueringer under HF 2

vurderes at have en ”dårlig kvalitet”, hvilket kan have følgende forklaringsfaktorer: En høj

grad af anvendelse af eksterne evaluatorer i evalueringerne, at Forebyggelsesfonden

under dette hovedformål stiller større krav til evalueringer, og at projekterne er større

end under de øvrige hovedformål og derfor afsætter ressourcer til at gennemføre grundigere

og mere veldokumenterede evalueringer.

Omvendt konkluderes det, at projektevalueringer under HF 3 har en høj andel af evaluerede

projekter, der af evaluator vurderes at have en ”dårlig kvalitet”, hvilket kan skyldes

1 Projekter som er afsluttet inden 1. maj 2011

9


det individorienterede fokus, som opstår, når der sættes fokus på sundhed og KRAMfaktorer

2 . Det kan være svært at få involveret målgruppen, fordi det er prekært og grænseoverskridende

for både deltagere og evaluator at involvere sig i evalueringen, når projekterne

i høj grad drejer sig om personlige sejre og livsstilsændringer i forhold til fx motion

og rygning.

HF 1b-projekter har den højeste andel af evaluerede projekter, som af evaluator er vurderet

som værende af ”dårlig kvalitet”. Teknologiudviklende projekter vil oftere have et

mere konkret og håndgribeligt resultat i form af, om teknologien virker eller ikke virker,

hvilket kan mindske motivationen til sideløbende at foretage en anden form for evaluering.

Evaluator vurderer tillige, at der generelt i projektevalueringerne er for lidt fokus på dokumentation

og på de enkelte projektevalueringers bidrag til spredning af viden og resultater.

Ovenstående problemstillinger affødte, at evaluator tidligt i evalueringsforløbet foreslog

Forebyggelsesfonden at udarbejde en særskilt dybdegående tværgående analyse med

fokus på succeskriterier. Dette blev godkendt af Forebyggelsesfonden, og den tværgående

analyse vil foreligge ultimo december 2011.

Da indeværende evaluering ikke kan indeholde en valid analyse af klassiske arbejdsmiljø

effektvariable på output, outcome og impact, har evaluator valgt at benytte indikatorerne

implementering og spredning som effektmål.

Fælles forståelsesramme og begrebsafklaring

På baggrund af ovenstående konkluderes det i evalueringen, at der er behov for, at Forebyggelsesfonden

udarbejder en mere præcis overordnet og fælles forståelsesramme for

projekterne og via en begrebsafklaring nærmere definerer, hvad og hvordan projekterne

kan dokumentere effekt af deres forskellige indsatser. Dette er centralt i forhold til evaluators

fremtidige muligheder for at kunne evaluere effekter på tværs af projekterne.

Sammenhænge mellem organisering, indsatstyper, implementering

og videnspredning

Trods udfordringerne med at evaluere på tværgående effektmål viser evalueringen interessante

sammenhænge mellem fx projekternes organisering og bestemte indsatstyper,

som vurderes at have betydning for projekternes efterfølgende implementering samt

videnspredning af opnåede resultater og erfaringer.

I evalueringens tværgående analyse har evaluator fundet flere interessante sammenhænge

eller tendenser og har på den baggrund opstillet en række typologier, som i de

kommende evalueringer kan anvendes til at evaluere projekterne på anden vis end ved

hovedformål:

• Organisering af beslutningskompetence

• Typer af ekstern konsulentstøtte

• Eksterne evaluatorer

• Ejerskab

• Projekternes omfang

• Indsatstyper

• Output

2 Kost, Rygning, Alkohol og Motion.

10


• Spredning.

Under organisering af beslutningskompetence opstilles der på baggrund af analyser

to hovedtypologier: Snæver projektledelse og styregruppe. Analysen viser tydeligt, at der

er forskel på et styregruppestyret projekt og et ledelsesstyret projekt. Langt hovedparten

af alle projekter anvender styregrupper som det organ, hvori beslutningskompetencen

lægges, og det kan konkluderes, at involvering af medarbejderrepræsentanter i styregrupper

har en positiv betydning på flere områder. Dels peger analyserne på, at medarbejderrepræsentation

i styregrupper øger graden af implementering, dels resulterer i

flere positive sideeffekter, som ikke var forventet ved projektstart.

Anvendelse af eksterne konsulenter er udbredt blandt projekterne. Kun 16 projekter

(14 %) gør ikke brug af eksterne konsulenter. Anvendelse af eksterne konsulenter dækker

over mange forskellige funktioner, som evaluator har kategoriseret under følgende

hovedkategorier: Processtøtte, undervisning, arbejdsmiljøfaglig bistand, teknisk bistand,

sundhedsfaglig bistand og formidling. Hovedparten af projekterne anvender en kombination

af forskellige typer af konsulentstøtte. De mere generelle typer af konsulentstøtte er

mest udbredt. Processtøtte er den mest anvendte konsulentstøtte, og denne har en klar

sammenhæng med empowerment som løsningsforståelse, derefter følger undervisning.

Dette peger på, at rigtig mange af projekterne vurderer, at de har behov for hjælp til at

gennemføre projektets aktiviteter og holde fokus i projektet.

Det konkluderes tillige, at anvendelsen af de forskellige typer af konsulentstøtte har en

sammenhæng til de specifikke hovedformålsområder. Arbejdsmiljøfaglig bistand er mest

udbredt i HF 1a-projekter, teknisk bistand er mest udbredt i HF 1b-projekter, mens sundhedsfaglig

bistand er mest udbredt inden for HF 3-projekter.

Derudover viser evalueringen, at processtøtte bidrager til øget spredning for HF 1aprojekter,

mens dette ikke viser sig for projekter under de andre hovedformål. Når der

ses på alle projekter, viser det sig, at brugen af eksterne konsulenter til processtøtte

generelt skaber både en højere grad af implementering og spredning.

I forhold til projektevalueringer skelnes der i evalueringen mellem tre typer af evalueringer:

Intern evaluering, intern/ekstern evaluering og ekstern evaluering. Inddragelse af

eksterne evaluatorer i projekterne vurderes at have en positiv indvirkning på evalueringens

kvalitet, men særskilt evalueringer, der er udarbejdet i et internt/eksternt samspil,

vurderes at højne evalueringens kvalitet. Dette skal forstås som, at kvaliteten af

projektevalueringerne øges, når de foretages i et samarbejde mellem projektinterne

medarbejdere og eksterne konsulenter. Evaluator vurderer, at dette skyldes synergien

mellem et indgående internt kendskab til virksomheden, fagområdet m.v. og evalueringsfaglig

ekspertise, der med et uafhængigt øje kan vurdere projektets resultater.

Det kan ikke i evalueringen vurderes, om anvendelsen af eksterne evaluatorer har en

positiv indvirkning på, om projektet og den viden, der er udviklet og opbygget, spredes.

Den foreløbige konklusion er, at brugen af eksterne evaluatorer ikke spiller en rolle i denne

sammenhæng. Ud fra datamaterialet kan det dog ikke fastsættes, om de eksterne

evaluatorer uformelt og personligt spreder og anvender den opnåede viden fra projekterne.

Det vil kræve en dybere undersøgelse med kontakt til de eksterne evaluatorer på

projekterne. Imidlertid viser evalueringen, at inddragelsen af eksterne evaluatorer bidrager

til at styrke implementeringen.

I forhold til ejerskab konkluderes det, at evalueringer fra projekter i private virksomheder

har en højere andel af evalueringer, som ifølge evaluators vurdering er af ”dårlig”

kvalitet, end evalueringer gennemført i projekter i offentlige virksomheder. Dette kan

skyldes flere forhold. For det første er der formentlig en større erfaring med evaluering af

projekter og dokumentation i de fleste offentlige virksomheder. Det gælder dog ikke de

11


mindre offentlige arbejdspladser. Men fra de gennemførte projekter er der eksempler på,

at mindre offentlige institutioner, fx et plejehjem, hvor der gennemføres et projekt, søger

støtte i kommunens centrale forvaltning, hvor kompetencerne findes. Evalueringen har

tillige vist, at ejerskab ikke har betydning for spredning og implementering.

Evalueringen viser, at projekternes omfang (forstået som både varighed og økonomi)

spiller en rolle i forhold til graden af implementering. Eksempelvis gælder det for evalueringer

med en varighed over to år, at implementeringsgraden er mindre end for projekter,

der har en varighed under to år. Derudover viser evalueringen, at medfinansiering

har en betydning for graden af implementering. Andelen af projekter, der ikke implementeres,

falder væsentligt, når medfinansieringen overstiger 249.999 kr. I forhold til spredningen

spiller projekternes omfang imidlertid ikke nogen rolle.

I forhold til indsatser anvender projekterne mange forskellige typer af indsatser, og de

kombineres typisk. De typer af indsatser, som anvendes i projekterne, har evaluator kategoriseret

under følgende hovedkategorier: Individuelle tilbud, arbejdets organisering,

netværk/samarbejde, ambassadører, kompetenceudvikling, rammebetingelser/-vilkår og

informationsaktiviteter. Hovedparten af projekterne har to eller tre indsatstyper, og hele

23 projekter har fem eller flere indsatser. Det betyder, at der i hvert enkelt projekt opstår

systemer af indsatser, hvor effekt opstår i samspil mellem fx et kompetenceudviklingsforløb,

nye arbejdsredskaber og et dialogforløb blandt målgruppen. Dette gør det yderst

komplekst at undersøge overordnede sammenhænge mellem indsats og effekt. Der er

dog klare tendenser til, at kompetenceudvikling og fokus på arbejdets organisering er

indsatstyper, der øger implementeringen, mens brugen af samarbejde/netværk giver

mere spredning.

Evalueringen har identificeret ni typologier af output, som viser de umiddelbare resultater

og ændringer, som er blevet affødt af projekternes indsatser. Flest projekter har resulteret

i ændringer i arbejdsrutiner (47 projekter), og ligeledes har mange projekter ført

til ændringer i samarbejdsformer (38 projekter).

I forhold til impact er der opstillet to typer af spredning: internt i virksomheden (lokal

impact) og i sektoren/branchen/m.v. (bred impact). Analysen viser, at den største spredning

sker internt i virksomhederne (61 %), mens den bredere impact foregår i 49 % af

projekterne.

1.2 Anbefalinger på flere niveauer

Evalueringens anbefalinger foretages på flere niveauer, idet nogle fund leder til håndfaste

konklusioner, mens andre fund tyder på sammenhænge, der kan danne grundlag for

egentlig vejledning i forhold til projekterne fx om organisering af beslutningskompetence

og projektledelsen. Andre fund giver alene grund til en skærpet opmærksomhed eller

nyvunden interesse for særlige aspekter fx i forhold til mange projekters behov for ekstern

processtøtte.

Evaluator finder, at der med denne hierarkisering af anbefalinger gives et nuanceret og

holdbart input til Forebyggelsesfondens og projekternes fremtidige arbejde.

Projektnære vejledninger

På baggrund af evalueringens fund kan der gives en række vejledninger til projekternes

organisering.

12


Det anbefales, at Forebyggelsesfonden lægger vægt på, at projekter placerer beslutningskompetencen

i styregruppelignende konstellationer med medarbejderinddragelse,

medmindre de har gode argumenter for at organisere beslutningskompetencen anderledes.

Evaluator finder det hensigtsmæssigt, at projekterne i forhold til valg og sammensætning

af indsatstyper er opmærksomme på, at indsatstyper, som retter sig mod arbejdets

organisering og kompetenceudvikling, tyder på at være gavnlige for den efterfølgende

implementering. Dette forbinder evaluator med disse indsatstypers iboende implementering

i henholdsvis personer og processer.

Evaluator vurderer tillige, at sundhedsfremmeprojekter bør vejledes til at arbejde med

ambassadører, da disse er fundet særligt væsentlige for denne type projekter.

På samme vis finder evaluator, at projekterne med fordel kan vejledes til at anvende

netværk og samarbejde som indsats, da denne indsats af evaluator vurderes til at have

en iboende positiv betydning for den eksterne spredning. Det samme er gældende for

informationsaktiviteter som indsats, som er fundet til at have en positiv betydning for

opnåelse af intern spredning.

Overordnede opmærksomhedspunkter

Det er evaluators vurdering, at der udover ovenstående vejledninger er forhold, som bør

være særskilte opmærksomhedspunkter for Forebyggelsesfonden.

For det første finder evaluator det interessant og relevant, at der tegner sig en sammenhæng

mellem implementering og størrelsen på projekternes medfinansiering. Dette

kan give anledning til overvejelser omkring medfinansieringskrav. Med evaluators øjne er

det ikke overraskende, at jo mere den konkrete virksomhed selv har på spil i forhold til

økonomi, desto større er fokus på implementering af projektet. Evaluator finder, at økonomiske

incitamenter bør være et opmærksomhedspunkt. Overvejelserne kan tage flere

retninger, men et generelt fokus på Forebyggelsesfondens støtteprocent (bevillingens

andel af projektsummen) i de konkrete projekter kan være en farbar vej til at optimere

udbyttet af de tildelte midler.

Et andet opmærksomhedspunkt er projekternes udtalte behov for ekstern konsulentbistand

i projekterne. Dette udledes dels af den konkrete anvendelse af konsulentbistand,

dels af mange projektlederes italesættelse af manglende erfaring med projekter

og projektledelse.

Ovennævnte kan give anledning til overvejelser i Forebyggelsesfonden om, hvorvidt Forebyggelsesfonden

mere aktivt skal indgå i leveringen af dele af denne bistand. En mere

aktiv deltagelse fra Forebyggelsesfonden vil i sig selv give Forebyggelsesfonden

mulighed for at opnå større konkret viden om projekterne og på den baggrund opbygge

intern læring i Forebyggelsesfonden. En konkret underbygget og projektnær viden i Forebyggelsesfonden

vil uvilkårligt facilitere en tværgående læring og videnspredning mellem

projekterne, som, evaluator finder, har så oplagte positive perspektiver, at evaluator

nedenfor udfolder de muligheder, evaluator ser for en mere rådgivende funktion fra Forebyggelsesfonden

over for projekterne.

13


Forebyggelsesfondens rådgivende funktion

Mange projekter har udtrykt tilfredshed med Forebyggelsesfondens rådgivning, men der

efterspørges eksplicit mere rådgivning fra Forebyggelsesfonden, ligesom anvendelsen

af ekstern konsulentbistand i de evaluerede støttede projekter er markant. Evaluator

ser flere muligheder for, at Forebyggelsesfonden indgår mere aktivt i projekterne via

en rådgivende funktion. De umiddelbare muligheder for at udbygge Forebyggelsesfondens

rådgivende funktion foreslår evaluator at være følgende, som er yderligere udfoldet

i evalueringens kapitel 10:

• Generel faglig sparring til projekterne

• Specifik faglig sparring i udvalgte projekter

• Støtte udvalgte projekter i ansøgningsfasen

• Indgå i styregrupper i udvalgte projekter.

Øget strategisk fokus i Forebyggelsesfonden

Den mest gennemgribende anbefaling går på et øget strategisk fokus i Forebyggelsesfonden

som grundlag for en mere veldokumenteret indsats, der giver evaluator et fundament

for at evaluere de støttede projekters effekt.

Anbefalingen om et øget strategisk fokus med brug af programteorier ligger i tråd med

en international trend om strategisk fondsarbejde og evaluering heraf.

Evaluator anbefaler, at der udarbejdes en overordnet programteori for Forebyggelsesfonden,

og med denne som udgangspunkt udarbejdes der generelle programteorier

for de respektive fire hovedformål. Til hovedformålenes generelle programteorier knyttes

en række definerede effektmål, som afhængig af den konkrete indsats anses som relevante

og rimelige at måle på i de støttede projekter.

Ovennævnte må imidlertid ikke føre til en standardisering, som ikke kan tage højde for

projekternes forskellighed og unikke karakter. Samtidig må det ikke føre til et statisk

instrument, som ikke kan indeholde de eksperimenterende dele af projekterne.

Konkrete anbefalinger fra evaluator til Forebyggelsesfonden om, hvordan ovenstående

balance mellem en øget standardisering og en nødvendig fleksibilitet bedst kan opnås, er

ikke indeholdt i evalueringen, da det afventer færdiggørelsen af den tværgående analyse

af succeskriterier, som først foreligger efter udarbejdelsen af nærværende evaluering.

Den tværgående analyse af succeskriterier er mere dybdegående i sin analyse på dette

specifikke punkt end nærværende evaluering og vil derfor have et mere konkret afsæt i

projekternes hidtidige arbejde med succeskriterier.

Evaluator anser ikke ovennævnte anbefalinger for at indeholde et radikalt skifte i Forebyggelsesfondens

arbejde, men anbefalingerne er ikke desto mindre helt afgørende for

de fremtidige muligheder for at dokumentere effekter endsige lære af processer og indsatser,

som virker.

14


Kapitel 2. Baggrund

Forebyggelsesfonden blev etableret d. 1. marts 2007. Forebyggelsesfonden har en kapital

på 3 mia. kroner og kan uddele op til 350 mio. kroner om året. Forebyggelsesfonden er

en del af velfærdsaftalen fra 2006, som VK-regeringen, Socialdemokraterne, Dansk Folkeparti

og Det Radikale Venstre står bag.

Nærværende evaluering er første del af en treleddet evaluering, som på tværs af Forebyggelsesfondens

hovedformål og projekter skal afdække effekten af de gennemførte

projekter støttet af Forebyggelsesfonden. Evalueringen skal samtidig skabe læring om de

processuelle forhold i de gennemførte projekter.

Evalueringens første del omfatter 114 afsluttede projekter 3 . Særligt denne første delevaluering

skal ligeledes afdække, hvordan Forebyggelsesfonden kan støtte projekterne i at

gennemføre valide og meningsfulde evalueringer.

Den samlede evaluering løber til 2015 og udføres af et konsortium bestående af Kubix,

Center for Arbejdsmiljø og Arbejdsliv på RUC, SFI, Statens arbeidsmiljøinstitutt i Norge,

Arbejdsmedicinsk klinik i Herning og Oxford Research.

Nærværende rapport er dermed den første leverance i evalueringen af Forebyggelsesfondens

projekter. Anden leverance er en tværgående dybdegående analyse af projekternes

arbejde med succeskriterier, som afsluttes ultimo december 2011

2.1.1 Forebyggelsesfondens formål

Formålet med Forebyggelsesfonden er ”at give støtte til projekter, der forebygger og

forhindrer fysisk og psykisk nedslidning på de danske arbejdspladser 4 , og formålet operationaliseres

gennem fire hovedformål:

• Hovedformål 1: Projekter, der forebygger nedslidende rutiner og arbejdsgange på

arbejdspladser i særligt nedslidningstruede brancher og jobgrupper. Dertil kommer

projekter på arbejdspladser, som fastholder medarbejdere med dårligt helbred (hovedformål

1a). Projekter, der udvikler ny teknologi, som kan anvendes til at forebygge

nedslidning i særligt nedslidningstruede brancher og jobgrupper (hovedformål

1b).

• Hovedformål 2: Projekter til bedre genoptræning og rehabilitering af syge og handicappede.

• Hovedformål 3: Projekter, der styrker bevidstheden om risikoen forbundet med

rygning, alkohol, fedme og fysisk inaktivitet.

• Hovedformål 4: Projekter, der forebygger stress og psykisk nedslidning.

I nærværende evaluering indgår ikke projekter under hovedformål 4. Dette grundet, at

hovedformål 4 blev indført med en lovændring (Lov nr. 430 af 28/4 2010), der trådte i

3 Projekter som er afsluttet inden 1. maj 2011

4 www.forebyggelsesfonden.dk

15


kraft 1. juni 2010. I 2010 indgik fokusområdet som en forsøgspulje under hovedformål 1,

først i 2011 blev det oprettet som selvstændigt hovedformål.

Hovedformålene forkortes i evalueringen som henholdsvis HF 1a, HF 1b, HF 2 og HF 3.

Under hovedformål 1 og 4 udpeges hvert år nedslidningstruede brancher og jobgrupper,

som har mulighed for at søge midler. Under hovedformål 2 er det som udgangspunkt den

kommunale myndighed med ansvar for rehabilitering og genoptræning, der kan søge

støtte. Hvis opgaven med rehabilitering og genoptræning er udlagt til anden aktør (offentlige

som private virksomheder) kan denne på samme vis søge støtte under hovedformål

2.

5 6

Nedslidningstruede brancher i 2007, 2008 og 2009

16

• Bygge og anlæg

• Fiskeri

• Fjerkræsslagterier, fiske- og foderproduktion

• Hjemmepleje og døgninstitutioner for voksne

• Hotel- og restauration

• Rengøring, vaskeri og renserier

• Skibsværfter

• Svineslagterier

• Tekstil, tøj og beklædning

• Transport af gods

• Transport af passagerer

Nedslidningstruede brancher, der tilføjes i 2008

+ Kriminalforsorgen

Nedslidningstruede brancher, der tilføjes 2009

+ Brød, tobak, chokolade og sukkervarer

+ El- og elektronikindustri

+ Papir- og papvarer samt bogbinding

+ Telekommunikation

+ Konserves og drikkevarer mv.

5 Oplistningen er for 2007, 2008 og 2009, da der i evalueringen kun indgår et projekt fra 2010 inden for HF 1a.

Dette projekt har pædagogmedhjælpere som målgruppe.

6 http://www.forebyggelsesfonden.dk/files/74919c2a97c8faa4e7ff59f70f88976a.pdf

http://www.forebyggelsesfonden.dk/files/d62a5ef89312bd1fca1a327667deb27b.pdf

http://www.forebyggelsesfonden.dk/files/ca58124f9ccc5b10c33746830c93b73d.pdf


Nedslidningstruede jobgrupper i 2007 7

• Pædagogmedhjælpere

• Kortuddannede

• Social- og sundhedshjælpere/assistenter

• Fængselsfunktionærer

Nedslidningstruede jobgrupper, tages ud 2008 og 2009

÷ Fængselsfunktionærer (dækkes af branchen Kriminalforsorgen)

2.1.2 Evalueringens afsæt og metode

Indeværende rapport er den første af tre delevalueringer. Den samlede evaluering skal

undersøge og analysere de støttede projekters effekt, virkning og proces, men skal samtidig

bidrage til at udvikle Forebyggelsesfondens arbejde i forhold til tildeling af midler

samt krav og retningslinjer til projekternes evalueringer. Særligt denne første delevaluering

skal afsøge, hvordan Forebyggelsesfonden kan støtte projekterne i at gennemføre

valide og meningsfulde evalueringer.

Denne evaluering omhandler alene afsluttede projekter. Evaluator modtog materiale og

stamdata fra i alt 122 projekter. Evaluator har valgt at frasortere otte projekter, dels fordi

det viste sig, at nogle af disse hørte sammen som videreførelser af tidligere projekter,

dels da nogle projekter blev afbrudt inden projektafslutning. Samlet omfatter evalueringen

således 114 projekter.

Evalueringen er en meta-evaluering. Dette skal forstås således, at evaluator evaluerer de

støttede projekter på baggrund af projekternes egne evalueringer, men de 114 evalueringer

underlægges en tværgående analyse, hvor der tillige indhentes yderligere data.

Hermed er det muligt at foretage en tværgående evaluering dels på de enkelte hovedformål,

og dels på alle projekter.

Evalueringens kilder er primært projekternes egne evalueringer og øvrigt projektmateriale

8 , hvilket giver evalueringen den udfordring, at projektevalueringerne ikke er foretaget

ud fra hverken samme evalueringsteoretiske ramme eller ved brug af enslydende evalueringsindikatorer.

Således er der heller ikke i de 114 projektevalueringer en fælles forståelse

af centrale begreber såsom effekt og virkning.

I en tværgående evaluering er det essentielt, at der defineres et begrebsapparat. Med

udgangspunkt i den teoribaserede evaluering og herunder virkningsevalueringen redegøres

der i det følgende for, hvilket evalueringsteoretisk afsæt indeværende evaluering har,

og hvilke begreber der er centrale i den forbindelse. Denne overordnede metodiske og

begrebsmæssige ramme for evalueringen fører til en mere konkret beskrivelse af den

metode, som evalueringen beror på, samt de overvejelser der ligger bag den praktiske

udførelse.

7 http://www.forebyggelsesfonden.dk/files/74919c2a97c8faa4e7ff59f70f88976a.pdf

http://www.forebyggelsesfonden.dk/files/d62a5ef89312bd1fca1a327667deb27b.pdf

http://www.forebyggelsesfonden.dk/files/ca58124f9ccc5b10c33746830c93b73d.pdf

8 Ansøgning, budget, statusrapporter, slutregnskab og slutrapport samt supplerende materiale fremsendt til

evaluator i forbindelse med interview med projektledere m.fl.

17


2.1.3 Virkningsevaluering

I nærværende evaluering tages der udgangspunkt i en virkningsevalueringsmodel. Virkningsevalueringen

er en del af en bredere tilgang, der betegnes teoribaseret evaluering.

Teoribaseret evaluering sætter fokus på at vurdere den programteori, som projektet bygger

på. En programteori er en teori eller antagelse, der kan være mere eller mindre underbygget,

om hvilken forandring projektet forventes at skabe. Teoribaseret evaluering

drejer sig således om at teste, om de antagelser om forandring, projektet kan skabe med

de planlagte aktiviteter, holder i virkeligheden.

Denne tilgang, hvor der er fokus på programteorien og den forandring, der sker, ligger

også til grund for virkningsevaluering 9 . Men virkningsevaluering har yderligere fokus på,

hvordan den fastlagte programteori virker i den sociale og kulturelle kontekst, den skal

virke i. Devisen er, at alle forandringer påvirkes af den kontekst, de foregår i, og indsatsen

skal derfor ses i den kontekst, den udspiller sig i (Pawson & Tilley 1997; Tilley 2005).

Dermed kan en evaluering, der trækker på virkningsevaluering, også være med til at

forklare, hvorfor to projekter med lignende aktiviteter virker forskelligt på to forskellige

arbejdspladser.

Virkningsevalueringen tager højde for, at det man ønsker at evaluere sker i en kontekst,

der er unik og lokal, og den giver mulighed for at sætte fokus på indsatserne og processen

og den kontekst, der er med til at drive et projekt og en forandring i en organisation

frem.

Når denne tilgang er aktuel i evalueringen af Forebyggelsesfondens projekter, skyldes

det, at hvert enkelt projekt er unikt, også selvom der er en tværgående vision om forebyggelse

i projekterne.

Dertil kommer, at et enkelt arbejdsmiljø- eller forebyggelsesprojekt i en organisation kun

er en lille del af de mange forhold, der kan skabe et bedre arbejdsmiljø målt ved fx trivsel

eller mindre sygefravær. Samfundskonjunkturerne, nye maskiner, ny teknologi, organisationsændringer

og meget andet kan påvirke arbejdsmiljøindikatorerne ligeså meget eller

mere end et afgrænset projekt om fx motion. Netop derfor er det i en evaluering af arbejdsmiljø

og forebyggelse relevant at tænke i en evalueringstradition, der erkender, at

konteksten for projektet er ligeså vigtig som projektet selv.

I virkningsevaluering anses forandringer ikke blot at skyldes en udefrakommende indsats,

der virker ind på arbejdspladsens hverdag. Evaluator skal derfor være opmærksom på

andre faktorer end den isolerede indsats. Forandringen er det, der opstår i mødet mellem

indsatsen og den sociale og kulturelle kontekst.

I alle former for samfundsfaglige evalueringer er det umuligt at isolere en indsats. Derfor

tages der med virkningsevalueringen højde for det miljø, indsatsen foregår i ved at foretage

målinger og registreringer på kontekstfaktorer, således at fx ledelsesforhold ikke

alene er en fortolkningsramme, men indgår som en aktiv faktor i vurderingen af projekternes

processer og resultater.

Tilgangen understøtter også Forebyggelsesfondens eget ønske om at procesevaluere

projekterne. Virkningsevalueringen giver mulighed for ikke alene at vurdere effekten,

men at evaluere effekten i den processuelle sammenhæng mellem indsats og projektets

kontekst fx organisering, indre og ydre forhold.

9 Almindelig brugt oversættelse af Pawson og Tilleys ”Realistic Evaluation”.

18


2.2 Centrale evalueringsbegreber

Med udgangspunkt i en virkningsevalueringsteoretisk tilgang er det formålet med figuren

nedenfor at illustrere de begreber, der bruges i evalueringen. I figuren er konteksten, det

processuelle perspektiv i evalueringen og forskellige forståelser af effekt helt centrale.

Figur 2.1: Virkningsevalueringens begreber

Midler Indsats Output Outcome

Proces

Implementering

Kontekst

Effekt

Lokal

impact

Spredning

Bred

impact

I figuren er det væsentligste input set fra Forebyggelsesfondens perspektiv de midler,

det enkelte projekt får fra Forebyggelsesfonden, men den samlede projektsum i de enkelte

projekter indeholder ofte også andre midler – herunder egenfinansiering.

Midlerne anvendes til en given indsats, der ofte består af flere delindsatser, der på

kompliceret vis indvirker på hinanden. Indsatser påvirkes tillige af den omgivende kontekst,

hvorved nye indsatser kan opstå. Hvis indsatsen i samspil med konteksten får en

virkning, opnås et output. Det kan fx være en opkvalificeret medarbejdergruppe, en

ergonomisk korrekt tilpasset arbejdsplads eller en ny bevidsthed om, hvilken betydning

motion har.

Output er det umiddelbare og konkrete resultat af en indsats. Når output implementeres

og herved kommer i anvendelse, opnås et outcome. Outcome kan fx være, at medarbejdergruppen

agerer anderledes, fordi de har fået en ny viden. Outcome opfattes som

et resultat af projektet kort efter eller ved afslutning af projektet.

I evalueringen adskilles den mere langsigtede effekt fra den kortere effekt ved at betegne

den impact. Impact optræder i to former i figuren. En som omhandler den lokale

effekt, og en der kræver spredning til andre afdelinger, virksomheder eller lignende, der

således lærer af det konkrete projekt. Implementering er processen mod en effekt på

kort såvel som på længere sigt – altså fra output til outcome og fra outcome til impact.

19


Implementeringen sandsynliggør således, at de respektive effektmål output og outcome

opnås.

Spredning kan både have form af skabelse af bevidsthed og tilegnelse af ny viden, eller

det kan resultere i egentlige effekter via nye projekter inspireret af de oprindelige projekter.

I yderste konsekvens kan de opnåede effekter omsættes til egentlige ændringer i

overenskomster, lovgivning etc. Den brede impact er således i denne figur og sammenhæng

netop defineret bredt og må operationaliseres på flere forskellige måder.

Konteksten, der omgiver hele projektet, er væsentlig og samtidig udfordringen i en

meta-evaluering, hvor de respektive projekters kontekst er forskellig. Som figuren illustrerer,

sker forandringen i et møde mellem indsatsen og konteksten. Mødet mellem indsats

og kontekst går begge veje: Konteksten påvirker indsatsen, og indsatsen påvirker

konteksten. Nogle af de mere håndgribelige kontekstfaktorer er fx organiseringsform og

branche. Som en del af konteksten er fx det organisatoriske set-up omkring projektet,

ledelsens og medarbejdernes holdning til projekterne og de samfundsøkonomiske konjunkturer

vigtige faktorer.

Evalueringen indeholder dermed også et processuelt perspektiv. I kraft af afsættet i

virkningsevalueringen understreges det, at der er tale om en proces med forskellige faser

og mødet mellem forskellige faktorer. Der lægges således et processuelt perspektiv ned

over projekterne fra indsats til impact ved at se på forskellige faktorers betydning i forskellige

faser af processen. Fx kan en organiseringsform have større indflydelse som kontekst

i en implementeringsfase end i en spredningsfase.

Hertil kommer et processuelt perspektiv på projekterne ved at afsøge og analysere på

ændringer undervejs i projekterne fx i indsatsen eller i de forventninger, der er til den

forandring, indsatsen fører til.

Det processuelle perspektiv har således to vinkler: Dels en vinkel, som kan anskues som

monitorerende med angivelse af, om projekterne gør det, de forventes at gøre; Dels en

vinkel som kan anskues som lærende, hvor de forskellige fasers påvirkning af hinanden

ikke er lineær, men derimod processer der afhænger af den læring, der opnås i de forudgående

faser.

2.3 Metode

Evaluator rummer mange forskellige fagligheder, som medvirker til at sikre en helhedsorienteret

og dybdegående evaluering gennem en eksplorativ tilgang til evalueringen.

Den eksplorative metodiske tilgang sikrer, at evalueringen tager udgangspunkt i projekternes

virkelighed og lader derfor genstandsfeltet styre teorien og ikke omvendt. Herved

giver det evalueringen en flerløsningsforståelse, som efter evaluators vurdering er nødvendig

ud fra projekternes forskellige indhold og metoder. Hertil kommer, at fravalget af

én faglig teori også giver evalueringen en åbenhed mod ændringer undervejs i evalueringsperioden,

således at evalueringsdesignet og evalueringsparametre kan justeres efter

projekternes konkrete indhold. Denne metodiske tilgang medvirker endvidere til, at evalueringen

bliver anvendelsesorienteret, idet projekterne kan genkende sig selv og de

tematikker, de har oplevet som væsentlige i deres processer.

Tværfagligheden i evalueringsteamet har som nævnt den grundlæggende fordel, at projekterne

kan evalueres med indsigt i de relevante fagområder som fx arbejdsmiljø og

sundhedsfremme, og at disse kan supplere hinanden. Tværfagligheden har dog også den

udfordring, at der i evalueringsteamet arbejdes ud fra forskellige teorier, traditioner og

begreber, hvilket kan give divergerende vurderinger på baggrund af de forskellige per-

20


spektiver, der kan lægges på konkret data. Disse udfordringer har evalueringsteamet

søgt at imødegå og vende positivt, ved at der er afholdt fælles møder løbende i processen,

og der er udarbejdet ”hjælpetekster” og notater som videndeling af spidskompetencer.

Den kontinuerlige kontakt mellem evalueringsteamets medlemmer og dermed fagligheder

har således været brugt aktivt med øje for de udfordringer, dette kunne afføde,

men også det potentiale som ligger heri.

Den eksplorative tilgang er en måde netop at udnytte potentialet i mange fagligheders

bidrag. Med denne tilgang tog evalueringen sit afsæt i, at evalueringstemaet gennemlæste

25 tilfældigt udvalgte projekter. Ud fra en analyse af disse projekter har evaluator

opstillet relevante parametre, som har udgjort det metodiske skelet for de gennemførte

analyser af de 114 projekter. Denne proces blev gennemført i fællesskab over flere møder.

2.3.1 Analyseværktøj

Evaluator har udviklet et analyseværktøj på baggrund af de opstillede parametre. Analyseværktøjet

udgør ”hjertet” i evalueringen, hvor evalueringens forskellige analyser søger

sine primære oplysninger i. Analyseværktøjet er konstrueret ud fra bevidstheden om, at

der undervejs i den samlede evalueringsperiode vil være indholdsmæssige justeringer.

Evalueringens eksplorative tilgang bevirker, som beskrevet ovenfor, at ændringer og

justeringer kan inddrages, hvilket opbygningen af analyseværktøjet tager højde for, og

ændringer kan derfor let indarbejdes i analyseværktøjet.

Analyseværktøjet er anvendt til at foretage deskriptive kortlægninger af projekterne samt

til at analysere opstillede hypotesers holdbarhed.

Analyseværktøjets parametre er opdelt i seks kategorier:

• Faktavariable, fx projektsum og målgruppe

• Institutionelle variable, fx projektledelsen og brug af styregrupper

• Indsatsvariable, fx kompetenceløft og teknologiudvikling

• Procesvariable, fx ændringer i projektet og kategorisering af årsag

• Evalueringsvariable fx succeskriterier og evalueringsmetoder

• Forankringsvariable, fx implementering og spredning.

Samtlige afsluttede projekter er gennemgået og analyseret, og vurderingerne er registreret

i værktøjet. Kilderne er projekternes egne dokumenter samt kvalitative interview med

projektledere m.fl. Hele evalueringsteamet har været involveret i denne fase af analysen,

for at sikre, at de forskellige spidskompetencer, der er repræsenteret i teamet, kommer i

spil.

Registreringen af projekterne er sket ved brug af survey-programmet Inquisite for at

styrke datasikkerheden ved indtastning. Programmet er hensigtsmæssigt, da oplysninger

ikke kan fejlplaceres under indtastningen. Man føres igennem indtastningen, således at

man alene føres til relevante indtastningsmuligheder for det pågældende projekt.

2.3.2 Effektvariable og målemetoder

Evalueringen af de 114 forskellige projekter har været udfordret af manglende ensrettede

retningslinjer for effektmåling og evaluering i de enkelte projektevalueringer.

Projekternes anvendte effektmålinger af fx sygefravær og medarbejderomsætning har

oftest fremstået mangelfulde og i mange tilfælde så mangelfulde, at evaluator har været

21


nødsaget til at frasortere målingerne pga. en ringe kvalitet. Flere projekter har desuden

mod forventning slet ikke anvendt effektvariable.

Udover de beskrevne problemer med effektmålingerne fremstår projektevalueringerne

desuden med en yderst varierende kvalitet 10 . Projekternes evalueringer fremstår ofte

uklare i forhold til metodiske fremgangsmåder, og evaluator kan i mange tilfælde ikke

vurdere, hvordan projektevalueringerne når frem til deres konklusioner. Det har heller

ikke været muligt at klare dette via de kvalitative interview.

Evaluator vurderer tillige, at der er en generel tendens til, at projektevalueringerne tager

mere let på brugen af kvalitative metoder. Begreber såsom observation og interview bliver

ofte brugt om mere eller mindre formelle samtaler og samvær i projekterne og ikke

som stringente metoder. Dette kommer særligt til udtryk i de projekter, hvor man ved

afslutningen må erkende, at den planlagte kvantitative metode ikke kan gennemføres, og

projektet i stedet må foretage en kvalitativ evaluering. Her bliver metodevalget uigennemtænkt

og fremstår som en nødløsning, som ikke opfylder sit mål.

Grundet de omfattende problemer med effektmålinger og kritikken af evalueringerne har

det ikke været muligt at opstille tværgående måleenheder og indikatorer på effekt. Heller

ikke på mere anvendte effektvariable som fx sygefravær og medarbejderomsætning.

Denne erkendelse har ført til, at evaluator foreslog og fik godkendt at udarbejde en særskilt

tværgående analyse af succeskriterier. Da indeværende evaluering ikke kan indeholde

en valid analyse af klassiske arbejdsmiljøeffektvariable på output, outcome og impact,

har evaluator valgt at benytte indikatorerne implementering og spredning som effektmål.

Projekternes implementering er en indikator på, hvorvidt indsatsen fører til et output

og kan give et outcome. Implementeringen er processen, som fører til effekter. Implementering

kan anvendes som effektindikator, da det må antages, at det kun er de projekter,

som opnår anvendelige resultater, der implementeres. Evaluator har ligeledes lagt

vægt på typer af outcome, som ikke har været forudset på ansøgningstidspunktet. Det

kan fx være en generelt skærpet opmærksomhed på specifikke arbejdsmiljøfaktorer eller

lignende.

Udover implementering er spredning ligeledes en indikator på, hvorvidt projekterne kan

bidrage til en effekt på længere sigt. Spredning af den opnåede projektviden er en nødvendighed,

hvis projektet skal gøre sig forhåbninger om at opnå en bred impact. Spredningen

af projektets erfaringer kan medvirke til, at andre virksomheder eller brancher

bliver inspireret og derfor igangsætter lignende projekter, som tilsammen kan bevirke en

bred impact. Spredning er en vigtig variabel, da projektresultater altid vil være interessante

at sprede selv ved ”mislykkede” projekter. Spredning af erfaringerne fra ”mislykkede”

projekter er mindst ligeså vigtig som for vellykkede projekter, da disse erfaringer kan

give indsigt i, hvorfor nogle projekter lykkes, og andre ikke gør.

2.3.2.1 Formularer

Evalueringen er endvidere blevet udfordret af, at flere af Forebyggelsesfondens formularer

(ansøgning, slutrapport m.v.) er blevet ændret over tid. Ændringer i disse formularer

medfører fejlkilder, da det kan påvirke projekternes opgørelse af data. Evaluator har i

denne henseende vurderet, at data omhandlende målgruppens antal, samt om projektet

består af et konsortium, skal fortolkes med forsigtighed.

10 Det understreges, at den varierende kvalitet i projektevalueringerne netop ikke giver mulighed for at udlede

noget om kvaliteten i projekternes indhold.

22


I forhold til opgørelsen af målgruppens antal har evaluator vurderet, at projekterne har

opgivet forskellige data. Nogle projekter har opgivet antallet af personer, som deltager i

projektet (primær målgruppe), mens andre har opgivet antallet af personer, som projektet

efter implementering vil ramme (sekundær målgruppe). Det har ikke været muligt via

de kvalitative interview at få afdækket ovennævnte.

Herudover er der i forhold til konsortier den udfordring, at Forebyggelsesfonden har ændret

procedurer fra at uddele et projektnummer til hver partner i konsortiet til kun at

uddele et projektnummer til hele konsortiet. Dette betyder, at der ikke er lavet særskilte

analyser på konsortier og samtidig medvirker dette til, at vurderinger på projekternes

størrelse i nogle tilfælde kan være behæftet med fejl. Derfor er der bl.a. ikke analyseret

på projektomkostninger pr. medarbejder i målgruppen.

2.3.3 Kvantitativ analyse

De kvantitative analyser baseres på data fra de forskellige kilder og efterfølgende registrering

i analyseværktøjet. De kvantitative analyser er i høj grad påvirket af et varierende

projektantal under de respektive hovedformål. Projektantallet under HF 1b og HF 2 er

således for lille til at foretage valide kvantitative analyser under disse hovedformål. De

kvantitative analyser af projekterne under henholdsvis HF 1b og HF 2 er derfor udelukkende

illustrerende.

Igennem rapporten vil evaluator præsentere forskellige udtræk af kvantitative data på de

114 projekter. I tilfælde hvor variable krydses for at bekræfte eller forkaste hypoteser, er

der udregnet signifikans for at konstatere, om en given fordeling er tilfældig, eller om der

er tale om en statistisk signifikant sammenhæng mellem den uafhængige og den afhængige

variabel.

Signifikanstest er blevet brugt, hvis muligt. Signifikansniveau udtrykker sandsynligheden

for, at et resultat er fremkommet ved en tilfældighed. Signifikansniveauet er i nærværende

rapport sat til 0,05. Ved statistisk signifikans er der således med 95 % sandsynlighed

tale om, at den uafhængige variabel har reel indflydelse på den afhængige variabel.

I de fleste tilfælde bliver der udregnet signifikans med udgangspunkt i ”chi square”. ”Chi

square” udregner signifikansen på kryds, hvor kategorier i to nominale 11 eller én nominal

og én ordinal 12 variabel krydses. ”Chi square” har den svaghed, at hvis fordelingen i krydsene

mellem kategorierne efterlader celler med få tilfælde, bliver udregningen usikker.

Der vil derfor ikke blive regnet med ”chi square” i tilfælde, hvor der er fem eller færre

tilfælde i kryds.

I nogle få tilfælde anvendes udregningen ”gamma”. Denne udregning bruges i tilfælde,

hvor begge variable er ordinale. Denne udregning har den fordel, at den dels kan udregne

signifikans i tilfælde med få (fem eller færre) tilfælde i krydsene, og dels kan give et

tal på, hvor stærk sammenhængen mellem to variable er.

11 En nominal variabel er en variabel uden nogen bestemt orden mellem kategorierne i variablen. Det kan fx

være politiske partier.

12 I en ordinal variabel har rækkefølgen en betydning. Det kan fx være politiske partier på en højre-venstre

skala. Her har rækkefølgen betydning, og man kan tale om at være mere eller mindre højre- eller venstreorienteret.

23


2.3.4 Kvalitative analyser

Datagrundlaget for indeværende evaluering omfatter også et kvalitativt datamateriale.

Der er gennemført kvalitative interview med projektlederne m.fl. i de 114 projekter. Det

har ikke i alle projekter været muligt at interviewe den egentlige projektleder, idet projekterne

længe har været afsluttet. I tidsrummet fra projektets afslutning til denne evaluering

har flere projektledere skiftet arbejde, nogle er gået på pension eller er på anden

vis ikke længere tilgængelige. I disse tilfælde er interviewet foretaget med en anden

nøgleperson fra projektperioden.

De kvalitative interview er foretaget på baggrund af en semistruktureret interviewguide

og er forestået af den person i evalueringsteamet, som har gennemlæst, analyseret og

evalueret det respektive projekts dokumenter. Interviewene har dermed kunnet afklare

uklarheder i projektdokumenterne. Derudover har de kvalitative interview haft fokus på

processer og projektets kontekst.

2.3.5 Evalueringsspørgsmål og -hypoteser

Evalueringen arbejder i to niveauer; et deskriptivt niveau og et analytisk niveau.

På det deskriptive niveau angives fx antallet af projekter, som har visse særlige kendetegn

i forhold til indsatstype, målgruppe mv.

På det analytiske niveau undersøges tendenser og sammenhænge mellem projekttyper.

I evalueringens analytiske niveau arbejdes med hypoteser i undersøgelsen af sammenhænge

og tendenser for de 114 projekter. Hypoteserne er opstillet på baggrund af evalueringsteamets

specialiserede viden om arbejdsmiljø, forebyggelse, projektplanlægning,

projektledelse, implementering og forankring. En oversigt over hypoteser findes i bilag 2.

Evaluator har valgt at arbejde med hypoteser, da dette understøtter den eksplorative

tilgang, ved at undersøgelsen af én hypotese meget vel kan føre til opstilling af en ny

hypotese for at følge ”sporet” til ende. Nogle hypoteser er målrettet Forebyggelsesfondens

hovedformål, mens andre er tværgående for hovedformålene.

Hypoteserne testes kvantitativt såvel som kvalitativt. For det første undersøges sammenhænge

i det kvantitative datamateriale registreret i analyseværktøjet. Derudover er de

kvalitative interview med projektlederne m.fl. anvendt til at uddybe de sammenhænge,

som den kvantitative afsøgning af hypoteserne udleder som relevante. Gennemgangen af

det kvalitative datamateriale bidrager desuden til nye hypoteser, som hvis muligt er afprøvet

kvantitativt. I andre tilfælde foretages en kvalitativ vurdering af evalueringsteamets

fagekspertise på det pågældende fagområde, hvor sammenhængen fremstår.

2.4 Rapportens opbygning

Rapporten indledes med en deskriptiv analyse af de 114 afsluttede projekter på tværs og

inden for de enkelte hovedformål. Formålet med den deskriptive analyse er dels at give

læseren en overordnet forståelse af forskellene mellem de respektive hovedformål og

projekterne inden for disse, dels at bibringe med generel information, der kan kvalificere

forståelsen af de efterfølgende analyser.

Herefter følger en gennemgang af hvert enkelt hovedformål, som er HF 1 (indeholder HF

1a og HF 1b), HF 2 og HF 3. Formålet med gennemgangen af de enkelte hovedformål er

24


at få udfoldet de forskellige elementer i en programteoretisk forståelse af projekternes

proces. De vil hver især blive opbygget således, at der for det første er fokus på kontekstfaktorerne

for indsatserne og deres betydning for effekt og dernæst indholdet af

indsatserne og deres betydning for effekt. HF 1a og HF 3 vil være baseret på en kombination

af statistisk og kvalitativ analyse, mens HF 1b og HF 2 grundet et lavt antal projekter

primært er kvalitative.

Efter analyserne på hovedformål foretages på samme vis en analyse på tværs af hovedformål.

Den tværgående analyse undersøger de kendetegn og sammenhænge, der gør

sig gældende på tværs og i sammenligning mellem projekterne under de tre hovedformål.

Afslutningsvis sammendrages evalueringens væsentligste fund i en række konklusioner,

som skal lede til de efterfølgende anbefalinger i forhold til Forebyggelsesfondens videre

arbejde, herunder hvordan der kan arbejdes med at forbedre validiteten i evalueringen.

25


Kapitel 3. Projektprofiler inden for hovedformål

Formålet med dette kapitel er dels at give læseren en overordnet forståelse af forskellene

mellem de respektive hovedformål og projekterne inden for disse, dels at bibringe med

generel information der kan kvalificere forståelsen af de efterfølgende analyser. Den beskrivende

analyse giver derfor en profil af projekterne under de forskellige hovedformål,

hvilket er hensigtsmæssigt, da det fremhæver forskelle og ligheder på tværs af hovedformål.

Kapitlet indledes med en redegørelse om de 114 afsluttede projekter ud fra parametrene

hovedformål, omfang og ejerforhold. Herefter redegøres der for projekternes indsatser,

metodiske tilgang og succeskriterier.

3.1 Projekter fordelt på hovedformål

Tabel 3.1 viser fordelingen af de 114 projekter på de respektive hovedformål. Over halvdelen

af de afsluttede projekter er bevilliget under HF 1a. Den store andel HF 1aprojekter

afspejler på den ene side en politisk prioritering hos Forebyggelsesfonden, men

ligeledes at HF 1a er det mest ansøgte hovedformål 13 .

ANTAL

PROJEKTER

Tabel 3.1: Afsluttede projekter fordelt på hovedformål

HF 1a HF 1b HF 2 HF 3 ALLE

62 13 11 28 114

ANDEL 54 % 11 % 10 % 25 % 100 %

Der er forholdsvis få projekter under HF 1b og HF 2, hvilket i høj grad påvirker muligheden

for at udarbejde separate kvantitative analyser for de forskellige hovedformål. Det er

dog muligt at illustrere tendenser for projekterne under de respektive hovedformål, hvilket

gøres i de følgende afsnit.

13 Forebyggelsesfondens Årsberetning 2010

27


3.2 Projekternes omfang

Projekternes omfang kan måles ud fra forskellige parametre og kan netop være med til

at skabe forståelse for forskellene på projekterne på tværs af hovedformålene. Der redegøres

derfor i det følgende for projekternes omfang ud fra tre parametre:

• Projektøkonomi – herunder projektsum 14 og det bevilgede beløb

• Målgruppens størrelse

• Projektperiode.

Den samlede fordeling af bevilliget beløb på hovedformål fremgår af figur 3.2. Forebyggelsesfonden

har uddelt knap 134 millioner kroner til de 114 projekter. Som det ses, har

projekter under HF 1a fået tildelt knap 81 millioner, hvilket er langt størstedelen af de

uddelte midler. Dette er dog ikke overraskende, da hovedparten af projekterne ligger

inden for dette hovedformål.

Projektbevillingerne varierer i høj grad på baggrund af hovedformål og dermed sigte.

Mens HF 1a og HF 1b har et gennemsnitligt bevilliget beløb meget tæt på hinanden, er

det gennemsnitlige bevilligede beløb for HF 2 lidt højere og omvendt betragteligt lavere

for HF 3. Sidstnævnte er statistisk signifikant lavere, hvilket dog ikke forekommer evaluator

ulogisk, da HF 3-projekterne bl.a. indeholder mindre omkostningstunge initiativer

såsom frugtordninger, løbeklubber og informationskampagner. Der er ikke umiddelbart

samme intuitive forklaring på, at projekter under HF 2 har det højeste beløbsmæssige

gennemsnit. Idet HF 2 indeholder et meget begrænset antal projekter, kan sammenhængen

dog heller ikke fastslås som statistisk signifikant.

14 Projektsum defineres ved projekternes faktiske forbrug – forstået som det beløb projektet har regnskabsaf-

lagt for.

28

H F 3

H F 2

H F 1 b

H F 1 a

16

16

21

0 20 40 60 80 100

Kilde: Oxford Research 2011

Figur 3.2: Bevilliget beløb fordelt på hovedformål

81

millioner DKK

n = 114


GENNEMSNITLIG

BEVILLIGET BE-

LØB PR PROJEKT

Tabel 3.3: Gennemsnitlig bevilliget beløb fordelt på hovedformål

HF 1a HF 1b HF 2 HF 3 ALLE

1.28 mio.kr. 1.30 mio.kr. 1.50 mio.kr. 742.000 kr. 1.17 mio.kr.

Det gennemsnitlige bevilligede beløb giver ikke et eksakt billede af projekternes samlede

økonomiske størrelse, i og med andre finansieringskilder indgår – herunder egenfinansiering.

Derfor er det interessant at se på den samlede projektsum.

100%

80%

60%

40%

20%

0%

45%

33%

17%

23%

13%

17%

Kilde: Oxford Research 2011

Figur 3.4: Projektforbrug fordelt på hovedformål

50%

Som det ses af figur 3.4, er der væsentlig forskel på projekternes omfang i forhold til

projektsum, alt efter hvilket hovedformål der tages udgangspunkt i. Hele 50 % af HF 1bprojekterne

er store projekter med en samlet projektsum på over tre millioner. Dermed

adskiller HF 1b-projekterne sig fra de øvrige projekter i forhold til projektsum. Dette er

dog ikke overraskende, da HF 1b-projekterne omhandler udvikling af teknologier, hvilket

må forventes at være forholdsvis omkostningstungt. Modsat er projekterne under HF 3

karakteriseret ved at være forholdsvis små projekter. 71 % af HF 3-projekterne har en

projektsum på under en million kroner, hvilket er en væsentlig større andel end projekterne

under de øvrige hovedformål. Billedet for projektsum følger dermed billedet for det

bevilligede beløb.

En mulig forklaring på variationerne i projektsum kan være målgruppens størrelse.

Figur 3.5 illustrerer, at det på trods af, at hovedparten af alle projekter er HF 1aprojekter,

så er det HF 3-projekter, som har det største antal personer i målgruppen. De

62 HF 1a-projekter når samlet 21.589 personer, hvorimod de 28 HF 3-projekter når

61.825 personer. HF 3-projekterne adskiller sig hermed væsentligt både i forhold til målgruppe

og projektsum, og evaluator vurderer, at årsagen hertil er, at projekterne under

HF 3 i høj grad omhandler brede indsatser, der kan være målrettet alle medarbejdere på

en virksomhed i form af fx tilbud om motion, hjælp til rygestop etc.

71%

20%

30%

20% 20% 18%

4% 7%

HF 1a HF 1b HF 2 HF 3

Under 1 million

1 - 2 million

2 - 3 millioner

Over 3 millioner

n = 112

29


Det er interessant at afdække, hvorfor HF 3-projekter er så meget større end andre projekter.

Forklaringen er dels beskrevet ovenfor i forhold til de indsatser, der benyttes i HF

3, men det er også relevant at se på, om der er enkelte projekter, der ”trækker” tallet op

for at give et billede af det typiske projekt under hovedformålene. Det kan der tages

højde for ved at tage udgangspunkt i medianen 15 for antallet i målgruppen. Hvis der ses

på medianen for projekternes målgruppe (tabel 3.6), viser det sig, at der er enkelte projekter

under HF 3, som trækker antallet i målgruppen uforholdsmæssigt meget op. HF 3projekterne

har samlet set stadig den største målgruppe, men når der tages udgangspunkt

i medianen, tegnes et billede, hvor HF 3-projekterne ligger betydeligt tættere på

de andre projekter, end det illustreres i figur 3.5.

30

80000

60000

40000

20000

0

21.589

Kilde: Oxford Research 2011

Tabel 3.6: Median for antallet i målgruppen fordelt på hovedformål

MEDIAN FOR ANTAL I

MÅLGRUPPEN

Kilde: Oxford Research 2011

Figur 3.5: Målgruppens størrelse fordelt på hovedformål

12.497

2.140

61.825

HF 1a HF 1b HF 2 HF 3

HF 1a HF 1b HF 2 HF 3 ALLE

90 45 123 172 95

Antal i målgruppe

En sidste parameter for projekternes omfang er projekternes varighed. Projektperioden

for samtlige afsluttede projekter er i gennemsnit ca. 19 måneder. Figur 3.7 viser, at

HF 1a- og HF 2-projekterne har flest projekter med en varighed på under et år.

Sammenholdes projektperioden med projektsum ses en tendens til, at de dyreste projekter

løber over længst tid, hvilket umiddelbart er en logisk sammenhæng. Imidlertid er

billedet ikke helt entydigt, og således har 36 % af HF 2-projekterne en projektperiode på

15 Medianen angiver den midterste kategori inden for en given variabel. Der vil således være lige mange projekter

med flere i målgruppen som med færre i målgruppen i det enkelte hovedformål, når der tages udgangspunkt

i den angivne medianværdi.


mere end to år, mens der kun er 11 % af HF 1b-projekterne med en generelt højere

projektsum, som løber over mere end to år. Det skyldes formodentlig, at der i HF 1bprojekter

er nogle høje opstartsomkostninger i forhold til at få igangsat udviklingen af

teknologien.

100%

80%

60%

40%

20%

0%

30%

49%

55%

46%

31%

21% 23% 23% 23%

36% 36%

27%

46%

43%

Alle projekter HF 1a HF 1b HF 2 HF 3

Kilde: Oxford Research 2011

Figur 3.7: Projekterne fordelt efter længden af projektperioden

3.3 Kendetegn ved ejerforhold på tværs af hovedformål

I dette afsnit undersøges, hvordan ejerskab fordeler sig på tværs af hovedformål, og

hvordan ejerforhold udmønter sig i forskellige tendenser i forhold til geografi. I forbindelse

med ejerskab sondres der mellem fem typer af ejerforhold: statslig, regional, kommunal,

privat og anden. Anden dækker over dels organisationer, og dels blandede ejerforhold.

Foretages en sondring af projekternes ejerskab på henholdsvis offentlig og privat, adskiller

HF 1b- og HF 2-projekterne sig i særlig grad. Hvor HF 1b-projekterne primært ligger i

private virksomheder, foregår alle HF 2-projekterne i offentligt regi, som det er illustreret

i figur 3.8 nedenfor. HF 2-projekternes klare offentlige ejerskab er dog i overensstemmelse

med hovedformålets fokus på rehabilitering og genoptræning af sygemeldte. Afvigelsen

under HF 1b-projekterne, hvor hovedparten er foregået i private virksomheder, kan

forklares ud fra hovedformålets specifikke fokus på teknologiudvikling, som drives af

private virksomheder.

11%

Under 1 år

1 år - 2 år

Over 2 år

n = 114

31


I figur 3.9 specificeres projekternes ejerforhold nærmere. De 114 projekter er fordelt på

43 kommunale, 12 statslige, syv regionale, 48 private og fire i anden virksomhed. ”Anden

virksomhed” er foreninger, og udspecificeringen viser, at ”anden virksomhed” alene spiller

en egentlig rolle under HF 3, hvilket ikke er overraskende ud fra dette hovedformåls

brede sundhedsfremmende sigte. Det skyldes også, at det er det eneste hovedformål,

hvor organisationer kan deltage.

Evaluator finder det interessant, at der ved en geografisk opdeling af projekterne på

regioner tegner sig et billede af en geografisk skæv fordeling. Som det fremgår af nedenstående

figur 3.10, foregår knap halvdelen af projekterne i Hovedstadsregionen, hvilket

er en markant overrepræsentation. Modsat fremstår Nordjylland som underrepræsenteret,

idet kun 4 % af projekterne foregår i Nordjylland. Denne skævvridning fremgår også

af Forebyggelsesfondens beretninger. Analyseres den geografiske fordeling af projekterne

på tværs af hovedformålene, finder evaluator det bemærkelsesværdigt, at færre end

2 % af HF 1a-projekterne foregår i Nordjylland.

I forhold til fordelingen mellem offentlige og private virksomheder er det samtidig værd

at bemærke, at der mod tendensen er dobbelt så mange projekter i private virksomheder

32

120%

100%

Figur 3.8: Ejerskab fordelt på hovedformål

92%

100%

80%

60%

40%

61%

39%

39%

43%

54%

43%

20%

0%

8%

18%

3%

HF 1a HF 1b HF 2 HF 3 Alle

projekter

Kilde: Oxford Research 2011

120%

100%

80%

60%

40%

20%

0%

92%

100%

Offentlig virksomhed

Privat virksomhed

Anden virksomhed

n = 114

42%

38%

39%

39%

43%

29%

Regional

11%

6% 4% 8% 14%

7%

Statslig

11%

4% 14%

Anden virksomhed

Alle

projekter

Kilde: Oxford Research 2011

Figur 3.9: Projekterne fordelt på ejerskab

HF 1a HF 1b HF 2 HF 3

Privat

Kommunal

n = 114


end offentlige i Region Syddanmark, mens der i Region Midtjylland er en forholdsvis ligelig

fordeling.

Figur 3.10: Geografisk opdeling af projekterne på regioner (i %) og fordelingen

mellem offentlige, private og ”andre” virksomheder (absolutte tal)

Kilde: Oxford Research 2011

25 %

16 offentlige

12 private

En ”anden”

15 %

Fem offentlige

11 private

En ”anden”

4 %

En offentlig

Tre private

14 %

11 offentlige

Fire private

En ”anden”

42 %

29 offentlige

18 private

En ”anden”

3.4 Projekternes indsatser, metoder og succeskriterier

I fastlæggelsen af de forskellige projektprofiler er det centralt at undersøge projektindsatserne

på tværs af hovedformål. Indsatserne er de redskaber, der tages i brug for at

indfri de opstillede succeskriterier. Indsatserne analyseres i dette afsnit både ud fra deres

metodiske tilgange, valg af indsats, samt hvilke succeskriterier projekterne har benyttet.

Da det nytænkende og ekstraordinære element spiller en vigtig rolle i forhold til støtten

af projekter under Forebyggelsesfonden, er det interessant at analysere projekterne ud

fra et metodisk udviklingsperspektiv.

I figur 3.11 nedenfor sondres mellem projekter, som omhandler velkendte og afprøvede

indsatstyper og metoder og de projekter, som omhandler nye eller direkte eksperimenterende

elementer. Som vist i figuren er der forholdsvis stor forskel på, hvorvidt projekterne

er karakteriseret ved at indeholde nye og eksperimenterende elementer. Især HF 2projekterne

fremstår i høj grad som nyskabende i forhold til valg af projektindsats og

metode. Evaluator finder det bemærkelsesværdigt, at HF 2-projekterne har en højere

andel af nyskabende og eksperimenterende projekter end HF 1b-projekterne, som ellers

har et særligt fokus på teknologiudvikling. Det skal dog i denne sammenhæng påpeges,

at grundet det begrænsede antal HF 2-projekter kan denne afvigelse være udtryk for en

tilfældighed.

33


100%

91%

90%

80%

70%

60%

60%

77%

68%

50%

40%

40%

32%

30%

23%

20%

10%

0%

9%

HF 1a

Kilde: Oxford Research 2011

HF 1b HF 2 HF 3

I forhold til projektindsatserne er det ydermere interessant at afdække, hvorvidt de er

orienteret mod individer, grupper, organisationer eller institutionelt samarbejde, fordi det

siger noget om de logikker, der ligger bag hvert enkelt hovedformål. I tabel 3.12 er andelen

af projekter i forhold til indsatsens orientering opgjort, og som tabellen viser, er

langt størstedelen af alle projekter individorienterede. Ikke overraskende fremstår HF 1bprojekterne

med deres fokus på teknologiudvikling som de projekter med den laveste

andel af individorienterede projekter, hvilket ligger i tråd med, at projekterne under HF

1b i høj grad går organisatorisk til værks. Det institutionelle samarbejde er generelt ikke

udbredt, hvilket i sig selv ikke er bemærkelsesværdigt, selvom det kunne forventes, at

projekterne under HF 2, som blandt andet har fokus på det kommunale samarbejde,

også ville have et større fokus på det institutionelle samarbejde end de øvrige hovedformål.

Tabel 3.12: Indsatsens orientering

34

HF 1a HF 1b HF 2 HF 3 ALLE

INDIVIDUEL 76 % 39 % 91 % 86 % 75 %

GRUPPE 63 % 15 % 9 % 68 % 54 %

ORGANISATION 48 % 54 % 18 % 21 % 40 %

INSTITUTIONELT

SAMARBEJDE

Kilde: Oxford Research

2011

Figur 3.11: Projektindsats i forhold til nyskabelse

Metoden er velkendt og

afprøvet

Metoden er ny og

eksperimenterende

5 % 8 % 19 % 4 % 5 %

n = 113


For at sammenligne de forskellige projektindsatser har evaluator opstillet syv indsatstyper

som vist i tabel 3.13. 16 På baggrund af ovenstående er det ingenlunde overraskende, at

individuelle tilbud er den mest anvendte indsatstype. Individuelle tilbud dækker over en

bred vifte af tilbud bl.a. supervision, kompetenceudvikling og fitnessordning. De er i særdeleshed

udbredt blandt HF 2- og HF 3-projekterne. HF 1a- og HF 1b-projektindsatserne

omhandler i høj grad indsatser rettet mod organisering af arbejdet, hvilket bl.a. omhandler

arbejdsprocesser både i forhold til teknologiske forbedringer, men også i forhold til

mere kultur- og værdibaserede forandringer.

Tabel 3.13: Indsatser fordelt på hovedformål

INDIVIDUELLE TILBUD 37

ARBEJDETS ORGANISE-

RING

INFORMATIONS-

AKTIVITETER

NETVÆRK/ SAMARBEJ-

DE

HF 1a HF 1b HF 2 HF 3 ALLE

60 %

46

74 %

33

53 %

34

54 %

KOMPETENCEUDVIKLING 41

66 %

AMBASSADØRER 22

RAMMEBETIN-

GELSER/VILKÅR

Kilde: Oxford Research 2011

36 %

8

13 %

1

8 %

11

85 %

2

15 %

6

46 %

3

23 %

2

15 %

9

82 %

2

18 %

5

46 %

10

91 %

5

46 %

3

27 %

22

79 %

6

21 %

24

86 %

6

21 %

7

25 %

11

39 %

16 Da projekterne typisk indeholder flere indsatstyper, er den samlede procentdel oftest over 100 %.

0

0 %

1

9 %

0

0 %

69

61 %

65

57 %

64

56 %

56

49 %

56

49 %

38

33 %

9

8 %

35


I forhold til projektindsatserne er det værd at notere sig, at projektindsatser omhandlende

rammebetingelser såsom økonomiske incitamenter eller overenskomstmæssige forhold

sjældent anvendes. Det er kun 13 % af HF 1a-projekterne og et enkelt projekt under

HF 1b, som har rammebetingelser som indsats. HF 1a adskiller sig fra de andre hovedformål.

Måden, hvorpå projekterne har valgt at måle deres projektindsatser, er interessant, da

den kan forklare, hvorvidt projekterne er i stand til at vurdere output, outcome og impact.

Af figur 3.14 fremgår det, at hovedparten af samtlige projekter arbejder med såvel

aktivitetsmål som effektmål, og at der er forholdsvis få, som alene arbejder med aktivitetsmål.

Sidstnævnte anser evaluator for positivt, idet brugen af effektmål er afgørende

for at kunne vurdere output, outcome og impact.

Det er evaluators vurdering, at brugen af succeskriterier indholdsmæssigt varierer betydeligt

både i forhold til de opstillede målsætninger og ikke mindst i forhold til, hvordan

projekterne efterfølgende måler på opfyldelsen heraf. Denne vurdering ligger til grund

for, at der parallelt med evalueringens første del foretages en tværgående analyse med

succeskriterier som tema. Derfor vil nærværende evaluering ikke gå dybere ind i dette

parameter til vurdering af projekternes karakteristika endsige vurderingen af deres effekt.

Som beskrevet i dette kapitel, er der nogle væsentlige forskelle på projekterne under de

respektive hovedformål. Ovenstående kortlægning vil i de efterfølgende kapitler blive

brugt som udgangspunkt for dybdegående analyser af projekterne.

36

80%

70%

60%

50%

40%

30%

20%

10%

0%

13%

48%

37%

Kilde: Oxford Research 2011

Figur 3.14: Projektmålinger

15%

46%

39%

18%

9%

73%

25%

18%

HF 1a HF 1b HF 2 HF 3

57%

Projektet foretager

aktivitetsmålinger

Projektet foretager

effektmålinger

Projektet måler

både aktivitet og

effekt

n = 113


Kapitel 4. Evaluering af HF 1a

I dette kapitel analyseres projekter, som har modtaget støtte under Forebyggelsesfondens

hovedformål 1a. Hovedformål 1 er som bekendt opdelt i to delformål. Denne sondring

opretholdes i evalueringen, sådan at HF 1a og HF 1b evalueres særskilt, fordi opdelingen

sker med baggrund i forskellig fokus for projekterne. Der er 62 afsluttede projekter

under dette hovedformål, som analyseres i forhold til projekternes indhold, proces og

resultater.

Formålet med kapitlet er at udfolde de forskellige elementer i en programteoretisk forståelse

af projekters proces og derved få en bedre forståelse af disse processer. Fokus er

således på kontekst og indsats set i forhold til effekt. Analysen er struktureret således, at

der for det første er fokus på kontekstfaktorer for indsatserne og deres betydning for

effekt. Dernæst belyser analysen indholdet af indsatserne under HF 1a og deres betydning

for effekt.

4.1 Formålet med HF 1a

Under HF 1a støttes ekstraordinære og nytænkende projekter, der har til formål at forebygge

fysisk og psykisk nedslidende rutiner og arbejdsgange. Hertil kommer projekter,

som søger at fastholde medarbejdere med dårligt helbred. HF 1a er det mest søgte og

det hovedformål med flest afsluttede projekter.

Som beskrevet i metodeafsnittet er det ikke muligt for evaluator at analysere eller vurdere

på tværs af projekternes succeskriterier såsom fx nedgang i sygefravær, da opgørelsesmetoderne

i projekterne varierer betydeligt, og da kvaliteten af evalueringen af projekterne

ligeledes varierer. Implementering og spredning er i analysen udtryk for et projekts

effekt. Effekter, som efterfølgende implementeres, må antages at være succesfulde

og holdbare, ligesom spredning er et udtryk for en mere langsigtet effekt (impact).

Da Forebyggelsesfondens midler samtidig er rettet mod nytænkende projekter, kan et

succesfuldt projekt imidlertid også være et projekt, som ikke lykkes, og hvor den opnåede

viden handler om, hvad der ikke virker. Derfor er spredning af viden en parameter for,

at projekterne har skabt et brugbart resultat i en bredere sammenhæng. Men ikke mindst

eksperimenterende projekter har en høj risiko for ”fiasko”, og erfaringer fra mislykkede

projekter er formentlig vanskelige at sprede. På denne baggrund anses implementering

og spredning for at være de aktuelt mest valide udtryk for projekternes effekt.

4.2 Projekternes kontekst

Et centralt spørgsmål i forbindelse med projekternes kontekst er organisering. Organiseringen

omhandler aspekter i forhold til beslutningskompetence og involvering af forskellige

aktører. I de kvalitative interview fremhæver hovedparten af projektlederne uopfordret

vigtigheden af ledelsesmæssig opbakning til projektet.

Ledelsens opbakning kan både anskues formelt i form af de beslutninger, der træffes på

ledelsesniveau og mere uformelt som opbakning og interesse for projektets deltagere og

37


indhold. Eksempelvis peger en projektleder på, at nøglepersonernes oplevelse af ledelsens

engagement har haft væsentlig betydning:

38

Topledelsens støtte til nøglepersonernes nye rolle og generel opmærksomhed på

projektet er meget vigtig. (Projektleder, privat virksomhed)

Andre informanter fremhæver, at ledelsens involvering i selve projektudviklingen har haft

en betydning, men også undervejs i projekterne (fx ved forskellige målinger) fremhæves

ledelsens interesse som medvirkende til at skabe fremdrift i projekterne og motivere målgruppen

til deltagelse. Når der nedenfor fokuseres på den formelle ledelsesmæssige forankring

af projekterne, er dette således én vinkel på ledelsesmæssig opbakning, mens

den uformelle ledelsesopbakning ikke har været mulig at analysere yderligere end ovenstående.

Den ledelsesmæssige forankring antager forskellige former, herunder projektledelse med

interne og eksterne aktører samt styregrupper med deltagelse af medarbejdere. Det underbygges

såvel kvalitativt som kvantitativt, at der er flere forskellige typer af aktører,

som indgår i de forskellige former for projektorganisering, og at dette tillægges betydning

for projekterne.

4.2.1.1 Placering af beslutningskompetence

Faktaboks 4.1: Beslutningskompetence

59 % har intern projektledelse

41 % har eksterne i deres projektledelse

67 % har styregrupper

59 % har styregrupper, hvori medarbejdere deltager

I 59 % af projekterne ligger

projektledelsen internt i den

virksomhed, hvor projektet

foregår. Dette er måske ikke

overraskende, men det betyder

omvendt, at der i 41 % af projekterne

indgår eksterne aktører

i selve projektledelsen. Det

er interessant at afdække, om

dette forhold eksempelvis har

betydning for implementeringen af projekternes resultater. Evaluator har en hypotese

om, at intern projektledelse i højere grad resulterer i implementering af projektet end,

hvis projektledelsen forestås helt eller delvist af eksterne. Det er en hypotese, som delvis

understøttes af data.

Som det fremgår af figur 4.1 nedenfor, er der en større grad af implementering, når projektledelsen

er intern. Det mest sigende tal i den forbindelse er, at samtlige projekter,

som udelukkende har eksterne aktører i projektledelsen, ikke implementeres, mens det er

henholdsvis 3 % og 5 % for intern og intern/ekstern projektledelse. Figur 4.1 peger ligeledes

på, at forskellen mellem implementeringen for intern og delt intern/ekstern projektledelse

er minimal.


100%

80%

60%

40%

20%

0%

56%

42%

3%

Intern

projektledelse

Kilde: Oxford Research 2011

100%

Inddragelse af eksterne aktører i projektledelsen kan være organiseret i styregrupper.

Beslutningskompetencen i projekterne er for 67 % vedkommende placeret i styregrupper.

I alle på nær fire projekter deltager ledelsen i styregrupperne. I mere end halvdelen (59

%) af projekterne under HF 1a deltager medarbejdere i styregrupper.

Inddragelse af medarbejdere kan formodes at skabe engagement og ejerskab, som fører

til en højere grad af implementering. Hertil kommer en antagelse om, at medarbejdernes

deltagelse kvalificerer projekterne og herved gør dem levedygtige i dagligdagen. Antagelsen

om en positiv sammenhæng mellem inddragelse af medarbejderne i beslutningsprocesserne

og implementeringen fremgår af figur 4.2. Her fremgår det, at 47 % af projekter

med medarbejdere i styregruppe opnår fuld implementering af projektet, mens dette

sker for 33 % af projekter, som ikke har medarbejdere i styregrupper. 3 % af projekterne

med medarbejdere i styregruppen implementeres ikke, hvilket er tilfældet for 11 % af de

projekter, som ikke har medarbejdere i styregruppen.

100%

80%

60%

40%

20%

0%

47%

Figur 4.1: Projektledelse og implementering

Ekstern

projektledelse

Involvering og engagement kan formodes at øge bredden i indsatsen, fordi flere interesser

indgår og skal tilgodeses i beslutningsprocesserne omkring projektet. Der ses en tendens

til, at involvering af medarbejdere via deltagelse i styregrupper har en betydning for

indsatsens bredde.

45%

50%

5%

Delt intern/ekstern

projektledelse

50% 56%

3%

Projekter med medarbejdere i

styregrupperne

Kilde: Oxford Research 2011

Figur 4.2: Styregruppesammensætning og implementering

33%

11%

Projekter uden medarbejdere i

styregrupperne

Helt implementeret

Delvis implementeret

Ikke implementeret

n = 60

Helt

implementeret

Delvis

implementeret

Ikke

implementeret

n = 40

39


I figur 4.3. opstilles en sammenhæng mellem styregruppens sammensætning og projektindsatsen,

hvor en bred indsats defineres som en indsats med mange indsatstyper og

problemstillinger, mens en smal indsats indeholder få indsatser og en enkelt eller få problemstillinger.

Det fremgår, at 56 % af de projekter, som har medarbejdere i en styregruppe,

har en bred indsats, mens det gælder for 22 % af de projekter, som ikke har

medarbejdere med i en styregruppe. På den baggrund kan det konkluderes, at involvering

af medarbejdere i styregrupper vurderes at have en sammenhæng med en bredere

indsats. Dette kan skyldes, at projektet via inddragelsen af medarbejderne i styregruppen

får flere synspunkter og perspektiver ind i projektet, som relaterer indsatsen til kerneopgaverne

og skaber et bredere fokus.

Inddragelsen af medarbejdere i styregrupper viser samtidig en sammenhæng, hvor der i

højere grad opnås positive sidegevinster – altså resultater, som ikke var forudset og måske

ikke har direkte sammenhæng med indsatsen. Figur 4.4 viser, at hele 83 % af de

projekter, hvor medarbejderne indgår i styregrupper, angiver at have opnået positive

sideeffekter mod 63 % af projekter uden medarbejdere i styregrupper. Generelt opnår

ganske mange projekter efter eget udsagn positive sideeffekter af deres indsats.

I de kvalitative interview vurderer flere projektledere og nøglepersoner, at de via projektet

har fået positive sidegevinster i form af et mere grundlæggende bidrag til en kulturændring

i virksomheden. Eksempelvis udmøntet i øget involvering af medarbejdere eller i

forhold til at tage arbejdsmiljø alvorligt og gå op imod ”Tarzan-kulturen” på arbejdspladsen.

En projektleder fra byggebranchen påpeger dette og anfører samtidig tidspres som

en barriere i forhold til at fastholde den kulturelle forandring. Tidspresset medfører ifølge

projektlederen en fare for, at man falder tilbage i de gamle vaner, hvor kulturen tilsiger,

at man klarer sig selv:

40

100%

80%

60%

40%

20%

0%

Figur 4.3: Styregruppesammensætning og bredden i indsatserne

44%

56%

Projekter med medarbejdere i

styregrupper

Når tidsplanen er presset, så passer hver mand sit, og der opstår samarbejdsproblemer

og unødig nedslidning. Det er lettere bare at bære selv. (Projektleder, privat

virksomhed).

78%

22%

Projekter uden medarbejdere i

styregrupper

Projektet består af

en smal indsats

Projektet består af

en bred indsats

Kilde: Oxford Research 2011 n = 42


100%

80%

60%

40%

20%

0%

83%

17%

Projekter med medarbejdere i

styregrupper

Kilde: Oxford Research 2011

Hvis beslutningskompetencen ligger i en styregruppe, involverer det flere og giver ejerskab

til flere end ved en klassisk ledelsesstruktur, hvor det udelukkende er organisationens

øverste ledelse, som styrer projektet. På den baggrund er det rimeligt at formode,

at projekter, som anvender styregrupper, opnår større spredning af projektets resultat.

Som det ses i figur 4.5, er det imidlertid ikke tilfældet. Graden af spredning er stort set

ens, uanset om projekterne har en styregruppe med inddragelse af medarbejdere eller

har beslutningskompetencen organiseret udelukkende på ledelsesniveau eller i en styregruppe

uden medarbejdere. Evaluator finder ingen umiddelbare forklaringer herpå, men

finder, at det er interessant i fremtidige analyser at holde sig for øje, at organiseringen i

en styregruppe ikke fører til øget spredning.

100%

80%

60%

40%

20%

0%

Figur 4.4: Styregruppesammensætning og sideeffekter

Det er vanskeligt helt præcist at afdække, hvordan styregrupperne konkret er blevet

anvendt i projekterne, og i den forbindelse peger projektledere og andre nøglepersoner

på forskellige relevante eksempler og opmærksomhedspunkter. Eksempelvis fremhæves

det, at styregruppen reelt skal involveres og ikke blot fungere som et formelt organ. En

projektleder beskriver styregruppens funktion som sparringspartner som essentiel.

63%

87% 88%

Projekter med medarbejdere i

styregrupper

Kilde: Oxford Research 2011

Det er vigtigt at se styregruppen som sparringspartner og ikke bare nogen, der skal

godkende. Man skal bruge og udfordre dem som en del af processen. (Projektleder,

privat virksomhed).

37%

Projekter uden medarbejdere i

styregrupper

Figur 4.5: Styregruppesammensætning og spredning

13% 12%

Projekter uden medarbejdere i

styregrupper

Projektet har positive

sideeffekter

Projektet har ikke

positive sideeffekter

n = 38

Opnår spredning

Opnår ikke

spredning

n = 40

41


Herudover påpeges det, at reel involvering kræver tid. For at få involveret styregruppens

medlemmer i projektets indhold, indsatser og gennemførelse er det centralt at afsætte

tid til arbejdet i styregruppen under hele processen, men de kvalitative interview peger

særligt på behovet i opstartsfasen. I de tilfælde, hvor medarbejderne involveres, viser

det sig, at indholdet af styregruppens arbejde bliver mangeartet. Foruden at indkredse og

fokusere indsatsen handler det om at skabe et fremadrettet fundament for samarbejde,

tillid og legitimitet.

Opsummerende kan det i forhold til placeringen af beslutningskompetence vurderes, at

hovedparten af projekterne organiserer sig med en styregruppe. Styregrupperne har stort

set alle ledelsen repræsenteret, og omtrent halvdelen har medarbejderne repræsenteret.

Begge parters deltagelse fremmer implementeringen, og derudover har analysen vist, at

intern projektledelse styrker implementeringen, uanset om den interne ledelse forestås

alene eller sammen med eksterne aktører. Involveringen af medarbejdere i styregrupper

viser sig ligeledes at bidrage positivt, ved at disse projekter i højere grad opnår positive

sidegevinster.

4.2.1.2 Involvering af eksterne aktører

Forholdsvis mange projekter inddrager som skrevet eksterne aktører i selve projektledelsen.

Denne åbenhed mod omverdenen og omverdenens ekspertise ses også ved, at hovedparten

af projekterne (95 %) under dette hovedformål inddrager eksterne konsulenter til

fx processtøtte eller teknisk bistand.

Faktaboks 4.2: Inddragelse af eksterne

aktører

41 % har eksterne aktører i deres projektledelse

95 % anvender eksterne konsulenter i forbindelse

med indsatsen

66 % anvender eksterne konsulenter i evalueringen

42

Flere projektledere fremhæver vigtigheden

af at involvere eksterne aktører i

forhold til at give projektet autoritet i

såvel organisationen som over for medarbejderne.

Ergoterapeutisk bistand som ekstern

autoritet er vigtig. Det betyder noget,

når fagfolk kommer ind udefra. Så lyttes

der på en anden måde. (Projektleder,

kommunal virksomhed).

Dette udsagn peger sammen med flere

andre på, at den direkte dialog mellem eksterne konsulenter og medarbejderne kan være

en vigtig forandringsfaktor. Således fremhæver en anden projektleder specifikt dette som

et læringspunkt i projektet. Her var de eksterne konsulenter indtænkt som sparring for

styregruppen, men funktionen blev ændret til, at konsulenterne kom ud i felten og var på

afdelingsniveau sammen med medarbejderne.

De skulle ud i terrænet. Der kunne de bedre bidrage til forandring. (Projektleder, regional

virksomhed).

Konsulenternes direkte funktion over for målgruppen fremhæves særligt i de projekter,

hvor der har været iværksat en individ-orienteret indsats. Pointen blandt disse projektledere

er, at når indsatsen fordrer en erkendelse af individuelle problemstillinger fx i forhold

til det psykiske arbejdsmiljø, kan dette lettere italesættes over for en udefrakommende.


En tredje person (ekstern, red.) kommer i dialog med medarbejderen, og derved bliver

din privatsfære ikke åben over for arbejdspladsen. Det har bidraget væsentligt til

at styrke indsatsen. (Projektleder, kommunal virksomhed).

Inddragelsen af de eksterne aktører kan ses i lyset af indsatsens karakter som individorienteret,

men også i andre projekter vurderes det som en fordel, at medarbejderne

sammen med en ekstern konsulent har analyseret og kommenteret på arbejdsmiljøforhold

uden at skulle forholde sig til ledelsen. Projektlederne påpeger i denne sammenhæng,

at de eksterne aktører gør det muligt at frakoble medarbejdernes oplevede risici i

forhold til, at deres udsagn alene skulle anvendes til effektivisering og rationalisering.

I andre projekter fremhæves de eksterne konsulenters funktion i forhold til projektets

proces, hvor flere projektledere netop understreger de eksternes funktion som dem, der

sikrer fremdriften i projekterne. En projektleder peger i den sammenhæng på, at de eksterne

konsulenter og evaluatorer har været vigtige for processen.

Det var vigtigt for processen, at der var en ekstern indpisker. Også den eksterne

evaluator var med til at sikre fremdriften. Det handler både om at fremme processen

og om at sikre, at vi bliver på stien. (Projektleder, privat virksomhed).

Endvidere tyder det på, at inddragelse

af eksterne konsulenter til processtøtte

øger spredningen. Således har 89 % af

de projekter, som har benyttet eksterne

konsulenter til processtøtte, opnået

spredning, mens det gælder for 79 % af

de HF 1a-projekter, som ikke har benyttet

eksterne til processtøtte.

Faktaboks 4.3: Eksterne konsulenter

75 % benytter eksterne til processtøtte

66 % benytter eksterne til evaluering

45 % benytter eksterne til arbejdsmiljøfaglig

bistand

39 % benytter eksterne til undervisning

I forbindelse med inddragelsen af eksterne

konsulenter til formidling viser

30 % benytter eksterne til teknisk støtte

data, at det er med til at styrke imple- 25 % benytter eksterne til formidling

menteringen. Der er 47 % af HF 1aprojekterne

med støtte til formidlingsdelen, som implementeres fuldt ud, mens det gælder

for 39 % af de HF 1a-projekter, som ikke får støtte til formidling. I forhold til de andre

konsulentydelser, som projekterne gør brug af, er der imidlertid ikke nogen forskelle

at spore med henblik på at skabe en højere grad af spredning eller implementering.

Det er selvfølgelig heller ikke alle, som har oplevet inddragelsen af eksterne konsulenter

som entydigt positivt, men der er meget få, der fremhæver en negativ betydning af inddragelsen.

Der, hvor der peges på udfordringer, er de eksterne konsulenters indsigt i

arbejdspladsens lokale og specifikke forhold. De fleste angiver dog dette som en udfordring

ved projektets start, som siden overkommes.

De tilknyttede konsulenter vidste ikke alle så meget om fagområdet, men de ”kom

efter det”. (Projektleder, privat virksomhed).

Inddragelse af ekstern konsulentbistand sker også i forbindelse med projektevalueringen.

Generelt er det evaluators vurdering, at der er forholdsvis mange projektevalueringer,

som har en dårlig kvalitet. Derfor er det afsøgt, om brugen af eksterne evaluatorer

øger kvaliteten. Under HF 1a har 66 % af projekterne haft eksterne konsulenter inddraget

i evalueringerne.

På baggrund af evaluators gennemgang og vurdering af projektevalueringerne og evaluators

faglige evalueringsekspertise er det vurderingen, at brugen af eksterne evaluatorer

resulterer i en højere kvalitet i evalueringen. 30 % af de rent interne evalueringer vurderes

at have lav kvalitet mod 17 % af de evalueringer, hvor eksterne konsulenter indgår i

43


evalueringer. Hermed også være sagt, at brugen af eksterne evaluatorer ikke er en garanti

for evalueringer af høj kvalitet, men det styrker kvaliteten, at evalueringen foretages

af folk ude fra og formentlig også af personer med større erfaring i evalueringsmetoder.

Imidlertid er der ikke en sammenhæng i forhold til, at eksterne evalueringer fører til større

spredning af den opnåede viden. Tværtimod er der en lidt større andel af internt evaluerede

projekter end eksterne, som opnår spredning. Forskellen er dog kun på fire procentpoint.

Dette er et interessant fund, som evaluator vil forfølge i kommende delevalueringer.

Dog viser det sig, at inddragelsen af eksterne evaluatorer giver en højere grad af

implementering, hvorfor 47 % af projekter med inddragelse af eksterne evaluatorer er

blevet fuldt implementeret, mens andelen er 28 % for projekter uden inddragelse af eksterne

evaluatorer.

Opsummerende er vurderingen, at eksterne aktører i høj grad inddrages. De eksterne

aktørers funktion varierer, men der tegner sig et billede af, at de kan have en særlig

funktion i de individ-orienterede indsatser. Det omhandler enten personlige forhold, eller

hvis der i indsatsen ligger en oplevet konflikt mellem medarbejdere og ledelse. Samtidig

vurderes det, at de eksterne aktører har haft en positiv betydning for projekternes proces,

når deres funktion relaterer sig til indsatsen. I forlængelse heraf viser det sig, at

brugen af processtøtte bidrager til at skabe øget spredning af projekterne. Ydermere

viser det sig, at brugen af eksterne konsulenter til formidling styrker implementeringen.

Det er desuden udbredt blandt HF 1a-projekterne at bruge eksterne evaluatorer, hvilket

er med til at øge kvaliteten af evalueringerne samt skabe øget implementering, men ikke

nødvendigvis øget spredning af den opnåede viden.

4.3 Projekternes indsats

Efter at have afsøgt de forskellige organisatoriske faktorers betydning for projekternes

indhold og resultat, analyseres faktorer relateret til selve indsatsen og dennes betydning.

Det kunne fx formodes, at projekter med smalle indsatser opnår en højere grad af implementering

end projekter med brede indsatser, men denne sammenhæng kan ikke

identificeres.

Derimod viser det sig, at der er en høj grad af forskellige former for involvering, og at

dette på forskellig vis har en betydning. Ligeledes viser løsningsforståelse og kompeten-

44

100%

Figur 4.6: Evalueringskvalitet og evaluator

80%

60%

63%

55%

Høj

evalueringskvalitet

Rimelig

40%

30%

evalueringskvalitet

20%

20% 17%

15%

Ringe

0%

evalueringskvalitet

Eksterne indgår i Eksterne indgår ikke i

evalueringen

evalueringen

Kilde: Oxford Research 2011 n = 60


ceudvikling som særlig indsatstype at have en betydning. Afslutningsvis ses på processen

i indsatserne.

4.3.1.1 Involvering som en del af indsatsen

Mange projekter anvender involvering

af interne såvel som eksterne aktører

som en del af selve indsatsen og dermed

ikke blot som en del af projektets

organisering. Evaluator har set på flere

forskellige former for involvering, som

analyseres nedenfor.

Faktaboks 4.4: Involvering som en del

af indsatsen

91 % involverer målgruppen

53 % anvender netværk

34 % anvender ambassadører

Involvering af målgruppen som en

del af indsatsen anvendes af stort set alle projekter under dette hovedformål (91 %).

Involvering af målgruppen dækker over en bred vifte af metoder til at skabe engagement

i projektet.

Flere projektledere fremhæver projektets involvering af målgruppen som et element i

indsatsen, der har en bredere betydning for virksomhedens kultur. Det fremhæves især i

projekter i byggebranchen og servicebranchen, hvor målgruppen beskrives som medarbejdere,

der ikke sædvanligvis bliver bedt om at bidrage og involvere sig. Det bredere

bidrag udtrykkes bl.a. i nedenstående citat, hvor pointen er, at projektets indsats anlægger

en anden tilgang til medarbejderne, end de er vant til.

Der bliver skabt et særligt forum, hvor de faglærte kan deltage. De har normalt ikke

en deltagende og bidragende kultur, hvor man åbner munden. Faktisk er de mest

vant til at gøre, som der bliver sagt. (Projektleder, privat virksomhed).

Et andet eksempel på, at det har en betydning for virksomhedens kultur at involvere

målgruppen, er et projekt, hvor projektlederen fremhæver, at indsatsen har medvirket til,

at afdelingerne finder deres egen identitet. Dette har ifølge projektlederen ført til, at afdelingerne

har fået et bedre fundament for at håndtere løbende forandringer og nye krav

i virksomheden. At involveringen bidrager til at nuancere virksomhedens karakteristika

ses endvidere i et projekt, hvor målgruppeinvolvering i supervisionsindholdet - overraskende

for projektledelsen - viste væsensforskellige ønsker til indhold og metoder. Der er

således mange eksempler på, at involvering af medarbejderne ikke alene har betydning

for indsatsen, men også bidrager positivt på en bredere front på arbejdspladsen.

Brugen af netværk er en anden form for involvering, som formodes at have betydning

for spredning af projektets resultat. Netværk som indsats dækker over samarbejdsrelationer

på tværs af fx faggrupper, afdelinger eller virksomheder. Brugen af netværk forventes

både at kunne give input til projektet, ved at man inddrager viden, erfaringer og perspektiver

fra andre, men også at kunne viderebringe viden fra projektet til andre. Netværk

overskrider så at sige naturligt virksomhedens horisont, hvilket fører til en hypotese

om, at der heri ligger en positiv sammenhæng med spredning af viden opnået i projektet.

Halvdelen af projekterne involverer netværk som en del af projektets indhold, hvilket ser

ud til at have betydning for den efterfølgende spredning af projektets resultater. Som det

ses i figur 4.7, opnår hele 97 % af projekterne med brug af netværk spredning, hvilket er

tilfældet for 75 % af projekter uden anvendelse af netværk.

45


Anvendelse af ambassadører kan ligeledes forventes at medvirke til at motivere deltagelsen

i projektet, skabe ejerskab og forankring samt viderebringe viden opnået i projektet.

Godt en tredjedel af projekterne gør brug af ambassadører som en del af deres

indsats. Det tyder ikke på, at dette har betydning for projekternes implementering, og

ligeledes opnås der ikke en nævneværdig større spredning end for de projekter, som ikke

bruger ambassadører.

Opsummerende viser analysen, at inddragelse af målgruppen anvendes af stort set alle

projekter, og at dette tillægges betydning i og uden for selve projektet. Hertil kommer, at

halvdelen af projekterne anvender netværk som en del af indsatsen, og at dette har en

betydning for videnspredningen af projektets resultater. Derimod er der ikke noget, der

tyder på, at brugen af ambassadører har en nævneværdig betydning for implementering

og spredning. Hvilket vil være et opmærksomhedspunkt i de kommende evalueringer.

4.3.1.2 Arbejdsorganisering, individuelle tilbud og empowerment

Ses der herefter på særligt indhold i indsatserne, er ændringer i arbejdsorganisering

den mest anvendte indsats under HF 1a. Ændringer i arbejdets organisering viser sig at

have en forholdsvis klar sammenhæng med graden af implementering af projekternes

indsats. Af figur 4.8 fremgår det, at hele 51 % af de projekter, som har ændringer i arbejdets

organisering som en del af sin indsats, bliver helt implementeret mod 13 %

blandt de projekter, der ikke indeholder ændringer af arbejdsorganisering. Ser man på

projekter, som ikke implementeres, er billedet også klart med 7 % ikke implementerede

projekter blandt projekter med ændringer i arbejdsorganiseringen og 12 % blandt projekter

uden ændringer i arbejdsorganisering.

46

100%

80%

60%

40%

20%

0%

97%

3%

75%

25%

Anvender netværksindsats Anvender ikke netværksindsats

Kilde: Oxford Research 2011

Figur 4.7: Netværksindsats og spredning

Opnår spredning

Opnår ikke

spredning

n = 61


100%

80%

60%

40%

20%

0%

51%

42%

7%

Projektet omhandler ændring af

arbejdets organisering

Kilde: Oxford Research 2011

Figur 4.8: Ændring af arbejdets organisation og implementering

Empowerment som løsningsforståelse indgår i godt halvdelen af projekternes indsatser.

Empowerment som løsningsforståelse dækker over, at evaluator vurderer, at løsningsforståelsen

i projektet i minimum tre ud af fem sammenhænge er empowermentorienteret

(for yderligere uddybning henvises til bilag 1). Disse er holdt op mod projekter med en

ekspertorienteret tilgang, som omvendt er operationaliseret, ved at løsningsforståelsen i

projektet i minimum tre ud af fem sammenhænge er ekspertorienteret (jf. bilag 1).

Som det kan ses i figur 4.9, er der bemærkelsesværdige forskelle i forhold til disse to

tilganges betydning for implementeringen. Af de projekter, der har en ekspertorienteret

tilgang, er 67 % blevet implementeret, mens dette gør sig gældende for 43 % af projekter

med empowerment som tilgang.

Det bemærkes samtidig, at forskellen i forhold til projekter, hvor det ikke har været muligt

at afdække deres løsningsforståelse eller kategorisere denne som henholdsvis empowerment

eller ekspertorienteret, ikke er væsentlig. Det kan derfor være vanskeligt at

udlede andet af opgørelsen, end at projekter med empowerment som tilgang er udfordret

i forhold til implementeringen, og at denne udfordring kan være interessant at afsøge

nærmere i fremtidige dele af evalueringen. Evaluator har blandt andet en formodning

om, at de empowermentorienterede projekter i højere grad retter sig mod kultur og vaner,

der alt andet lige er vanskeligere at implementere.

13%

75%

12%

Projektet omhandler ikke

ændring af arbejdets organisering

Helt

implementeret

Delvis

implementeret

Ikke

implementeret

n = 61

47


Opsummerende viser analysen et generelt billede af, at ændringer i arbejdsorganiseringen

har en positiv betydning for et projekts implementering. Ligeledes tyder det på, at

den ekspertorienterede tilgang har en positiv sammenhæng med implementeringen i et

projekt sat op over for den empowermentorienterede tilgang.

4.3.1.3 Proces

I forhold til processen i projekterne kan det være relevant at afdække projekternes afsæt

i henholdsvis kendte metoder eller med ambition om at tilføje/afprøve nye elementer.

Godt halvdelen af projekterne indeholder en indsats, som er velkendt og afprøvet,

mens den anden halvdel afprøver nye elementer eller er egentlig eksperimenterende.

Ikke så overraskende opnår projekter med nye og eksperimenterende elementer en større

spredning af indsatsens resultater. Der må formodes dels en større nysgerrighed over

for nye tiltag, som giver en større efterspørgsel efter viden opnået i projektet. Dels må

det formodes, at der i projektet er en større motivation til at videreformidle projektets

resultater, hvis man har nyt at berette.

Det fremgår af figur 4.10, at de eksperimenterende indsatser har den laveste implementering,

hvilket umiddelbart forekommer logisk. Imidlertid er det overraskende, at det er

projekter med nye elementer, som med 56 % har den højeste andel af fuldt implementerede

projekter mod 32 % blandt projekter, som arbejder med velkendte og afprøvede

indsatser.

At de indsatser, som enten er velkendte og afprøvede eller indeholder nye elementer, har

en højere implementering, kan muligvis forklares ved, at de netop ved at være mere

afprøvede og velkendte end de eksperimentelle lettere kan få den nødvendige opbakning,

der skal til for, at det implementeres. Derimod kræver en ny satsning mere gennemslagskraft

og ledelsesopbakning, hvilket alt andet lige vanskeliggør implementeringen.

48

100%

80%

60%

40%

20%

0%

67%

25%

8%

Kilde: Oxford Research 2011

Figur 4.9: Løsningsforståelse og implementering

54%

43%

3%

8%

67%

25%

Helt

implementeret

Delvis

implementeret

Ikke

implementeret

n = 61


100%

80%

60%

40%

20%

0%

32%

59%

9%

Indsatsen er velkendt

og afprøvet

Kilde: Oxford Research 2011

I forhold til projekternes udgangspunkt viser det sig interessant, at det i flere projekter

påpeges, at de som virksomhed ikke har været vant til at arbejde med projekter og oplever

opgaven med at afklare og forklare formålet med projektet som en væsentlig læring.

Igen bliver kulturelle udfordringer fremhævet bl.a. af en projektleder inden for byggebranchen.

Ingen vidste helt, hvordan projektet skulle sættes i søen. De timelønnede er ikke

meget for at sige deres mening. De er vant til at rette ind. Og det er faktisk også

uvant for byggeledelsen. (Projektleder, privat virksomhed).

Ikke overraskende er der i disse projekter fokus på at få skabt en hensigtsmæssig mødestruktur

og mødekultur. Ligeledes understreger mange projektledere vigtigheden af en

forventningsafstemning, hvor flere peger på workshops, seminarer og lignende som vigtige

til indledningsvis at opnå fælles forståelse og ejerskab.

Projekterne påvirkes naturligvis undervejs af andre faktorer i virksomhederne. Den hyppigst

nævnte påvirkning handler om den økonomiske situation, hvor mange påpeger, at

krise og offentlige besparelser har taget fokus væk fra projektet. Andre fremhæver dog

også vækst som en faktor, der har forstyrret processen og medført, at der ikke er fulgt

op på indsatsen i den ønskede grad. Det er evaluators vurdering, at den generelle økonomiske

situation har påvirket projekterne negativt, ved at projekterne ofte er blevet

nedprioriteret i kampen for overlevelse.

4.3.1.4 Projektperiode

Figur 4.10: Projektindsats og implementering

56%

39%

6%

Indsatsen indeholder

ny elementer

43% 43%

I forhold til projekternes proces er det relevant at afdække selve varigheden af projektet.

Der fremføres både argumenter for og imod lange projektperioder i de kvalitative interview.

En projektleder fra en offentlig virksomhed udtrykker ønske om en kortere projektperiode

for at kunne holde fokus og ud fra en praktisk udfordring med at lægge beslag

på medarbejderressourcer.

Projekterne må ikke være så lange. Hellere 6-8 måneder, så vi kan huske, hvad vi

har gang i. Ellers kommer nye projekter til. Vi kan heller ikke booke ressourcer i så

lang tid. (Projektleder, kommunal virksomhed).

14%

Indsatsen er

eksperimentel

Helt

implementeret

Delvis

implementeret

Ikke

implementeret

n = 61

49


Det er værd at bemærke, at projektlederen i ovenstående citat repræsenterer en organisation,

som er vant til projekter, hvilket kan have indflydelse på den tid, der er behov for.

Ligeledes må det forventes, at en hensigtsmæssig projektperiode afhænger af indsatsen.

En statslig arbejdsplads fremhæver således en lang projektperiode som en fordel med

henvisning til projektets fokus på anerkendelse.

50

Det lange forløb på 1½ år har været et plus, fordi det kræver en længere proces at

skabe fokus på anerkendelse og få det gjort til en daglig praksis at give ros og anerkendelse.

(Projektleder, statslig virksomhed).

Evaluator vurderer på denne baggrund, at en hensigtsmæssig projektperiode dels afhænger

af indsatsens omfang, dels afhænger af virksomhedens erfaringer med projekter.

4.3.1.5 Ændringer i projektet

Processen i forbindelse med indsatsen har i nogle tilfælde medført ændringer i projekterne

(jf. figur 4.11). Overordnet set er der dog ikke fundet mange ændringer i projekterne.

34 % af projekterne rapporterer, at der ikke er foretaget ændringer undervejs. De

fleste ændringer er foretaget i forhold til projekternes indhold. Her er der i mere end 40

% af projekterne fundet, at der er foretaget ændringer, og 60 % af disse ændringer

tilskrives indre forhold i projektet. Det område, hvor næstflest projekter har foretaget

ændringer i processen, er ændringer i målgruppen, hvor 27 % af projekterne har foretaget

ændringer, og 65 % af disse tilskriver ligeledes interne forhold som baggrund for

disse ændringer. I en meget lille andel på 7 % af projekterne er der fundet ændringer i

succeskriterierne. Sidstnævnte kan umiddelbart give anledning til undren, når 41 % har

indholdsmæssige ændringer. Dette kan dog skyldes, at mange projekter arbejder med

meget overordnede mål og succeskriterier.

100%

80%

60%

40%

20%

0%

Kilde: Oxford Research 2011

27%

Figur 4.11: Ændringer i projektet

42%

18%

13%

29%

7%

34%

n = 61


Når de indholdsmæssige ændringer mere kvalitativt afdækkes, viser det sig, at flere af

disse aspekter, herunder fordelingen eller tidsmæssig placering af aktiviteterne i projektet

eller andre mindre metodiske justeringer, er interessante at forfølge. Ikke mindst fordi

ændringer kan være bevidste svar på en læring, der er opnået undervejs, således at den

i ansøgningen beskrevne vej ikke er optimal. Ændringer behøver dermed ikke at være

indikationer på, at projektet er løbet ind i problemer eller som sådan anskues som problematiske.

Flere projekter har mere gennemgribende ændringer og går dermed en anden vej end

forventet. Der er flere projekter, der har ændret tilgang fra gruppeorienteret til individorienteret,

fx et projekt hvor workshops omprioriteres til individuelle coachingsamtaler,

hvilket af projektlederen fremhæves som den væsentligste succes, fordi der herved opnås

fortrolige samtaler om problemer på både arbejdsplads og privat. I et andet projekt,

hvor en lignende ændring er foregået, understreger projektlederen vigtigheden af medarbejdernes

oplevelse af at blive set som individer som en væsentlig læring i projektet:

Vi havde tænkt, at vi kunne lave gruppeinterview med medarbejderne, men de var

så glade for at blive hørt og mødt som individer, at vi ændrede det til individuelle interview.

(Projektleder, kommunal virksomhed).

Flere andre projektledere fremhæver arbejdet på individniveau, hvor også brugen af eksterne

konsulenter, som en udefrakommende person, fremhæves som en væsentlig faktor

i forhold til at opnå fortrolighed og tillid.

Andre projekter ændrer indholdsmæssig fokus fra eksempelvis at have fokus på motivering

af medarbejdere til at ændre deres arbejdsfunktion til fokus på helt praktisk at kunne

skabe andre jobfunktioner. Her havde projektet ved projektstart en antagelse om, at

opgaven var at skabe efterspørgsel af sammensatte jobfunktioner hos medarbejderne,

men det viste sig, at opgaven reelt var at skabe udbud af mindre ensidige jobfunktioner.

Nedenstående citat viser, at projektlederen udtrykker overraskelse over medarbejderne

store velvilje.

Grundlæggende var det en meget stor øjenåbner for os, at vi skulle ændre fokus.

Der var en enorm velvilje fra assistenterne, hvilket var spændende og overraskende.

(Projektleder, kommunal virksomhed).

Der er andre eksempler på, at overraskelser i forhold til medarbejdernes holdning fører til

metodiske ændringer. Fx måtte et projekt indføre dialogisk tænkning som metode for at

få renset luften mellem ledelse og medarbejdere:

Mistilliden mellem ledelse og medarbejdere blev løst op, hvilket gav den nødvendige

basis for at komme videre. (Projektleder, regional virksomhed).

Opsummerende er det værd at notere, at knap en tredjedel af projekterne ikke har

gennemført ændringer. Blandt de projekter, hvor der foretages ændringer, er hovedparten

indholdsmæssige. Dette er interessant sammenholdt med, at kun 7 % foretager ændringer

i succeskriterierne, og at godt halvdelen af projekterne indeholder velkendte og

tidligere afprøvede indsatser.

4.4 Opsummering HF 1a

I forhold til projekternes kontekst viser projektledelsen sig ofte at inddrage eksterne aktører.

Dette kan blandt andet være i form af styregrupper, som anvendes af 67 % af

projekterne. Mere end halvdelen af disse styregrupper har deltagelse af medarbejdere.

Inddragelse af medarbejdere i styregrupper vurderes til at have betydning for flere pa-

51


ametre i projekterne. Dels ses en positiv betydning for implementering. Dels ses en tendens

til bredere indsatser, ligesom inddragelsen medfører flere positive sidegevinster.

Inddragelse af medarbejdere i styregrupper vurderes derfor at være en faktor, som har

en vigtig betydning.

Ligeledes vurderes det, at involveringen af eksterne aktører er en betydende faktor. Dels

i selve indsatsen som autoritet og ”driver” i processen, hvor evalueringen har vist, at

brugen af eksterne konsulenter til processtøtte skaber øget spredning, og dels i projektevalueringerne,

hvor kvaliteten i evalueringerne samt implementeringen øges med inddragelse

af eksterne evaluatorer.

I forhold til projekternes indsats noteres det først og fremmest, at stort set alle involverer

målgruppen som en del af indsatsen, om end involveringen er mangeartet. Hertil kommer,

at halvdelen af projekterne involverer netværk, og at dette har en positiv betydning

for spredning af viden opnået i projektet.

Når der ses på konkrete indsatstyper, er ændringen af arbejdsorganiseringen den mest

anvendte og individuelle tilbud det næstmest anvendte. Begge vurderes til at have en

positiv indvirkning på implementeringen.

I forhold til projekternes proces gennemfører halvdelen af projekterne velkendte og tidligere

afprøvede indsatser, mens den anden halvdel af projekterne indeholder nye elementer

eller er egentlig eksperimenterende. De projekter, som er egentlig eksperimenterende,

har ikke overraskende en lavere grad af implementering, mens det er mere bemærkelsesværdigt,

at projekter med nye elementer har en højere grad af implementering end

projekter, hvor indsatsen er velkendt og afprøvet.

I et processuelt perspektiv er det ligeledes relevant at fremhæve, at ca. en tredjedel af

projekterne ikke foretager ændringer undervejs i projekterne, men at blandt de projekter,

hvor der foretages ændringer, omhandler disse oftest ændringer i aktiviteternes indhold.

Analysen har således udpeget en række kontekstuelle, indholdsmæssige og processuelle

forhold som betydende for projekternes implementering og spredning af viden opnået i

projekterne.

52


Kapitel 5. Evaluering af HF 1b

I dette kapitel analyseres projekter, som har modtaget støtte under Forebyggelsesfondens

hovedformål 1b. Det er de 13 afsluttede projekter under dette hovedformål, som

analyseres i forhold til projekternes indhold, proces og resultater.

Formålet med analysen af projekterne under HF 1b er at identificere projekternes styrker

og svagheder. Analysen består af to hoveddele, som er projektets kontekst og projektets

indsats, herunder ses der nærmere på projekternes organisatoriske set-up, projektindsatsernes

karakteristika samt projekternes procesforløb.

5.1 Formålet med HF 1b

Under HF 1b støttes projekter, som har til formål at udvikle ny teknologi, der kan anvendes

til at forebygge nedslidning i særligt nedslidningstruede brancher og jobgrupper.

Det lave antal projekter under HF 1b betyder, at det er evaluators vurdering, at det ikke

er metodisk forsvarligt at se på statistiske sammenhænge, da så få observationer ikke

udelukker, at forskellene kan henføres til tilfældigheder. Således vil kvantitativt data bruges

deskriptivt for at få et overblik over de afsluttede HF 1b-projekter.

Det vil i stedet være de kvalitative data, der er indsamlet i de kvalitative interview med

projektlederen eller en anden nøgleperson fra projektet, som er strukturerende for kapitlet.

Den kvalitative analyse er et godt metodisk redskab at anvende til dette hovedformål,

fordi den kan bruges til at gå dybere ned i projekterne ved at se nærmere på de særlige

karakteristika og eventuelle udfordringer, der har været i de enkelte projekter.

Ligeledes kan der være interessante betragtninger at finde ved at sammenholde de tendenser,

som viser sig for hovedformålets 13 gennemførte projekter med sammenhænge

under de andre hovedformål. I den forbindelse er HF 1a umiddelbart det mest interessante

sammenligningsgrundlag, da de to hovedformål arbejder under samme formål,

men med forskellige midler.

5.2 Projekternes kontekst

Konteksten for projekterne under HF 1b er i høj grad præget af hovedformålets specifikke

fokus på teknologiudvikling. Teknologiudviklingsperspektivet medfører, at mange projekter

omhandler udvikling af prototyper med henblik på et efterfølgende salg på almin-

delige markedsvilkår. Dette afsnit vil

identificere væsentlige kontekstuelle

karakteristika ved HF 1b-projekterne og

analysere, hvorledes teknologiaspektet

påvirker projekterne.

Ledelsesansvaret ligger i 11 ud af 13

HF 1b-projekter i en styregruppe, hvoraf

der er medarbejderdeltagelse i ni HF 1bprojekter

med en styregruppe. Til sammenligning

med HF 1a-projekterne er

Faktaboks 5.1: Styregruppesammensætning

8 består af både ledere, medarbejdere og

eksterne aktører

1 består af ledere og medarbejdere

1 består udelukkende af ledere

1 består af ledere og eksterne aktører

53


det bemærkelsesværdigt, at der er så mange projekter, som har lagt den øverste projektledelse

hos styregruppen (for HF 1a er det 67 %).

Undersøges sammensætningen af styregrupperne under HF 1b, er der en primær tendens

til at sammensætte styregrupperne bredt med repræsentanter fra ledelse, medarbejdere

samt eksterne aktører (8 projekter). Projektledelsens forholdsvis brede organisering

bliver i de kvalitative interview fremhævet som en nødvendighed i teknologiudviklingsprojekter,

da disse projekter er yderst komplekse af natur og derfor er afhængige af

bred inddragelse. En projektleder påpeger eksempelvis, at den brede organisering i et

projekt er særlig hensigtsmæssig ved produktudvikling:

54

Ved produktudvikling skal man sikre sig, at der indgår personer/virksomheder, der

har erfaring med produktudvikling, for det er en meget kompleks proces, hvor der

skal bruges både fantasi og konservatisme på en gang. (Projektleder, privat virksomhed).

Det er interessant, at projekterne under HF 1b organisatorisk adskiller sig væsentligt fra

projekterne under HF 1a. Hvor HF 1a-projekterne lægger vægt på ledelsens opbakning i

projektet, fremhæver projektlederne i HF 1b-projekterne i de kvalitative interview vigtigheden

i at have en bred projektledelse.

Årsagen til den organisatoriske forskel mellem de to hovedformål kan ligge i, at HF 1aprojekternes

større fokus på værdimæssige og kulturelle forandringer kræver, at ledelsen

i højere grad er kulturbærere, som går ind og viser vejen for medarbejderne. HF 1bprojekterne

har derimod et mere konkret sigte i forhold til udviklingen af et teknologisk

produkt, hvilket naturligvis kræver ledelsens forståelse, men processuelt i højere grad er

baseret på en bottom-up strategi med input fra de medarbejdere, som i sidste ende skal

bruge produktet. Således kan en teknologiudviklingsproces også være med til at ændre

kulturen på arbejdspladsen, hvilket en projektleder formulerer på følgende vis:

Medarbejderne har erkendt, at de ikke får hakket hovedet af, når de kommer med

gode idéer – der er skabt en stemning, hvor det er godt at komme med idéer. (Projektleder,

privat virksomhed).

Under afsnittet om projektets indsats bliver det på baggrund af de kvalitative interview

yderligere uddybet, hvordan inddragelsen af medarbejdere har en gavnlig indvirkning på

projekter under HF 1b.

5.2.1.1 Markedsvilkår

Projekterne under HF 1b opnår generelt en lavere spredning end projekter under de andre

hovedformål. Hvor det er omkring 80 % af de samlede projekter, som bliver spredt,

er det under halvdelen af HF 1b-projekterne, som opnår spredning (6 projekter). I forhold

til spredning af projekterne under HF 1b fremhæver flere projektledere nogle specifikke

problemstillinger, som er forbundet med teknologiudviklingsprojekter.

Først og fremmest har mange projekter oplevet store udfordringer med at sprede deres

viden på grund af patenthensyn mv. Mange af projekterne omhandler udvikling af prototyper,

som er beregnet til at blive solgt på markedet. Det betyder, at spredningen af projekterne

ofte vil være i modstrid med pågældende virksomheders produktstrategier. En

af projektlederne under HF 1b beskriver eksempelvis, hvorledes idealet om videnspredning

ikke er opnået, da det ville modarbejde et salg af det udviklede produkt:

Det er vanskeligt at sælge visionen til en producent. En given producent, der udvikler

en prototype, vil have en konkurrencefordel og indgå en hemmeligholdelsesklausul,

der gør, at de er ene om udviklingen. Derfor er der ikke sket en større spredning


af visionen og designprototypen til mulige producenter. (Projektleder, privat virksomhed).

Virksomheder ønsker selvsagt ikke at forringe deres konkurrencevilkår ved at sprede

viden om deres projekt, så det er forventeligt, at HF 1b-projekterne vil opnå en lavere

spredning end projekterne under de andre hovedformål. Udover de strategiske barrierer i

forhold til videnspredning påpeger projekterne ligeledes den økonomiske krise som en

stor hindring for en spredning af deres udviklede teknologi. En projektleder beretter følgende:

En prototype er udviklet, og der er taget patent på denne. Produktet er dog endnu

ikke markedsført, da krisen i byggeriet har gjort markedsføringen mere vanskelig.

(Projektleder, privat virksomhed).

Udover den økonomiske krise peger flere interviewpersoner desuden på forfejlede produktstrategier

som årsag til en manglende efterspørgsel for deres produkter på markedet.

Vi stræbte måske for højt med vores ønske om at kunne udvikle et produkt, hvor

man kun skulle bruge forholdsvis få bevægelser, og så overvurderede vi producenternes

interesse for et så begrænset produkt. (Projektleder, privat virksomhed).

Som ovenstående citat antyder, er det centralt, at udviklingsprojekter undersøger markedsinteressen

for et givent produkt.

5.2.1.2 Projektsum

Projekterne under HF 1b er sammenholdt med projekter under andre formål de største

projekter i forhold til projektsum. Seks HF 1b-projekter og således knap halvdelen er

store projekter med en projektsum på mere end tre millioner, hvilket er væsentligt højere

end gennemsnittet for alle projekter, som er på 16 %. Der er kun to af HF 1bprojekterne,

som er karakteriseret ved at være små projekter med en projektsum på

mindre end en million, hvilket er lavt set i forhold til, at gennemsnittet er på 47 % for

samtlige projekter, der har en projektsum på mindre end en million.

Det gennemsnitlige bevilligede beløb til HF 1b-projekterne er ligeledes højere end gennemsnittet

for alle projekter. Henholdsvis 1.298.050 kr. for HF 1b-projekter mod

1.117.117 kr. for alle projekter. Der er to relativt store projekter under HF 1b, så det

giver et klarere billede af et typisk projekt i HF 1b, hvis der ses på medianen, der udgør

1.316.000 kr. mod en median for alle projekter på 805.271 kr. Fordelingen gør således

HF 1b til det hovedformål, hvor der bliver bevilliget flest penge til det enkelte projekt.

HF 1b-projekterne skiller sig ligeledes ud fra de andre hovedformål, ved at alle på nær et

enkelt projekt foregår i private virksomheder.

Der er flere projektledere fra de støttede private virksomheder, som i de kvalitative interview

efterlyser en større interesse fra Forebyggelsesfondens side, og at der burde være

større krav i forhold til at få støtte til sine projekter:

Det er næsten for nemt at få penge. Forstået på den måde, at vi godt kunne bruge

en større løbende interesse fra Forebyggelsesfonden om, hvordan udviklingsarbejdet

skrider frem og få et eksternt blik på potentialet i teknologiudviklingen i forhold til

det konkrete arbejdsmiljø. (Projektleder, privat virksomhed).

Opsummerende viser evalueringen, at brugen af styregrupper er udbredt for HF 1bprojekter.

Endvidere er det udbredt, at medarbejderne inddrages i projekterne i forhold

til at komme med input, hvilket kan bidrage til at ændre arbejdspladsens kultur. En speci-

55


fik udfordring, der gælder for projekter med fokus på teknologiudvikling er, at virksomhederne,

som står bag teknologiudviklingen, må tage forbehold i forhold til at få spredt

resultaterne. Et hensyn er eksempelvis patenter, som betyder, at spredningen af et projekts

resultater kan være i modstrid med den pågældende virksomheds produktstrategi.

5.3 Projekternes indsats

HF 1b har et specifikt fokus på teknologiudvikling, og det må herved antages, at projektindsatserne

under dette hovedformål har en høj grad af eksperimentel karakter. Antagelsen

bygger på, at udviklingsfasen i et værdikædeperspektiv er et af de første skridt, før

det endelige teknologiske produkt vil

Faktaboks 5.2: Projektindsatserne kunne introduceres på markedet.

8 projektindsatser indeholder nye elementer Som det illustreres i faktaboks 5.2,

2 projektindsatser er eksperimenterende

indeholder otte projektindsatser under

HF 1b nye elementer, og to pro-

3 projektindsatser er velkendte og afprøvede jektindsatser kan karakteriseres som

eksperimenterende. Sammenholdt

med de andre hovedformål har HF

1b-projekterne med blot tre relativt få velkendte og afprøvede projektindsatser, hvor alle

projekter gennemsnitlig har en andel på 53 %, som er velkendte og afprøvede projektindsatser.

I denne sammenhæng er det ikke overraskende, at størstedelen af teknologiudviklingsprojekterne

(9 projekter) ikke tager afsæt i en dokumenteret problemstilling. Kun

fire HF 1b-projekter tager udgangspunkt i en dokumenteret problemstilling. Det faktum,

at projekterne ikke bruger kortlagte problemstillinger som afsæt for teknologiudviklingen,

kan frygtes at modarbejde opnåelsen af brugbar teknologi i forhold til formålet.

De kvalitative interview peger ligeledes på, at de teknologiudviklingsprojekter, som tager

udgangspunkt i egentlige kortlægninger af problemområder, opnår bedre resultater. En

projektleder peger i den forbindelse på, at de i projektet ikke har formået at implementere

den udviklede teknologi, fordi de prøvede at løse for mange problemer på en gang, og

at teknologien dermed ikke var tilstrækkelig fokuseret til at være hensigtsmæssig at bruge.

I et andet HF 1b-projekt understreger projektlederen, at det har været gavnligt for projektet,

at der er udarbejdet forprojekter og undersøgelser, før projektet blev igangsat:

56

Der er lavet et forprojekt, hvor der er lavet undersøgelser af det gamle anlæg. Herefter

er der lavet nogle analyser på hvilke projekter, der kan samle alle processer i

en proces. Dermed fandt vi frem til en metode, hvor vi kan samle det hele i en proces.

(Projektleder, privat virksomhed).

I tråd hermed giver en projektleder følgende råd videre til kommende HF 1b-projekter:

Fra start af – det vil sige under udarbejdelsen af projektansøgningen, skal man gøre

sig klart, hvad man vil. Man skal kende udgangspunktet godt samt, hvad man vil opnå.

Det skal man brug tid på forinden, ellers bliver man alt for overrasket. (Projektleder,

privat virksomhed).


5.3.1.1 Involvering af målgruppen

Udvikling af nye teknologier vil i manges ører høres som ekspertstyrede og forskningsbaserede

projekter. Derfor kan det komme som en overraskelse, at otte ud af 13 projekter

involverer målgruppen i udviklingen af indsatsen. Sammenholdt med HF 1aprojekterne

er dette dog forholdsvis lavt, da 91 % af HF 1a-projekterne involverer målgruppen.

At over halvdelen af HF 1b-projekterne involverer målgruppen kan hænge

sammen med, at de fleste projekter tager udgangspunkt i ønsket om at forbedre konkrete

arbejdsmiljøforhold, og at de dermed ønsker at involvere målgruppen i udformningen

af projektet.

Denne sammenhæng bliver bekræftet i de kvalitative interview, hvor medarbejderinddragelse

i særdeleshed fremhæves som en styrke for projektet. De fleste interviewpersoner

finder, at udviklingen af ny teknologi til forbedring af arbejdsmiljøet er afhængig af, at

medarbejderne inddrages i udviklingsfasen. Mange projekter har således været processuelt

bygget op om, at medarbejderne kortlægger problemerne i deres arbejdsmiljø og

kommer med konkrete forslag til, hvordan dette kan ændres. Fx har et projekt afholdt

udviklingsseminarer, hvor medarbejderne har udarbejdet ideer og krav til produktet. Sikkerhedsudvalg

(i dag arbejdsmiljøudvalg) på arbejdspladser bliver i denne forbindelse

ligeledes fremhævet som vigtige videnkilder for teknologiudviklingen.

En projektleder beskriver processen for medarbejderinddragelse således:

Hele personalet blev kaldt ind af ergoterapeuter, og så gennemgik de forskellige løfteteknikker.

Det var rigtig godt. Det var planlagt i sikkerhedsudvalget, og sikkerhedsudvalget

var involveret hele vejen igennem. (Projektleder, privat virksomhed).

De fleste projekter under HF 1b har således eksplicit fokus på, hvordan medarbejdere

inddrages hensigtsmæssigt, og flere projekter nævner i den forbindelse især observation

som en fordelagtig metode, når der arbejdes med brugerdreven innovation.

I de projekter, som bliver udført direkte på den virksomhed, hvor teknologien skal implementeres,

begrundes medarbejderdeltagelsen med, at det er en målgruppe, som ikke

er vant til at bekymre sig om arbejdsmiljø. Medarbejderinddragelsen har derfor været

brugt strategisk til at få skabt ejerskab for teknologien i hele organisationen. Dette bliver

beskrevet således af en projektleder:

Vi har inddraget medarbejderne helt fra starten. De har fået ideer til implementeringen

af det nye anlæg, og de har været med til at teste og installere det. De får mulighed

for at gøre nogle ting, de ikke er vant til. Dette har resulteret i, at maskinen er

blevet deres lille baby. (Projektleder, privat virksomhed).

Samtidig er medarbejderinddragelsen vigtig for at sikre, at den rette løsning findes frem,

så den udviklede teknologi får den bedst mulige effekt og ikke resulterer i en halvdårlig

og ugennemtænkt løsning:

Det gælder om at holde øjne og øre åbne og lytte til alle de input, der kommer. Man

skal ikke stirre sig blind på en løsning – alt skal undersøges fra starten. (Projektleder,

privat virksomhed).

Processen med medarbejderinddragelse kræver samtidig, at der er opmærksomhed på

balancen mellem de nye input samt at kunne fastholde et snævert fokus og en klart defineret

problemstilling. Udviklingen af en ny teknologisk løsning kan i høj grad karakteriseres

som en smal indsats, og 12 HF 1b-projekter kategoriseres som projekter med smalle

indsatser. ”Keep it simple” lyder en af anbefalingerne fra en projektleder, som uddyber,

at det er afgørende for projektets succes, at det forankres i allerede eksisterende strukturer

på arbejdspladsen. I et andet projekt understreger projektlederen vigtigheden af, at

de tekniske løsninger er så enkle som mulige, så de ikke er ubrugelige:

57


58

Det viste sig, at de tekniske løsninger, vi fik forelagt, var så omstændelige, at vi ikke

kunne bruge dem. Så umiddelbart efter projektet sluttede – ca. 6 mdr. – holdt det

helt op. (Projektleder, privat virksomhed).

5.3.1.2 Involvering af eksterne aktører

I forhold til involvering af eksterne aktører kan det forventes, at projekter, som omhandler

teknologiudvikling, vil have en høj grad af teknisk bistand fra eksterne konsulenter

for at indhente særlige tekniske kompetencer til processen. I overensstemmelse hermed

viser figur 5.1., at ti ud af 13 HF 1b-projekter bruger konsulenter til teknisk støtte.

Således er teknisk støtte klart den ydelse, som HF 1b-projekterne i størst omfang gør

brug af.

Figur 5.1: HF 1b-projekter fordelt på forskellige former for konsulentbistand

Teknisk støtte

Arbejdsmiljøfaglige område

Processtøtte

Kilde: Oxford Research 2011

Evaluering

Formidling

Andet

1

2

Foruden teknisk støtte gør HF 1b-projekterne brug af ekstern konsulentstøtte i forbindelse

med evaluering (5 projekter) og det arbejdsmiljøfaglige område (4 projekter), hvilket

ikke er overraskende, da HF 1b netop har fokus på arbejdsmiljø.

Involvering i HF 1b-projekterne sker desuden ved brug af netværk/samarbejde. Seks

HF 1b-projekter har således netværk/samarbejde som en del af indsatsen. Fagekspertise

er en vigtig komponent i HF 1b-projekterne, hvorfor der i flere HF 1b-projekter indgår

personer eller virksomheder, som har erfaring med produktudvikling. De kvalitative interview

afslører, at mange projekter som udgangspunkt havde en forventning om en positiv

effekt ved brugen af samarbejde og netværk, da teknologiudvikling som beskrevet er en

kompleks proces. Dog bliver det fremhævet, at langt de fleste projekter ikke har oplevet

den forventede positive effekt, da netværkssamarbejdet bliver påvirket negativt af markedskonkurrencen

samt den økonomiske krise. Virksomheder ønsker ikke eller har ikke

de fornødne ressourcer til at opbygge et effektivt netværksforløb. En interviewperson

beskriver netværksforløbet således:

3

Der var noget udveksling i netværket, men det var kun nogle få gange og ikke med

meget udbytte. (Projektleder, privat virksomhed).

4

5

0 2 4 6 8 10 12

Antal projekter

10

n = 13


Flere projektledere vurderer endvidere, at projektgennemførelsen i høj grad blev udfordret

af netværks- og samarbejdsindsatsen, da der var for mange interessenter indblandet:

Den største udfordring ved hele processen var at koordinere mellem de mange, der

var involveret i projektet. (Projektleder, privat virksomhed).

Opsummerende viser evalueringen, at det er vigtigt for et projekts succes, at der før

projektstart udarbejdes forprojekter, som kan belyse potentialet for teknologien. Derudover

er involveringen af målgruppen vigtig for et teknologiudviklingsprojekt, fordi de kan

give konstruktive input til, hvordan en teknologi vil kunne fungere bedst for dem. Samtidig

må man være bevidst om at være fokuseret, så det teknologiske produkt rent faktisk

kan løse den arbejdsmiljøfaglige problemstilling.

5.4 Opsummering HF 1b

På trods af et lille datagrundlag for projekterne under HF 1b har analysen vist nogle generelle

tendenser for teknologiudviklingsprojekterne. Teknologiudviklingsprojekterne under

HF 1b er særligt karakteriseret ved at have en høj grad af medarbejderinddragelse

samt inddragelse af eksterne aktører i forhold til teknisk støtte.

En særlig udfordring, som gør sig gældende for HF 1b-projekterne, er, at virksomhederne,

som står bag teknologiudviklingen, må tage forbehold i forhold til at få spredt resultaterne.

Et hensyn er eksempelvis patenter, hvilket betyder, at spredningen af et projekts

resultater kan være i modstrid med den pågældende virksomheds produktstrategi.

Analysen af projekterne viser desuden, at teknologiudviklingsprojekterne bliver udfordret

af, at de på den ene side skal involvere så mange interessenter som muligt og på den

anden side skal være fokuserede for at sikre udviklingen af effektive og simple teknologiske

løsninger, så de lettere kan implementeres. I forlængelse heraf er det vigtigt at have

gjort sig tanker om og udarbejdet forundersøgelser i forhold til potentialet for teknologien,

før man sætter alt ind på projektet.

HF 1b-projekternes behov for at involvere mange interessenter viser sig i praksis at være

udfordrende. Det fremhæves i flere projekter, som har benyttet netværk/samarbejde

som indsatstype, at der generelt ikke har været et særligt stort udbytte af denne projektindsats.

Da mange af projektevalueringerne under dette hovedformål i høj grad er mangelfulde,

er det imidlertid svært at konkludere, hvorfor denne indsatstype ikke er forløbet

som forventet.

59


Kapitel 6. Evaluering af HF 2

I dette kapitel analyseres projekter, som har modtaget støtte under Forebyggelsesfondens

hovedformål 2 (HF 2). Kapitlet analyserer de 11 afsluttede projekter under dette

hovedformål i forhold til indhold, proces og resultater.

Formålet med analysen af projekterne under HF 2 er at identificere projekternes styrker

og svagheder. Analysen består af to hoveddele, som er projektets kontekst og projektets

indsats, herunder ses der nærmere på projekternes organisatoriske set-up, projektindsatsernes

karakteristika samt projekternes procesforløb.

6.1 Formålet med HF 2

Under HF 2 støttes ekstraordinære og nytænkende projekter, der har til formål at forbedre

rehabilitering og genoptræning af sygemeldte. I alle HF 2-projekterne deltager mindst

en kommune. Det skyldes, at Forebyggelsesfonden under dette hovedformål prioriterer at

tildele midler til kommunerne. Kommuner som myndighed kan imidlertid søge om støtte i

samarbejde med andre aktører, herunder foreninger og organisationer, sygehuse samt

private virksomheder. Desuden er det muligt for ikke-kommunale ansøgere at søge om

støtte, hvis kommunen har valgt at placere den kommunale opgave med rehabilitering og

genoptræning af sygemeldte hos anden aktør eller har tænkt sig at gøre det i forbindelse

med projektet.

HF 2-projekterne er rettet mod målgruppen sygedagpengemodtagere og/eller sygemeldte

kontanthjælpsmodtagere. Indsatserne er målrettet borgerne og består typisk af forskellige

individuelle tilbud, som er målrettet målgruppens behov.

Som beskrevet i metodeafsnittet er det ikke muligt for evaluator at analysere på tværs af

projekternes succeskriterier såsom fx nedgang i sygefravær, da opgørelsesmetoderne i

projekterne varierer betydeligt, og da projektevalueringernes kvalitet ligeledes varierer.

Ligeledes er det vurderingen, at det ikke er metodisk forsvarligt at se på statistiske sammenhænge

inden for HF 2, der kun inkluderer 11 projekter. Det skyldes, at det er vanskeligt

at sige noget om statistisk signifikans, da så få observationer ikke udelukker, at

forskellene kan henføres til tilfældigheder. Det kvantitative data, som bruges i afsnittet,

vil ikke blive brugt til at teste hypoteser, men skal tjene til at skabe et overblik over de

afsluttede HF 2-projekter.

Det vil i stedet være de kvalitative data, der er indsamlet på baggrund af de opfølgende

kvalitative interview med projektlederne eller en anden nøgleperson fra projektet, som er

strukturerende for kapitlet. Den kvalitative analyse er et godt metodisk redskab at anvende

til dette hovedformål, fordi den kan bruges til at gå dybere ned i projekterne ved

at se nærmere på de særlige karakteristika og eventuelle udfordringer, der har været i

de enkelte projekter.

6.2 Projekternes kontekst

Når der fokuseres på konteksten for projekterne, er det centralt at se på de organisatoriske

faktorers betydning for projekternes indhold og resultat.

61


I forhold til organiseringen er der for HF 2-projekter - som for de øvrige projekter -

nogle generelle organisatoriske faktorer, som spiller en rolle for projektet. Når der fokuseres

ind på de organisatoriske forhold, er der fem af de 11 projekter, der har nedsat

styregrupper, hvor projektets beslutningskompetence er placeret. I de øvrige seks projekter

er ansvaret placeret hos ledelsen. Seks af de 11 projekter har nedsat følgegrupper.

Den ledelsesmæssige opbakning fremhæves som vigtig for projektets succes, hvilket

eksempelvis fremhæves i et af de kvalitative interview:

62

Beslutningskompetencen lå i styregruppen, hvorfor vi i projektgruppen skulle lægge

beslutningerne op til styregruppen. Vi var derfor ret afhængige af styregruppen, og

derfor var det centralt, at vi vidste, at vi i udgangspunktet havde opbakning fra ledelsen,

så vi kunne agere mere frit og træffe de beslutninger, som var bedst for projektet.

(Projektleder, kommunal virksomhed).

Foruden ledelsesopbakning fremhæves det i nogle af de kvalitative interview, hvor vigtigt

det er at have én projektleder, som udelukkende er fokuseret på projektet:

En kompetent projektleder, som kun havde til opgave at lede projektet og derfor var

med i alle projektets faser, betød, at det forløb planmæssigt. (Projektleder, kommunal

virksomhed).

Et andet forhold, som også belyses i de kvalitative interview, er fokus på opstartsfasen og

inddragelsen af samarbejdspartnere:

Vi fik inddraget samarbejdspartnerne i opstartsfasen og fik derved tilpasset projektet

til arbejdspladserne, hvilket gjorde projektet stærkere. (Projektleder, kommunal virksomhed).

6.2.1.1 Samarbejdsrelationer

HF 2-projekter har typisk etablering af netværk og samarbejde som indsatsområder. Det

er derfor centralt for deres succes, at projekterne får udviklet, styret og koordineret på

tværs af faglige kompetencer, synspunkter og fagskel. En projektleder fremhæver den

faglige styring som afgørende for, at projektet er forløbet planmæssigt:

Processen har været rigtig god, og tidsplan mv. er blevet overholdt til punkt og prikke.

Grunden er, at projektet har haft en høj grad af faglig styring mellem to sociallæger

og to psykologer, der alle har vidst, hvad de ville, og hvad de faglige problemstillinger

for borgerne er. (Projektleder, kommunal virksomhed).

Det kan også gå mindre hensigtsmæssigt. I et andet HF 2-projekt udgjorde ”kulturmødet”

mellem to forskellige samarbejdskulturer et problem med jobcenteret på den ene

side og sundhedscenteret på den anden side. Problemet bestod i, at de to institutioner

havde forskellige tilgange til borgerne, hvorfor det til tider var vanskeligt at få samarbejdet

og dermed projektet til at køre optimalt. Retrospektivt er projektlederen ikke i tvivl

om, at der skulle have været brugt flere ressourcer og kræfter i løbet af projektet på at

få italesat denne konflikt:

Først i forbindelse med evalueringen af projektet kom det på dagsordenen, hvilket så

efterfølgende har haft en positiv indvirkning på samarbejdet og den gensidige forståelse

mellem os. (Projektleder, kommunal virksomhed).

En anden udfordring, som går igen i flere HF 2-projekter, er, at det kan være svært at

holde alle til ilden, selvom der er blevet brugt ressourcer og tid på at skabe en gensidig

faglig forståelse i og for projektet.


En konkret og gennemgående udfordring for en stor del af HF 2-projekterne har været at

få engageret og involveret de praktiserende læger i projektet. En projektleder peger på

det problem, at de økonomiske incitamenter, der kræves for at få engageret lægerne,

ikke er til stede i kommunen:

Problemet er, at de praktiserende læger intet gør uden at blive økonomisk kompenseret,

og i kommunen har vi ikke haft midlerne til det. I projektopstarten var der

egentlig bred opbakning til idéen om samarbejde mellem de praktiserende læger og

jobkonsulenterne. Problemet har bare været at få de praktiserende læger til at deltage

aktivt. En vigtig del af vores projekt var, at vi afslutningsvis skulle formidle resultaterne

af projektet til samtlige af de deltagende læger, men det måtte vi aflyse,

fordi de ganske enkelt ikke mødte op til mødet. (Projektleder, kommunal virksomhed).

6.2.1.2 Anvendelse af eksterne konsulenter

At gøre brug af eksterne konsulenter er en udbredt praksis blandt HF 2-projekterne, hvilket

kommer til udtryk ved, at ni ud af 11 HF 2-projekter benytter eksterne konsulenter.

Som nedenstående figur 6.1 viser, anvendes de eksterne konsulenter hovedsageligt med

henblik på evaluering (6 projekter), undervisning (5 projekter), sundhedsfaglig bistand (6

projekter) og processtøtte (4 projekter).

Figur 6.1: HF 2-projekter fordelt på forskellige former for konsulentbistand

Evaluering

Sundhedsfaglig

Undervisning

Processtøtte

Formidling

Arbejdsmiljøfaglig

Andet

Kilde: Oxford Research 2011

1

1

1

0 1 2 3 4 5 6 7

I de kvalitative interview udtrykker projektlederne generelt en tilfredshed med samarbejdet

med de eksterne konsulenter, men i et af de kvalitative interview peger en projektleder

på, at det er essentielt med en god kommunikation med den eksterne konsulent.

Projektlederen oplevede, at der skete en misforståelse mellem hende og den eksterne

konsulent. Det er uklart, hvor kommunikationsbristen skete, men i hvert fald havde det

eksterne konsulentteam op til projektopstart arbejdet ud fra, at projektet allerede var sat

i gang. Konsulentteamet lagde således op til en justering af forløbet, hvilket fik den konsekvens,

at det kun har været delelementer af konsulentteamets oplæg, som har været

brugbart, og dermed har projektet ikke fået det fulde udbytte af konsulentstøtten.

4

5

6

6

Antal projekter

n = 11

63


Ovenstående er et eksempel på, at dialog og forventningsafstemning er essentielt i projekter,

som inddrager flere aktører, og at forventningsafstemningen skal foregå både før

projektstart og gennem hele projektforløbet.

I et andet HF 2 projekt er det vurderingen, at det kunne have været hensigtsmæssigt at

få mere støtte fra Forebyggelsesfonden, hvad angår rådgivning og netværksskabelse

med universiteter, konsulenter etc. Projektlederen mener, at det kunne have afhjulpet

nogle af de faglige barrierer, som de mødte i projektet, idet de arbejdede med et relativt

uudforsket problemfelt:

64

Det materiale, som vi arbejdede med i projektet, var ret svært og uforudsigeligt,

hvilket praksis også viste. Man kan godt forholde det til andre undersøgelser, men

der findes ikke undersøgelser af rehabilitering for denne gruppe, og man kan sige, at

det som et pionerområde i forhold til sammenhængen mellem behandling og rehabilitering

har betydet, at det har været svært at opstille nogle realistiske succeskriterier

for projektet. (Projektleder, kommunal virksomhed).

Citatet illustrerer, at det er væsentligt at få undersøgt sit problemfelt nøje, inden et projekt

igangsættes, og at det i denne fase kan være hensigtsmæssigt at få ekstern støtte til

at få problemfeltet belyst og defineret. Dette kan være særligt relevant at holde sig for

øje i HF 2-projekter, hvor 50 % defineres som et pilot-/forprojekt, mens det gør sig gældende

for 29 % af samtlige støttede projekter under Forebyggelsesfonden.

Opsummerende viser evalueringen, at netværk og samarbejde er udbredt som indsatsområde

og metode i HF 2-projekterne. I den sammenhæng er det vigtigt at være opmærksom

på koordinationen mellem aktører på tværs af fagliglighed og kultur. Ligeledes

gør det sig gældende for samarbejdet med de eksterne aktører, at dialog og forventningsafstemning

er essentiel, hvis projektet skal lykkes.

6.3 Projekternes indsats

HF 2-projekterne er kendetegnet ved, at deres indsats er rettet mod borgere: Sygedagpengemodtagere

og/eller sygemeldte kontanthjælpsmodtagere. Herudover er et vigtigt

kendetegn for HF 2-projekterne, at indsatsen skal målrettes borgerne. I forlængelse heraf

er det blandt HF 2-projekterne udbredt at gøre brug af diverse individuelle tilbud, som

er målrettet målgruppens behov.

6.3.1.1 Indsatsen målrettet målgruppen

Indsatsen i HF 2-projekterne er målrettet sygemeldte borgere:

• Otte af de 11 projekter har sygedagpengemodtagere som målgruppe.

• To af de 11 projekter har målgruppen sygedagpengemodtagere og sygemeldte kontanthjælpsmodtagere.

• Syv af de otte projekter, der er målrettet sygedagpengemodtagere, fokuserer på

sygemeldte med psykiske lidelser, og to af de otte projekter fokuserer på sygemeldte

med lidelser i muskel- og skeletapparatet.

• Et projekt har alene kontanthjælpsmodtagere som målgruppe. Kontanthjælpsmodtagerne

er fra henholdsvis matchgruppe 3, 4 og 5.

Ni HF 2-projekter indeholder individuelle tilbud. Som nedenstående figur 6.2 viser, omhandler

de individuelle tilbud såvel en fysisk/sundhedsmæssig som en psykisk dimension.


Størstedelen af projekterne (8 projekter) tilbyder psykologsamtaler, mens der i halvdelen

af projekterne (6 projekter) tilbydes coaching. I forhold til den fysiske dimension tilbyder

seks projekter støtte til sport, mens der i fire projekter tilbydes diætist/kostvejledning, og

i fem projekter tilbydes sundhedstjek.

Figur 6.2: HF 2-projekter fordelt på forskellige former for individuelle tilbud

Coaching (fx til stresshåndtering)

Diætist/kostvejledning

Ergonomisk vejledning

Kilde: Oxford Research 2011

Psykologsamtaler

Støtte til sport

Sundhedstjek

Rygestopkursus

Arbejdstilpasning

Supervision

Nedsat arbejdstid

Andet

Endvidere er HF 2-projekterne i stort omfang individ-orienteret, ti ud af 11 projekter har

et individ-orienteret fokus. Det individuelle fokus understøttes af de kvalitative interview,

hvor en generel læring blandt projekterne er, at det er vigtigt at målrette indsatsen til

den enkelte borger, fordi det ofte er en afgørende faktor i et rehabiliterings- og genoptræningsforløb,

at borgeren motiveres til at involvere sig aktivt i forløbet. I forlængelse

heraf kan det af de kvalitative interview udledes, at det er vigtigt, at der i forhold til borgere

med stress og/eller depression iværksættes en tidlig og intensiv indsats, idet al erfaring

viser, at det er den tidlige indsats, som har den største effekt for borgeren.

6.3.1.2 Implementering af projekter

0

1

Halvdelen af HF 2-projekterne er pilot-/forprojekter, og i et af de kvalitative interview

bliver det netop påpeget, at man skal være opmærksom på de udfordringer, der er forbundet

med at implementere et projekt i en større skala, hvis man har gennemført et

pilot-/forprojekt. Det kan få konsekvenser i forhold til implementering af projektet, hvis

det ikke på forhånd er tænkt igennem, hvordan projektet skal finansieres. En projektleder

uddyber denne problemstilling på følgende vis:

2

2

3

4

0 2 4 6 8 10

5

6

6

6

8

Antal projekter

n = 11

65


66

På trods af, at vores projekt blev en succes, endte det med at falde ned mellem to

stole, fordi det ikke var beskæftigelsesrettet nok, men havde mere karakter af behandling.

Det kan man ikke bruge penge til i et jobcenter, selvom jobcenteret ville

kunne spare midler på længere sigt. Det vil blive betragtet som et sundhedsfagligt

projekt, hvilket kommunerne ikke har penge i kassen til at finansiere. (Projektleder,

kommunal virksomhed).

I forlængelse heraf vurderes det i et af de andre kvalitative interview, at det er vigtigt at

være bevidst om, at de organisatoriske rammer har en betydning i forhold til at sikre en

succesfuld implementering af et projekt:

Vi knoklede i mere end et halvt år for at få projektet forankret og brugte meget tid

på information og videndeling i vores eget system. Det skulle implementeres i den

indtægtsdækkede struktur, som vi har, hvor de enkelte afdelinger køber ydelser af

hinanden. Vi fik gode tilbagemeldinger og grønt lys fra ledelsen. Vi havde et solidt

materiale klar, men vi manglede at få indgået samarbejdsaftaler med de andre afdelinger,

og derudover blev vi ramt af besparelser. Når der er for meget kassetænkning,

besparelser og organisationsændringer vanskeliggør det at få implementeret

projektet. (Projektleder, kommunal virksomhed).

Opsummerende viser evalueringen, at HF 2-projekter i vidt omfang er individorienterede,

hvorfor det er vigtigt at målrette indsatsen til den enkelte borgers behov.

Derudover viser erfaringen, at det i forhold til borgerne er vigtigt at igangsætte en tidlig

og intensiv indsats. Da en stor del af HF 2-projekterne er forprojekter, viser evalueringen

også, at det giver nogle særlige udfordringer i forhold til implementering.

6.4 Opsummering HF 2

Evalueringen har vist, at HF 2-projekter adskiller sig fra projekter under de øvrige hovedformål

ved at være kommunalt drevne. HF 2-projekter er desuden målrettet sygemeldte

borgere, der står uden for arbejdsmarkedet eller er i risiko for at miste fodfæstet på arbejdsmarkedet

og derfor kan karakteriseres som en udsat målgruppe. I den sammenhæng

udvikler projekterne individuelle tilbud målrettet borgeren.

Netværk og samarbejde et nøgleord for HF 2. Det foregår både på det institutionelle

niveau via det interne kommunale samarbejde og mellem kommunerne og andre aktører.

Koordination, dialog og gensidig forståelse for forskellige faglige og kulturelle forskelle

spiller her en afgørende rolle.

For HF 2-projekter er det udbredt at bruge ekstern konsulentstøtte, og det bruges bredt

til blandt andet evaluering og sundhedsfremme. Da halvdelen af HF 2-projekterne er

defineret som pilot-/forprojekter kan det være hensigtsmæssigt at gøre brug af ekstern

konsulentstøtte til at få problemfeltet belyst og defineret, inden projektet igangsættes, da

det givetvis kan bidrage til at styrke implementering og spredning.


Kapitel 7. Evaluering af HF 3

I dette kapitel analyseres de 28 projekter, som har modtaget støtte under Forebyggelsesfondens

hovedformål 3 (HF 3). Analysen omhandler projekternes indhold, proces og resultater.

Formålet med kapitlet er at udfolde de forskellige elementer og derved få en bedre forståelse

af projekternes processer. Fokus er således på kontekst og indsats set i forhold til

effekt. Analysen er struktureret således, at der først sættes fokus på kontekstfaktorer for

indsatserne og deres betydning for effekt. Dernæst belyser analysen indholdet af indsatserne

under HF 3 og deres betydning for effekt.

7.1 Formålet med HF 3

Under HF 3 støttes utraditionelle initiativer, som har til formål at øge bevidstheden om

risikoen ved rygning, alkohol, fedme og fysisk inaktivitet. Her prioriterer Forebyggelsesfonden

projekter, som integrerer sundhedsfremme- og arbejdsmiljøindsatsen i virksomheden.

Som beskrevet i metodeafsnittet er det ikke muligt for evaluator at analysere på tværs af

projekternes succeskriterier såsom fx nedgang i sygefravær, da opgørelsesmetoderne i

projekterne varierer betydeligt, og da projektevalueringernes kvalitet ligeledes varierer.

7.2 Projekternes kontekst

Organiseringen af projektet er et centralt element i forhold til projekternes kontekst.

Organisering omhandler i dette afsnit særligt placeringen af beslutningskompetence samt

inddragelse af interne og eksterne aktører.

I forhold til organisering er der for HF 3-projekter, som for projekterne under de andre

hovedformål, nogle generelle organisatoriske faktorer, som har spillet en rolle for forløbet

af projekterne. Eksempelvis fremhæves det i et af de kvalitative interview, at forarbejdet

før selve projektstarten er vigtig:

Årsagen til, at vi har kunnet følge projektplanen, har været, at vi har gjort et kæmpe

forarbejde sammen med vores medarbejdere, inden vi søgte om tilskud for at sikre

os, at vores medarbejdere var helt afklaret med den omstilling, det ville kræve for at

nå de tilsigtede mål. (Projektleder, privat virksomhed).

Et andet opmærksomhedspunkt for HF 3-projekterne, som også går igen ved de andre

hovedformål, er den ledelsesmæssige opbakning:

Vores erfaring fra projektet er, at det er yderst vigtigt at få forankret projektet i topledelsen.

Jeg vil gå så langt som til at sige, at det er afgørende for forankringen.

(Projektleder, ”anden” virksomhed).

67


7.2.1.1 Placering af beslutningskompetence

I forhold til projekters organisering er det centralt at afdække, hvor projektledelsen ligger,

og hvordan beslutningskompetencen i projektet er organiseret. Som faktaboks 7.1

viser, ligger projektledelsen internt i 64 % af projekterne, mens der indgår eksterne

aktører i 36 % af projekterne.

68

Faktaboks 7.1: Beslutningskompetence

64 % har intern projektledelse

36 % har eksterne i deres projektledelse

57 % har styregrupper

50 % har styregrupper, hvori medarbejdere

deltager

En hypotese er, at projekter med intern

projektledelse i højere grad bliver

implementeret end projekter med

projektledelse, som er ekstern 17 eller

delt mellem interne og eksterne aktører.

Hypotesen understøttes imidlertid

ikke. Som det fremgår af nedenstående

figur 7.1, er der en højere grad af

implementering ved kombineret intern/ekstern

projektledelse end ved

den interne projektledelse. For 56 %

af projekter med delt intern/ekstern projektledelse er projektet blevet fuldt implementeret,

mens det blot gælder for 33 % af projekter med intern projektledelse. 44 % af projekterne

med delt intern/ekstern projektledelse vurderer, at de er delvist implementeret,

hvor det gælder for 47 % af projekterne med intern projektledelse. Ydermere er det interessant,

at der ikke er nogen projekter med delt intern/ekstern projektledelse, som ikke

er blevet implementeret, mens det gælder for 20 % af projekterne med intern projektledelse,

hvilket er en høj andel sammenholdt med, at der er 3 % af HF 1a-projekterne med

intern projektledelse, som ikke implementeres.

100%

80%

60%

40%

20%

33%

Figur 7.1: Implementeringsgrad fordelt på ledelsesform

56%

47% 44%

20%

0%

Intern ledelse Projektledelse delt mellem

intern og ekstern

Kilde: Oxford Research 2011

Helt implementeret

Delvist implementeret

Ikke implementeret

Sammenlignes projektledelsen endvidere med spredningen af projekter, fremgår det, at

projekter med eksterne aktører i projektledelsen opnår en større spredning. Hvor 90 % af

projekterne med delt intern/ekstern projektledelse og ekstern projektledelse opnår

spredning, er andelen kun 75 % for projekter med intern projektledelse.

En række kvalitative interview bekræfter, at inddragelsen af såvel interne som eksterne

aktører i projektledelsen gør, at projektet efterfølgende både kommunikeres eksternt og

internt:

17 Den eksterne projektledelse er taget ud af analysen, da der kun er et projekt med ekstern projektledelse.

n = 24


Den eksterne partner sørgede for at holde eksterne oplæg omkring projektet, og internt

udarbejdede vi pjecer og foldere for at sprede informationen. (Projektleder,

privat virksomhed).

Projekterne under HF 3 følger således den generelle tendens i alle støttede projekter i

forhold til en positiv sammenhæng mellem delt projektledelse og spredning af projektet.

I over halvdelen af HF 3-projekterne er beslutningskompetencen placeret i en styregruppe

(57 %), og medarbejderne er involveret i halvdelen af de projekter, som har en styregruppe.

Det er rimeligt at antage, at inddragelse af medarbejdere kan skabe engagement

og ejerskab, som vil medføre en højere grad af implementering. Denne sammenhæng

bliver dog ikke bekræftet i projekterne under HF 3. Alle projekter, der ikke har medarbejdere

i styregruppen, bliver helt implementeret, hvorimod et enkelt projekt (svarende til 8

%), som inddrager medarbejdere i styregruppen, ikke opnår implementering. De resterende

projekter med medarbejderinddragelse opnår såvel at blive implementeret enten

delvist (46 %) eller helt (46 %). Det skal dog tilføjes, at det drejer sig om to projekter,

der ikke har medarbejdere i styregruppen, og sammenhængen er derfor ikke statistisk

signifikant og kan være et udtryk for en tilfældighed.

I de kvalitative interview fremgår det, at projektlederne er opmærksomme på at få inddraget

medarbejderne i beslutningsprocessen. En projektleder fremhæver, at det har

været en meget vigtig læring i projektet:

Vi er kommet frem til, at det er centralt at lægge stor vægt på bemandingen af styregruppen,

hvor det er vigtigt at få inddraget medarbejderne. (Projektleder, privat

virksomhed).

Medarbejderinddragelsen kan dog vise sig som en udfordring for projektet. En projektleder

påpeger, hvorledes der kan opleves barrierer ved at engagere medarbejderne i projektet:

Vi endte med at få en meget lille tilslutning fra medarbejderne, og jeg tror, at det

har noget at gøre med, at de var ”bange” for projektet. Vores erfaring er, at der skal

meget til at få medarbejderne med, fordi de skal motiveres af nogle, som de har tillid

til. Det kan sagtens være, at man skulle have haft en medarbejder til at prøve det

først og formidle det videre til andre. (Projektleder, kommunal virksomhed).

Som ovenstående citat beskriver, kan strategien for medarbejderdeltagelse spille en afgørende

rolle for projektets udførelse.

7.2.1.2 Involvering af eksterne aktører

Samtlige HF 3-projekter gør brug af eksterne konsulenter, og det er i særdeleshed

inden for områderne sundhedsfaglig bistand (50 %) og processtøtte (46 %). Når der ses

nærmere på effekterne ved inddragelsen af eksterne konsulenter, herunder i relation til

implementering og spredning, viser data, at det kun er inden for inddragelsen af eksterne

evaluatorer, implementeringen øges. Således er 71 % af de HF 3-projekter, der bruger

eksterne evaluatorer, blevet fuldt implementeret, mens det gælder for 28 % af de projekter,

der ikke bruger eksterne evaluatorer.

Opsummerende kan det i forhold til placeringen af beslutningskompetence konkluderes,

at hovedparten af HF 3-projekterne vælger at organisere sig med en styregruppe,

hvor godt halvdelen har medarbejdere repræsenteret. Det kan endvidere konkluderes, at

medarbejderinddragelse i styregruppen medfører, at størstedelen af projekterne implementeres

(helt eller delvist). I forhold til projektledelsen har det mod forventning vist sig,

69


at det giver en højere grad af implementering ved delt projektledelse mellem intern og

ekstern, end når det udelukkende er intern projektledelse. For HF 3-projekter er det særligt

udbredt at bruge eksterne konsulenter til processtøtte og sundhedsfaglig bistand,

men det viser sig imidlertid, at det hverken styrker implementeringen eller spredningen.

Dog har projekter, der inddrager eksterne evaluatorer, en markant højere implementeringsgrad

end projekter uden eksterne evaluatorer.

7.3 Projekternes indsats

Projekternes indsatser vil ligeledes have betydning for projektets udførelse og effekt. I

dette afsnit analyseres faktorer, som er relateret til selve indsatsen og dens betydning.

Afsnittet konkluderer, at HF 3-projekter med en bred indsats opnår højere grad af implementering

end en smal indsats, og at involvering på forskellig vis har en betydning for,

om projektet bliver implementeret og opnår spredning, hvilket særligt gør sig gældende i

forhold til at inddrage målgruppen og gøre brug af ambassadører.

7.3.1.1 Bred eller smal indsats

Hvorvidt projekterne iværksætter en smal eller bred indsats har øjensynligt en betydning

for graden af implementering. Selvom det kunne forventes, at smalle indsatser opnår en

højere grad af implementering, fordi de er mere fokuserede og omfatter få problemstillinger,

så viser nedenstående figur 7.2, at det faktisk forholder sig omvendt – brede indsatser

opnår højere grad af implementering end smalle indsatser.

Dette er umiddelbart et overraskende resultat, men kan skyldes, at HF 3-projekterne

adskiller sig fra andre projekter ved at have en stor og bred målgruppe med en median

på 172 personer, hvilket betyder, at medianen for målgruppen i et HF 3 projekt er væsentlig

større end i de andre projekter.

I de kvalitative interview understreges det, hvorledes det er en udfordring for projekter at

have en stor og bred målgruppe, fordi det kan være vanskeligt at ramme alles behov og

få implementeret projektet på et større plan:

70

100%

80%

60%

40%

20%

0%

23%

46%

Kilde: Oxford Research 2011

Figur 7.2: Implementeringsgrad fordelt på indsatsens bredde

31%

58%

For at få et succesfuldt projekt kræver det et stort kendskab til målgruppen. Hvis

man ikke allerede har det i forvejen, er det i hvert fald en god idé at få det, inden

man går i gang. (Projektleder, kommunal virksomhed).

42%

Smal indsats Bred indsats

Helt implementeret

Delvist implementeret

Ikke implementeret

n = 25


Sammenhængen mellem indsatsbredde og implementering skal dog ikke forstås som en

direkte sammenhæng, da projekternes kontekst som tidligere beskrevet ligeledes påvirker

implementeringen.

7.3.1.2 Involvering som en del af indsatsen

Det er udbredt, at projekterne under HF 3 anvender involvering af medarbejdere som en

del af indsatsen. Dette afsnit analyserer, hvilke former for involvering projekterne under

HF 3 gør brug af.

En stor andel af HF 3-projekterne (82

%) involverer deres målgruppe i

projektindsatsen. En hypotese i forhold

til målgruppeinddragelse er, at

projekternes målsætninger vil fremstå

uklare, fordi de er formuleret så

bredt som muligt for at imødekomme

Faktaboks 7.2: Involvering som en del af

indsatsen

82 % involverer målgruppen

39 % anvender ambassadører

flere interesser. Det viser sig dog, at 87 % af de projekter, som har involveret deres målgruppe,

faktisk har klare målsætninger, og hypotesen må derfor forkastes.

Af figur 7.3 fremgår det, at de projekter, som involverer målgruppen i indsatsen, har en

højere grad af implementering end de projekter, hvor målgruppen ikke involveres. Sammenligningen

af de to skal tages med forbehold, da der kun er fire observationer i kategorien,

der dækker manglende involvering af målgruppen. Imidlertid er det alt andet lige

positivt, at 50 % af de projekter, som involverer målgruppen, opnår fuld implementering,

og 40 % opnår delvis implementering.

100%

80%

60%

40%

20%

0%

Figur 7.3: Implementeringsgrad fordelt på involvering af målgruppen

50%

40%

10%

En projektleder påpeger vigtigheden af at sikre implementeringen af projektet gennem

inddragelse af medarbejderne i projektindsatsen. Projektlederen understreger, at dette er

særligt relevant for HF 3-projekter, fordi de omhandler sundhedsfremme, som ofte bliver

anset som værende en del af privatlivet og ikke arbejdslivet:

50%

Når projektet handler om sundhed, er det vigtigt at have medarbejderne med i processen

og have øje for de sensitive aspekter. Man bryder ind i privatlivet, og man

skal derfor have sans for, hvor grænserne går og for, hvad man kan bede medarbejderne

om. Med andre ord skal der på forhånd ”forhandles” en strategi for at få så

mange med som muligt. Det handler om at knytte noget individuelt op omkring det

kollegiale. (Projektleder, statslig virksomhed).

50%

målgruppe involveres målgruppe involveres ikke

Kilde: Oxford Research 2011

Helt implementeret

Delvist implementeret

Ikke implementeret

n = 24

71


I forlængelse heraf betones et andet centralt element i de kvalitative interview. I forhold

til arbejdet med målgrupper i sundhedsprojekter understreges det, at sundhed kan være

et prekært område, og at man af samme årsag skal være påpasselig med en løftet pegefinger:

72

Man bliver helt klart nødt til at tage udgangspunkt i, hvad sundhed betyder for den

enkelte. Det hjælper ikke at komme og slå folk i hovedet med, at de er usunde. Erkendelsen

af usundhed skal gerne komme nedefra. (Projektleder, privat virksomhed).

Årsagen til, at hovedparten af projekterne under HF 3 inddrager målgruppen i projektindsatserne,

er dermed bl.a., at HF 3-projekterne blander sig i personers privatsfære, og

inddragelsen af målgruppen bruges derfor som redskab til at sikre medarbejderengagement

i projektet.

7.3.1.3 Brug af ambassadører

39 % af HF 3-projekterne bruger ambassadører i deres projekter. De kvalitative interview

peger på, at der gøres brug af ambassadører i to henseender. Det ene aspekt er at få

engageret ambassadørerne i selve projektforløbet, hvor de spiller en vigtig rolle med

hensyn til at holde ”alle til ilden”. Det andet aspekt er, at de er vigtige i forhold til spredning

og implementering, når projektet er afsluttet.

Som figur 7.4 viser, opnår alle de projekter, som bruger ambassadører, spredning, mens

det gælder for 2/3 af projekter, som ikke benytter ambassadører. Det giver umiddelbart

god mening, at der sker en større spredning for de projekter, der bruger ambassadører,

fordi det af mange af de kvalitative interview fremgår, at ambassadørerne stadig er tilknyttet

projektet efter dets afslutning og stadig føler, at de har en aktie i det, som gør, at

de er villige til at bruge meget tid på at gøre opmærksom på projektet og få det kommunikeret

ud.

100%

80%

60%

40%

20%

0%

Figur 7.4: Spredning fordelt på indsats med ambassadører

100%

Projektet benytter

ambassadører

67%

Samtidig er det værd at bemærke, at projekter med ambassadører opnår højere grad af

implementering end projekter uden ambassadører. Således bliver 46 % af projekter med

ambassadører fuldt implementeret, og 55 % bliver delvist implementeret. Der er ingen

projekter med ambassadører, som ikke bliver implementeret, mens der er 29 % af projekterne

uden ambassadører, som ikke bliver implementeret.

33%

Projektet benytter ikke

ambassadører

Projektet opnår

spredning

Projektet opnår ikke

spredning

Kilde: Oxford Research 2011 n = 26


Det er interessant, at ambassadører under HF 3 har en særlig fremmende effekt på

spredning og implementering, da ambassadører under de andre hovedformål ikke har

den samme indvirkning på spredning og implementering. At projekterne under HF 3 adskiller

sig, hænger højest sandsynligt sammen med det specifikke fokus på sundhedsfremme

under dette hovedformål. Som tidligere beskrevet medfører et fokus på sundhedsfremme

ofte modstand fra målgruppen. Brugen af ambassadører kan være et redskab

til at skabe engagement i målgruppen, hvilket må antages at påvirke implementeringen

positivt. Denne antagelse bekræftes i de kvalitative interview, hvor ambassadørerne

gennemgående udpeges som særligt vigtige, fordi de skaber et miljø på arbejdspladsen,

hvor de andre medarbejdere kan føle sig trygge ved at have nogle foregangsmænd,

som de kan spejle sig i.

I et interview understreges det ligeledes, at brugen af ambassadører har haft en positiv

indvirkning i projektforløbet i forhold til at fastholde fokus i samarbejdet:

Sundhedsambassadørerne har haft en vigtig rolle i forbindelse med at fastholde fokus

i samarbejdet med styregruppen. Sundhedsambassadørerne er uundværlige,

fordi det er nødvendigt, at der er nogle, der sætter gang i tingene og holder fast.

(Projektleder, privat virksomhed).

Endvidere spiller ambassadørerne en central rolle efter projektets afslutning, hvor de

bidrager til at få projektet implementeret:

Ambassadører har haft en rigtig god effekt. De blev undervist i motiverende samtaler

mv. Deres rolle efter projektet har været at indsamle ønsker og idéer fra medarbejderne

og tage det med videre til blandt andet sikkerheds- og samarbejdsudvalget.

(Projektleder, privat virksomhed).

Brugen af ambassadører i HF 3-projekterne bliver således i særdeleshed fremhævet som

værende vigtig i forhold til at skabe og fastholde medarbejderengagement, hvilket sandsynligvis

er årsagen til en positiv sammenhæng med implementering og spredning.

7.3.1.4 Projektændringer

En del af HF 3-projekterne har foretaget ændringer undervejs i projektforløbet. 25 % af

projekterne har således gennemgået ændringer både i forhold til aktiviteternes indhold

og i forhold til deltagergruppen. Omkring 70 % af disse ændringer kan henføres til indre

forhold i projektet, hvilket er en understregelse af, at ændringerne er noget, som skyldes

forandringer i selve projektet. Årsagen til, at projektjusteringerne skyldes indre forhold,

er ifølge projektlederne en følge af, at det er svært at holde målgruppen engageret igennem

hele projektforløbet. HF 3-projekternes fokus på sundhedsfremme medfører, at

mange projekter omhandler ændringer af målgruppens vaner i forhold til fx rygning, kost

og motion. Ændringer af vaner er altid udfordrende, og projektlederne fremhæver især

projektjusteringer som vigtige for projektgennemførelsen. Blandt andet kan for mange

aktiviteter i projektet betyde, at medarbejderne i målgruppen går hen og bliver trætte af

det:

Vi blev nødt til at udskyde vores aktiviteter, fordi vi ramte et afmatningspunkt for

medarbejderne, da vi havde igangsat for mange aktiviteter. (Projektleder, privat

virksomhed).

73


7.4 Opsummering HF 3

Projekter under HF 3 er i særdeleshed påvirket af hovedformålets fokus på sundhedsfremme.

Evalueringen viser bl.a., at projekternes fokus på sundhed ofte bliver anset som

private anliggender hos målgruppen. Interview med projektledere har således påpeget,

hvorledes disse projekter skal være særligt opmærksomme på skabelsen af medarbejderopbakning

til projektet. Medarbejderinddragelse i styregrupper og i projektindsatserne

bliver i denne henseende fremhævet som særlig fordelagtigt. For HF 3-projekter er det

desuden udbredt at bruge eksterne konsulenter til processtøtte og sundhedsfaglig bistand,

men det viser sig imidlertid, at det hverken styrker implementeringen eller spredningen.

Dog har projekter, der inddrager eksterne evaluatorer, en markant højere implementeringsgrad

end projekter uden eksterne evaluatorer.

Evalueringen viser, at det er udbredt for HF 3-projekter at involvere målgruppen, og det

er med god grund, fordi projekter med inddragelse af målgruppen opnår en højere grad

af implementering. I den sammenhæng er det også relevant at nævne, at HF 3 sammenlignet

med de andre hovedformål har en væsentlig større målgruppe, hvilket muligvis kan

forklare, hvorfor de brede indsatser opnår en højere grad af implementering end smalle

indsatser.

Endvidere har evalueringen vist, at inddragelsen af ambassadører virker positivt på

spredning og implementering, hvilket er et interessant resultat, eftersom det til sammenligning

med de andre hovedformål i særlig grad er tilfældet for HF 3, at inddragelsen af

ambassadører har en særlig fremmende effekt på spredning og implementering. Det kan

blandt andet forklares ved, at sundhedsfremmende projekter er særlige i den forstand, at

det er betydningsfuldt for medarbejderne, at de har nogle foregangsmænd, som de kan

spejle sig i.

74


Kapitel 8. Analyse på tværs af hovedformål

Som supplement til de hovedformålsspecifikke analyser søger analysen på tværs af hovedformål

at undersøge, hvilke kendetegn og sammenhænge der gør sig gældende på

tværs og i sammenligning mellem projekterne under de tre hovedformål.

I analysen stilles skarpt på de sammenhænge, der er gældende inden for følgende perspektiver

på projekterne:

• Kontekstfaktorer fx organisationsfaktorer

• Indsatsfaktorer fx smal/bred indsats eller indsatstype

• Effektfaktorer opdelt på

outputvariable fx ændringer i arbejdsprocesser

outcomevariable fx nedgang i sygefravær eller medarbejderomsætning

impactvariable fx nedgang i udgifter til fx sygefravær, øget økonomisk effektivitet

(bedre bundlinje).

Ud fra det programteoretiske afsæt forventes det, at konteksten i forhold til en indsats

har stor betydning. I forhold til kontekstfaktorer er organiseringen af projekterne den

centrale faktor, men også ejerforholdet offentlig/privat vil eksempelvis indgå. Hertil

kommer, at det forventes, at tværgående indsatsparametre - fx hvorvidt indsatsen er

smalt eller bredt sammensat og indsatstyper - kan bidrage til at udfolde indsatsens indhold

og metoder. Sidst men ikke mindst ser den tværgående analyse på effekter opdelt

på de tre niveauer: Output, outcome og impact. Det er for de kommende delevalueringer

væsentligt at afdække mulighederne for at kategorisere effektmålene, da

der heri kan ligge vigtig viden både i forhold til opstilling af effektmål og i forhold til mulige

sammenligninger af projekternes resultater for fremtiden.

Hovedsigtet er at undersøge, om der tegner sig nogle sammenhænge og nogle særlige

kendetegn ved projekterne, som fremover kan anvendes som analytisk redskab.

8.1 Kontekstfaktorer

I dette afsnit undersøges en række kontekstfaktorer. Først ses på organiseringen af beslutningskompetencen

i projekterne. Dernæst på involveringen af eksterne aktører både i

forhold til indsats og evaluering. Dette efterfølges af en afsøgning af, om ejerforhold har

betydning. Afslutningsvis undersøges projektsummen som kontekstfaktor.

8.1.1 Organisering af beslutningskompetence

Langt hovedparten af projekterne anvender styregrupper som det organ, hvori beslutningskompetencen

lægges. Hermed har 72 % af projekterne en styregruppe, mens 28 %

af projekterne ikke har en styregruppe, men derimod en mere snæver projektledelse.

Figur 8.1 viser om ikke en klar sammenhæng mellem anvendelsen af styregrupper og

implementering så dog en højere andel af ikke implementerede projekter blandt de projekter,

der har en snæver projektledelse. Samtidig overstiger andelen af projekter med

styregrupper, der er helt og delvis implementeret, andelen af helt og delvis implementerede

projekter blandt projekter med en snæver projektledelse.

75


En forklaring på, at projekter med styregrupper har en højere grad af implementering,

kan være, at fokus i projektet herved styrkes. Når beslutningskompetencen er forankret i

en styregruppe, har projektet en større chance for ikke blot at blive en del af organisationens

daglige drift og selvforståelse, hvilket modsat kan blive konsekvensen, hvis projektet

blot bliver én blandt mange andre opgaver hos ledelsen:

76

100%

80%

60%

40%

20%

0%

Figur 8.1: Implementeringsgrad fordelt på placering af

beslutningskompetence

33% 44%

41%

22%

Beslutningskompetencen

ligger i organisationens

ledelse

Erfaringen fra vores projekt er, at man skal passe på med at hænge for meget på ledelsen

(…). I stedet er det vigtigt at få afsat rigelig med tid og ressourcer til arbejdet

i styregruppen. (Projektleder, privat virksomhed).

I forhold til organisatoriske kontekstfaktorer er det interessant at forfølge sondringen

mellem projekter, som placerer beslutningskompetencen i en styregruppe versus projekter,

som har forankret projektet hos ledelsen. Dette for at afsøge betydningen af ledelsesorganisering

i forhold til såvel indsats som effekt, herunder inddragelse af forskellige

aktører i henholdsvis den smalle projektledelse og en bredere styregruppe.

8.1.1.1 Typer af inddragelse i det besluttende organ

Der kan hermed opstilles to hovedtypologier i henholdsvis ”snæver projektledelse” og

”styregruppe”, som operationaliserer organiseringen af beslutningskompetencen. Disse

kan tilføjes tre undertypologier, som handler om graden af inddragelsen af interne og

eksterne aktører.

Af figur 8.2 fremgår det, at for projekter med snæver projektledelse er der 83 %, som

udelukkende har intern ledelse, 3 % har ekstern ledelse, og 13 % har valgt at dele ledelseskompetencen

op mellem intern og ekstern projektledelse. For projekter med styregruppe

er der 25 %, som inddrager medarbejderne, 17 % inddrager eksterne aktører, og

58 % inddrager både medarbejdere og eksterne aktører.

51%

7%

Beslutningskompetencen

ligger i en styregruppe

Helt implementeret

Delvist implementeret

Ikke implementeret

Kilde: Oxford Research 2011 n = 97


Figur 8.2: Typologier på organisering af beslutningskompetence

Snæver ledelse (28%)

Intern (83%) Eksterne (3%)

Intern og

ekstern (13%)

Inddragelse af

medarbejdere

(25%)

Styregruppe (72%)

Inddragelse af

eksterne

aktører (17%)

Inddragelse af

medarbejdere

og eksterne

(58%)

Disse resultater peger på et interessant aspekt ved forskellen på at have et ledelsesstyret

og et styregruppestyret projekt. I styregrupperne opleves et større fokus på at få involveret

medarbejderne samt at få medarbejdere til at samarbejde med eksterne aktører.

Dette har givetvis en betydning for implementeringen, hvilket bekræftes i flere kvalitative

interview. En projektleder i et HF 1a-projekt påpeger:

Implementering er naturligvis vigtig for et projekt. Hvis projektet skal gøre en forskel,

skal viden og erfaringer spredes til alle hjørner af arbejdspladsen. Det gøres

bedst via ledelsen og med inddragelse af medarbejderne. (Projektleder, kommunal

virksomhed).

Med opdelingen i undertypologier er datagrundlaget i hver undertypologi selvsagt mindre,

og afsøgningen af sammenhænge er dermed vanskelig at påvise som statistisk signifikant.

Men det fremstår tydeligt ud fra en analyse af de kvalitative interview, at involvering

af medarbejdere samt samarbejdet mellem interne og eksterne aktører bidrager til at

fremme implementering og spredning.

Figur 8.3 eksemplificerer, at der er forskelle at spore i forhold til implementeringsgraden,

når der ses på typer af projektledelse. Dette manifesterer sig ved andelen af de projekter,

som ikke implementeres. Det er her interessant, at den laveste implementeringsgrad

viser sig i de projekter, der har intern virksomhedsledelse (18 % implementeres ikke)

samt styregruppe med eksterne aktører (17 % implementeres ikke).

77


Dette fund understreger, at projekter, hvor medarbejdere ikke inddrages i beslutningerne,

generelt set har større risiko for ikke at blive implementeret. Dette fund kan være

interessant at forfølge i kommende del-evalueringer som en uddybning af en mulig sammenhæng

mellem hovedtypernes (snæver projektledelse og styregrupper) betydning for

implementeringen.

Flyttes fokus til, om projektledelsen inddrager eksterne aktører i projektledelsen, uanset

om der er tale om en snæver projektledelse eller en styregruppe, kan det formodes, at

en anvendelse af eksterne aktører styrker spredningen af den viden og de resultater, der

skabes i projektet. Dette kan dokumenteres i det kvalitative materiale. Og fra analysen af

HF 3 vides det, at der i en større andel af de projekter, der har delt projektledelse mellem

interne og eksterne aktører eller kun eksterne, oftere kan dokumenteres videnspredning.

Det viser sig i det kvalitative materiale også at være tilfældet i andre typer end HF 3projekter,

og en projektleder forklarer fx, hvordan det blev både en intern og en ekstern

opgave at formidle projektet:

78

100%

80%

60%

40%

20%

0%

39%

56%

6%

Projektledelsen er

forankret i en

styregruppe med

inddragelse af

medarbejdere (n=18)

Kilde: Oxford Research 2011

Figur 8.3: Implementering fordelt på projektledelse

50%

46% 49% 45%

33%

36%

17%

Projektledelsen er

forankret i en

styregruppe med

inddragelse af

eksterne (n=12)

Den eksterne partner sørgede for at holde eksterne oplæg omkring projektet, og internt

udarbejdede vi pjecer og foldere for at sprede informationen. (Projektleder,

kommunal virksomhed).

Evaluator finder, at sondring på projekternes organisering af beslutningskompetence er

interessant, idet der antydes en sammenhæng til implementering og bredde af indsats,

samt at analysen af HF 1a viser en sammenhæng med positive sideeffekter.

Dertil er der tendenser, der peger i retning af, at eksterne aktører i projektledelsen kan

være med til at styrke spredningen af projekterne og den opbyggede viden.

På baggrund af ovenstående kan det anbefales, at Forebyggelsesfonden lægger vægt på,

at projekterne placerer beslutningskompetencen i styregruppelignende konstellationer

med medarbejderinddragelse, medmindre de har gode argumenter for at organisere beslutningskompetencen

anderledes.

5%

Projektledelsen er

forankret i en

styregruppe med

inddragelse af

medarbejdere og

eksterne (n=37)

Helt implementeret

Delvist implementeret

Ikke implementeret

18%

Projektledelsen er

forankret i

virksomhedens

ledelse (Intern )

(n=22)


8.1.2 Inddragelse af eksterne konsulenter

I projekternes organisering er anvendelsen af eksterne konsulenter udbredt. Kun 16

projekter (14 %) bruger ingen form for konsulentstøtte. Derfor er det interessant at udfolde,

hvad eksterne konsulenter anvendes til, og hvilken betydning det har i og for projekterne.

Konsulentstøtte dækker over flere forskellige funktioner, hvoraf ekstern evaluering som

den eneste afgrænser sig i forhold til selve indsatsen. Eksterne evaluatorer vil således

blive behandlet særskilt i det efterfølgende afsnit. Af de øvrige konsulentydelser bidrages

der typisk med faglig ekspertise i forhold til teknik, arbejdsmiljø eller sundhedsfremme.

Andre konsulentydelser er mere generalistprægede og yder processtøtte, undervisning og

formidling.

De seks typer for ekstern konsulentstøtte:

• Processtøtte

• Undervisning

• Arbejdsmiljøfaglig bistand

• Teknisk bistand

• Sundhedsfaglig bistand

• Formidling.

De fleste projekter anvender flere forskellige former for konsulentydelser, hvilket ikke

nødvendigvis er ensbetydende med, at flere forskellige personer inddrages, da samme

person kan bidrage med flere kompetencer. Men opgørelsen viser, at projektet indhenter

ekspertise på mange forskellige områder.

Figur 8.4 viser projekternes fordeling på baggrund af antallet af forskellige konsulentfunktioner

anvendt i projektet. Opgørelsen viser, at kun 17 projekter inddrager ekstern

konsulentstøtte til én funktion. Det mest udbredte er anvendelse af konsulentstøtte til to

funktioner. Figuren giver et billede af, at eksterne konsulenters inddragelse ikke alene er

udbredt, men at konsulenternes rolle i de konkrete projekter også omhandler mange

forskellige funktioner.

Antal

konsulent-

funktioner

1

2

3

4

5

6

7

Figur 8.4: Fordeling af projekter på antallet af konsulentfunktioner

2

3

10

0 5 10 15 20 25 30

Kilde: Oxford Research 2011 n = 114

17

19

21

26

Antal

projekter

79


Figur 8.5 viser de specifikke konsulentydelser, og i hvor høj grad de anvendes. Af figuren

ses det, at processtøtte er den mest udbredte konsulentydelse i projekterne. 60 % af

projekterne inddrager således ekstern konsulentbistand til processtøtte. Dette peger på,

at rigtig mange af projektansøgerne vurderer, at de har behov for hjælp til at gennemføre

projektets aktiviteter og holde fokus.

Dette fund giver anledning til at overveje, om Forebyggelsesfonden med fordel selv kunne

have en tættere kontakt til projekterne med henblik på at støtte dem i projektforløbet.

Fra data ved vi dog, at processtøtten har meget forskellig karakter, og der er mange

forskellige kompetencer på banen blandt de eksterne konsulenter, der i projekterne bruges

til at støtte processer og projektstyring, og det kræver en stor opnormering i Forebyggelsesfonden,

hvis processtøtten skulle udspringe fra Forebyggelsesfonden.

En tættere kontakt kan imidlertid udføres på mange måder, og evaluator ser flere afvejninger,

der spiller ind. Det bør fx nævnes, at enkelte projektledere fra beløbsmæssigt

store projekter har undret sig over, at der med en stor bevilling ikke fulgte tilsvarende

interesse. Et andet hensyn i afvejningen kunne være pointeringen under HF 1b-projekter

af vanskelighederne omkring deres særlige markedsmæssige situation, som kunne tale

for en særlig interesse for disse projekter.

Endvidere kan det være hensigtsmæssigt at fokusere mere på processtøtte, eftersom det

bidrager til at øge implementering og spredning. Således opnår 88 % af projekterne, der

anvender eksterne konsulenter til processtøtte, spredning, mens det er tilfældet for 70 %

af de projekter, som ikke bruger eksterne konsulenter. I forhold til implementering bliver

44 % af projekterne, der inddrager eksterne konsulenter til processtøtte, fuldt implementeret,

mens det gælder for 28 % af de projekter, som ikke bruger eksterne konsulenter til

processtøtte.

Af figur 8.5 ses det, at konsulentbistand til undervisning i projekterne også er meget

udbredt. 35 % af projekterne gør brug af eksterne aktører i forhold til at gennemføre

undervisning inden for specifikke emner som fx kommunikation og ergonomi. Det hænger

ofte sammen med, at der i projektets interne organisering ikke er de faglige kompetencer,

eller at det giver en særlig legitimitet, at der inddrages eksperter ude fra.

I figur 8.5 tegner der sig tillige et billede af, at det er de mere generelle konsulentfunktioner

i forhold til proces og undervisning, som benyttes i projekterne, mens der er færre,

80

Arbejdsmiljøfaglig

Sundhedsfremme

Figur 8.5: Relativ fordeling af projekter på forskellige former for

konsulentbistand

Proces

Undervisning

Teknisk

Formidling

23%

21%

26%

31%

35%

60%

0% 20% 40% 60% 80%

Andel projekter (procent)

Kilde: Oxford Research 2011 n = 114


der bruger de fagspecifikke funktioner såsom de arbejdsmiljøfaglige, tekniske og sundhedsfremmende

indsatser. En potentiel forklaring på ovenstående er, at konsulenterne

spiller en mere fagspecifik rolle afhængig af sigtet med det enkelte hovedformål.

Denne årsagsforklaring undersøges nærmere ved at se på sammenhængen mellem de

forskellige konsulentydelser og hovedformål. Således undersøges sammenhænge mellem:

• arbejdsmiljøfaglig bistand og HF 1a,

• teknisk bistand og HF 1b og

• sundhedsfaglig bistand og HF 3.

For HF 2 er der ikke fundet nogen statistisk signifikant sammenhæng til en specifik konsulentydelse,

men konsulentbistand til undervisning indgår i fem ud af 11 projekter.

Det er rimeligt at antage, at HF 1a-projekter i større omfang anvender arbejdsmiljøfaglig

bistand end de øvrige projekter, da HF 1a netop har fokus på at støtte projekter, der har

til formål at forebygge fysisk og psykisk nedslidende rutiner og arbejdsgange. Nedenstående

figur 8.6 bekræfter, at HF 1a-projekter i højere grad anvender arbejdsmiljøfaglig

bistand (45 %) sammenlignet med de øvrige projekter (14 %).

100%

80%

60%

40%

20%

0%

Figur 8.6: Brug af arbejdsmiljøfaglig konsulentbistand fordelt på

hovedformål

45%

55%

14%

Når der ses på sammenhængen mellem teknisk bistand og HF 1b, er der ligeledes en

tendens til, at HF 1b-projekter i større omfang bruger teknisk bistand end de øvrige projekter.

Således viser figur 8.7, at 77 % af HF 1b-projekterne anvender teknisk bistand,

mens kun 20 % af de øvrige projekter har anvendt denne form for konsulentstøtte. Det

ligger i tråd med, at formålet med HF 1b er at udvikle ny teknologi med henblik på at

forebygge nedslidning.

86%

HF 1a HF 1b, HF 2, HF 3

Har modtaget

arbejdsmiljøfaglig

konsulentbistand

Har ikke modtaget

arbejdsmiljøfaglig

konsulentbistand

Kilde: Oxford Research 2011 n = 114

81


Formålet med HF 3 er at støtte initiativer, som har til formål at øge bevidstheden om

risikoen ved rygning, alkohol, fedme og fysisk inaktivitet – med andre ord er der tale om

en sundhedsfremmende indsats. På den baggrund er det heller ikke overraskende, at

halvdelen af alle HF 3-projekter bruger konsulenter til sundhedsfaglig bistand, mens det

samme kun er tilfældet for 14 % af de øvrige projekter.

På baggrund af de identificerede sammenhænge mellem hovedformål og brug af specifikke

konsulentydelser, hvor arbejdsmiljøfaglig bistand er mest udbredt i HF 1a-projekter,

teknisk bistand er mest udbredt i Hf 1b-projekter, mens sundhedsfaglig bistand er mest

udbredt inden for HF 3-projekter, kan der opstilles tre projekttypologier for anvendelse af

ekstern konsulentbistand, som differentierer ydelsens indhold og kobler dette på projekternes

hovedformål.

De forskellige konsulentydelser kan derudover formodes at have en sammenhæng med

projekternes løsningsforståelse. Eksempelvis kunne man have en hypotese om, at konsulentydelser

i forhold til teknisk støtte har en sammenhæng med en ekspertorienteret

82

100%

80%

60%

40%

20%

0%

Figur 8.7: Brug af teknisk konsulentbistand fordelt på hovedformål

77%

23%

20%

80%

HF 1b HF 1a, HF 2, HF 3

Har modtaget teknisk

konsulentbistand

Har ikke modtaget teknisk

konsulentbistand

Kilde: Oxford Research 2011 n = 114

100%

80%

60%

40%

20%

0%

Figur 8.8: Brug af sundhedsfaglig konsulentbistand fordelt på

hovedformål

50%

50%

14%

86%

HF 3 HF 1a, HF 1b, HF2

Har modtaget

sundhedsfaglig

konsulentbistand

Har ikke modtaget

sundhedsfaglig

konsulentbistand

Kilde: Oxford Research 2011 n = 114


tilgang. Denne sammenhæng ses imidlertid ikke, og hypotesen kan dermed ikke bekræftes.

Dette fund kan forklares med de mange informanter, der under HF 1b har pointeret

involvering af medarbejdere i processen frem for præsentation af en løsning.

En anden hypotese i forhold til løsningsforståelse i projekterne er, at projekter, der er

empowerment-orienterede, i højere grad end andre projekter gør brug af ekstern processtøtte.

Hypotesen bygger på, at de empowerment-orienterede projekter kræver mange

ressourcer i processen, da målgruppen involveres løbende i projektet, beslutningerne og

gennemførelsen. Den bistand, der bruges i disse projekter, er faglige ressourcer inden for

fx inddragelsesprocesser og afholdelse af dialog- og workshopaktiviteter. Men det drejer

sig også om at få eksterne aktører ind, der kommer med nye input og tilgange til organisationen

og virksomhedens kultur. Sammenhængen viser sig at være statistisk signifikant

og er illustreret i figur 8.9.

Empowermentorienteret

Ekspertorienteret

Kilde: Oxford Research 2011

Figur 8.9: Løsningsforståelse i projekterne og processtøtte

Andre

9

Opsummerende kan det fastslås, at projekterne i høj grad anvender ekstern konsulentbistand

og til mange forskelligartede funktioner i de konkrete projekter. Processtøtte er

den mest anvendte konsulentydelse, og denne har en klar sammenhæng med empowerment

som løsningsforståelse. Hertil kommer, at konsulentydelsens indhold har en klar

kobling til hovedformålene HF 1a, HF 1b og HF 3.

8.1.2.1 HF og eksterne evaluatorer afgørende for projektevalueringerne

21

Evalueringen på de respektive hovedformål har mødt den generelle begrænsning, at

evaluator ved evalueringen af samtlige projekter har fundet store udsving i kvaliteten i

projektevalueringerne.

I dette afsnit afdækkes, hvilke fund der kan peges på, når evaluator sammenligner evalueringernes

kvalitet opgjort på hovedformål. Fordelingen fremgår i figur 8.10. Undersøgelsen

foretages ud fra en formodning om, at indsatser og processer under nogle hovedformål

er lettere at evaluere end andre, og at dette har betydning for kvaliteten af evalueringerne.

38

0 20 40 60

Antal projekter,som

anvender konsulentstøtte

til processen

n = 68

83


Figur 8.10 viser blandt andet, at HF 2 ingen dårlige evalueringer har. Dette kan ikke forklares

med anvendelsen af eksterne evaluatorer. Omvendt kan det potentielt skyldes, at

Forebyggelsesfonden under hovedformål 2 stiller større krav til evaluering, men det kan

også hænge sammen med, at projekterne er større og derfor afsætter ressourcer til at

gennemføre grundigere og mere veldokumenterede evalueringer.

Omvendt ses det, at HF 3 har en høj andel af dårligt evaluerede projekter, hvilket kan

skyldes det individorienterede fokus, som opstår, når der sættes fokus på sundhed og

KRAM 18 -faktorer. Det kan være svært at få involveret målgruppen, fordi det er prekært

og grænseoverskridende for både deltagere og evaluator at involvere sig i evalueringen,

når projekterne i høj grad drejer sig om personlige sejre og livsstilsændringer i forhold til

fx motion og rygning.

Det er HF 1b-projekter, som har den højeste andel af dårligt evaluerede projekter. Teknologiudviklende

projekter vil oftere have et mere konkret og håndgribeligt resultat i form

af, om teknologien virker eller ikke virker, hvilket kan mindske motivationen til sideløbende

at foretage en anden form for evaluering.

En anden faktor, der viser sig at have betydning i forhold til evalueringens kvalitet, er,

hvem der gennemfører evalueringen. I figur 8.11 fremgår det, at de interne evalueringer

med en andel på mere end 30 % har den største andel af dårlige evalueringer og følgelig

den laveste andel af evalueringer med høj/rimelig kvalitet.

18 Kost, Rygning, Alkohol og Motion.

84

100%

80%

60%

40%

20%

0%

18%

61%

21%

8%

46% 46%

46%

55% 54%

18%

HF 1a HF 1b HF 2 HF 3

Kilde: Oxford Research 2011

Figur 8.10: Evalueringens kvalitet fordelt på hovedformål

29%

Evalueringen er af høj

kvalitet

Evalueringen er af rimelig

kvalitet

Evalueringen er af dårlig

kvalitet

n = 113


100%

80%

60%

40%

20%

0%

Figur 8.11: Evalueringens kvalitet fordelt på evaluatorer

54%

32%

14% 19%

Der er foretaget

intern evaluering

62%

Der er foretaget

ekstern evaluering

Derudover er det værd at fremhæve, at det blandt projektevalueringer af høj kvalitet

viser sig, at et samarbejde mellem eksterne og interne aktører er særligt givtigt. Det kan

skyldes, at en evaluering kræver ejerskab og velvilje blandt projektets deltagere (den

interne styrke), og at det netop er i samspillet mellem ekstern evalueringsekspertise og

intern forståelse for projektet, organisationen og målgruppen, at det bedste resultat opnås.

Der er dermed en indikation på, at inddragelse af eksterne evaluatorer øger kvaliteten,

men at den højeste kvalitet opnås med en evaluering gennemført i samarbejde mellem

interne og eksterne aktører.

I et kvalitativt interview med en projektleder fra et HF 1a-projekt peges der netop på

fordelen ved at inddrage en ekstern evaluator:

Den eksterne evaluator var med til at sikre fremdriften i projektet. Hun var nysgerrig

og bad om at komme med til inspirationsgruppemøder, hvilket fremmede processen i

projektet og gjorde, at vi blev på stien. (Projektleder, privat virksomhed).

Citatet peger på, at samarbejdet med en ekstern evaluator giver mulighed for, at den

eksterne evaluator kan følge projektet og få indsigt i det. Det kan både styrke kvaliteten

af evalueringen, men også projektets fremdrift og fokus.

Anvendelsen af en ekstern evaluator kan også formodes at have en positiv indvirkning

på, om projektet og den opbyggede viden spredes. Det ser imidlertid ikke ud til, at brugen

af eksterne evaluatorer spiller en rolle i denne sammenhæng. Ud fra datamaterialet

kan det dog ikke fastsættes, om de eksterne evaluatorer uformelt og personligt spreder

og anvender den opnåede viden fra projekterne. Det vil kræve en dybere undersøgelse

med kontakt til de eksterne evaluatorer på projekterne.

Evalueringen viser dog, at inddragelsen af eksterne evaluatorer har en positiv indvirkning

på implementeringen, da 47 % af alle projekter, der bruger eksterne evaluatorer, bliver

fuldt implementeret, mens det kun er gældende for 28 % af alle projekter, som ikke bruger

eksterne evaluatorer i deres evaluering.

Opsummerende er det tydeligt at se, at det har en positiv indvirkning på evalueringens

kvalitet, at der inddrages en ekstern evaluator. Særligt er det samspillet mellem interne

og eksterne aktører, som giver den bedste kvalitet af evalueringen, hvilket blandt andet

kan forklares ved, at det højner evalueringens kvalitet, at der er en løbende dialog.

Ydermere viser det sig, at der en forskel med hensyn til evalueringens kvalitet og hoved-

36%

50%

19% 14%

Der er foretaget

inter/ekstern

evaluering

Evalueringen er af høj

kvalitet

Evalueringen er af rimelig

kvalitet

Evalueringen er af dårlig

kvalitet

Kilde: Oxford Research 2011 n = 111

85


formålet. Der er ikke nogen dårlige evalueringer under HF 2, mens HF 1b er det hovedformål

med flest dårlige evalueringer. Selvom anvendelsen af ekstern evaluator kunne

forventes at have en positiv indvirkning på spredningen, viser evalueringen, at det ikke er

tilfældet. Imidlertid er inddragelsen af eksterne evaluatorer med til at styrke implementeringen.

8.1.3 Offentlig og privat projektejerskab

En kontekstfaktor, som sædvanligvis opfattes som væsentlig, er, hvorvidt indsatsen foregår

hos en offentlig institution eller en privat virksomhed. Betydningen tilskrives de forskelle,

der ligger i rammevilkårene, som er henholdsvis politiske og markedsmæssige. På

den baggrund er det en hypotese, at de forskellige rammevilkår har en betydning for

spredning og implementering, men ud fra data er der ikke grundlag for at bekræfte denne.

Der er til gengæld en sammenhæng mellem offentlig og privat projektejerskab og evalueringernes

kvalitet. Som det fremgår af figur 8.12, er der flere private projekter, som har

dårlige evalueringer og flere offentlige, som har evalueringer af høj kvalitet. Denne sammenhæng

er meget tæt på at være statistisk signifikant, hvorfor sammenhængen bør

forfølges.

Tages der et spadestik dybere, viser det sig, at interne evalueringer, som er foretaget i

private virksomheder, har en væsentlig større andel af dårlige evalueringer med fx mangelfulde

målinger eller uhensigtsmæssigt metodevalg, end det er tilfældet for interne

evalueringer foretaget i det offentlige. Således er 48 % af private virksomheders interne

evalueringer dårlige mod 19 % af det offentliges interne evalueringer.

Dette kan skyldes flere forhold. For det første er der formentlig en større erfaring med

evaluering af projekter og dokumentation i de fleste offentlige virksomheder. Det gælder

dog ikke de mindre arbejdspladser, men fra de gennemførte projekter er der eksempler

på, at mindre institutioner i det offentlige, fx et plejehjem, hvor der gennemføres et projekt,

søger støtte i kommunens centrale forvaltning, hvor kompetencerne findes. I dette

eksempel søgte projektlederen støtte i social- og sundhedsforvaltningen i kommunen. I

forlængelse heraf får de kompetencer i spil, som er opbygget i mange offentlige institutioner.

Kompetencer, der bygger på en forståelse af evaluering og dokumentation, som

86

100%

80%

60%

40%

20%

0%

25%

Figur 8.12: Evalueringkvalitet fordelt på ejerforhold

61%

15%

15%

51%

34%

Projektet er offentligt Projektet er privat

Evalueringen er af høj

kvalitet

Evalueringen er af rimelig

kvalitet

Evalueringen er af dårlig

kvalitet

Kilde: Oxford Research 2011 n = 108


udspringer af de samme samfundsvidenskabelige paradigmer og praksisser, som Forebyggelsesfondens

evalueringsforståelse bygger på. Det kan også have betydning for, at

evalueringerne i de projekter, der gennemføres på offentlige arbejdspladser, vurderes til

at have en højere kvalitet.

8.1.4 Projekternes omfang

Projekternes størrelse defineres i denne analyse på baggrund af projektperiode og projektsum,

som dækker over både det bevilligede beløb og den øvrige finansiering. Det er

rimeligt at antage, at længden på projektperioden har en betydning for indsatsens resultat.

Derfor er projektperioden undersøgt som en kontekstfaktor.

I figur 8.13 ses projektperioderne fordelt på graden af implementering. Der ses ikke store

forskelle, men det er dog værd at bemærke, at projekter over to år har en lidt højere

andel blandt de projekter, der ikke implementeres. I udgangspunktet kunne man have en

formodning om, at længden på projektperioden øger sandsynligheden for implementering,

men det underbygges ikke af de kvantitative data. En forklaring, som man også er

opmærksom på i flere af de kvalitative interview, er, at man hele tiden skal sørge for at

holde liv i projektet, og at det ikke nødvendigvis bliver gjort lettere af, at projektet løber

over en lang periode. Imidlertid fremhæver enkelte informanter også, at det faktisk kan

være en fordel med en lang projektperiode. Eksempelvis, hvis målgruppen er stor:

Der har været en stor gruppe medarbejdere i projektet og på trods af det, er projektet

ikke løbet ud i sandet. Jeg tror, at succesen skyldes, at projektet har kørt over en

længere periode. (Projektleder, kommunal virksomhed)

Det giver anledning til at forfølge det i de kommende delevalueringer for at få en dybere

forståelse af, om projektperioden har en sammenhæng med implementeringen, og hvordan

det forholder sig til projekternes indsatstyper. Det er muligt, at dette kan føre til

anbefalinger om projekternes varighed.

100%

80%

60%

40%

20%

0%

Figur 8.13: Implementeringsgrad fordelt på projekternes varighed

43% 43%

38%

51%

13% 11%

Når den samme analyse foretages på projektsum og implementering, er der ingen bemærkelsesværdige

forskelle at se. Kigger man dybere ned i projekternes økonomi, kan

der være en forventning om, at der i projekter, hvor virksomheden har en høj egenfinansiering,

ligeledes vil være en højere grad af implementering. Det viser sig til en vis ud-

29%

50%

Under ét år 1-2 år Over 2 år

Kilde: Oxford Research 2011

21%

Helt implementeret

Delvist implementeret

Ikke implementeret

n = 107

87


strækning at være tilfældet. Til trods for, at fordelingen i figur 8.14 ikke er statistisk signifikant,

så er det tydeligt, at andelen af ikke-implementerede projekter falder betragtelig,

når egenfinansieringen er over 250.000 kr.

Graden af implementering fordelt på projektsum viser, at der er grund til at følge op på

projekternes egenfinansiering og projekternes implementering i kommende delevalueringer.

Når der ses på spredningen, viser det sig, at projekternes omfang – både med hensyn til

varighed og medfinansiering - ikke gør en forskel.

Opsummerende kan det konkluderes, at omfanget af projektet, som her inkluderer

projektperiode og medfinansiering, spiller en rolle i forhold til implementeringsgraden.

Således er det de projekter, der varer mere end to år, hvor færrest bliver fuldt implementeret

og flest ikke implementeres. Derudover viser det sig også, at medfinansieringen har

en betydning, hvor andelen af projekter, der ikke implementeres, falder væsentligt, når

medfinansieringen overstiger 249.999 kr. Projekternes omfang ser imidlertid ikke ud til at

spille en rolle i forhold til spredning.

8.2 Indsatstyper

I dette afsnit stilles der skarpt på de metoder eller redskaber, som projekterne gør brug

af for at opnå den ønskede effekt. Her kaldet indsatstyper. Formålet er at undersøge, om

der kan udfindes mønstre for, om nogle indsatstyper i forhold til andre giver mere eller

mindre sandsynlighed for implementering og spredning.

Indsatstyperne er ikke gensidigt udelukkende, og hovedparten af projekter består af flere

forskellige indsatser. I figur 8.15 fremgår antallet af indsatser i projekterne. Hovedparten

af projekterne bruger to eller tre indsatstyper, og hele 23 projekter består af fem eller

flere indsatser.

88

100%

80%

60%

40%

20%

0%

Figur 8.14: Implementeringsgrad fordelt på projekternes størrelse af

medfinansiering

Helt implementeret

31%

50%

19%

53% 53%

40% 40%

40% 40%

20%

0 kr. 0-249.999 kr. 250.000-1.000.000

kr.

Delvist implementeret

Ikke implementeret

7% 7%

Over 1.000.000 kr.

Kilde: Oxford Research 2011 n = 106


Antal indsatser pr projekt

Figur 8.15 Fordeling af projekter på antallet af benyttede indsatser

Opgørelsen af antallet af indsatstyper for de respektive projekter illustrerer, at projekterne

sjældent kan anskues ud fra én indsatstype, men består af komplekse systemer af

indsatser, der sammen forventes at give den effekt, som ønskes opnået med projektet.

Derfor kan en første sondring på indsatser ligge i, hvorvidt indsatserne er smalle og

tager afsæt i få problemstillinger og indeholder få elementer, eller om projekternes indsats

indeholder mange elementer på baggrund af flere problemstillinger og således udgør

brede indsatser. Af alle projekter er 57 % defineret som smalle projekter. Hvorvidt projekternes

indsatser er smalle eller brede viser sig imidlertid ikke at have nævneværdig

betydning for hverken implementering eller spredning.

Velvidende at projekterne sammensættes af flere indsatstyper, kan der opstilles syv indsatstyper,

som fremadrettet kan danne grundlag for typologier på indsatser. De syv indsatstyper:

• Individuelle tilbud

• Arbejdets organisering

• Netværk/samarbejde

• Ambassadører

• Information

• Kompetenceudvikling

• Rammebetingelser/vilkår.

1

2

3

4

5

6

7

2

6

14

Der er enkelte indsatstyper, som der kan knyttes nogle analytiske betragtninger til. Ses

der fx nærmere på kompetenceudvikling, viser der sig en mulig sammenhæng mellem

denne indsats og implementering. Blandt de projekter, der anvender kompetenceudvikling

som indsatstype, er der en større andel, der vurderes til at være helt og også delvist

implementeret, når der sammenlignes med de øvrige projekter. Selvom sammenhængen

ikke er statistisk signifikant, tyder opgørelsen i figur 8.16 på, at kompetenceudvikling som

indsatstype er relevant at forfølge i kommende delevalueringer med forventning om en

positiv påvirkning på implementeringen.

15

19

0 10 20 30 40

Antal projekter

Kilde: Oxford Research 2011 n = 113

28

29

89


Det kan forventes, at projekter, som omhandler en ændring af arbejdets organisering, vil

have et gennemgående fokus på implementering i projektperioden og derfor opnå en

forholdsvis høj grad af implementering. Denne antagelse understøttes af data.

I figur 8.17 nedenfor illustreres det, hvorledes projekter, der har indsatser rettet mod en

ændring af arbejdets organisering, i højere grad implementeres. Det fremgår ligeledes, at

en større andel projekter, som ikke indeholder indsatser rettet mod arbejdets organisering,

ikke bliver implementeret. Denne sammenhæng er statistisk signifikant, dvs. det kan

afvises, at billedet i figur 8.17 blot er udtryk for tilfældigheder.

Det kan ligeledes antages, at netværks- og samarbejdsindsatser har en positiv betydning

for spredningen af projektet. Antagelsen bygger på, at netværk både kan anvendes i et

projekt i forhold til at tilføre viden udefra, men ligeledes til at sprede den opnåede viden.

Netværks positive betydning på spredning antydes generelt for de afsluttede projekter

under ét, men ses i endnu højere grad under HF 1a og HF 1b. I figur 8.18 er HF 1a vist

90

100%

80%

60%

40%

20%

0%

Figur 8.16: Implementeringsgrad fordelt på projekternes brug af

indsatsen kompetenceudvikling

43%

50%

7%

Bruger

kompetenceudvikling

32%

47%

21%

Bruger ikke

kompetenceudvikling

Helt implementeret

Delvist implementeret

Ikke implementeret

Kilde: Oxford Research 2011 n = 107

100%

80%

60%

40%

20%

0%

Figur 8.17: Implementering fordelt på projekter, der bruger

indsatsen arbejdets organisering

48%

42%

10%

Bruger arbejdets

organisering

22%

58%

20%

Bruger ikke arbejdets

organisering

Helt implementeret

Delvist implementeret

Ikke implementeret

Kilde: Oxford Research 2011 n = 107


som det hovedformål med flest projekter, men både for HF 1a og HF 1b fremgår sammenhængen

at være statistisk signifikant.

100%

80%

60%

40%

20%

0%

Figur 8.18: Spredning fordelt på HF 1a-projekters brug af indsatsen

samarbejde/netværk

97%

3%

Bruger

samarbejde/netværk

73%

HF 2 er det hovedformål, som har den højeste andel af projekter, som anvender netværk,

men da antallet af projekter under dette formål er begrænset, kan der alene udledes

en mulig sammenhæng, som dog ikke kan af- eller bekræftes på nuværende tidspunkt.

Opsummerende viser afsnittet, at der er mange forskellige indsatser på spil i projekterne,

og mange projekter kombinerer brugen af mange typer af indsatser. Det betyder, at

der i hvert enkelt projekt opstår systemer af indsatser, hvor effekt opstår i samspil mellem

fx et kompetenceudviklingsforløb, nye arbejdsredskaber og et dialogforløb blandt

målgruppen. Dette gør det yderst komplekst at undersøge overordnede sammenhænge

mellem indsats og effekt. Der er dog klare tendenser til, at kompetenceudvikling og fokus

på arbejdets organisering er indsatstyper, der øger implementeringen, og netværk som

indsats synes at understøtte spredningen af projektet og den viden, der er opnået.

8.3 Implementering og spredning

Projektevalueringer har som nævnt ikke gjort det muligt at foretage valide effektanalyser

på klassiske arbejdsmiljøindikatorer som fx sygefravær, trivsel og frivillig personaleomsætning

på tværs af projekterne. Med udgangspunkt i evaluators tværgående analyse af

projekterne er det derimod muligt at måle på effekten af projekterne defineret ved implementering

og spredning. Implementering er en faktor, der sandsynliggør projekternes

effekt lokalt, mens spredning er en indikator på, at projekterne får en betydning, der

rækker udover den lokale kontekst, projektet er foregået i.

I dette afsnit udfoldes implementering og spredning ved at søge typologier, der kan differentiere

og dermed bryde disse begreber ned i mindre dele.

27%

Bruger ikke

samarbejde/netværk

Projektet opnår

spredning

Projektet opnår ikke

spredning

Kilde: Oxford Research 2011 n = 61

91


8.3.1 Typer af output

Der er opstillet ni typer af output via konkrete ændringer, som operationaliserer implementering

i den kontekst, hvor projektet er gennemført. I figur 8.19 er antallet af projekter,

hvor indsatsen har ført til disse konkrete ændringer, opgjort.

Figuren viser, at flest projekter har resulteret i ændringer i arbejdsrutiner/-processer (47

projekter), men der er ligeledes en stor andel, der har ført til ændringer i samarbejdsformer

(38 projekter). Opgørelsen viser samtidig, at indsatsen i 21 projekter ikke har

resulteret i ændringer.

Evaluator finder det positivt, at der trods fejl og mangler i projektevalueringer kan gives

et billede af mange meget konkrete ændringer. Ændringer i arbejdsrutiner og –processer

er en meget håndgribelig og hverdagsnær ændring, hvor ændringer i vejledninger fx er

mindre håndgribelig og med flere risici for at blive overset i hverdagen, hvorved ændringen

udvandes.

Fordelingen i figur 8.19 afhænger af projekternes fordeling på hovedformål, hvor HF 1a

fylder ganske meget og herved også kan skabe en forventning om, at det netop er i arbejdsrutiner

og – processer, at de konkrete ændringer foretages.

8.3.2 Typer af spredning

Vendes blikket herefter mod spredning af viden opnået i projekterne, skal der erindres

om, at spredning udtrykker en proces, som sandsynliggør en mere langsigtet effekt lokalt

og mere bredt (beskrevet med begrebet impact). Evaluator har set på, om projekternes

viden bliver spredt inden for to områder:

1. Internt i virksomheden (lokal impact).

2. I sektoren/branchen (bred impact).

92

Rutiner og praksis vedrørende videndeling

Kilde: Oxford Research 2011

Arbejdsrutiner/-processer

Figur 8.19: Ændringer som følge af projekterne

Samarbejdsformer

Ingen ændringer

Organisering

Politikker

Helbredsrutiner

Vejledninger

Retningslinjer

Mødeformer

Andet

12

12

14

18

17

17

19

21

21

0 20 40 60

Antal projekter

38

47

n = 114


I forhold til den brede impact kunne det ligeledes undersøges, hvorvidt projekterne har

udviklet og afprøvet prototyper, som efterfølgende er sat i masseproduktion. Da det imidlertid

viser sig, at denne form for spredning kun er fundet sted i to projekter, indgår dette

ikke i den yderligere analyse af videnspredning.

Figur 8.20 opgør andelen af projekter, som har arbejdet med forskellige målgrupper for

den spredning, der er sket af projektet. Det skal bemærkes, at figuren illustrerer en opgørelse,

hvor de enkelte projekter kan have anvendt flere former for spredning, hvorfor

den samlede procent summer til mere end 100.

Spredning internt i

virksomheden

Spredning i

sektoren/branchen

Prototype af teknologi er sat i

masseproduktion

Ingen spredning

Kilde: Oxford Research 2011

Figur 8.20: Forskellige former for spredning fordelt på projekter

2%

18%

Anvendelsen af flere målgrupper i projekternes videnspredning er forventelig alene af

den grund, at programteorier forventer lokal impact før bred impact. Dette viser sig også

at være tilfældet, idet de fleste af de projekter (73 %), der spreder viden i sektoren/branchen,

også spreder viden internt i virksomheden.

Forventningen om, at lokal impact er trinnet før den brede impact understøttes yderligere.

Således kan det konkluderes, at den største spredning af viden foretages internt i

virksomhederne (61 %), og projekterne kan derfor siges at have affødt mest lokal impact.

En mere bred impact inden for sektoren/branchen foregår i 49 % af projekterne.

Af hovedformålsanalyserne fremgik det, at nogle indsatstyper både kan have funktioner i

selve projektprocessen, men også i forhold til spredningen af den opnåede viden. Disse

indsatser er fx netværk, ambassadører og informationsaktiviteter.

Det kan virke logisk, at der er en sammenhæng mellem en indsatstype som samarbejde/netværk

og spredning i sektoren/branchen. Som det fremgår af figur 8.21 nedenfor,

er denne sammenhæng da også umiddelbart gældende.

49%

61%

0% 20% 40% 60% 80%

Andel projekter (procent)

n = 114

93


Sammenhængen mellem indsatstype og spredningen af viden er særdeles tæt på at være

statistisk signifikant, og evaluator vil derfor følge denne sammenhæng nærmere i

kommende delevalueringer.

Man kan ligeledes have en hypotese om, at sammenhængen til spredning også må gøre

sig gældende for projekter med informationsaktiviteter som indsats, da det må formodes,

at informationsaktiviteterne også bidrager til at sprede viden. Dette ses da også, men det

viser sig samtidig, at informationsaktiviteter i højere grad har indflydelse på spredning af

viden internt i virksomheden, som det er afbilledet i figur 8.22.

Sammenhængen er også her tæt på at være statistisk signifikant, og derfor vil evaluator

også følge denne sammenhæng i evalueringen af kommende projekter. Spredning opdelt

på ”internt” i virksomheden og ”eksternt” i sektor/branche forventes dermed fremadrettet

at kunne anvendes som typologier, der operationaliserer impact.

94

100%

80%

60%

40%

20%

0%

Figur 8.21: Spredning i sektoren/branchen fordelt på projekternes

brug af indsatsen samarbejde/netværk

59%

41%

Bruger

samarbejde/netværk

40%

60%

Bruger ikke

samarbejde/netværk

Der sker spredning i

sektoren/branchen

Der sker ikke spredning i

sektoren/branchen

Kilde: Oxford Research 2011 n = 113

100%

80%

60%

40%

20%

0%

Figur 8.22: Spredning internt i virksomheden fordelt på

projekternes brug af indsatsen informationsaktiviteter

69%

31%

Bruger

informationaktiviteter

52%

48%

Bruger ikke

informationaktiviteter

Der sker spredning

internt i virksomheden

Der sker ikke spredning

internt i virksomheden

Kilde: Oxford Research 2011 n = 112


8.4 Opsummering på analysen på tværs af hovedformål

Den tværgående analyse har fundet flere interessante sammenhænge eller tendenser og

har på den baggrund opstillet en række typologier, som er et første forsøg på at åbne op

for den mulighed, at evaluator og Forebyggelsesfonden for fremtiden kan kategorisere

projekterne på anden vis end ved hovedformål. Med den tværgående analyse er der opstillet

følgende relevante typologier:

• Organisering af beslutningskompetence

• Typer af ekstern konsulentstøtte

• Eksterne evaluatorer

• Ejerskab

• Projekternes omfang

• Indsatstyper

• Output

• Spredning.

Under organiseringen af beslutningskompetence klargøres det, at der er to hovedtypologier

– snæver ledelse og styregruppe. Analysen viser tydeligt, at der er en forskel

mellem et styregruppestyret projekt og et ledelsesstyret projekt, hvor styregruppestyrede

projekter har et større fokus på at involvere medarbejdere end ledelsesstyrede projekter.

Dette har blandt andet betydning for implementeringen, hvor medarbejderinddragelsen

er en faktor, som styrker implementering.

Brugen af eksterne konsulenter består af seks typologier, hvis anvendelse i høj grad

har sammenhæng med hovedformål, således viser analysen, at der er en sammenhæng

mellem brugen af arbejdsmiljøfaglig bistand og HF 1a, mellem teknisk bistand og HF 1b

og mellem sundhedsfremmende indsats og HF 3. Derudover viser det sig, at processtøtte,

som er den mest anvendte konsulentydelse, skaber både øget implementering og spredning.

Derudover anvendes processtøtte i høj grad i projekter med en empowermentorienteret

løsningsforståelse.

Til brugen af eksterne konsulenter hører særskilt brugen af eksterne evaluatorer. Her

har analysen vist, at der overordnet kan skelnes mellem tre typer af evalueringer – intern

evaluering, intern/ekstern evaluering og ekstern evaluering. Det viser sig, at inddragelse

af eksterne evaluatorer øger kvaliteten, men at samarbejdet mellem interne og eksterne

aktører om evalueringen er den konstellation, som giver den højeste evalueringskvalitet.

Inddragelsen af eksterne evaluatorer giver ikke øget spredning, men det viser sig at have

en positiv indvirkning på implementeringen, da 47 % af alle projekter, der bruger eksterne

evaluatorer, bliver fuldt implementeret, mens det kun er tilfældet for 28 % af alle

projekter, som ikke bruger eksterne i deres evaluering.

Som en af de sidste kontekstfaktorer er der set nærmere på ejerforholdet i henholdsvis

offentlig og privat regi, hvor analysen viser, at offentlige projekter giver en bedre evalueringskvalitet

end de private. Derudover viser analysen, at projekternes omfang spiller

en rolle i forhold til implementering, hvor data viser, at der blandt projekter med en varighed

på mere end to år er en større risiko for ikke at blive implementeret, mens medfinansieringen

viser, at andelen af projekter, der ikke implementeres, falder væsentligt,

når medfinansieringen overstiger 249.999 kr. I forhold til spredning er der ikke tegn på,

at projekternes omfang har nogen effekt.

I forhold til indsatstyper opstiller analysen syv typologier, hvor det viser sig, at de enkelte

indsatstyper har en betydning i forhold til implementering og spredning, således

genererer kompetenceudvikling og arbejdsorganisering stærkere implementering, mens

brugen af samarbejde/netværk giver mere spredning.

95


Afslutningsvis har analysen identificeret ni typologier på output, som viser de umiddelbare

resultater og ændringer, som er blevet affødt af projekternes indsatser. Flest projekter

har resulteret i ændringer i arbejdsrutiner (47 projekter), og ligeledes har mange

projekter ført til ændringer i samarbejdsformer (38 projekter). I forhold til at se på impact

er der opstillet to typer af spredning, som er internt i virksomheden (lokal impact)

og i sektoren/branchen (bred impact). Analysen viser, at den største spredning sker internt

i virksomhederne (61 %), mens den bredere impact inden for sektoren/branchen

foregår i 49 % af projekterne.

96


Kapitel 9. Konklusioner

Dette kapitel har til formål at konkludere på de forudgående analyser for herved at sammendrage

evalueringens væsentligste fund. Konklusionerne skal lede til de efterfølgende

anbefalinger til Forebyggelsesfondens videre arbejde, herunder hvordan der kan arbejdes

med at forbedre validiteten i evalueringen og den læring, der kan udledes heraf. Kapitlet

vil først fremdrage de overordnede konklusioner for herefter tematisk at fremhæve forhold

omkring organiseringen og indsatserne i projekterne.

Projektevalueringerne er mangelfulde

Efter gennemgang, analyse og evaluering af de 114 afsluttede projekter omfattet af indeværende

evaluering står det klart, at det ikke er muligt at vurdere og evaluere projekternes

effekt på konkrete tværgående effektmål.

Dette skyldes, at projekternes egne evalueringer generelt er af ringe kvalitet. Således er

knap hver fjerde af projektevalueringerne vurderet til at have en direkte dårlig evaluering,

mens kun 18 % af projekterne vurderes til at have evalueringer af høj kvalitet. Efter

evaluators vurdering, beror dette både på forkert brug af evalueringsmetoder og på

uhensigtsmæssige valg af metoder. Evaluator finder, at der generelt er for lidt fokus på

dokumentation og projektevalueringernes bidrag til spredning af viden og resultater, som

gerne skal kunne deles med andre virksomheder og relevante interessenter.

Projektevalueringernes lave kvalitet har som nævnt den konsekvens, at der i nærværende

evaluering ikke kan vurderes på tværs af projekternes effektmål, da projekterne sjældent

dokumenterer effekt, som kan henvises til indsatsen. I projekter hvor dokumentation

af effekt rent faktisk er muligt, er opgørelserne så forskellige, at det ikke er muligt at

sammenligne resultaterne på tværs af projekterne.

Derfor er der parallelt med denne evaluering foretaget en tværgående analyse, der dybdegående

afdækker projekternes brug af succeskriterier og evalueringer. Denne analyse

afsluttes ultimo december 2011.

Evaluator må helt overordnet konkludere, at kvaliteten i projektevalueringerne er lav,

hvilket bl.a. skyldes en upræcis brug af effektmål og succeskriterier.

Projektevalueringernes kvalitet øges med inddragelse af eksterne konsulenter

I forhold til projektevalueringerne viser evalueringen, at kvaliteten af projektevalueringer

øges ved inddragelse af eksterne konsulenter i evalueringen. Der, hvor evalueringen sker

i et samarbejde mellem projektinterne medarbejdere og eksterne konsulenter, har evalueringerne

den højeste kvalitet. På baggrund af datagrundlaget samt egne solide evalueringserfaringer

vurderer evaluator, at dette skyldes synergien mellem et indgående internt

kendskab til virksomheden, fagområdet m.v. og evalueringsfaglig ekspertise, der

med et uafhængigt øje kan vurdere projektets resultater. Hertil kommer, at evalueringer

kræver ejerskab og vilje til deltagelse i evalueringerne fra projektets deltagere, hvorfor

en tæt kobling til projektet og de organisationer, som projekterne skal udvikles i, kan

være afgørende for evalueringerne.

Evalueringen viser desuden, at inddragelsen af eksterne evaluatorer ikke giver øget

spredning, men har en positiv indvirkning på implementeringen.

97


Projekternes resultater kan vurderes på implementering og spredning

Som konsekvens af, at der ikke kan vurderes på konkrete effektmål eller succeskriterier,

er der analyseret og vurderet på projekternes implementering og spredning. Implementering

og spredning er de processer, der (jf. det programteoretiske afsæt for evalueringen

illustreret i figur 2.1) leder til outcome og impact på henholdsvis lokalt niveau og i en

bredere sammenhæng.

Disse analyser har vist, at der kan peges på sammenhænge mellem forskellige projektafhængige

parametre og henholdsvis implementering og spredning. Sagt med andre ord

har det været muligt at vurdere projekternes resultater ud fra et mere processuelt perspektiv

og endvidere udlede interessante fund på baggrund heraf. Disse præsenteres

nedenfor.

Beslutningskompetence placeres ofte i styregrupper

En væsentlig del af forståelsen for projekternes organisering handler om projektledelsen

og placering af beslutningskompetencen i projekterne. Knap tre fjerdedele af alle projekter

har placeret beslutningskompetencen i styregrupper. Denne organisering af beslutningskompetencen

tyder på at have positiv betydning for graden af implementeringen,

uden at sammenhængen dog kan fastslås som statistisk signifikant. Styregrupperne er

forskelligt sammensat. Stort set alle involverer virksomhedens ledelse. Mens hovedparten

omfatter medarbejderrepræsentanter og eksterne aktører. Særligt i projekter under HF

1b fremhæves den brede sammensætning som væsentlig på baggrund af projekternes

særlige karakteristika i form af teknologiudvikling.

Medarbejderrepræsentation i styregrupper har betydning

Involvering af medarbejderrepræsentanter i styregrupperne vurderes at have positiv

betydning på flere områder. Dels peger analyserne på, at medarbejderrepræsentationen

øger implementeringen, dels medfører det flere positive sideeffekter, som ikke var forventet

ved projektstart, dels kan det have en tendens til at gøre indsatserne bredere.

Disse forhold er særligt fundet i analysen af HF 1a-projekter samt i den tværgående analyse,

da der for de øvrige hovedformål har været få projekter, som ikke har medarbejderrepræsentanter

i styregrupper. Medarbejderrepræsentation i styregrupperne analyseres

under alle hovedformål, og evaluator vurderer denne organisering til at være væsentlig,

og at det er en fordel at involvere medarbejderne. Denne vurdering beror også på eksisterende

viden om, at medarbejdernes indflydelse og udviklingsmuligheder i sig selv har

forebyggende effekter.

Mulige sammenhænge mellem indsatstyper og implementering

Til trods for at projekterne sammensætter deres indsats af flere indsatstyper, kan der

findes antydningerne af sammenhænge mellem konkrete indsatstyper og implementering.

Således er det fundet, at kompetenceudvikling kan have en positiv betydning for

implementeringen. Ligesom indsatser rettet mod arbejdets organisering tegner en mulig

sammenhæng med implementering.

Ambassadører som indsatstyper er væsentligst for sundhedsfremmeprojekter

Ambassadører bruges i de fleste hovedmål, men i projekter under HF 3 synes denne indsatstype

at være særligt væsentlig. Dette fremgår af de kvalitative interview, men også i

98


de kvantitative analyser er der bemærkelsesværdige fund omkring ambassadører og

sundhedsfremmeprojekter specifikt. Ambassadører ser således ud til både at have en

betydning i forhold til projekternes implementering og i forhold til projekternes efterfølgende

videnspredning. Dette er ikke tilfældet for de øvrige hovedformål eller generelt.

Mulige sammenhænge mellem indsatstyper og spredning

I forhold til spredning af viden opnået i projekterne tyder det på, at konkrete indsatstyper

som netværk og samarbejde samt informationsaktiviteter har en positiv betydning. Sammenhængene

er meget tæt på at være egentlig statistisk signifikante, men i forhold til

hver sin målgruppe, hvilket udfoldes nedenfor.

Informationsaktiviteter har således en sammenhæng med den interne spredning i virksomheden

og dermed en lokal impact, mens brugen af netværk og samarbejde har en

sammenhæng med den eksterne spredning til sektor eller branche og dermed den brede

impact.

Størrelsen af medfinansiering har betydning for implementering

På baggrund af den tværgående analyse kan evaluator konkludere, at størrelsen af medfinansiering

har en betydning for implementeringen. Således har projekter med en medfinansiering

over 250.000 en langt lavere andel ikke-implementerede projekter end projekter

med en lavere medfinansiering. Medfinansieringens betydning understøttes af, at

der ikke blev fundet samme sammenhæng mellem den samlede projektsum og implementering.

Evaluator vurderer, at det er relevant at undersøge nærmere, hvilken betydning

virksomhedens eget bidrag har i forhold til projektets efterfølgende implementering.

Herudover har evalueringen afdækket en række interessante forhold omkring projekterne,

som beskrives nedenfor.

Ekstern konsulentbistand er udbredt

Hovedparten af projekterne gør brug af eksterne konsulenter. I projekter under HF 1a er

andelen helt oppe på 95 % af alle projekterne. HF 3 har den laveste anvendelsesgrad på

68 %. Anvendelse dækker over mange forskellige konsulentfunktioner, hvor nogle er

generalistprægede, mens andre er fagspecifikke. De meget fagspecifikke funktioner har

en statistisk signifikant sammenhæng med det hovedformål, som projekterne tilhører.

Således er der fundet en statistisk signifikant sammenhæng mellem arbejdsmiljøfaglig

bistand og HF 1a-projekter; Mellem teknisk bistand og HF 1b-projekter; Mellem sundhedsfaglig

bistand og projekter under HF 3. HF 2-projekter har ingen statistisk signifikant

sammenhæng med én specifik konsulentydelse, men undervisning er i høj grad anvendt

som konsulentfunktion i disse projekter.

Processtøtte er den mest anvendte konsulentfunktion

Processtøtte er den mest anvendte konsulentbistand, og behovet for ekstern bistand til

processen underbygges af de kvalitative interview. Hele 60 % af alle projekter har anvendt

ekstern konsulentbistand til processtøtte.

Særligt vurderes det, at processtøtte er nødvendigt i virksomheder, der ikke normalt arbejder

med projekter af denne karakter, samt hvis medarbejdere ikke er vant til at indgå

i de inddragende processer, projekterne lægger op til. Dette afspejles ligeledes i, at det

99


er HF 1a, der har den største anvendelse af processtøtte. Det viser sig ligeledes, at processtøtte

under HF 1a bidrager til øget spredning, mens dette ikke viser sig for de andre

hovedformål. I den tværgående analyse er det imidlertid klart, at brugen af eksterne

konsulenter til processtøtte skaber både en højere grad af implementering og spredning

for alle projekter.

Derudover konkluderes det, at projekter med empowerment som løsningsforståelse i

særlig grad gør brug af processtøtte. Dette formodes at skyldes empowerment-tilgangens

fokus på at finde løsninger i processen, frem for at løsningerne er givet på forhånd.

Projekterne indeholder flere indsatser

Selvom 57 % af samtlige afsluttede projekter kan defineres som havende en smal indsats

med afsæt i én problemstilling eller med anvendelse af få indsatser, er det retvisende at

konkludere, at projekterne sammensætter deres samlede indsats af flere konkrete indsatser.

Hovedparten af projekterne har to til tre indsatstyper, og 20 % af alle indsatser

(23 projekter) indeholder fem eller flere indsatser.

I HF 3-projekter fremhæves bredde i indsatserne eksplicit at være en fordel for at nå de

brede målgrupper for sundhedsfremme.

100


Kapitel 10. Anbefalinger

Dette kapitel vil primært give anbefalinger til, hvordan det kan blive muligt at dokumentere

og evaluere effekt i projekter og på tværs af projekter. Herudover gives nogle vejledninger

i forhold til projekternes organisering og brug af indsatstyper. Hertil kommer en

række observationer, som bør give anledning til overvejelser og måske yderligere analyse

eller særlige initiativer i fremtiden. Anbefalingerne er struktureret således, at udgangspunktet

er de projektnære vejledninger. Dette fører over i observationer og egentlige

anbefalinger på et højere strategisk niveau.

10.1 Projektnære vejledninger

På baggrund af evalueringens fund kan der gives en række vejledninger til projekternes

organisering. Evaluator vurderer således, at det er hensigtsmæssigt, at projekter organiserer

sig med styregrupper, hvori medarbejdere er repræsenteret.

Evaluator finder det derudover hensigtsmæssigt, at projekterne i forhold til sammensætningen

af indsatsen er opmærksomme på, at indsatstyper, som retter sig mod arbejdets

organisering og kompetenceudvikling, tyder på at være gavnlige for den efterfølgende

implementering, hvilket evaluator forbinder med disse indsatstypers iboende implementering

i henholdsvis personer og processer. Evaluator vurderer derudover, at sundhedsfremmeprojekter

bør vejledes til at arbejde med ambassadører, da disse er fundet særligt

væsentlige for denne type projekter.

På samme vis finder evaluator, at projekterne kan vejledes til at tænke spredning også i

sammensætningen af deres indsats. Således er det fundet, at brugen af netværk og

samarbejde har en iboende positiv betydning for den eksterne spredning, mens informationsaktiviteter

er fundet at have en positiv betydning for opnåelse af intern spredning.

10.2 Overordnede opmærksomhedspunkter

Udover ovenstående vejledninger er det evaluators vurdering, at der er forhold, som er

særskilte opmærksomhedspunkter for Forebyggelsesfonden, og som kan indgå i projektnære

overvejelser.

For det første finder evaluator det interessant og relevant, at der tegner sig en sammenhæng

mellem implementering og størrelsen på projekternes medfinansiering. Dette kan

give anledning til overvejelser omkring medfinansieringskrav.

Det er set med evaluators øjne ikke overraskende, at jo mere den konkrete virksomhed

selv har på spil i forhold til økonomi, desto større fokus på implementering af projektet.

Opmærksomheden på de økonomiske incitamenter kan dog også anskues ud fra indsatsernes

potentiale for effektivisering eller nedbringelse af udgifter for virksomhederne.

Dette fordrer imidlertid cost benefit-analyser på indsatser, hvilket igen fordrer, at konkrete

effektmål kan kvantificeres og prissættes, hvilket ingenlunde er muligt på det foreliggende

grundlag. Evaluator finder, at økonomiske incitamenter bør være et opmærksomhedspunkt.

Overvejelserne kan tage flere retninger, men et generelt fokus på Forebyg-

101


gelsesfondens støtteprocent (bevillingens andel af projektsummen) i de konkrete projekter

kan være en farbar vej til at optimere udbyttet af de tildelte midler.

Et andet opmærksomhedspunkt er projekternes udtalte behov for ekstern konsulentbistand

i projekterne. Dette udledes dels af den konkrete anvendelse af konsulentbistand,

dels af mange projektlederes pointering af deres manglende erfaring med projekter og

projektledelse.

Evaluator finder ikke, at det som udgangspunkt er bekymrende, at projekter har behov

for fagspecifik konsulentbistand eller mere generalistpræget støtte i projektledelsen, men

det kan give anledning til overvejelser i Forebyggelsesfonden om, hvorvidt Forebyggelsesfonden

mere aktivt skal indgå i leveringen af dele af denne bistand. Det skal blandt

andet ligeledes ses i lyset af, at brugen af eksterne konsulenter til processtøtte bidrager

til at styrke såvel implementeringen som spredningen af projekterne.

En mere aktiv deltagelse fra Forebyggelsesfonden vil i sig selv give Forebyggelsesfonden

mulighed for at opnå større konkret viden om projekterne og på den baggrund opbygge

intern læring i Forebyggelsesfonden. En konkret underbygget og projektnær viden i Forebyggelsesfonden

vil uvilkårligt facilitere en tværgående læring og videnspredning mellem

projekterne, som, evaluator finder, har så oplagte positive perspektiver, at evaluator

nedenfor udfolder de muligheder, evaluator ser for en mere rådgivende funktion fra Forebyggelsesfonden

over for projekterne.

10.2.1 Forebyggelsesfondens rådgivende funktion

I mange projekter udtrykkes der tilfredshed med Forebyggelsesfondens rådgivning, men

som tidligere beskrevet efterspørges der eksplicit mere rådgivning fra Forebyggelsesfonden,

ligesom anvendelsen af ekstern konsulentbistand er markant. Evaluator ser flere

muligheder for, at Forebyggelsesfonden indgår mere aktivt i projekterne som rådgivende

over for projekterne. De umiddelbare muligheder for at udbygge Forebyggelsesfondens

rådgivende funktion anser evaluator for at være følgende:

• Generel mulighed for faglig sparring

• Mulighed for faglig sparring for udvalgte projekter

• Støtte udvalgte projekter i ansøgningsfasen

• Indgå i styregrupper for udvalgte projekter.

En mulighed er, at Forebyggelsesfonden stiller sin faglige kompetence til rådighed for

projekterne generelt. Evaluator forestiller sig, at den faglige sparring både kan omhandle

arbejdsmiljøfaglige spørgsmål, forhold omkring projektledelse og proces samt forhold

omkring dokumentationen af indsats og effekt.

En generel sparring kan ydes på forskellig vis. Fx kan der med baggrund i erfaringerne

hos HF 2-projekter ydes rådgivning om metoder til succesfuld netværksskabelse med

eksempelvis universiteter, sundhedsfaglige eksperter, konsulenter etc. En sådan rådgivning

kan enten ydes individuelt og/eller gennem tematiserede workshops. Rådgivningen

kan således forestås som en facilitering af samarbejdsrelationer, der formodes at afhjælpe

nogle af de faglige barrierer, der særligt i HF 2-projekterne opleves at opstå i mødet

mellem forskellige fagkulturer.

Den generelle rådgivning kan dermed ydes i konkrete projekter eller som workshops,

seminarer, temaartikler eller foredrag ud fra et specifikt tema.

En mere fokuseret sparring kan opbygges ved, at Forebyggelsesfonden udpeger særlige

projekttyper, som Forebyggelsesfonden finder specielt interessante eller komplicerede

og på denne baggrund ønsker at give et særligt fagligt fokus og støtte.

102


Dette kunne fx være teknologiudviklingsprojekters (HF 1b) behov for markedsundersøgelser

og håndtering af konkurrencemæssige forhold. Der kunne i forlængelse heraf ydes

kvalificeret støtte - fagligt eller økonomisk - til at projekter kan få afsøgt sit problemfelt

nøje, inden de igangsætter projektet. Dette er også specifikt påpeget i HF 2-projekter,

hvor ca. halvdelen af de afsluttede projekter er defineret som pilot-/forprojekter, mens

det gælder for ca. 1/3 del af samtlige afsluttede projekter.

En tredje form for konkret støtte til projekter kan ydes i selve ansøgningsfasen, hvor

Forebyggelsesfonden og de faglige udvalg kan opfordre til specifikke ansøgninger ud fra

indsatstyper eller gå aktivt ind i kvalificeringen af ansøgninger, som findes interessante,

men som kræver forbedringer i fagligt indhold, proces eller i forhold til evaluering og

dokumentation.

Som eksempel har HF 2-projekterne ikke fået udviklet anvendelige og realistiske løsningsmodeller

til at få de praktiserende læger involveret i projekterne/indsatserne. Denne

problemstilling er ikke ny og har været et centralt og gennemgående indsatsområde i

mange andre udviklingsprojekter på sygefraværsområdet. Evaluator vurderer, at en mulig

metode til at løse denne mangeårige problemstilling er, at Forebyggelsesfonden iværksætter

et decideret udviklingsprojekt, som alene sætter fokus på at finde løsningsmodeller

på (økonomiske, organisatoriske og faglige), hvordan de praktiserende læger kan

involveres i projekter, som forbedrer rehabilitering og genoptræning af sygemeldte.

En fjerde form for konkret støtte kan ydes, ved at Forebyggelsesfonden i væsentlige projekter

vælger at træde ind i en styregruppe og hermed som en del af sin bevilling

tildeler mandskabstimer. Deltagelse i styregrupperne vil give Forebyggelsesfonden en

hands-on-erfaring, som utvivlsomt vil gavne den generelle læring og mulighederne for at

formidle erfaringer mellem projekter. Udvælgelsen af, hvor det kan være relevant for

Forebyggelsesfonden at deltage i styregrupper, kan ske ud fra forskellige perspektiver fx

store projekter, eksperimenterende projekter eller projekter med en særligt interessant

problemstilling eller sammensætning af indsatser. Udvælgelsen kunne også tage udgangspunkt

i, at det i denne evaluering konkluderes, at HF 3-projekter både finder det

væsentligt med brede samarbejdskonstellationer, og samtidig finder det ganske udfordrende

at håndtere disse.

En øget konkret rådgivning fra Forebyggelsesfonden vil kræve en omprioritering af Forebyggelsesfondens

støtte, hvor flere af Forebyggelsesfondens midler skal bindes i mandskabsstøtte

frem for bevilligede kroner. Dette fordrer naturligvis en grundlæggende diskussion.

Ovenstående repræsenterer såvel forskellige veje, men også forskellige grader

af omlægning. En given omlægning kan gradbøjes både i form af, om der vælges én eller

flere af de opstillede muligheder, men også i forhold til antallet af projekter, der eksempelvis

udvælges til en særlig form for rådgivning.

Det skal fremhæves, at en sådan omlægning vil være i tråd med trenden inden for

fondsarbejde internationalt, hvor der tales om strategisk fondsarbejde med en værditilvækst,

som overstiger den egentlige økonomiske støtte 19 . Således arbejdes der med, at

”kloge penge” meget vel kan være kroner givet i mandetimer med et større afkast end

støttekroner. Hvorvidt tiden for Forebyggelsesfonden, som en ”ung” fond, er moden til

dette skifte, kan evaluator ikke vurdere, men evaluator er omvendt ikke i tvivl om, at

Forebyggelsesfonden helt overordnet skal øge sit strategiske fokus.

19 Fx hos Luc Tayart de Borms, men også i FN’s principper for sociale investeringer ligger dette strategiske

fokus.

103


10.3 Øget strategisk fokus i Forebyggelsesfonden

Som det er konkluderet, eksisterer der en række grundlæggende udfordringer i at foretage

såvel tværgående analyser som en meta-evaluering på projekter, der ikke har gennemført

evalueringer ud fra samme evalueringsteoretiske forståelsesramme endsige

samme begrebsforståelse.

Også i de konkrete projektevalueringer vurderer evaluator, at en overordnet forståelsesramme

og begrebsafklaring defineret og udmeldt af Forebyggelsesfonden vil være hensigtsmæssig

for at styrke kvaliteten i projektevalueringerne.

Sagt meget klart, bliver Forebyggelsesfonden nødt til at arbejde med en fælles referenceramme

for projekterne og fælles definitioner af succes, hvis det skal være muligt at udlede

effekt på tværs af de mange projekter.

Dette kan gøres ved, at Forebyggelsesfonden bliver mere klar i sin strategi: Hvorfor har

vi en Forebyggelsesfond, hvad skal Forebyggelsesfondens midler løse, og hvordan skal

det løses?

Forebyggelsesfonden er etableret på baggrund af et politisk formål, som definerer et

samfundsproblem omkring fysisk og psykisk nedslidning på arbejdspladser. Dermed har

Forebyggelsesfonden et strategisk sigte bag fordeling af Forebyggelsesfondens midler,

hvilket bl.a. kommer til udtryk i opdelingen på hovedformål, udpegning af særlige nedslidningstruede

brancher, jobgrupper og med de årlige handlingsplaner samt disses fokus.

Forebyggelsesfonden arbejder dermed allerede strategisk, men det er evaluators klare

anbefaling, at Forebyggelsesfonden bør styrke sit strategiske sigte og gøre dette strategiske

fokus mere eksplicit for både de politiske og faglige interessenter i og omkring Forebyggelsesfonden

og samtidig over for de projekter, som modtager støtte fra Forebyggelsesfonden.

Dette vil gavne forebyggelsesområdet generelt og optimere udbyttet af Forebyggelsesfondens

midler ved at skabe mere systematik og sammenhæng i indsatsen og dokumentere

resultaterne og effekterne af disse. Samtidig vil et øget strategisk fokus give mulighed

for, at støttede projekter kan lære af de indsatser og processer, der skaber resultater

(output) på kort sigt og effekter (outcome og impact) på længere sigt.

Forebyggelsesfonden kan vælge at styrke sit strategiske arbejde på flere fronter, men

evaluator finder, at det vigtigste fokus skal være på dokumentation af afprøvede og gennemførte

indsatser og deres effekt.

Dette må imidlertid ikke føre til en standardisering, som ikke kan tage højde for projekternes

forskellighed, og samtidig må det ikke føre til et statisk instrument, som ikke kan

indeholde de eksperimenterende dele af projekterne.

10.3.1 Programteorier som metode

Traditionelt fondsarbejde er drevet af ansøgningerne. Nok er der en fundats og dermed

et formål, men tildeling afhænger af, hvem der søger, og indsatserne afhænger af

ansøgerens forståelse af såvel problem som løsning.

Strategisk fondsarbejde er problemdrevet, dvs., at der er en klart defineret problemstilling

og en klart beskrevet forventning til, hvilke forandringer man søger, og hvordan

de søges opnået. Der er således en eksplicit forandringsteori, som angiver typer af løsninger

på den definerede problemstilling. Teorier om forandringer er netop den metode,

104


som nærværende evaluering har taget sit evalueringsteoretiske afsæt i, og som er beskrevet

teoretisk i afsnit 2.2.

Evaluator anbefaler, at Forebyggelsesfonden udarbejder en overordnet programteori for

Forebyggelsesfondens arbejde med forandringer, der forebygger fysisk og psykisk nedslidning

på danske arbejdspladser. I dette arbejde skal centrale begreber afklares, fx en

definition af nedslidning, således at målet bliver klart for alle.

Denne overordnede programteori bør udfoldes i underliggende programteorier for hvert

hovedformål. Herved gøres arbejdet med programteorier operationelt. Nedenfor i figur

10.1 illustreres det, hvordan evaluator anbefaler, at der arbejdes med programteorier på

flere niveauer.

Figur 10.1: Illustration af arbejdet med programteorier

Programteori

HF 1a

Programteori for Forebyggelsesfonden

Programteori

HF 1b

Programteori

HF 2

Arbejdet med programteorier foregår i flere trin:

Programteori

1. Først må Forebyggelsesfonden udarbejde en generel programteori.

2. Herefter udarbejdes programteorier for hvert hovedformål.

3. For det tredje må der sammen med evaluator opstilles effektmål med tilhørende succeskriterier,

måleenheder og metoder for hvert hovedformål. Blandt disse effektmål

m.v. bør nogle være generiske for hovedformålet, mens andre kan være inspirerende

og vejledende i forhold til målemetoder.

I figur 10.2 er opstillet en præliminær programteori for HF 1a til illustration af, hvordan

der kan arbejdes med programteorier på tværs af projekter under samme hovedformål.

HF 3

Programteori

HF 4

105


Figur 10.2: Præliminær programteori for HF 1a

Figur xx

Midler

Fra Forebyggelsesfonden

og

medfinansiering

Indsats

Syv indsatstyper

Fx

Arbejdets organisering

Informationsaktiviteter

Output

Kontekstfaktorer - fx:

• Organisering af projektledelse

• Brugen af eksterne konsulenter

• Organisering af evaluering

• Ejerforhold

Forfatter: VAC Sidst gemt: 22-12-2011 09:38:00 Sidst udskrevet: 22-12-2011 09:38:00

Fx

Ændrede arbejdsprocesser

Automatisering

Outcome

Fx

Nedgang i

sygefravær

Nedgang i

medarbejderomsætningen

Øget trivsel

blandt medarbejderne

Impact

lokalt

Fx

Intern spredning

Færre omkostninger

Øget social

kapital

Impact

bredt

Fx

Ekstern spredning

Færre offentlige

udgifter


Brugen af programteorier vil på en pædagogisk og overskuelig måde kunne bidrage til, at

projekterne opnår en fælles forståelse af formålet for såvel det konkrete projekt, som det

at projektet indgår i en bredere sammenhæng, hvor projektet sammen med øvrige projekter

skal udvikle og tilføre generel viden, der kan forbedre forebyggelsesindsatsen.

Arbejdet med programteorier forventes således at føre til en generel afklaring og en bevidst

reflekterende proces i Forebyggelsesfonden og i projekterne via en fælles forståelsesramme

og et fælles begrebsapparat.

10.3.2 Effektmål og succeskriterier

Som skrevet fra begyndelsen i denne evaluering kræver en tværgående analyse af effekt,

at der opstilles generiske effektmål. Der eksisterer eksempelvis forskellige definitioner af

sygefravær, og omfang af hvad begrebet inkluderer, bliver hermed uensartet, hvilket gør

en sammenligning på tværs af projekter uholdbar.

Det er derfor afgørende, at der arbejdes med tværgående og generiske effektvariable

forstået som effektvariable, som opgøres og måles ens. Fx at sygefravær er defineret

ens, opgjort ens, og at udviklingen måles ens. Disse skal kobles på de opstillede programteorier,

som illustreret i figur 10.2.

Det anbefales, at disse effektvariable afhænger af hovedformålet. Fx er et oplagt og meget

anvendt effektmål ”nedbringelse af sygefravær”, men dette vil ikke være et rimeligt

effektmål for HF 3-projekter. Derfor må Forebyggelsesfonden i samarbejde med evaluator

stille sig spørgsmålet: Hvilken effekt skal indsatserne under dette hovedformål nå?

Når man ved, hvilken effekt indsatsen søger at nå, bliver det næste trin en operationalisering

af effektmålet ved at spørge: Hvordan måler vi, om der sker en forandring på fx

sygefravær?

Denne proces fører til en øget standardisering, men må ikke føre til en ensretning, der

ikke kan tage højde for projekternes forskellighed og unikke udviklingskarakter, og samtidig

må det ikke føre til et statisk instrument, som ikke kan indeholde de eksperimenterende

dele af projekterne.

Evaluator forventer, at denne balance kan opnås, ved at der arbejdes med nogle få fælles

effektmål, hvor det bliver obligatorisk for projekterne at tilvælge ét af disse. Og at der

herudover arbejdes med et batteri af effektmål og operationaliseringer heraf, som kan

inspirere projekterne til, hvilken effekt deres projekt vil kunne medføre, og hvordan de

hensigtsmæssigt måler denne. Succeskriterierne må dog altid være projektafhængige; I

hvilken grad det forventes, at projektet kan nedbringe sygefraværet – om det er med

fem eller ti procent – afhænger af projektets omfang, branche og andre projektspecifikke

kontekstfaktorer.

Oxford Research A/S

Amagertorv 19, 3.

En konkret anbefaling til, hvordan ovenstående balance mellem en øget standardisering

1160 København K

og den nødvendige fleksibilitet bedst opnås, vil først kunne udledes efter endelig Tlf.: +45 færdig- 33 69 13 69

gørelse af den parallelle tværgående analyse af succeskriterier. Den tværgående Fax: +45 analyse 33 69 13 33

af succeskriterier er mere dybdegående i sin analyse på dette specifikke punkt, office@oxfordresearch.dk

og der vil

www.oxfordresearch.dk

derfor kunne tages et mere konkret afsæt i projekternes hidtidige arbejde med succeskriterier.

CVR nr. 20 12 40 91

Reg.nr.: A/S 237.171

Målet med at opstille konkrete og forskellige målemetoder og –enheder er både at give

projekterne en bredere og mere kvalificeret indsigt i, hvordan og på hvilke Valued parametre Acer Customer

deres indsats kan vurderes, og samtidig give konkrete retningslinjer for metoden Direkte: ved det

valgte parameter. Forebyggelsesfonden kan herved øge kvaliteten i evalueringerne, uden

at det medfører urimelige begrænsninger. Derimod udvider det på kvalificeret vis projek-

Forfatter: VAC Sidst gemt: 22-12-2011 09:38:00 Sidst udskrevet: 22-12-2011 09:38:00


ternes valgmuligheder ved at præsentere flere, end man selv umiddelbart ville komme på

i projektet.

Ovenstående anbefaling kan anses som radikal, i og med at der hermed vil blive opstillet

forholdsvis præcise krav til dokumentationen af projekternes indhold og resultater. Evaluator

er dog ikke i tvivl om, at dette er hensigtsmæssigt ud fra et evalueringsperspektiv,

men anerkender, at der med Forebyggelsesfondens formål og projekternes indhold skal

være plads til det unikke. Det er denne balance, som ovenstående lægger rammerne for,

mens den endelige udfoldelse afventer den tværgående analyse på succeskriterier.

Uagtet den kommende tværgående analyse på succeskriteriers konklusioner og anbefalinger

er det dog væsentligt endnu en gang at understrege, at erfaringen i forbindelse

med denne evaluering og data fra projekterne er, at kvaliteten af projekternes indberetninger

er voldsomt svingende. Fremadrettet vil retningslinjer for effektmål og for de oplysninger,

projekterne skal registrere, kunne forbedre kvaliteten af data.

Hvis der opnås en god og ensartet datakvalitet, vil det fx være muligt at sammenligne på

tværs af projekter. Eksempelvis vil man på tværs af grupper af projekter kunne sammenligne

udviklingen i sygefraværet og dermed belyse, om projekter med bestemte karakteristika

har haft en større/mindre ændring i sygefraværet. Selvom Forebyggelsesfonden

opstiller retningslinjer for projekternes indberetning af oplysninger, er der set i lyset af

erfaringerne en risiko for, at datakvaliteten ikke vil være af høj kvalitet. Der eksisterer

dermed også fremadrettet en risiko for, at analysemulighederne er begrænsede

Evaluator foreslår ligeledes Forebyggelsesfonden, at Forebyggelsesfonden, evt. i forbindelse

med sin rådgivende funktion (se afsnit 10.2.1), sikrer, at der i udvalgte projekter af

en vis størrelse gennemføres effektmålinger med kontrolgrupper. Anvendelsen af kontrolgrupper

kan være både statistiske kontrolgrupper med brug af registeranalyser eller

supplerende kvalitative kontrolgrupper fx i egen virksomhed eller tilsvarende anden virksomhed

20 . Sådanne effektmålinger bør planlægges og gennemføres i samarbejde med en

ekstern evaluator med kompetencer i effektmåling. Samtidig bør disse målinger indgå

som en del af en samlet evaluering af projektets programteori, hvorved konteksten inddrages.

10.4 Opsummering

Ovenstående indeholder meget projektnære vejledninger samt mere håndfaste anbefalinger,

der har et mere overordnet sigte.

Evaluator anser ikke anbefalingerne for at indeholde et radikalt skifte i Forebyggelsesfondens

arbejde, men anbefalingerne er ikke desto mindre helt afgørende for muligheden

for at kunne dokumentere effekter endsige lære af processer og indsatser, som virker.

Anbefalingen om et øget strategisk fokus med brug af programteorier ligger i tråd med

en international trend om strategisk fondsarbejde og evaluering heraf. Med afsæt i dette

internationale fondsarbejde kan anbefalingerne summeres op i tre hovedspørgsmål, som

fonde – her Forebyggelsesfonden - bør stille sig selv:

1. Hvordan definerer vi succes? (getting clear)

2. Hvad skal der til for at skabe forandringer? (getting real)

20 Disse supplerende kontrolgrupper er nærmere beskrevet i evaluators tilbud til Forebyggelsesfonden.

108


3. Hvordan kan vi forbedre vore resultater over tid? (getting better) 21

Anbefalingerne giver mulige svar på disse tre spørgsmål, men gør det så at sige bagfra.

Ad 3: Forebyggelsesfonden kan forbedre sine resultater over tid ved at styrke sit strategiske

arbejde og besvare spørgsmål to og et.

Ad 2: Forebyggelsesfonden bør dels opstille en overordnet programteori, dels programteorier

for hovedformålene, dels kræve at projekterne opstiller programteorier for den konkrete

indsats.

Ad 1: Forebyggelsesfonden skal definere fælles effektmål for hvert hovedformål og angive,

hvordan det kan måles. Herudover opstilles et batteri af mulige effektmål og målemetoder

til inspiration for projekterne og imødekommelse af projekternes individualitet.

21 Ditkoff, Susan Wolf & Colby, Susan J. (2009): Galvanizing Philantropy, Harvard Business Review, November

2009.

109


110


Bilag 1: Evalueringens anvendte begreber

Begreb Betydning

Aktivitetsmål Dækker over, at opfyldelsen af succeskriterierne søges indfriet

gennem afholdelse af aktiviteter. Et aktivitetsmål kan fx være, at

30 medarbejdere deltager i en rygestopkampagne.

Bevilliget beløb Dækker over det beløb, der er udbetalt fra Forebyggelsesfonden

til projektet.

Bred impact Indgår i evalueringsdesignet som en del af programteorien. Bred

impact dækker over spredning af viden og resultater på tværs af

virksomheder, men skal også forstås som ændringer af institutionelle

sammenhænge og reguleringer på højere niveau som fx

overenskomster og lovgivning.

Bred indsats Dækker over, at det givne projekt har mange indsatstyper og

mange problemstillinger.

Effekt Indgår i evalueringsdesignet som en del af programteorien. Effekt

er de resultater (på kort og lang sigt) projektets indsats(er) medfører.

Det kan fx være 30 medarbejdere, der deltager i en rygestopkampagne

(aktivitetsmål), hvor 30 % af deltagerne stopper

med at ryge (effektmål).

Effektmål Dækker over, at opfyldelsen af succeskriterierne vurderes indfriet

gennem målinger på relevante effektparametre. Fx kan effekten af

en rygestopkampagne være, at 30 % af deltagerne stopper med

at ryge.

Ekspertorienteret Dækker over, at løsningsforståelsen i projektet i minimum tre ud

af fem sammenhænge er ekspertorienteret. Sammenhængene er:

• Hvilken løsningsforståelse har projektet for individet?

• Hvilken løsningsforståelse har projektet for arbejdets teknologi,

tilrettelæggelse og udførelse?

• Hvilken løsningsforståelse har projektet i forhold til arbejdets

organisation (tilrettelæggelse af sammenhængene produktionsforløb)?

• Hvilken løsningsforståelse har projektet i forhold til det interpersonelle

(kollegarelationer, kommunikation, ledelse mv.)?

• Hvilken løsningsforståelse har projektet i forhold til arbejdets

111


Empowermentorienteret

112

indhold, mening og værdi?

Dækker over, at løsningsforståelsen i projektet i minimum tre ud

af fem sammenhænge er empowerment-orienteret. Sammenhængene

er:

• Hvilken løsningsforståelse har projektet for individet?

• Hvilken løsningsforståelse har projektet for arbejdets teknologi,

tilrettelæggelse og udførelse?

• Hvilken løsningsforståelse har projektet i forhold til arbejdets

organisation (tilrettelæggelse af sammenhængene produktionsforløb)?

• Hvilken løsningsforståelse har projektet i forhold til det interpersonelle

(kollegarelationer, kommunikation, ledelse mv.)?

• Hvilken løsningsforståelse har projektet i forhold til arbejdets

indhold, mening og værdi?

Implementering Dækker over, om projekternes indsatser er blevet implementeret i

den for projektet relevante sammenhæng (drift, kampagne, service

etc.). Der skelnes mellem fuldt implementeret, delvist implementeret

og ikke implementeret.

Indsatsens orientering

Dækker over, om projektet er målrettet individer, grupper, organisation(er)

og/eller institutionelt samarbejde(r).

Indsatser Indgår i evalueringsdesignet som en del af programteorien. Dækker

konkret over syv forskellige indsatser: individuelle tilbud, arbejdets

organisering, informationsaktiviteter, netværk/samarbejde,

kompetenceudvikling, ambassadører og rammebetingelser/vilkår.

Kontekst Dækker over de faktorer, der omgiver de enkelte projekter, og

som har indvirkning på andre elementer (fx indsats og proces).

Som en del af konteksten er fx det organisatoriske set-up omkring

projektet, arbejdspladskulturen og de samfundsøkonomiske konjunkturer

vigtige faktorer.

Lokal impact Indgår i evalueringsdesignet som en del af programteorien. Lokal

impact dækker over spredning af viden og resultater i virksomheden,

hvor projektet har fundet sted.

Midler Indgår i evalueringsdesignet som en del af programteorien. Midler

er de ressourcer, der tilføres projektet, som igennem processen

realiseres i indsatser.

Målgruppens

størrelse

Målgruppen dækker over antal i målgruppen.


Outcome Indgår i evalueringsdesignet som en del af programteorien. Outcome

opfattes som et resultat af projektet kort efter eller ved

afslutningen af projektet. Outcome kan fx være, at medarbejdergruppen

agerer anderledes, fordi de har fået en ny viden.

Output Indgår i evalueringsdesignet som en del af programteorien. Output

er det umiddelbare og konkrete resultat af en indsats. Det kan

fx være en opkvalificeret medarbejdergruppe, en ergonomisk korrekt

tilpasset arbejdsplads eller en ny bevidsthed om, hvilken betydning

motion har.

Proces Indgår i evalueringsdesignet som en del af programteorien. Der

skelnes imellem proces i et monitoreringsperspektiv og proces i et

læringsperspektiv.

• Monitoreringsperspektivet ser på, om projekterne lever op til

forventningerne i forhold til indsatser og resultater, og om

projekterne foretager ændringer undervejs.

• Læringsperspektivet har fokus på interaktionen mellem projekternes

forskellige faser, og på hvilke faktorer der har betydning

i de forskellige faser. Fx kan en organiseringsform have

større indflydelse som kontekst i et implementeringsperspektiv

end i et spredningsperspektiv.

Programteori En teori eller antagelse om, hvilken forandring projektet forventes

at skabe.

Projekternes omfang

Spredning

En samlet betegnelse for projekternes størrelse målt i kroner,

antal i målgruppen og projekternes varighed.

Dækker over, om projekternes erfaringer og resultater er blevet

spredt:

• Internt i virksomheden (lokal impact).

• I sektoren/branchen etc. (bred impact).

113


114


Bilag 2: Undersøgelsesspørgsmål og hypoteser

Undersøgelsesspørgsmål

• Hvor mange projekter har modtaget støtte inden for hovedformålet?

• Hvor mange virksomheder/arbejdspladser har deltaget i de støttede projekter (pnr.)?

• Hvordan fordeler projekterne sig på privat/offentlige virksomheder/arbejdspladser

• Hvordan fordeler projekterne sig på brancher?

• Hvordan fordeler projekterne sig, hvad angår offentlige arbejdspladser: Statslige,

kommunale, regioner?

• Hvordan fordeler de støttede projekter sig på størrelse (p.nr.)?

• Hvor mange projekter er forprojekter/pilotprojekter? Disse fordelt på sektorer/brancher?

• Hvor mange medarbejdere er samlet omfattet via disse projekter?

• Hvordan er fordelingen på medarbejdertyper?

• Hvordan er fordelingen af medarbejdertyper fordelt på sektorer/brancher?

• Hvor mange projekter arbejder med aktivitetsmål?

• Hvad kendetegner de projekter, der arbejder med aktivitetsmål? (Sektor/branche/størrelse

intern/ekstern projektledelse, inddragelse af eksterne konsulenter,

intern/ekstern evaluering, dokumenterede problemstillinger m.m.)

• Hvor mange projekter arbejder med indsatsområder formuleret på baggrund af

dokumenterede problemstillinger?

• Hvor mange projekter arbejder med effektmål?

• Hvad kendetegner de projekter, der arbejder med effektmål? (Sektor/branche/størrelse,

intern/ekstern projektledelse, inddragelse af eksterne konsulenter,

intern/ekstern evaluering, dokumenterede problemstillinger m.m.)

• Hvor mange projekter arbejder med henholdsvis smalle/ brede indsatstyper?

• Hvad kendetegner de projekter, der arbejder med smalle/brede indsatstyper?

(Sektor/branche/størrelse, intern/ekstern projektledelse, inddragelse af eksterne

konsulenter, intern/ekstern evaluering, dokumenterede problemstillinger m.m. )

• Hvor mange projekter arbejder med sygefravær som effektmål?

• Hvad kendetegner de projekter, der arbejder med effektmål? (Sektor/branche/størrelse,

intern/ekstern projektledelse, inddragelse af eksterne konsulenter,

intern/ekstern evaluering, dokumenterede problemstillinger m.m.)

• Hvor mange projekter arbejder med operationelle succeskriterier?

• Hvad kendetegner de projekter, der arbejder med operationelle succeskriterier?

(Sektor/branche/størrelse, intern/ekstern projektledelse, inddragelse af eksterne

konsulenter, intern/ekstern evaluering, dokumenterede problemstillinger m.m.)

• Hvor mange af projekterne har helt eller delvist indfriet deres succeskriterier?

115


116

• Hvad kendetegner de projekter, der helt eller delvist har indfriet deres succeskriterier?

(Sektor/branche/størrelse, intern/ekstern projektledelse, inddragelse af

eksterne konsulenter, intern/ekstern evaluering, dokumenterede problemstillinger

m.m.)

• Hvor mange projekter arbejder bevidst med kønsdimension?

• Hvad kendetegner de projekter, som arbejder med kønsdimension (Sektor/branche/størrelse,

intern/ekstern projektledelse, inddragelse af eksterne konsulenter,

intern/ekstern evaluering, dokumenterede problemstillinger m.m.)

• Hvor mange projekter arbejder bevidst med aldersdimension?

• Hvad kendetegner de projekter, som arbejder med aldersdimension (Sektor/branche/størrelse,

intern/ekstern projektledelse, inddragelse af eksterne konsulenter,

intern/ekstern evaluering, dokumenterede problemstillinger m.m.)

• Institutionelt set-up: Hvor ligger beslutningskompetencen i projekterne (I virksomhedens/organisationens

ledelse – hvilket ledelsesniveau, styregruppe - sammensætning).

• Hvor mange projekter har en følgegruppe eller lignende?

• Hvor mange projekter har intern/ekstern projektledelse?

Hypoteser

Evalueringsvariable (herunder succeskriterier)

• Ekstern evaluering øger kvaliteten af evalueringen af indsatsen.

• Projekter, som gør brug af eksterne evaluatorer, opnår i højere grad spredning.

• Projekternes evalueringer er mangelfulde i forhold til de kvalitative metoder.

• Aktivitetsmål er mere udbredte end effektmål.

• Klare mål for indsatsen gør, at succeskriterierne bliver opfyldt.

• Kvantificerbare succeskriterier har som konsekvens, at succeskriterierne bliver

opfyldt.

• Indsatstyper, som er eksperimenterende, har ikke klare aktivitets- og/eller effektmål.

• Indsatstyper, som er eksperimenterende, har ikke kvantificerbare succeskriterier.

• Indsatstyper med medarbejderinddragelse har ikke klare mål.

• Indsatstyper med medarbejderinddragelse har ikke kvantificerbare succeskriterier.

• Mange projekter har ikke opsat/formuleret positive sideeffekter.

• De fleste projekter lukker af for ny udvikling i processen.

• De fleste projekter opnår (ønskelige) effekter, der ikke er opstillet som succeskriterier.

• Mange projekter går fra at benytte kvantitative til at benytte kvalitative metoder.

Institutionelle variable

• Intern projektledelse øger implementeringen.


• Projekter, som gør brug af eksterne konsulenter til proces/teknisk støtte, opnår

større effekt/ i højere grad spredning.

• Projekter, som inddrager netværk og/eller styre- og arbejdsgrupper, har større

effekt/i højere grad spredning.

• Projekterne medfører sjældent ændringer i rammevilkårene.

• Projekter med konsortier opnår i højere grad spredning.

• Hvis implementeringen er indtænkt i projektets design, opnås i højere grad implementering.

• Større projektsummer opnår i højere grad implementering/spredning.

Indsatsvariable

• Indsatser på baggrund af dokumenterede problemstillinger opnår oftere implementering.

• Smalle indsatser opnår større effekt end brede indsatser.

• Indsatser, der gennemføres med henblik på at forbedre såvel arbejdsmiljøet som

virksomhedens økonomiske bundlinje, opnår større effekt/i højere grad implementering/spredning.

• Der er en positiv sammenhæng mellem forbedret økonomisk bundlinje og arbejdsmiljøeffekter.

• Projekter af eksperimentel karakter opnår i højere grad spredning.

• Projekter, som indeholder kompetenceløft, opnår større grad af implementering.

• Uformel kompetenceudvikling opnår større effekt/i højere grad implementering

end formel kompetenceudvikling.

• Projekter med ambassadører opnår større effekt/i højere grad spredning/implementering.

Procesvariable

• Projekter uden ændringer overhovedet opnår større effekt end projekter, hvor

der foretages ændringer.

• Ændringer skyldes oftest ydre forhold.

• Ændringerne består oftest i justeringer af tidsplanen.

• Ændringer i projektledelse medfører lavere effekt.

• Projekter med et projektset-up, hvor der er et veldefineret ledelsesrum og en klar

rollefordeling, påvirker resultaterne positivt.

• Ændringer i projektledelse fører til yderligere ændringer i projekterne.

• Der er forskel på kort og langsigtet forankring.

• Ejerskab og forankring på forskellige niveauer skaber højere grad af implementering.

117


Hovedformålsspecifikke variable

HF 1a og HF 1b

HF 2

HF 3

118

• Projekter, som arbejder med medarbejderinddragelse, opnår i højere grad implementering.

• Projekter, som arbejder med medarbejderinddragelse, opnår generel forandringsparathed

som en positiv sideeffekt.

• Projekter, som arbejder med en primær og en sekundær målgruppe, opnår i højere

grad spredning.

• Teknologiprojekter opnår i højere grad spredning.

• Teknologiprojekter er dyrere, men har større effekt.

• Teknologi projekterne stopper ved prototyper.

• Der er større effekt ved inkrementelle projekter end radikale.

• Teknologiudvikling, der lægger sig i et spor af udvikling, har større impact.

• Teknologiprojekter, der ikke er baseret på markedsundersøgelser, vil sjældent

blive en succes.

• Teknologiprojekter er ofte rationaliseringsprojekter.

• Deltagerinddragelse i udformningen af indsatsen øger effekten.

• Projekter, som arbejder med en primær og en sekundær målgruppe, opnår i højere

grad spredning.

• Projekter med et projektset-up, hvor der er et veldefineret ledelsesrum og en klar

rollefordeling, påvirker resultaterne positivt.

• Projekter, som er rent individorienteret, har større effekt.

• Projekter, som arbejder med empowerment, har større effekt.

• Projekter, der alene beskæftiger sig med KRAM-aktiviteter, har lavere effekt end

projekter, som arbejder med flere paradigmer.


119


120

More magazines by this user
Similar magazines