Kvalitetsvurdering af evalueringsrapporter.pdf - Socialstyrelsen

socialstyrelsen.dk

Kvalitetsvurdering af evalueringsrapporter.pdf - Socialstyrelsen

Guide til

kvalitetsvurdering af

evalueringsrapporter


Publikationen er udgivet af

Socialstyrelsen

Edisonsvej 18, 1.

5000 Odense C

Tlf: 72 42 37 00

E-mail: socialstyrelsen@socialstyrelsen.dk

www.socialstyrelsen.dk

Forfatter: Socialstyrelsen

Udgivet 15-08-2012

.

2


Indholdsfortegnelse

Indledning ....................................................................................................... 4

Gennemførsel af kvalitetsvurderingen i praksis.................................................................................. 4

Skema til kvalitetsvurdering ......................................................................... 6

1. Imødekommer behov ................................................................................................................................. 7

2. Passende evalueringsdesign ................................................................................................................... 7

3. Gyldige og pålidelige data ......................................................................................................................... 8

4. Solid analyse .................................................................................................................................................. 8

5. Troværdige resultater ................................................................................................................................ 9

6. Gyldige konklusioner.................................................................................................................................. 9

7. Anvendelige anbefalinger ...................................................................................................................... 10

8. Klarhed i evalueringsrapporten .......................................................................................................... 10

Opsummerende ............................................................................................ 11

Samlet overblik over vurderinger .......................................................................................................... 11

Samlet overordnet vurdering af evalueringsrapporten ................................................................ 11

Vejledning om kriterier ................................................................................ 12

1. Imødekommer behov .............................................................................................................................. 12

2. Passende evalueringsdesign ................................................................................................................ 12

3. Gyldige og pålidelige data ...................................................................................................................... 13

4. Solid analyse ............................................................................................................................................... 14

5. Troværdige resultater ............................................................................................................................. 14

6. Gyldige konklusioner............................................................................................................................... 15

7. Anvendelige anbefalinger ...................................................................................................................... 15

8. Klarhed .......................................................................................................................................................... 16

3


Indledning

Guiden til vurdering af større eksterne (satspuljefinansierede) evalueringer er et

værktøj, som er et supplement til arbejdet omkring opsamling og kondensering

af resultater og erfaringer fra eksterne (satspuljefinansierede)

evalueringsrapporter, som er rettet mod ordførerne.

Der hentes inspiration fra Europakommissionen, som i flere år har haft en

lignende foranstaltning til vurdering af evalueringsrapporter gennemført for

europakommissionen.

Evalueringsrapporter kan have indflydelse på indsatser, organisationer og

politik mv., og en faglig vurdering af evalueringsrapporterne er derfor nødvendig

for at:





Sikre gennemsigtighed omkring rapporternes evalueringsfaglige kvalitet

for alle potentielle brugere (satspuljeordførere, projektledere,

projektmedarbejdere mv.).

Understøtte at Socialstyrelsen laver reflekterede og fokuserede

evalueringsudbud og tilrettelægger egne evalueringer, der muliggør og

understøtter kvalitet i evalueringsarbejdet.

Tilskynde evaluator til at levere høj evalueringsfaglig kvalitet.

Muliggøre organisatorisk (Socialstyrelsen og departement) læring om

evalueringsprocessen.

Gennemførsel af kvalitetsvurderingen i praksis

Kvalitetsvurderingen består af 1) et vurderingsskema, og 2) en vejledning til

vurdering i forhold til de fastsatte kriterier og 3) en vejledning til hvordan

kvalitetsvurderingen tilrettelægges


Skema til kvalitetsvurdering og vejledning om kriterier: Skemaet skal

anvendes for at sikre, at vurderingen er baseret på relevante og ensartede

kvalitetskriterier, og for at vurderingen fokuseres på kvaliteten af den

aktuelle evalueringsrapport. Vejledningen indeholder et sæt af

indikatorer.

Vurderingerne foretages løbende af Metode i samarbejde med projektlederen fra

den pågældende fagenhed. Når en evaluering er afsluttet, og der foreligger en

endelig evalueringsrapport, sendes rapporten til Team Effekt i Metode, som

gennemlæser og vurderer rapporten. Dette sker som led i den årlige opsamling,

4


der i forvejen leveres fra Metode til satspuljeordførerne. Metode inviterer

herefter den ansvarlige projektleder til et vurderingsmøde, hvor de i fællesskab

gennemgår vurderingsskemaet og drøfter vurderingerne.

5


Skema til kvalitetsvurdering

Titel på evalueringsrapport:

Rapportens karakter:

Endelig rapport

Udkast til endelig rapport

Evalueringsrapportens dato:

Enhed

Børn Voksne

Evt. område:

Projektleder:

Evaluator herunder navn og

kontaktoplysninger på ansvarlige

Kvalitetsvurderingen er udført af:

Dato for vurdering:

6


1. Imødekommer behov

Hvordan lever evalueringen op til formålet, som er formuleret i udbudsmaterialet

Ikke

tilfredsstillende

Mindre

tilfredsstillende

Vurdering

1 2 3 4

Tilfredstillende

Meget

tilfredsstillende

Argument for

vurdering:

Hvis relevant:

Kontraktmæssige (fx

tids- eller

ressourcemæssige)

og kontekstuelle

begrænsninger

(uventede forhold)

2. Passende evalueringsdesign

Muliggør evalueringens design en tilfredsstillende besvarelse af

evalueringsspørgsmål og/eller dække vidensbehovet

Ikke

tilfredsstillende

Mindre

tilfredsstillende

Vurdering

1 2 3 4

Tilfredsstillende

Meget

tilfredsstillende

Argument for

vurdering:

Hvis relevant:

Kontraktmæssige (fx

tids- eller

ressourcemæssige)

og kontekstuelle

begrænsninger

(uventede forhold)

7


3. Gyldige og pålidelige data

Er datas gyldighed og pålidelighed tilfredsstillende

Ikke

tilfredsstillende

Mindre

tilfredsstillende

Vurdering

1 2 3 4

Tilfredsstillende

Meget

tilfredsstillende

Argument for

vurdering:

Hvis relevant:

Kontraktmæssige (fx

tids- eller

ressourcemæssige)

og kontekstuelle

begrænsninger

(uventede forhold)

4. Solid analyse

Er data systematisk analyseret for at besvare evalueringsspørgsmålene og afdækker

data andre informations-/vidensbehov på en valid måde

Ikke

tilfredsstillende

Mindre

tilfredsstillende

Vurdering

1 2 3 4

Tilfredsstillende

Meget

tilfredsstillende

Argument for

vurdering:

Hvis relevant:

Kontraktmæssige (fx

tids- eller

ressourcemæssige)

og kontekstuelle

begrænsninger

(uventede forhold)

8


5. Troværdige resultater

I hvilken grad er evalueringens resultater begrundet i og en logisk følge af data,

analyser og fortolkninger baseret på eksplicitte kriterier

Ikke

tilfredsstillende

Mindre

tilfredsstillende

Vurdering

1 2 3 4

Tilfredsstillende

Meget

tilfredsstillende

Argument for

vurdering:

Hvis relevant:

Kontraktmæssige (fx

tids- eller

ressourcemæssige)

og kontekstuelle

begrænsninger

(uventede forhold)

6. Gyldige konklusioner

I hvilken grad er konklusionerne ikke-forudindtaget og fuldt ud baseret på data og

resultater

Ikke

tilfredsstillende

Mindre

tilfredsstillende

Vurdering

1 2 3 4

Tilfredsstillende

Meget

tilfredsstillende

Argument for

vurdering:

Hvis relevant:

Kontraktmæssige (fx

tids- eller

ressourcemæssige)

og kontekstuelle

begrænsninger

(uventede forhold)

9


7. Anvendelige anbefalinger

I hvilken grad er områder, der kræver forbedringer/justeringer identificeret i

overensstemmelse med evalueringens konklusioner Er de foreslåede muligheder

realistiske og upartiske

Ikke

tilfredsstillende

Mindre

tilfredsstillende

Vurdering

1 2 3 4

Tilfredsstillende

Meget

tilfredsstillende

Argument for

vurdering:

Hvis relevant:

Kontraktmæssige (fx

tids- eller

ressourcemæssige)

og kontekstuelle

begrænsninger

(uventede forhold)

8. Klarhed i evalueringsrapporten

I hvilken grad er evalueringsrapporten velstruktureret, balanceret og skrevet på en

forståelig måde

Ikke

tilfredsstillende

Mindre

tilfredsstillende

Vurdering

1 2 3 4

Tilfredsstillende

Meget

tilfredsstillende

Argument for

vurdering:

Hvis relevant:

Kontraktmæssige (fx

tids- eller

ressourcemæssige)

og kontekstuelle

begrænsninger

(uventede forhold)

10


Opsummerende

Samlet overblik over vurderinger

Imødekommer

behov

Passende

evalueringsdesign

Gyldige og pålidelige

data

Ikke

tilfredsstillende

Mindre

tilfredsstillende

Tilfredsstillende

Meget

tilfredsstillende

1 2 3 4



Solid analyse


Troværdige

resultater


Gyldige konklusioner


Anvendelige

anbefalinger

Klarhed i

evalueringsrapporten



Samlet overordnet vurdering af evalueringsrapporten

Er den overordnede kvalitet af evalueringsrapporten i overensstemmelse med

nedenstående:

Er rapportens resultater og konklusioner pålidelige, og er der nogle særlige

begrænsninger i forhold til deres gyldighed og fuldstændighed

Er informationerne/vidensgrundlaget i rapporten (potentielt) anvendelig i

forhold til projektdesign, prioritering, allokering af ressourcer eller

forbedre/udvikle eksisterende indsatser/projekter

På baggrund af de kontekstuelle og kontraktmæssige begrænsninger:

Hvad kan styrelsen lære af evalueringsprocessen

11


Vejledning om kriterier

Denne liste med indikatorer har til formål at hjælpe med at lave den rette vurdering

ved hvert af kriterierne. Den kan også hjælpe med at udforme argumentationen for

hver vurdering.

1. Imødekommer behov

I hvilken grad lever evalueringen op til formålet, som er formuleret udbudsmaterialet

A. Evalueringsrapporten forholder sig til og svarer på evalueringsspørgsmålene.

B. Det er begrundet, hvis der er evalueringsspørgsmål, der ikke bliver besvaret.

C. Evalueringen dækker den efterspurgte periode, geografiske område,

målgruppe, budgetdele, reguleringer mv.

D. Effekter/konsekvenser på andre politikker, indsatser, grupper, områder mv. er

taget i betragtning.

E. Utilsigtede virkninger identificeres.

F. Der er taget højde for udviklingen i projektet. Det kan være ændringer i

problemdefinition og behov i forhold til udgangspunktet.

2. Passende evalueringsdesign

I hvilken grad muliggør evalueringens design besvarelse af evalueringsspørgsmål

og/eller dække vidensbehovet

I nogle tilfælde, på grund af uforudsete hændelser eller evalueringens formative

karakter, kan der være behov for en justering af evalueringens design.

A. Projektets forandringsteori, årsagsvirkningsforhold, resultater/outcomes, den

politiske og organisatoriske kontekst, relevante interessenters interesser osv.

er blevet undersøgt og taget i betragtning i evalueringens endelige design.

B. Evalueringens metoder er i overensstemmelse med evalueringsbehovet og

ønsker.

C. Metoderne er klart og tilstrækkeligt beskrevet til at kvaliteten kan bedømmes.

Evalueringens metoder er beskrevet på en sådan måde, at man i princippet

vil kunne gentage evalueringen og nå frem til samme resultat.

D. Metoder og analyser er relevante og passende til at besvare

evalueringsspørgsmålene.

E. Kriterier og standarder er (præ-defineret) ved relevante evalueringsspørgsmål.

12


F. Der er redegjort for eventuelle svagheder ved de valgte metoder.

G. Alternative metoder er overvejet og fordele og ulemper er forklaret.

H. Hvis relevant er evalueringens design valideret af eksperter eller andre

relevante interessenter (fx eksperter på et bestemt fagområde, specifik

evalueringsviden (om fx RCT studier)).

I. Der er taget højde for etiske problemstillinger (Anonymitet, potentielle

problemer ved inddragelse af interessenter osv.)

3. Gyldige og pålidelige data

I hvilken grad er data indsamlet kompetent i forhold til deres påtænkte anvendelse og

er datas pålidelighed undersøgt

A. Tilgængelige kilder til data er godt afdækket.

B. Relevant litteratur og tidligere evalueringer/undersøgelser er blevet vurderet

og inddraget, hvor det er relevant.

C. Eksisterende (sekundære) data (monitoreringssystemer) er blevet anvendt,

hvor det er relevant.

D. Data (informationer i øvrigt) er fri for faktuelle eller logiske fejl.

E. Der er argumenteret for valgte dataindsamlingsmetoder, og er i

overensstemmelse med evalueringens design.

F. Datas kvalitet er blevet undersøgt.

G. Mængden af kvalitative og kvantitative data er afbalancerede og

tilstrækkelige til en at gennemføre en valid analyse.

H. De valgte metoder til at indsamle og behandle data (survey, casestudier osv.)

er egnede til at besvare evalueringsspørgsmålene.

I. Begrænsninger og problemer med data er blevet diskuteret og forklaret

(mulighed for generalisering, frafaldsanalyser osv.).

13


4. Solid analyse

I hvilken grad er data systematisk analyseret for at besvare

evalueringssprøgsmålene og dække andre informations-/vidensbehov på en valid

måde

A. Er der et ekspliciteret grundlag for fortolkning af data.

B. Analysen er fokuseret på de mest relevante årsags-virkningsrelationer og

påvirkninger i projektets forandringsteori og der er taget højde for alternative

forklaringer.

C. Analysen anvender passende kvantitative og kvalitative metoder i forhold til

evalueringens design og kontekst i øvrigt.

D. Der er krydstjek af resultaterne. Triangulering har fundet sted relevante

steder.

E. Konteksten (historisk, socio-økonomisk, socialt, kulturelt etc.) er behørigt

taget i betragtning.

F. Rapporten afspejler, at et passende antal (bredde) af interessenter er blevet

hørt.

G. Input fra forskellige interessenter anvendes på en balanceret måde.

H. Begrænsninger eller undtagelser i forhold til generelle forklaringer eller

resultater er identificeret, diskuteret og præsenteret på en gennemskuelig

måde.

5. Troværdige resultater

I hvilken grad er evalueringens resultater begrundet i og en logisk følge af data,

analyser og fortolkninger baseret på eksplicitte kriterier

Sammenhængen mellem resultater, analyse og data.

A. Vurderinger er foretaget på baggrund af transparente kriterier.

B. Fund og resultater er understøttet af solide analyser.

C. Der er redegjort for generaliseringer eller ekstrapoleringer, når disse

foretages (gennem sampling eller udvælgelse af cases).

D. Forskelle eller modsigelser i forhold til eksisterende viden er forklaret.

E. Interessenter udtalelser og holdninger er relevante steder blevet reflekteret

over (fx hvorfor siger denne person dette i denne situation).

F. De vigtigste resultater er i princippet reproducerbare.

14


G. Validitetsproblemer er identificeret. Afvejninger mellem intern- og ekstern

validitet er identificeret og diskuteret.

H. Resultaterne i analysen afspejler et acceptabelt kompromis mellem

interessenters opfattelser og holdninger, og det der er observeret og

estimeret.

6. Gyldige konklusioner

I hvilken grad er konklusionerne ikke-forudindtaget og fuldt ud baseret på data og

resultater

Er konklusionerne baseret på data og upartiske vurderinger.

A. Konklusionerne adresserer evalueringsspørgsmålene og andre

informations/vidensbehov.

B. Konklusionerne er sammenhængende og logisk underbygget af

evalueringsresultaterne.

C. Der er konklusioner i forhold til de præsenterede fund i evalueringen.

D. Konklusioner er fortolket i forhold til policy-konteksten.

E. Konklusioner er fri af personlige eller partipolitiske overvejelser.

F. Konklusioner i evalueringen er præsenteret på en fair og afbalanceret måde.

7. Anvendelige anbefalinger

I hvilken grad er områder, der kræver forbedringer/justeringer identificeret i

overensstemmelse med evalueringens konklusioner Er de foreslåede muligheder

realistiske og upartiske

A. Er anbefalingerne realistiske. Sandsynlige muligheder for forbedringer er

identificeret.

B. Anbefalinger er udledt af konklusionerne.

C. Anbefalingerne dækker alle relevante hovedkonklusioner.

D. De er realistiske, upartiske og potentielt brugbare.

E. Relationer mellem anbefalingerne er taget i betragtning (fx

prioriteringsrækkefølge).

F. Anbefalinger giver visse retningslinjer i forhold til planlægning af fremtidige

handlinger.

G. Hvor det er muligt er omkostningerne forbundet med anbefalingerne

estimeret.

15


8. Klarhed

I hvilken grad er evalueringsrapporten velstruktureret, balanceret og skrevet på en

forståelig måde

A. Rapporten beskriver den politik, det program eller det projekt, der

evalueringens, dets kontekst, evalueringsformål, kontekstuelle

begrænsninger, metode, resultater mv. på en på pæn og velstruktureret

måde.

B. Rapporten er velstruktureret og der er en (form for) læsevejledning, som letter

læsningen.

C. De vigtigste konklusioner og budskaber er opsummeret og fremhævet.

D. Der er en klar opdeling mellem data, fortolkning og konklusioner.

E. Rapporten indeholder et relevant og kortfattet resumé, der omfatter de

vigtigste konklusioner og anbefalinger på en upartisk måde.

F. Specialiserede begreber bliver kun brugt, når det er nødvendigt, og de er klart

defineret.

G. Tabeller, grafer, displays og lignende bruges til at lette forståelsen, de er

kommenteret med beskrivende og forklarende tekst.

H. God balance mellem den beskrivende og analytiske del af rapporten.

I. Detaljeret information og tekniske analyser er i appendiks.

J. Rapporten sætter ordentligt fokus på meget relevante

spørgsmål/problemstillinger.

K. Skrivestilen er tilpasset forskellige relevante målgrupper. Evaluator er

opmærksom på (potentielt) forskellige behov og interesser.

16

More magazines by this user
Similar magazines