Vejledning om effektivitetsundersøgelser - Rigsrevisionen

More documents

Recommendations

Info

VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 9 24. Når der tilrettelægges en undersøgelse af effekt, bør det overvejes, hvilket evidensniveau det er muligt at opnå med undersøgelsesdesignet i forhold til, hvilke data der er til rådighed. Placeringen i evidenshierarkiet er udtryk for, hvor sikker viden om årsags-virkningssammenhæng det valgte undersøgelsesdesign vil give. Boks 3 illustrerer evidenshierarkiet og beskriver, hvilke krav de forskellige undersøgelsesdesign stiller til data. BOKS 3. EVIDENSHIERARKIET FOR FORSKELLIGE UNDERSØGELSESDESIGN Niveau Undersøgelsesdesign Krav til data 1 Randomiserede, kontrollerede forsøg, hvor kontrolgruppen er udvalgt forud for indsatsen. 2 Kvasieksperimentelle, kontrollerede forsøg baseret på matchning, hvor kontrolgruppen kan findes, efter at indsatsen er gennemført. Kvantitative data for 2 ens grupper i kontrollerede omgivelser, hvor den ene gruppe (indsatsgruppen) modtager indsatsen, mens den anden gruppe (kontrolgruppen) ikke modtager indsatsen. Data kan indsamles på forskellige måder, fx register, målinger, observationer, spørgeskema mv. Kvantitative data for 2 ensartede grupper, hvor den ene gruppe får indsatsen, mens den anden er kontrolgruppe. Data kan indsamles på forskellige måder (register, målinger, observationer, spørgeskema mv.). 3 Tidsserieundersøgelser Kvantitative data, der følger indsatsgruppen over tid. 4 Paneldataanalyser Kvantitative data for 2 eller flere sammenlignelige undersøgelsesobjekter over tid. 5 Tværsnitsundersøgelser Kvantitative data for 2 eller flere sammenlignelige undersøgelsesobjekter på et bestemt tidspunkt. 6 Procesevaluering Kvantitative og/eller kvalitative data for et indsatsforløb. Ideelt indsamles data realtime, mindre ideelt via historisk analyse. 7 Kvalitative casestudier Kvalitative data – udsagn om indsatsens virkning og systematiske observationer. Designet kan også bruges til at indsamle kvantitative data (optællinger mv.). 8 Erfaringer og eksempler på god praksis Kvalitative data – udsagn om, hvorfor indsatser virker. 9 Ekspertvurderinger Kvalitative data – udsagn om indsatsens virkning. 10 Brugerevalueringer Kvantitative og/eller kvalitative data, der beskriver brugernes oplevelse af indsatsens virkning. Kilde: Frit efter Olaf Rieper og Hanne Foss Hansen i ”Metodedebatten om evidens” (AKF-forlaget 2007). 25. Som det fremgår af boks 3, har undersøgelser med sammenligninger mellem 2 grupper (en undersøgelsesgruppe og en kontrolgruppe) størst evidens. Randomiserede, kontrollerede forsøg forudsætter imidlertid, at de 2 grupper påvirkes lige meget af eksterne forhold, hvilket i praksis er svært at gennemføre, mens kvasieksperimentelle, kontrollerede forsøg forudsætter, at påvirkningen fra indsatsen kan isoleres fra øvrige påvirkninger. Tidsserieundersøgelser, paneldataanalyser og tværsnitsundersøgelser er baseret på kvantitative data for en indsatsgruppe og er i praksis lettere at gennemføre end de 2 førnævnte metoder. Metoderne er uddybet under fase 6. De øvrige metoder, der fremgår af evidenshierarkiets niveau 6-10, er ofte baseret på både kvantitative og kvalitative data for indsatsen.
10 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 26. Rigsrevisionens undersøgelser vil ofte være baseret på flere af de nævnte metoder og være baseret på både kvantitative og kvalitative data, idet det ofte vil være nødvendigt at kvalificere resultaterne af en kvantitativ undersøgelse gennem fx interviews og ekspertvurderinger. 27. For de kvantitative dele af undersøgelsen er det vigtigt, at Rigsrevisionen og den reviderede er enige om pålideligheden, relevansen og validiteten af de anvendte data, så de pågældende data kan anvendes som grundlag for de videre analyser. Ved identifikation af data for indikatorerne kan der fx anvendes data fra institutionens egne registreringssystemer eller fra Danmarks Statistiks forskellige databaser, herunder data fra statistikbanken. 28. Hvis der skal indhentes registerdata, kontaktes de relevante myndigheder med henblik på at få oplyst leveringstider og priser for afgivelsen af data. Rigsrevisionens egne muligheder for at analysere data undersøges, og det undersøges, hvilke alternativer der er hertil, fx at få foretaget analyser hos eksterne udbydere. 29. Hvis der skal foretages interviews, vurderes det, hvor mange og hvilke personer der skal interviewes, og hvor lang tid der er til rådighed til at gennemføre interviewene. Ved brug af ekspertpaneler og spørgeskemaundersøgelser undersøges mulighederne og tidsperspektivet på denne løsning. Fase 5: Dataindsamling 30. I denne fase er det vigtigt at forholde sig kritisk til de anvendte datas validitet og pålidelighed og teste datas repræsentativitet. Hvis der fx foretages et udtræk på erhvervsvirksomheder i Danmark, vil det være en god idé at få klarhed over, om data fordeler sig nogenlunde som forventet. Fase 6: Analyse 31. I denne fase undersøges de enkelte årsags-virkningssammenhænge i forhold til programteorien ud fra de indhentede data. I de fleste tilfælde vil det være en fordel at inddrage flere forskellige metoder, så både rent kvantitative målinger foretages, og mere kvalitative resultater belyses. 32. Valget af den kvantitative metode afhænger af, hvilke data det har været muligt at indsamle, jf. boks 3. Da det ofte ikke er muligt at foretage randomiserede, kontrollerede eksperimenter og kvasieksperimentelle undersøgelser, vil undersøgelserne ofte være en tidsserieundersøgelse, en tværsnitsundersøgelse eller en paneldataanalyse. 33. Tværsnitsundersøgelser giver mulighed for at analysere flere grupper, der påvirkes forskelligt af et program i en given tidsperiode. Evidensen af resultaterne af en sådan analyse svækkes af, at analysen alene foretages i én periode. Ved at kombinere en tværsnitsundersøgelse med en tidsserieundersøgelse bliver det muligt at foretage en paneldataanalyse. Her er det muligt at undersøge, hvordan flere grupper påvirkes af et program over tid, hvilket styrker analyseresultaternes evidens. 34. Tidsserieundersøgelse, herunder før- og efteranalyser, giver ligeledes mulighed for evidente resultater, da det er den samme gruppe, der analyseres over tid. Dog er der risiko for, at gruppen påvirkes forskelligt af eksterne forhold gennem undersøgelsesperioden, hvilket vil underminere analyseresultaternes pålidelighed.
Page 1 and 2: Vejledning om effektivitetsundersø
Page 3 and 4: 2 VEJLEDNING OM EFFEKTIVITETSUNDERS
Page 9: 8 VEJLEDNING OM EFFEKTIVITETSUNDERS
Page 13: 12 VEJLEDNING OM EFFEKTIVITETSUNDER

Vejledning om effektivitetsundersøgelser - Rigsrevisionen

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?