Utvärdering av arbetsmarknadsprojekt för unga - Svenska ESF-rådet
Utvärdering av arbetsmarknadsprojekt för unga - Svenska ESF-rådet
Utvärdering av arbetsmarknadsprojekt för unga - Svenska ESF-rådet
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
56<br />
För att kunna svara på frågeställningarna ska-<br />
pades en läsmatris som har fungerat som<br />
systematisk vägledning i bearbetningen <strong>av</strong> rap-<br />
porterna. Denna läsmatris utgick från tre teman<br />
med ett antal faktorer: beskrivning <strong>av</strong> utvärderin-<br />
gen (ansats, underlag, referenspunkter etcetera),<br />
beskrivning <strong>av</strong> projektet (målgrupp, mål, tilläm-<br />
pade arbetsmetoder etcetera) samt sammanställ-<br />
ning <strong>av</strong> resultat, effekter och andra slutsatser. Ma-<br />
trisen har sedan fungerat som schematisk grund<br />
<strong>för</strong> läsningen <strong>av</strong> de 23 utvärderingsrapporter som<br />
har ingått i urvalet (se bilaga 2). Det fanns från<br />
början även en tanke om att det färdiga underla-<br />
get skulle möjliggöra kvantitativa sammanställn-<br />
ingar i <strong>för</strong>hållande till matrisens tre teman. Svåri-<br />
gheter i att finna svar på frågor som till exempel<br />
utvärderingsansats eller tillämpade arbetsmetoder<br />
har emellertid i <strong>för</strong>längningen inneburit att under-<br />
laget i matrisen i <strong>för</strong>sta hand har använts <strong>för</strong> att<br />
sammanställa slutsatser från utvärderingarna.<br />
På detta sätt har läsmatrisen utgjort grund <strong>för</strong> dis-<br />
kussionen som presenteras i denna rapport.<br />
I nästa <strong>av</strong>snitt följer en <strong>för</strong>klaring <strong>av</strong> hur denna<br />
<strong>för</strong>studie har <strong>för</strong>hållit sig till begreppet metautvär-<br />
dering. Därefter följer ett resonemang kring hur de<br />
utvalda utvärderingarna berör resultat och effekter<br />
och i <strong>för</strong>längningen vad detta innebär <strong>för</strong> möjli-<br />
gheterna att i en metautvärdering utvinna en mer<br />
övergripande kunskap kring detta. Avslutningsvis<br />
<strong>för</strong>s en diskussion om vad detta kan innebära<br />
<strong>för</strong> en fullskalig metautvärdering i sökandet efter<br />
verkningsfulla metoder i insatser <strong>för</strong> <strong>unga</strong>.<br />
Metautvärdering i form <strong>av</strong> en metasyntes<br />
Som man frågar får man svar. Detta gäller <strong>för</strong><br />
all utvärdering, då valet <strong>av</strong> perspektiv styr vilken<br />
information som en utvärdering i <strong>för</strong>längningen<br />
kan bidra med. Detta gäller även metautvärder-<br />
ing, en utvärderingsansats som inte är helt klar i<br />
sina konturer och som behöver preciseras <strong>för</strong> att<br />
den ska bli tydlig.<br />
När det handlar om metautvärdering hän-<br />
visas ofta till Michael Scriven. Enligt Scriven är<br />
metautvärdering att betrakta som en utvärdering<br />
<strong>av</strong> utvärdering, och även utvärderare: ”Meta-<br />
evaluation is the evaluation of evaluation – indi-<br />
rectly of evaluators” (Scriven 1991, s. 228). En<br />
mer detaljerad och i sammanhanget användbar<br />
operationalisering kan hämtas från den svenske<br />
utvärderingsforskaren Evert Vedung (1998). Enligt<br />
Vedung betyder metautvärdering utvärdering<br />
<strong>av</strong> utvärdering, summering och syntetisering <strong>av</strong><br />
resultat eller utvärdering <strong>av</strong> en utvärderingsfunk-<br />
tion. Figur 4.1 visar en översikt <strong>av</strong> vad de olika<br />
perspektiven omfattar.<br />
Mot bakgrund <strong>av</strong> denna illustration <strong>av</strong> begrep-<br />
pet metautvärdering kan vi konstatera att det i<br />
denna <strong>för</strong>studie handlar om en metasyntes – en<br />
kvalitativ genomgång <strong>av</strong> ett antal utvärderingar<br />
i syfte att generera en övergripande kunskap<br />
baserat på deras innehåll.<br />
Tanken är främst att en sådan ansats ska<br />
bidra till framtida programutveckling, <strong>för</strong>bättrad<br />
implementering och kunskapsbaserat besluts-<br />
fattande (Patton 1990). Utmärkande <strong>för</strong> ansatsen