Utvärdering av arbetsmarknadsprojekt för unga - Svenska ESF-rådet

framgången mäts. Vissa insatser ger mer positiva
effekter på lång sikt än på kort sikt, medan andra
ger upphov till mer omedelbara effekter. Det tar
till exempel längre tid att se effekterna av inten-
sivt stöd till grupper långt från arbetsmarknaden
än det gör för stöd till individer som befinner sig
närmare anställning. Inom socialfonden löper
utvärderingarna som regel parallellt med projek-
ten och det är ovanligt med longitudinella studier
med mätpunkter efter projektens slut.
Sådana svårigheter uppmärksammas av mer
metodmedvetna utvärderare i urvalet, framför allt
de som har för avsikt att göra någon form av ef-
fektanalys i utvärderingarna. Harkman & Sand-
ström (2010) har genomfört en samhällsekono-
misk utvärdering av ett projekt och drar följande
slutsats: ”Vad detta resultat egentligen säger och
i vilken utsträckning de är pålitliga är svårt att
bedöma efterson det finns flera osäkerhetsaspek-
ter i denna undersökning” (2010, s. 33).
Ett annat exempel är Ramböll Management
som slår fast att det projekt de studerat ”på
ett statistiskt plan kan sägas ha haft en positiv
inverkan på deltagarnas möjligheter till att få
arbete eller gå vidare i studier. Den övergripande
förklaringskraften i den statistiska analysen kan
dock ifrågasättas. Det är helt enkelt svårt att säga
vilken betydelse projektet haft för att deltagarna
fått jobb” (Ramböll Management 2010, s. 13). De
utvärderingar som studerats tycks alltså ha stött
på ett generellt problem som gäller möjligheten
att dra långtgående slutsatser om effekterna av
olika insatser. Framför allt avser detta förutsättnin-
garna för att isolera det enskilda projektets ver-
kan, men även de tidsramar som utvärderingarna
har att förhålla sig till.
Olika utvärderingsmodeller besvarar
olika frågor
Detta leder in diskussionen på vilken karaktär
utvärderingsrapporterna i förstudien har. En cen-
tral fråga i förhållande till möjligheterna att utvinna
kunskap om resultat och effekter genom utvär-
deringarna är vad dessa utvärderingar egentligen
innehåller. Vilka aspekter av de aktuella projekten
har utvärderingarna studerat – är det resultat och
effekter eller är det något annat?
Utvärderingar behöver inte enbart handla om
resultat och effekter i utfallsledet. De kan lika
gärna handla om olika insatsers innehåll, imple-
mentering, organisering och uppbyggnad (se
exempelvis Vedung 2009). Detta avgörs i stor
utsträckning av den beställning som en upp-
dragsgivare gör utifrån den nytta som önskas av
en utvärdering, men det kan även styras av hur
utvärderaren sedan har tolkat sitt uppdrag. Som
utgångspunkt för att kategorisera innehållet i de
aktuella utvärderingsrapporterna används här
ett resonemang från en ofta tillämpad modell för
att utvärdera kompetensutveckling och lärande,
Donald L. Kirkpatricks (1994) utvärderingsmodell,
som består av fyra nivåer:
1. Reaktion: Reagerar deltagarna positivt
eller negativt på den insats de tagit del av.
Vad tyckte de om insatsen?
2. Inlärning: Har deltagarna tillägnat sig av-
sedda kunskaper, färdigheter, attityder etc.?
Hur utvecklades de?
3. Tillämpning: Har deltagarna haft nytta av
vad de fått med sig från insatsen? Vilken nytta
har de haft av insatsen i sin vardag?
59