Ladda ned publikation (PDF) - Riksrevisionen
Ladda ned publikation (PDF) - Riksrevisionen
Ladda ned publikation (PDF) - Riksrevisionen
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
Effektivitetsrevision<br />
– roll, möjligheter och gränser<br />
Jan-Eric Furubo
<strong>Riksrevisionen</strong> är en myndighet under riksdagen med uppgift att granska den verksamhet som bedrivs av staten. Vårt<br />
uppdrag är att genom oberoende revision skapa demokratisk insyn, medverka till god resursanvändning och effektiv<br />
förvaltning i staten.
Effektivitetsrevision<br />
– roll, möjligheter och gränser<br />
Av Jan-Eric Furubo
ISBN 978 91 7086 268 7<br />
Tryck: Östertälje Tryckeri, 2011.
RIKSREVISORERNAS FÖRORD<br />
<strong>Riksrevisionen</strong>s uppdrag är att granska den statliga verksamheten. Att regeringen och statens olika organ<br />
är föremål för en oberoende granskning är en betydelsefull del i den demokratiska arkitekturen. <strong>Riksrevisionen</strong><br />
bedriver både årlig revision med granskning av de statliga myndigheternas årsredovisningar och<br />
effektivitetsrevision där effektiviteten och måluppfyllelsen vid genomförandet av statlig verksamhet står i<br />
centrum för granskningen.<br />
För oss riksrevisorer är det viktigt att resultatet av granskningsverksamheten betraktas som tillförlitligt med<br />
hög kvalitet. Det är också viktigt att vår verksamhet hela tiden utvecklas i takt med internationella revisionsnormer<br />
och att de problem som är förknippade med granskning av offentlig verksamhet diskuteras. Vi<br />
vill därför bidra till att skapa förutsättningar för en diskussion kring den offentliga revisionen, en diskussion<br />
som måste föras både på ett professionellt plan bland de som arbetar med revision och bland andra som<br />
har intresse i och för revision.<br />
Den föreliggande skriften tar upp frågor som har betydelse för det interna professionella samtalet i vår<br />
organisation och särskilt då det som gäller effektivitetsrevisionen. Vi tror dessutom att den också har<br />
intresse för många som i andra roller sysslar med offentlig verksamhet. Vi har därför valt att ge denna skrift<br />
en vidare spridning även om det är författaren som svarar för skriftens innehåll och att de ståndpunkter<br />
som uttrycks i skriften inte behöver reflektera <strong>Riksrevisionen</strong>s hållning.<br />
Stockholm i oktober 2011<br />
Claes Norgren Jan Landahl Gudrun Antemar
INNEHÅLL<br />
Förord ......................................................................................................................................................... 9<br />
1 Effekter och syn på effektivitetsrevisionen .................................................................. 11<br />
Statlig verksamhet – en av många påverkansfaktorer ...................................................................... 12<br />
Olika synsätt på effektivitetsrevision .................................................................................................. 12<br />
Revisionen som idealtyp ................................................................................................................... 15<br />
En berömd debatt ........................................................................................................................... 16<br />
Mekanismen eller revisionens verkansteori .................................................................................... 20<br />
Revisionens tillförlitlighetskrav .......................................................................................................... 22<br />
Varför då denna diskussion? ........................................................................................................... 23<br />
2 Några viktiga ord eller termer ............................................................................................ 25<br />
Resultat ................................................................................................................................................ 25<br />
Mål ....................................................................................................................................................... 26<br />
Mål, resultat och måluppfyllelse ....................................................................................................... 27<br />
Måluppfyllelse och effekter är alltså inte samma sak ...................................................................... 27<br />
Kostnader ............................................................................................................................................ 29<br />
Den inomstatliga terminologin ......................................................................................................... 29<br />
Några engelska termer ........................................................................................................................ 31<br />
3 Effekter och interventioner ................................................................................................. 35<br />
Det grundläggande problemet ........................................................................................................... 35<br />
Olika slag av effekter – ett slags geografi ......................................................................................... 38<br />
Olika interventioner – olika effektfrågor ........................................................................................... 42<br />
Mer eller mindre komplexa interventioner ..................................................................................... 43<br />
Interventionens tyngd ...................................................................................................................... 43<br />
Hur väldefinierad interventionen är ............................................................................................... 44<br />
Kunskapen om de förhållanden som skall påverkas ...................................................................... 46<br />
Sidoeffekter ......................................................................................................................................... 47<br />
Forts.
4 Hur väl kan vi då ta reda på effekterna? ..................................................................... 49<br />
”Riktiga” experiment -RCT .............................................................................................................. 51<br />
Matchad kontroll ............................................................................................................................. 52<br />
Experiment i statlig verksamhet ...................................................................................................... 53<br />
Tidsserieanalyser .............................................................................................................................. 54<br />
Tidsserieanalys i flera steg ................................................................................................................ 55<br />
Simuleringar .................................................................................................................................... 56<br />
Falsifierings- eller baklängesmetod .................................................................................................. 57<br />
Interventionsteori ............................................................................................................................ 59<br />
Svårt med tillförlitligheten .............................................................................................................. 60<br />
Effekter och kostnader........................................................................................................................ 63<br />
Kostnader för prestationer ................................................................................................................. 63<br />
Hur mycket staten satsar i förhållande till ett visst mål .................................................................. 64<br />
Kostnader för statens insatser i förhållande till måluppfyllelse ...................................................... 65<br />
Till sist: Effektstudiernas relevans för framtida beslut? ................................................................... 65<br />
5 Implikationer för revisionen ............................................................................................... 67<br />
Påstående 1: Effektivitetsrevisionen granskar statlig verksamhet och<br />
inte måluppfyllelsen som sådan ........................................................................... 67<br />
Påstående 2: Revisionen måste ta reda på orsakerna till att det inte blev<br />
effekter för att klargöra vem som rådde över orsakerna ..................................... 68<br />
Påstående 3: Revisionen måste (oftast) stanna vid näraliggande effekter ............................... 70<br />
Påstående 4: När revisionen arbetar med effekter måste den ha en<br />
egen interventionsteori .......................................................................................... 71<br />
Påstående 5: Revisionens uttalanden om en granskad verksamhet måste<br />
bygga på att just denna har granskats ................................................................ 72<br />
Påstående 6: Experimentella uppläggningar har begränsad användbarhet för revisionen ....... 73<br />
Påstående 7: Revisionens granskning syftar till att bedöma det enskilda fallet ........................ 75<br />
Påstående 8: Revisionen bedömer en verksamhet i förhållande till olika slag av kriterier ...... 76<br />
Påstående 9: Revisionen kan sällan uttala sig om kostnaderna för att uppnå en<br />
viss längre bort liggande effekt eller en viss måluppfyllelse ................................. 79<br />
Påstående 10: Revisionen kan ta fram viktig kostnadsinformation och därmed visa<br />
på den ”verkliga prislappen” ................................................................................ 79<br />
Till sist ............................................................................................................................................. 80<br />
Bilaga om ansvar och ansvarsutkrävande .......................................................................... 83<br />
Grundläggande innebörd ................................................................................................................ 83<br />
Kontroll ............................................................................................................................................ 86<br />
Diskussionen om accountability ..................................................................................................... 87<br />
Referenser till huvudtexten .......................................................................................................... 89
FÖRORD<br />
Denna skrift är utarbetad på uppdrag av granskningschefen. Bakgrunden till uppdraget är att det i flera<br />
sammanhang aktualiserats att <strong>Riksrevisionen</strong>s granskningar i högre grad skall inriktas på effekter och<br />
kostnaderna för att uppnå dessa. I det följande diskuteras på vilket sätt – och med vilka begränsningar – en<br />
sådan intention kan förverkligas inom effektivitetsrevisionen.<br />
Diskussionen om detta handlar om två saker och kring båda bryts olika meningar. För det första handlar<br />
det om våra möjligheter att besvara frågor om effekter (och kostnaderna för att uppnå dem). För det andra<br />
handlar diskussionen om hur man ser på revisionens och effektivitetsrevisionens roll i samhället. Vad<br />
gäller det senare kan det möjligen sägas att vi genom att se på lagstiftningen och dess olika förarbeten,<br />
eller genom att be våra tre egna riksrevisorer om besked, borde kunna komma till klarhet om vilka ståndpunkter<br />
som bör utgöra diskussionens utgångspunkter. Sådana uttydningar skulle dock inte undanröja alla<br />
oklarheter. Detta kan i grunden uppfattas som positivt. Det är inte säkert att det skulle vara särskilt bra om<br />
ledningen för <strong>Riksrevisionen</strong>, eller andra SAI:ar, skulle ge entydiga besked om vilka som är ”de korrekta”<br />
utgångspunkterna för en diskussion om effektivitetsrevisionen.<br />
Tvärtom är det viktigt med en diskussion där olika synsätt belyses. Detta slags samtal, som förvisso kan<br />
föras oavsett om man betraktar effektivitetsrevisionen som en profession eller ej, är viktigt för att kunna<br />
utveckla verksamheten.<br />
Denna förhoppning är desto viktigare eftersom det, också sett i ett internationellt perspektiv, inte finns<br />
något som kan ses som en diskurs om effektivitetsrevision. I det första kapitlet i denna skrift kommer detta<br />
påstående att utvecklas något.<br />
En följd av denna bristfälliga diskurs är att det inte heller är så lätt att snabbt ange centrala utgångspunkter<br />
för resonemanget. I många andra sammanhang kan det räcka med att säga ungefär ”i det följande<br />
utgår jag från den syn som X presenterade i sitt arbete si och så”. Det är inte möjligt här. I introduktionskapitlet<br />
har jag därför valt att precisera ett synsätt på effektivitetsrevisionen. Detta ligger till grund för<br />
de påståenden som görs i det avslutande kapitlet (5) och som alltså handlar om hur vi skall se på detta<br />
med effekter i revisionen. Däremellan ligger de kapitel där jag för en diskussion om hur effekter, och i viss<br />
utsträckning kostnader, kan mätas och/eller bedömas.<br />
Diskussionen om effekter startar med en genomgång av ett antal nyckelord eller termer (kap. 2). Därefter<br />
kommer olika slags effekter att diskuteras i kapitel 3 – vi kan tala om detta som en ”effektgeografi”. Jag<br />
går därefter över till att diskutera vilka möjligheter och begränsningar som finns när det gäller att mäta<br />
effekter och kostnader. De frågor som kommer att ställas här är hur långt vi kan komma med olika sätt att<br />
attackera effektfrågan (kap. 4) och också, mera summariskt, frågan om kostnaderna för att uppnå olika<br />
FÖRORD 9
10 FÖRORD<br />
effekter. I framställningen kommer lite då och då att interfolieras kommentarer om vilken bäring detta<br />
kan ha på revisionen. I det avslutande kapitlet ges en mera samlad bild av vilka implikationer den diskussion<br />
som förts om effekter har för revisionen. Påståendena i detta kapitel har avsiktligt gjorts spetsiga och<br />
ganska nyansfria. Avsikten är förstås pedagogisk, spetsigare påståenden torde vara mera intresseväckande<br />
än påståenden som redan från början har en rad inbyggda reservationer.<br />
Det skall poängteras att detta inte är en handledning. Det finns rader av metodböcker – både mera översiktliga<br />
och sådana som på djupet handlar om enstaka metoder eller tekniker när det gäller att mäta och/<br />
eller bedöma effekter. Beskrivningar av metoder syftar bara till att lägga en grund för en diskussion om<br />
begränsningar och möjligheter när de gäller att reda ut frågor om effekter.<br />
Det bör också framhållas att det finns rader av frågor som är centrala vid utvecklingen av effektivitetsrevisionens<br />
praxis som inte tas upp här – rekommendationer, bedömningskriterier etc. En del av det som<br />
diskuteras här har samband med dessa frågor men här har diskussionen fokuserats på frågan om effekter<br />
i revisionens arbete.<br />
Denna lilla skrift är därmed enbart en enskild medarbetares bidrag till ett professionellt samtal och för att<br />
poängtera detta används första person singularis då jag velat tydliggöra att jag hävdar en viss ståndpunkt.<br />
Skriften uttrycker alltså inte en organisations eller grupps åsikter. Riksrevisorerna har tagit ställning till<br />
denna skrift endast i ett avseende och det är att den kan bidra, tillsammans med andra inlägg, till samtalet<br />
om vår verksamhet.<br />
Ledningen har därmed också uttryckt sin välvilja för att detta inlägg skall kunna följas av andra inlägg i<br />
denna och andra frågor av betydelse för vår långsiktiga utveckling. Meningen är förstås också att vi skall<br />
diskutera det som står på de följande sidorna i olika sammanhang. Flera kolleger har gett synpunkter på<br />
innehållet på de följande sidorna. Jag har också haft förmånen att få ta del av synpunkter från Kim Forss,<br />
Anders Hanberger och Evert Vedung samt från några av de forskare som ingår i <strong>Riksrevisionen</strong>s vetenskapliga<br />
råd. För dessa synpunkter är jag mycket tacksam.<br />
Jan-Eric Furubo
1. EFFEKTER OCH SYN PÅ<br />
EFFEKTIVITETSREVISIONEN<br />
Effekter är förstås viktiga i alla verksamheter. Men när det gäller statlig verksamhet påverkas<br />
diskussionen om effekter, och kostnader för att uppnå dem, av några särskilda omständigheter.<br />
Statlig verksamhet finns till av många skäl. I detta sammanhang är det viktigt att framhålla att<br />
beslut om en viss verksamhet många gånger fattats därför att det inträffat något som politikerna<br />
anser bör leda till beslut om statliga ingripanden. Det kan t.ex. handla om en dramatisk prisökning<br />
på olja som nödvändiggör statliga styrmedel för att påverka oljekonsumtionen eller en våg<br />
av våldsbrott som framtvingar olika former av politiskt agerande. Men det behöver inte vara<br />
dramatiska yttre händelser, det kan också vara att kunskapen ökar hos olika grupper, inklusive<br />
politiker, om något som pågår i samhället och som kanske pågått under lång tid. Klimatfrågan<br />
är ett bra exempel på detta. Här är det inte fråga om något plötsligt inträffat utan i stället om<br />
att forskarna börjar påvisa samband som skapar oro inför framtiden. Men det kan också vara<br />
avslöjande tv-program om t.ex. brister i hur våra äldsta omhändertas som gör att en fråga hamnar<br />
högt upp på den politiska dagordningen. Ett annat exempel är rapporter om skolelevernas<br />
kunskapsnivå. På detta område har mätningar, och jämförelser mellan olika länder, skapat ett<br />
tryck på politiker att agera. 1<br />
Alla politiker har naturligtvis inte samma uppfattning om vad som är ett problem. Och även i de<br />
fall där de är överens om att något är ett problem är det inte självklart att man är överens om att<br />
det är en uppgift för staten att agera för att lösa problemet.<br />
1 PISA uttyds Programme for International Student Assessment och är den omfattade undersökning som genomförs<br />
vart tredje år. I flera länder, bl.a. Tyskland talas om den s.k. PISA-chocken. Här är det alltså inte en plötsligt inträffade<br />
händelse utan kunskap om konsekvenserna av ett långvarigt förlopp som påverkat en frågas plats på den politiska<br />
dagordningen (bl.a. Speer, 2011/under utgivning).<br />
EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 11
Statlig verksamhet – en av många påverkansfaktorer<br />
I detta sammanhang skall dock inte en mera allmän diskussion föras om varför en fråga hamnar<br />
högt på den politiska dagordningen. Poängen här är att visa på att staten inte sällan agerar därför<br />
att det händer något, antingen faktiskt eller genom att politiker och andra bibringas en ny bild av<br />
verkligheten. Men det som händer i samhället påverkar inte bara politikerna utan också en rad<br />
andra aktörer i samhället. De händelser som får staten att agera utlöser också andra förlopp i<br />
samhället och de har därmed en ”egen påverkan” på utvecklingen.<br />
Ibland kan det därför bli som politikerna ville, måluppfyllelsen har med andra ord varit god, men<br />
till följd av andra förlopp eller faktorer än den statliga interventionen. Just detta gör att vi inte<br />
kan nöja oss med att se enbart på måluppfyllelsen. Målet har nåtts – men pengarna som satsats<br />
är ändå att se som en onödig utgift! I övrigt kan förstås också motsatsen gälla: Målen, som<br />
politikerna ställt upp, har inte nåtts men pengarna som satsats får ändå ses som väl använda.<br />
Redan detta visar att diskussionen om effekter i statlig verksamhet har flera bottnar. Innan<br />
diskussionen förs vidare skall en sak göras tydlig. Vad som skall diskuteras i denna skrift är s.k.<br />
yttre effekter, alltså effekter som den statliga verksamheten ger upphov till ”ute i samhället”. Vad<br />
detta innebär skall vi återkomma till.<br />
Ett viktigt påpekande bör dock göras här. Det är inte självklart att en diskussion om hur vi skall<br />
bedöma statlig verksamhet behöver handla om (yttre) effekter. Det är tvärtom viktigt att framhålla<br />
att många nog skulle mena att detta med effekter är en smal ingång i en diskussion om hur<br />
vi kan bedöma värdet av statlig verksamhet. Det är en debatt som förts under flera decennier,<br />
t.ex. av Guba & Lincoln redan i början av 1980-talet (1981) och senare av flera andra (House<br />
& Howe, 1999; Greene, 2006 m.fl.). Den internationella utvärderingsdiskussionen handlar om<br />
mycket annat än att mäta effekter av politiska interventioner.<br />
Detta är dock inte en skrift som handlar om tänkbara ”perspektiv i eller på utvärdering”. Diskussionens<br />
kontext är den statliga revisionen och det specifika problemet är hur effekter av statlig<br />
verksamhet skall hanteras i dess granskningar.<br />
Olika synsätt på effektivitetsrevision<br />
Först kan då konstateras något som kan förefalla paradoxalt. Vikten av effektivitetsrevision<br />
betonas i rader av dokument från organ som Världsbanken, OECD etc. Länder som ansökt om<br />
medlemskap i EU har fått visa att de har en fungerande effektivitetsrevision. Det betonas således<br />
att effektivitetsrevision är en viktig del i den demokratiska arkitekturen. Samtidigt kan vi dock<br />
konstatera att diskussionen om effektivitetsrevisionen är mycket outvecklad. Vi har bokstavligen<br />
inte fler än några få studier av detta och vi har ett antal, men fortfarande lätt räknade, artiklar i<br />
olika tidskrifter som är inriktade på utvärdering och förvaltning (public administration). Vi har<br />
12 EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN
dock ingen tidskrift som enbart ägnas effektivitetsrevision. Läget kan jämföras med den strida<br />
strömmen av <strong>publikation</strong>er på t.ex. utvärderingsområdet. Detta är inte platsen för en mera<br />
utförlig diskussion om orsakerna till detta. Några tänkbara förklaringar skall dock antydas.<br />
En tänkbar förklaring till detta är att performance auditing – om vi nu använder den inter-<br />
nationella benämningen – har definierats i en institutionell kontext. 2 När performance auditing<br />
diskuterats kretsar diskussionen kring vad olika revisionsorgan faktiskt gör eller vilka intentioner<br />
de har för sin verksamhet när det gäller det som de kallar performance auditing. Det är t.ex.<br />
utgångspunkten för bidragen i det speciella nummer av New Directions for Evaluation som analys-<br />
erade relationen mellan revision och utvärdering (Wisler, 1996) men också t.ex. i den jubileumsbok<br />
EUROSAI gav ut 2005. 3<br />
Diskussionen om praxis i performance auditing har i hög grad handlat om hur performance<br />
auditing kan relateras till andra former av utvärderande verksamhet. I denna diskussion har det<br />
funnits olika tolkningar av den historiska utvecklingen och normativa ställningstaganden har<br />
skiftat. Det är uppenbart att det har funnits en tendens att betrakta performance auditing som<br />
en del av ett större utvärderingslandskap. Ibland förefaller den att betraktas som revision enbart<br />
till följd av att den bedrivs av det högsta revisionsorganet. Performance auditing är därmed<br />
helt enkelt utvärderingar som utförs av ett revisionsorgan. Det är på ett sätt en cirkeldefinition:<br />
Om vi frågar en funktion inriktad på att bedriva performance auditing i en SAI om vad de gör<br />
kan svaret bli: ”Performance auditing”. Och på vår nästa fråga vad Performance auditing är följer<br />
svaret: ”Det är vad vi gör.”<br />
Denna ”definition” var förmodligen problemfri några decennier tillbaka. I de länder som kan<br />
betraktas som pionjärer eller tidiga anammare av performance auditing hade denna en dominerande<br />
ställning både när det gällde genomförandet av utvärderingar och i den allmänna debatten<br />
om utvärdering. Det gällde kanske i särskilt hög grad USA men också flera europeiska länder,<br />
däribland Sverige. Det var då – möjligen – inte så viktigt att precisera vad som var det speciella<br />
med det man själv gjorde i förhållande till övriga som höll på med ungefärligen samma sak.<br />
2 Den internationella benämningen performance auditing är problematisk. Den tillhör den kategori av internationellt<br />
konstruerade uttryck som inte riktigt motsvaras av de benämningar som används i de enskilda länderna. Inte ens<br />
alla engelskspråkiga länder har använt performance auditing i inhemska sammanhang när de talar om performance<br />
auditing. Andra länder, som Tyskland, Frankrike och Nederländerna använder benämningar som inte förefaller<br />
att ligga speciellt nära performance auditing. Den svenska benämningen ”effektivitetsrevisionen” får väl ses som<br />
ett exempel på detta eftersom vi i själva benämningen infört ett bedömningskriterium som inte finns när vi talar<br />
om performance. Här i texten kommer en viss växling att ske mellan performance auditing, förkortningen PA och<br />
effektivitetsrevision.<br />
3 I ett kapitel ”Performance auditing: audit or misnomer” i Lonsdale et al, Performance auditing: Contributing to<br />
Accountability in Democratic Government (2011) så gör jag en mera utförlig genomgång av olika inlägg vad gäller<br />
performance auditing. Jag har också valt att här vara sparsmakad vad gäller referenser och hänvisar i stället till<br />
detta kapitel.<br />
EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 13
I dag är situationen en annan. Vi har en ström av ”utvärderingsinformation” som produceras<br />
av en rad olika institutioner (Furubo & Sandahl, 2002; Rist & Stame, 2006; Leeuw, 2009). Olika<br />
former av performance auditing funktioner inom SAI:arna svarar därför i många länder ofrånkomligen<br />
för en begränsad del av denna informationsström. Och i länder som har utvecklat en<br />
praxis av performance auditing under senare år är det troligt att performance auditing aldrig<br />
kommer att få en lika dominerande roll som den hade i en handfull länder för några årtionden<br />
sedan. Det är därför viktigt att effektivitetsrevisionen kan argumentera för sin roll visavi andra<br />
organ som sysslar med att utvärdera och analysera statlig verksamhet.<br />
En sådan diskussion är svår – och också kontroversiell. Ett sätt att föra diskussionen är att utgå<br />
från att det viktiga är det historiska eller beskrivande perspektivet. Då betonas att effektivitetsrevision<br />
växer fram som en del av en mera allmän utvärderingstradition. Det finns här nyanseringar<br />
som kan göras, men det kan nog hävdas att detta, åtminstone i huvudsak, är en korrekt<br />
historiebeskrivning vad gäller USA, Kanada, Nederländerna, Sverige m.fl. Det förefaller också<br />
rimligt att hävda att Frankrike replierar på en mera utvärderingsorienterad tradition när de nu<br />
orienterar sig mera i riktning mot performance auditing och att detta också gäller, t.ex. Belgien. 4<br />
Denna bild av framväxten av performance är rimligen den som Barzelay utgår ifrån när han<br />
hävdar att ”Performance auditing is thus something of a misnomer. Performance auditing is<br />
an evaluative activity of a particular sort whose name happens to include the word ‘auditing’.”<br />
(1996:19).<br />
Ett alternativt sätt att föra diskussionen bygger på att vi inte kan definiera en samhällelig<br />
verksamhet (enbart) genom vad utövarna faktiskt gör. Det skulle rimligen vara otillfredsställande<br />
om vi definierade en företeelse som t.ex. parlamentarism enbart genom att se på relationen<br />
mellan olika statsorgan i de länder som vid en viss tidpunkt säger sig praktisera parlamentarism.<br />
Jag har därför valt att diskutera vad performance auditing är genom att gå tillbaka till ett slags<br />
– i Webersk mening – idealtypisk föreställning om vad revision är och därefter applicera denna<br />
föreställning på den svenska effektivitetsrevisionen.<br />
Det går inte att på några mera allmänna grunder avgöra vilket av dessa två sätt att föra diskussionen<br />
som är riktigast. De som förfäktar det första synsättet kan fråga varför vi skall definiera<br />
revision på något annat sätt än det som utgår från den praxis som vuxit fram under decennier.<br />
Genom att försöka hitta vad som är gemensamt när vi jämför vad olika SAI:ar gör borde vi kunna<br />
beskriva vad performance auditing är.<br />
Mot detta kan de som, i likhet med mig, företräder det andra synsättet invända: Må så vara, men<br />
när performance auditing är en del av ett större kunskapslandskap måste den kunna klargöra sin<br />
särart på ett mera grundläggande sätt och då går det inte att definiera sig själv enbart utifrån vad<br />
4 Bygger på personliga kontakter men också vad gäller Frankrike på deltagande i ett seminarium sommaren 2009.<br />
14 EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN
som görs. Den som står för en sådan ståndpunkt skulle nog också vilja lägga till att det är svårt<br />
att förstå hur oberoendet, och de särskilda ”friheter” ledningen för en SAI har, skall motiveras om<br />
man inte kan visa på innebörden av denna sin särart. De olika synsätten får också konsekvenser<br />
för synen på vad revisionen skall göra på ett mera handfast plan, även om de säkert inte kommer<br />
att påverka allt som görs. Oavsett syn på effektivitetsrevisionen kommer säkert en del att göras<br />
på samma sätt. Men det påverkar tillräckligt mycket för att ha betydelse.<br />
Den följande diskussionen kommer att utveckla vad performance audit eller effektivitets-<br />
revisionen är utifrån detta andra synsätt. I ett första steg skall en tolkning göras av innebörden<br />
av revision i allmänhet. I det därpå följande steget diskuteras möjligheterna att applicera denna<br />
tolkning på performance auditing.<br />
Revisionen som idealtyp<br />
Vi skall börja denna diskussion om hur revision kan uppfattas genom att försöka se på den som en<br />
idealtyp. Det är då viktigt att erinra om att detta Weberska verktyg inte har något att göra med ideal<br />
i den mening som antyds i t.ex. följande sats: ”Som ung hade han höga ideal.” Idealtyp handlar<br />
i stället om renodling, att skala av en företeelse alla de reservationer den dagliga praktiken<br />
motiverar och frilägga den från verklighetens alla variationer. Det handlar om att skapa konceptuell<br />
klarhet och inte att beskriva verkligheten, idealtypen ger ett redskap eller ett instrument som<br />
kan användas i analysen av en företeelse. Weber själv skriver 1904 ”An ideal type is formed by<br />
the one-sided accentuation of one or more points of view and by the synthesis of a great many<br />
diffuse, discrete, more or less present and occasionally absent concrete individual phenomena,<br />
which are arranged according to those onesidedly emphasized viewpoints into a unified analytical<br />
construct (Gedankenbild)” (Weber, 1949:91).<br />
När vi försöker konstruera revision som en idealtyp måste vi gå tillbaka till vad vi ser som grundläggande<br />
postulat gällande revision. I Philosophy and Principles of Auditing (1988) gör David Flint<br />
ett försök att konstruera ett antal postulat för revision. Hans första postulat är ”The primary<br />
condition for an audit is that there is a relationship of accountability or a situation of public<br />
accountability” (Flint, 1988:23). Han elaborerar detta första postulat genom att dela upp det i<br />
flera delar. Den första delen (1a) är att det finns ”a relationship of accountability between two<br />
or more parties in the sense that there is a duty of acceptable conduct owed by one party to the<br />
other party or parties” (Flint, 1988:22). Den enklaste formen av en sådan relation ”is a situation<br />
in which two parties can be specifically identified” (Flint, 1988:23).<br />
Den relation Flint talar om kan existera på olika nivåer och kan också ses som en kedja av<br />
accountability relations. I sin bok Rethinking Democratic Accountability (2001) utvecklar Robert.<br />
D. Behn resonemanget genom att tala om accountability holder or holdees och konstaterar att vi<br />
kan vara accountability holder i en relation och en accountability holdee i relation till en överordnad<br />
nivå. I denna kedja är det i demokratiska samhällen väljarna som är ”the ultimate accountability<br />
holder”.<br />
EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 15
I alla relationer i denna kedja finns ett essentiellt element och det är ”that the actions of the<br />
first party….are subject to scrutiny by another group or groups who are in the position to invoke<br />
or impose some sanction or penalty if the performance falls short of what can be expected by<br />
reference to the criteria that have been established. The first parties require to give an account,<br />
provide information or provide access to information as a basis of decision by the group or the<br />
groups to whom they are accountable” (Flint, 1988:24).<br />
Emellertid täckte Flints första postulat också situationer ”of public accountability” i vilka någon<br />
eller några har ett berättigat krav att få information utan att mottagaren av information kan<br />
”invoke or impose some sanction”. De som har detta berättigade krav på information kan vara<br />
”a specified group or groups of which the members may not be constant or individually<br />
identifiable” (1988:22). Det kan vara fråga om potentiella investerare, anställda etc. Dessa indirekta<br />
relationer är – även om de inte här skall diskuteras vidare – många gånger av central<br />
betydelse och har haft stor betydelse vid utformningen av lagstiftningen på flera olika områden.<br />
Dessa (del) postulat säger ingenting om behovet av revisorer. Flints andra postulat för in dessa:<br />
”The subject matter of accountability is too remote, too complex and/or of too great significance<br />
for the discharge of the duty to be demonstrated without the process of audit” (1988:22).<br />
Flint betraktar också independence som ett postulat. Med viss tolkning av Flint kan detta ses som<br />
en nödvändig följd givet de två första postulaten. Accountability förutsätter independence och<br />
”freedom from investigatory and reporting constraints” (1988:22).<br />
Det torde vara få som ifrågasätter att det behövs denna tredje part för att kontrollera t.ex. ett<br />
företags räkenskaper och beskrivningar av sin ekonomiska ställning. I grunden tycker vi att det är<br />
självklart. Vi anser oss, i en rad sammanhang, kunna utgå från att det är avsevärt mera sannolikt<br />
att den som vet att han eller hon inte kontrolleras kommer att fuska eller ”plocka ut lite extra” i<br />
kassan.<br />
När det dock gäller synen på granskning av hur statlig verksamhet genomförs, hur de som har att<br />
genomföra de folkvaldas beslut hanterar detta ansvar, har dock frågan inte tett sig lika självklar.<br />
Det är uppenbart, vilket tidigare illustrerats, att vi här möter olika uppfattningar. För renodlingens<br />
skull skall de olika synsätt vi kan möta illustreras med en berömd debatt.<br />
En berömd debatt<br />
Dessa olika synsätt kom att ställas mot varandra i en ofta refererad debatt 1941. Debatten är<br />
omtalad som ”the Finer and Friedrich debate”. Båda herrarna var statsvetare som verkade i USA,<br />
men med europeisk bakgrund. Debatten handlar ytterst om behovet av yttre kontroll i förhållande<br />
till ”självkontroll” i form av etiska förhållningssätt och professionella korrigeringsmekanismer. 5<br />
5<br />
16 EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN<br />
Inläggen har publicerats vid flera tillfällen. Citat är hämtade från Friedrich, 1965 och Finer, 1965.
De båda professorerna var nog ganska eniga om den tilltagande komplexiteten i den moderna<br />
statsapparaten och också att det skett en faktisk ökning av byråkratins diskretionära utrymme.<br />
Friedrich, som utvecklar detta med stor frenesi, bygger upp detta genom att argumentera<br />
mot den populära ståndpunkten från förra sekelskiftet, som betonade boskillnaden mellan ”the<br />
expression of the will of the state and the execution of the will”. Friedrich pekar, bl.a. genom<br />
konkreta exempel, på vad han ser som orimligheten i denna ståndpunkt. 6<br />
Friedrich bejakar i grunden denna utveckling – han förefaller nog snarast att vilja öka förvaltningens<br />
spelutrymme. Hans recept för att förena detta med demokratin innehåller två ingredienser,<br />
Technical Knowledge and Political Responsibility. Technical Knowledge innebär att ”administra”administrative<br />
officials seeking to apply scientific ’standards’ have to account for their action in terms<br />
of a somewhat rationalized and previously established set of hypotheses. Any deviation from<br />
these hypotheses will be subjected to thorough scrutiny by their colleagues in what is known<br />
as ’the fellowship of science’...” Administratören skall emellertid inte bara ta hänsyn till ” the<br />
existing sum of human knowledge concerning the technical issues involved” utan också ”existing<br />
preferences in the community, and more particularly the prevailing majority”. Mycket kan<br />
tilläggas om Friedrichs resonemang, men det som leder till debatten med Finer är att Friedrich<br />
i grunden menar att byråkrater i grunden kan fås att agera som, låt oss kalla det, ”good guys”.<br />
Finer menar för sin del att det är tvärtom. Det diskretionära utrymmet har ökat – javisst, säger<br />
Finer, men svaret på denna utveckling bör rimligen vara att ge politikerna ökade möjligheter att<br />
påverka även det som enligt Friedrich bör anförtros byråkratin. De valda är ”to determine the<br />
course of action of the public servants to the most minute degree that is technically feasible”.<br />
Bakom Finers ståndpunkt ligger i grunden uppfattningen att byråkratin måste övervakas. Han för<br />
in de redan två välkända definitionerna av ”responsibility” och konstaterar ”First, responsibility<br />
may mean that X is accountable for Y to Z. In the first definition the essence is the externality of<br />
the agency or persons to whom an account is to be rendered, and it can mean very little without<br />
that agency having authority over X, determining the lines of X’s obligations and the terms of is<br />
continuance or revocation. The second responsibility puts the emphasis on the conscience of<br />
the agent, and it follows from the definition that if he commits an error it is an error only when<br />
recognized by his own conscience, and that the punishment of the agent will be merely twinges<br />
thereof. The first one implies public execution; the other hara-kiri. While reliance on an official’s<br />
conscience may be reliance on an official’s accomplice, in democratic administration all parties,<br />
official, public, and Parliament will breathe more freely if a censor is in the offing…”.<br />
6 En liten sidokommentar: Det intressanta är att ståndpunkten, om en mycket markerad tudelning mellan mål och<br />
medel, under flera decennier var föremål för omfattande debatt. Som bl.a. Lane framhållit ter det sig desto konstigare<br />
att åsikten så helt utan diskussion långt senare anammas i bl.a. skepnad av NPM (New Public Management).<br />
(Lane, 2000:26).<br />
EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 17
Anledningen till att vi har anledning att hysa denna misstro är att den politiska och administrativa<br />
historien ”of all ages” har visat att alla styrelseskick – också ”the benevolent” – utan<br />
minsta tvivel kommer att visa att ”there is an abuse of power when external punitive controls<br />
are lacking”. Han talar om att detta förr eller senare visar sig på tre sätt.<br />
• Government and officials have been guilty of nonfeasance, that is to say that they have not<br />
done what law and custom required them to do owing to laziness, ignorance, or want of<br />
care for their charges, or corrupt influence.<br />
• Again, there may be malfeasance, where a duty is carried out, but is carried out with vaste<br />
and damage, because of ignorance, negligence, and technical incompetence.<br />
• Third, there is what may be called overfeasance, where a duty is undertaken beyond what<br />
law and custom oblige or empower; overfeasance may result from dictatorial temper, the<br />
vanity and ambition of the jack in office, or genuine, sincere, public-spirited zeal.<br />
Den sista formen av maktmissbruk kommenterar han särskilt. Med ett citat från Montesquieu<br />
konstaterar han att formuleringen ”virtue itself hath need of limits” förtjänar att sättas i centrum<br />
av diskussionen om ”public responsibility”. Han konstaterar att ”we in public administration<br />
must beware of the too good man as well as the too bad”.<br />
Hur skall vi då se på denna diskussion 70 år senare? I en viss mening är det nära till hands att<br />
se det som ett slags ”trosfråga”, antingen tycker man si eller också tycker man så. Detta svar kan<br />
möjligen te sig lite väl lättvindigt. Finer skulle måhända på ett allmänt plan hänvisa till att inget i<br />
de gångna 70 årens utveckling strider mot hans allmänna tes. Han skulle kanske också framhålla<br />
att den fråga som han och Friedrich diskuterade – ytterst förvaltningens drivkrafter – bl.a. belysts<br />
av forskare som förknippas med public choice och han skulle mena att de forskarna gett honom<br />
rätt.<br />
Friedrich skulle gissningsvis framhålla att det kanske trots allt var hans föreställningar som<br />
dominerat både teoretisk debatt och utveckling av förvaltningspraxis. Han skulle peka på att<br />
”the good guy notion” kan betraktas som central i många av idéerna om offentlig administration<br />
som har dominerat de senaste årtiondena, med etiketter som Management by Objectives, Performance<br />
Budgeting, Results Based Management och förstås New Public Management (NPM)<br />
under 1980-talet och i någon mån också under 1990-talet. Friedrich skulle notera att de centrala<br />
antagandena är att beslutsfattaren är grundläggande rationell, villig att använda kunskap och att<br />
bevekelsegrunden är det allmänna intresset i stället för egenintresset. Det är en beslutsfattare<br />
som, efter att ha fattat ett beslut, följer upp och mäter och är villig att justera det tidigare beslutet<br />
till följd av den information som införskaffas.<br />
Inom utvärderingsdiskussionen har också denna föreställning om ”good guys” varit viktiga för<br />
många ledande teoretiker. Trots stora skillnader har ledande utvärderingsforskare som Weiss,<br />
Suchman, Patton, Wholey, Mark och många andra en grundläggande positiv syn på hur politiska<br />
18 EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN
och administrativa beslutsfattare kan agera. Det som betonas är kopplingen mellan ny kunskap<br />
och ”improvement”. Det är kunskapen i sig som får beslutsfattaren att agera annorlunda – och<br />
bättre. Inte – om vi drar ut linjerna – rädslan för att någon annan skall kontrollera oss och t.ex.<br />
peka på vår bristande effektivitet eller bristande kompetens.<br />
Men frågan om det var Friedrich eller Finer som bäst beskrev byråkratin kan vi möjligen lämna<br />
därhän. Det är nämligen, tillåter jag mig att anta, få som inte skulle acceptera någon av följande<br />
två positioner:<br />
a) Friedrichs beskrivning är i allt väsentligt riktig. Det är möjligt att skapa en slags<br />
internaliserade och professionella mekanismer som innebär att administrativa system<br />
blir ”självkorrigerande”. Trots detta behövs det externa kontrollsystem, antingen därför<br />
att dessa mekanismer låser sig eller därför att det alltid kommer att finnas riktiga dåliga<br />
individer i systemet eller undantagssituationer.<br />
b) Finer har på det stora taget rätt. Samtidigt finns det så starka inslag av altruism och<br />
ärlig vilja i systemet att kunskap som förs in kan förväntas komma till användning.<br />
Det är därför viktigt också med en sådan kunskapsproduktion.<br />
Innebörden av denna – kanske lite naiva – ståndpunkt som innebär att ”båda kan ha rätt” är<br />
att även om vi utgår från att de flesta byråkrater, och byråkratiska institutioner, i de flesta situationer<br />
agerar med det allmännas bästa för ögonen så kan vi inte räkna med att detta alltid är<br />
fallet. Vi behöver alltså funktioner som granskar verksamheten med utgångspunkt i att vi alla kan<br />
uppträda som ”bad guys” – även på det paradoxala sättet att vi kan vara ”too good”.<br />
Detta innebär att det behövs revision inriktad på frågan om hur förvaltningen sköter sig som<br />
avses att komma till användning i en kontext av accountability eller ansvarsutkrävande. 7 Det<br />
är viktigt att detta inte säger något om vilken aspekt på ”sköter sig” som granskas. Även om<br />
accountability är grundsyftet kan förstås granskningen handla om någon aspekt av de tre E:na,<br />
som vi skall återkomma till, eller ytterligare något annat. Och även om grundsyftet är något annat<br />
än accountability kan man i olika studier ändå välja att låta studierna kretsa kring de tre E:na<br />
eller, även här, något helt annat.<br />
Detta resonemang innebär alltså att vi kan analysera och studera statlig eller annan verksamhet<br />
med olika syften. Vi kan placera ut kunskapsproduktionen på en skala där ytterligheterna kan<br />
sägas vara ”the good guy notion” där kunskapen antas leda till bättre beslut och en bättre praktik<br />
och ”the bad guy notion” där det antas att det inte är kunskapen som sådan som är verkansmedlet<br />
utan oron för vad vår principal skall säga.<br />
7 Jag är medveten att jag här för in ytterligare ett omdiskuterat begrepp, som utan tvekan tillhör gruppen contested<br />
concepts. I en bilaga till denna skrift har jag försökt redan ut relationen mellan ansvar, ansvarsutkrävande och<br />
engelskans accountability. Accountability kan i detta sammanhang uppfattas som snävare än responsibility eller<br />
ansvar och tar fasta på ansvarsutkrävandet som är en aspekt på ansvar.<br />
EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 19
Mekanismen eller revisionens verkansteori<br />
Det som här beskrivits är också två föreställningar om vilken roll kunskap kan ha. Inom utvärderingsområdet<br />
– och i många rörelser inom public administration – poängteras alltså ofta att<br />
människor fattar bättre beslut om de får kunskap. Användningsprocessen kan visserligen vara<br />
komplex, vilket t.ex.Weiss visat, men grundantagandet är att beslutsfattaren är rationell, villig att<br />
använda kunskap och har det allmänna intresset som ledstjärna.<br />
Revisionens interventions- eller verkansteori bygger, som jag försökt visa, på en mörkare föreställning<br />
om de drivkrafter som finns bland de som skall förverkliga besluten som den demokratiskt<br />
utsedda principalen fattar. Även här kan ett ”kritiskt öga” bidra till förbättring. Men den<br />
leder till förbättring därför att den som granskas eller kan komma att granskas är medveten om<br />
existensen av denna utomstående granskare. Denna medvetenhet gör att tjänstemannen eller<br />
myndigheten kommer att hantera sina plikter och förvalta offentliga resurser bättre än vad som<br />
annars skulle ha blivit fallet. Kontroll medverkar till bättre beteenden och bättre beslut och leder<br />
fram till en effektivare användning av gemensamma resurser och påverkar nivån av förtroende i<br />
samhället. Det kan möjligen ses som en paradox: Eftersom vi som medborgare har anledning att<br />
hysa misstroende mot makten och dess utövande i statens institutioner blir det möjligt att hysa<br />
förtroende för statens institutioner enbart då vi vet att de kontrolleras av en part som – i någon<br />
rimlig mening – är oberoende av dessa institutioner.<br />
Denna syn innebär också att kravet på oberoende får en helt annan betydelse för revisionen än<br />
för andra kunskapsproducenter. Om vi utgår från att förtroende förutsätter institutioner som på<br />
ett oberoende sätt granskar den statliga verksamheten blir oberoendet avsevärt mer ovillkorligt<br />
för revisionen än för andra kunskapsproducenter. Det är alltså inte fråga om något som ibland<br />
kan föreligga. Oberoendet är i stället en del av själva definitionen av revision.<br />
Detta är avgörande. Oberoendet kan vara viktigt i samband med t.ex. olika utvärderingar. Det är<br />
rimligt att anta att en studie som skall förbättra en verksamhet kan framstå som mera trovärdig<br />
och därmed få större påverkan om den som gjort den står fri från bindningar till verksamheten.<br />
Detta antagande gäller dock enbart ibland. Det är nämligen möjligt att argumentera för en motsatt<br />
syn. Det kan hävdas att just beroendet, i stället för oberoendet, är avgörande om syftet är<br />
att bidra till användning och förbättringar i en viss verksamhet. Att oberoendet inte är något<br />
självklart värde torde också vara uppenbart om vi ser på t.ex. hur olika organ som sysslar med<br />
rådgivning och organisationsförbättring arbetar.<br />
Michael Patton – som mer än någon annan förknippas med det som är omtalat som Utilization-<br />
Focused Evaluation – framhåller att ”…utilization-focused evaluation should be judged by their<br />
utility and actual use; therefore evaluators should facilitate the evaluation process and design<br />
any evaluation with careful consideration of how everything, from beginning to end, will affect<br />
use” (Patton, 2004:277). Patton menar att independence är bra givet vissa syften. Men givet vissa<br />
20 EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN
andra syften, t.ex. lärande och programförbättring, är det andra faktorer som bidrar till användning.<br />
Graden av independence blir en fråga om avvägningar (Patton, 2008: 140, 168).<br />
Nyckelorden i diskussionen om hur studier skall komma till nytta för lärande och förbättring av<br />
en verksamhet är ofta ”interactive”, ”participatory”, ”involving” och att utvärderaren skall verka<br />
för t.ex. ”closeness” och ha en roll som ”facilitator” snarare än att vara den som värnar sitt<br />
oberoende.<br />
Innebörden är att oberoende ibland är viktigt när det skall tas fram kunskap som mera direkt<br />
syftar till att användas för att förbättra en verksamhet. Men ibland är det inte det – oberoendet<br />
kan med andra ord diskuteras i instrumentella termer. Bidrar det eller bidrar det inte till förbättring?<br />
När vi talar om revision är det däremot uteslutet att betrakta oberoendet i instrumentella<br />
termer. Om vi accepterar att revisionens raison d’être är att granska – åtminstone potentiella<br />
– “bad guys” för att kunna hålla dem accountable måste revisionen alltid vara oberoende. Det<br />
handlar inte om en villkorlig egenskap utan om själva definitionen.<br />
Det är lätt att här förutse en invändning. Även många utvärderare kan, i ett specifikt samman-<br />
hang, tilldelas samma granskande roll och många utvärderingar görs i en kontext av ansvarsutkrävande<br />
och accountability. Många utvärderingsforskare har också framhållit att utvärde-<br />
ring kan ha detta syfte (Alkin & Christie, 2004:12). En utomstående utvärderare – t.ex. i form av<br />
en forskare eller konsult – kan kallas in av en ledning för att granska underlydande organs eller<br />
befattningshavares verksamhet. Det skall ärligt sägas att denna invändning inte går att vifta<br />
bort. Det viktigaste motargumentet är att oberoendet för den konsult som kallas in kan vara<br />
betydande i utförandet av den enskilda granskningen, men det gäller just det tilldelade uppdraget.<br />
Den tillkallade utvärderaren agerar inte utifrån en ”egen” institutionell plattform<br />
som gör det möjligt att t.ex. själv välja vad som skall granskas samt när och hur. 8 Oberoendet för<br />
den tillfällige granskaren är just tillfälligt och villkorat.<br />
Det som här tagits upp gäller synen på vad som är revisionens grundläggande existensmotiv.<br />
Det bör då framhållas att även en renodling av ansvarsperspektivet inte innebär att allt som görs<br />
enbart handlar om att kunna användas för att pröva någons ansvar. Den enskilda granskningen<br />
kan självklart läggas upp på ett sådant sätt att man blottlägger praktiska svårigheter, alternativa<br />
lösningar etc. Den kan därmed bidra till lärande bland dem som på olika sätt deltar i verksamheten<br />
och ge underlag för förändringar av verksamheten. Konsekvenserna, eller effekterna om<br />
man så vill, av effektivitetsrevision kan därmed också bidra till ett mer direkt främjande.<br />
8 Ove Karlsson-Vestman och jag har i introduktionen till en nyligen utkommen bok diskuterat sex aspekter på makt<br />
som är betydelsefulla i relationen mellan utvärderaren och andra aktörer. I analysen betonas utifrån en diskussion<br />
av brittiska NAO ”even if an audit office has de facto limitations…it controls all six aspects of power” (Furubo &<br />
Karlsson-Vestman 2011:23).<br />
EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 21
Det torde nu vara uppenbart att jag lutar åt en ståndpunkt som betonar vikten av ansvarsutkrävande.<br />
Innan vi går vidare bör därför ytterligare en sak sägas. Denna ståndpunkt leder inte<br />
till några självklara svar på frågan om hur revisionens praktik skall formas, som handlar om vad<br />
revisionen skall granska, vilka perspektiv som skall anläggas, vilka normer som skall appliceras,<br />
vilken betydelse ”idealmål” skall ha i bedömningen av en verksamhet, hur rekommendationer<br />
skall se ut m.m.<br />
Detta påpekande ter sig inte oviktigt eftersom Riksrevisionsutredningen, som följde upp, riksrevisionsreformen<br />
menade: ”Ansvarskriteriet kan enligt utredningen vara förknippat med en rad<br />
problem” (Riksrevisionsutredningen, 2009: 49). Hur detta uttalande skall tolkas är dock inte<br />
självklart.<br />
Utredningen pekar på ett antal konkreta brister man ansåg sig kunna iaktta i <strong>Riksrevisionen</strong>s<br />
dittillsvarande verksamhet. Utredningen såg dessa brister som följd av riksrevisorernas uppfattning<br />
om att <strong>Riksrevisionen</strong>s rapporter ”ska utformas så att de kan utgöra underlag för ansvarsutkrävande”.<br />
På vilket sätt de brister som utredningen såg var en följd av denna ansvarslinje<br />
analyserade dock inte utredningen närmare. Det kan inte uteslutas att en sådan analys skulle<br />
ha identifierat andra förklaringar till de brister som utredningen ansåg föreligga. Och även om<br />
dessa brister, om vi accepterar utredningens bedömning, förklaras av riksrevisorernas betonande<br />
av ansvar, är det möjligt att föreställa sig att ansvarslinjen kan ges andra tolkningar än den som<br />
orsakade de påtalade bristerna.<br />
För att vara tydlig på denna punkt: Uppfattningen att revisionens grundläggande roll är att skapa<br />
förutsättningar för att det skall gå att utkräva ansvar betyder naturligtvis inte att revisionen bör<br />
avstå från, vilket förefaller att ha föresvävat Riksrevisionsutredningen, att studera områden av<br />
stor betydelse. Ännu mindre behöver denna uppfattning leda till att revisionen binds till ett stuprörsperspektiv<br />
eller avstår från möjligheterna att komma med förslag till alternativa lösningar.<br />
Revisionens tillförlitlighetskrav<br />
Finns det då några konsekvenser av det synsätt som här förfäktats, som får betraktas som mer<br />
ofrånkomliga än andra?<br />
Det synsätt som här hävdas måste rimligen innebära att det revisionen säger skall vara sant i en<br />
mycket trivial mening. Det som sägs skall ju kunna användas för att i efterhand ställa människor<br />
– och organisationer – till svars för något som gjorts eller inte gjorts. Revisionens tyngdpunkt<br />
ligger i ansvarets bakåtriktade dimension. 9 Den bakåtriktade dimensionen tar fasta på att en<br />
9<br />
Att diskutera ansvarets olika dimensioner ligger utanför denna framställning. I en bilaga diskuteras dock detta<br />
något utförligare.<br />
22 EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN
innebörd av ansvar är att någon form av konsekvenser kan följa om en skyldighet som agenten<br />
har ålagts inte fullföljs.<br />
De uttalanden som görs måste alltså vara tillförlitliga. Det är ett överordnat krav. De skall alltså<br />
inte gå att tolka lite hur som helst, de måste kunna uppfattas som (tämligen) entydiga. Det är<br />
också viktigt, fast inte lika viktigt, att de är precisa. Ett tillförlitligt men mycket oprecist uttalande<br />
är knappast särskilt användbart när det gäller att leverera ett underlag för att pröva om något gått<br />
snett och i så fall vem som är ansvarig för detta.<br />
När vi diskuterar effekter är alltså den överordnade frågan för revisionen: När är det möjligt för<br />
oss att uttala oss med effekter på ett precist och tillförlitligt sätt?<br />
Inte sällan kan man i dokument från t.ex. myndigheter hitta ord som resultat, effekter, kostnader<br />
osv. Ibland används orden på ett sätt som antyder skillnader i betydelse där det egentligen inte<br />
finns någon skillnad. I det följande skall därför innebörden av ett antal nyckeltermer preciseras.<br />
När detta görs är det viktigt att ha en sak i åtanke. Många ord har en innebörd i ett mera allmänt<br />
språkbruk och en annan innebörd i ett visst inomprofessionellt språkbruk. Detta behöver inte<br />
vara något problem – om man vet vilket språk som talas eller skrivs! Ibland är dock detta inte helt<br />
klart. Det är däremot viktigt att förstå dessa olika användningar.<br />
Varför då denna diskussion…?<br />
Varför är då denna diskussion om vad revision – och mera specifikt effektivitetsrevision är – viktig?<br />
Helt rimliga frågor är ju: Varför begränsa innebörden av effektivitetsrevision eller performance<br />
auditing, är det inte bättre att acceptera olika tolkningar och den kreativa spänningen detta ger<br />
upphov till? Och när det gäller många andra intellektuella verksamheter och olika former av<br />
social praxis accepterar vi en sådan syn som självklar. När det gäller t.ex. utvärdering är nog flertalet<br />
av dem som haft anledning att skriva och tänka om utvärdering överens om att utvärdering<br />
måste tillåtas mycket stor – låt oss kalla det –pluralism. Och flertalet accepterar att utvärdering<br />
kan ha högst varierande perspektiv, utföras i högst varierande sammanhang och vara avsedd att<br />
användas på olika sätt (deliberation, kunskapsbyggande, accountability etc.). Men … utvärdering<br />
som en samhällelig praxis kräver inte en särskild legal position eller att de som utför utvärdering<br />
skall ha särskilt anställningsskydd eller att det skall finnas särskilda lagreglerade procedurer för<br />
att säkra att deras rapporter behandlas eller att de skall ha en särskild rätt att inhämta information.<br />
Men allt detta krävs för revisionen. Och om någon kräver särskild laglig protektion är det<br />
kanske rimligt att kräva att denna någon också kan beskriva vad hon eller han gör. Enkelt uttryckt:<br />
En riksrevisor kan inte säga till medborgarna ”jag gör vad jag vill göra”. Han eller hon måste säga<br />
”jag gör vad jag vill göra, men det sker inom vissa ramar och syften som jag kan berätta om”.<br />
EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 23
2. NÅGRA VIKTIGA ORD ELLER TERMER<br />
Vi kan konstatera att vi redan har använt en rad ord som brukas på olika sätt i olika sammanhang.<br />
Inom staten används t.ex. ord som resultat och effekter på ett högst varierat sätt.<br />
Jag skall därför precisera innebörden av ett antal olika ord.<br />
Resultat<br />
En språklig innebörd är att resultat är något som inträffat och som orsakats av något annat.<br />
Ordböcker ger synonymer som verkan, konsekvens, följd och utfall. Effekt är i detta mer allmänna<br />
språkbruk synonym till resultat, de är t.o.m. likabetydande. 10<br />
Att påstå att något är ett resultat av något innebär inte att vi uttalat oss om det som hände var<br />
bra eller dåligt. Ett påstående kan vara: Förmögenhetsbeskattningen ledde till jämnare förmögen-<br />
hetsfördelning. Givet att påståendet är korrekt kan vi ha olika uppfattningar om en jämnare<br />
förmögenhetsfördelning är något bra eller dåligt. I själva påståendet utsägs dock inget om det<br />
som skedde var bra eller dåligt.<br />
Resultatet är något som har inträffat. Det hindrar dock inte att vi kan tala om ett tänkbart eller<br />
sannolikt resultat av en viss tänkt framtida orsak: ”Ett tänkbart resultat av denna temperatur-<br />
förändring är att Golfströmmen vänder” står det t.ex. i en artikel om klimatförändringar.<br />
Resultat behöver inte heller, det följer av det som sagts, vara knutet till någon mänsklig vilja. Vi<br />
kan t.o.m. använda ordet resultat för att beskriva förlopp som inträffade innan vi hade kravlat<br />
upp på stränderna.<br />
Om vi vänder oss till engelskan och Oxford Dictionary upplyses vi om att effekter är ”change<br />
which is a result or a consequence of an action or other causes”. Oavsett om vi talar om resultat<br />
eller effekter, eller några andra ord med samma kausala bäring, så impliceras något kontrafaktiskt.<br />
Det handlar om skillnaden mellan det som i verkligheten har skett och det som skulle ha<br />
skett om en viss faktor inte hade funnits. I rader av sammanhang gör vi kontrafaktiska påståenden.<br />
Ett välkänt exempel kan ungefär ges följande formulering: ”Järnvägarna hade en central<br />
betydelse för den industriella utvecklingen i USA.” Påståendet innebär att den industriella utveck-<br />
10<br />
Resultat i företagsekonomi har dock en annan betydelse och kan definieras som skillnader mellan intäkter och<br />
kostnader.<br />
NÅGRA VIKTIGA ORD ELLER TERMER 25
26 NÅGRA VIKTIGA ORD ELLER TERMER<br />
lingen skulle ha sett annorlunda ut om järnvägarna inte hade byggts. 11 När vi säger att något är<br />
en effekt, eller ett resultat, av en politisk insats tänker vi oss alltså att verkligheten skulle ha sett<br />
annorlunda ut utan den politiska insatsen.<br />
Det som här sagts om att ord som resultat eller effekter implicerar något kontrafaktiskt innebär<br />
dock inte att det krävs att vi i varje situation, där vi använder sådana ord, måste troliggöra hur<br />
den kontrafaktiska utvecklingen skulle se ut. Hela vår tillvaro är uppbyggd kring vår kunskap om<br />
kausala förhållanden där vi utgår från att en viss effekt följer på en viss händelse. Vad som är det<br />
kontrafaktiska förloppet har så att säga avgjorts tidigare.<br />
Mål<br />
Och om vi talar om sådana framtida resultat som vi vill uppnå till följd av någon åtgärd som vi<br />
själva genomför talar vi ofta om mål. Ofta implicerar mål någon form av förändring. Men ett mål<br />
kan också handla om att en viss företeelse inte skall ändras, en befarad förändring skall undvikas.<br />
Någon gör X för att uppnå målet Y. Och i efterhand kan vi jämföra resultatet Z med målet (Y) och<br />
se i vilken utsträckning målet är uppnått. Mål är alltså alltid något som vid någon tidpunkt har<br />
gällt framtiden, har varit något som man velat uppnå. Dock kan vi i efterhand tala om att målet<br />
uppnåtts: ”He achieved his goal of becoming King of England” är ett slagkraftigt exempel som<br />
OED förser oss med. Innebörden av detta är att mål aldrig är värdeneutrala. Mål är uttryck för<br />
någons vilja, det är något som någon vill uppnå. Det är något man ”aktivt eftersträvar att förverkliga”<br />
för att låna en formulering från en av 1970-talets handböcker från RRV. En helt annan sak är<br />
förstås att olika personer kan ha olika uppfattningar om vad som är önskvärt. 12<br />
När vi säger att vi har ett mål implicerar vi också en föreställning om hur det är eller kan bli. Målet<br />
uppstår alltså i spänningsfältet mellan vår bild av verkligheten (nu eller i framtiden) och vad vi<br />
anser vara bra eller dåligt. Nilstun som, i en artikel för ett antal år sedan, diskuterade vad mål är<br />
konstaterade att en ”sats för att vara mål måste ange (eller antyda) två saker: (1) verkligheten är<br />
(eller om inget görs: kommer att vara) beskaffad på ett visst sätt, och (2) det är önskvärt att den<br />
blir på ett visst annat sätt” (Nilstun,1985:321–330). Det finns alltså, menar Nilstun, ett deskriptivt<br />
11 Exemplet med den industrialismen är förstås inspirerat av Fogels studier. Just dessa illustrerar också att<br />
kontrafaktiska påståenden kan ha stor politisk betydelse. När Fogel fick Nobelpriset hänvisades till de bittra<br />
strider som hans studie om slaveriet utlöste. Fogel visade att slaveriet inte avskaffades därför att det var olönsamt,<br />
vilket tidigare var den gängse uppfattningen. Fogel visade att ”The institution did not fall to pieces due to its economic<br />
weakness but collapsed because of political decisions” enligt sammanfattningen i pressreleasen i<br />
samband med Fogels Nobelpris 1993.<br />
12 Att i mer praktiska sammanhang ställa mer precisa krav på ett mål är inte omöjligt. Mål beskrivs ibland som<br />
”ett valt önskvärt framtida tillstånd” med en formulering från RRV:s ”målhandbok” från 70-talet<br />
(Riksrevisionsverket,1976:17). Formuleringen förskjuter dock diskussionen till att handla om vad ett tillstånd är.<br />
I handboken från 1970-talet sägs att inom en producerande verksamhet innebär ett förändrat tillstånd att ”vid<br />
tidpunkten T framställa Z stycken artiklar av visst slag”.
element i målformuleringar. Orden ”eller antyda” i Nilstuns parentes är förstås viktiga. Många<br />
gånger blottläggs det deskriptiva elementet först då den aktuella satsen tolkas och sätts in i ett<br />
sammanhang.<br />
Mål är en central del i offentliga dokument. Det finns möjligen ibland en föreställning att mål<br />
uppstår som en del av de moderna administrativa styrsystemen, alltså kanske som en följd av<br />
programbudgetering eller mål- och resultatstyrning. Inget kan vara felaktigare – är det frestande<br />
att säga. Mål har sedan mycket länge formulerats i politiska dokument, i offentliga utredningar,<br />
propositioner etc. När, för att ta ett exempel före programbudgeteringen, den 1959 tillsatta studiesociala<br />
utredningen publiceras 1963 så talar man om de två mål som ”bör stå i blickpunkten<br />
när det gäller att överväga det studiesociala systemets utformning”. Det kan antas att en mera<br />
ingående genomgång av riksdagstryck och utredningsbetänkanden även från de närmaste föregående<br />
årtiondena skulle visa på att mål, och olika synonymer, används frekvent.<br />
Mål, resultat och måluppfyllelse<br />
Ett resultat behöver inte korrespondera mot mål. I en administrativ eller politisk sfär kan en åtgärd<br />
ge upphov till rader av resultat som inte har med målet att göra. När vi talar om olika slag av<br />
positiva eller negativa sidoeffekter så är ju förstås också dessa effekter eller resultat.<br />
Som påpekats kan vi också tänka oss situationer, vilka också förekommer i praktiken, att målen<br />
har uppnåtts men att måluppfyllelsen är ett resultat, eller en effekt, av andra orsaker än de åtgärder<br />
vi vidtog för att nå målet. Måluppfyllelsen som sådan säger alltså inte något om hur framgångsrik<br />
en viss statlig verksamhet varit.<br />
Det kan här vara på sin plats att göra ett ytterligare tillägg: Målstyrning och resultatstyrning är<br />
givet dessa språkliga noteringar samma sak och ”mål- och resultatstyrning” är språkligt sett en<br />
tautologi. Målstyrning innebär att vi – på något sätt – styr mot det uppställda målet, att de olika<br />
åtgärder som vidtas skall vara riktade mot dessa mål. Resultatstyrning å sin sida innebär förstås<br />
inte att vi styr mot vilket resultat som helst utan att vi har valt ut vissa avsedda resultat som<br />
önskvärda. De åtgärder vi vidtar skall vara riktade mot dessa avsedda resultat, som alltså är mål.<br />
Måluppfyllelse och effekter är alltså inte samma sak<br />
Ofta talas om vikten av att använda graden av måluppfyllelse som en norm för att bedöma en<br />
statlig verksamhet. Den enkla tanken är att politiken varit framgångsrik i de fall de politiska målen<br />
uppnåtts och misslyckad i de fall de inte uppnåtts.<br />
Och – om vi lämnar det språkliga och logiska planet – så är det förvisso svårt att tänka sig att en<br />
regering skulle avstå från att trumpeta ut att politiken varit framgångsrik om politiken nått sina<br />
mål eller att oppositionen inte skulle framhålla regeringens misslyckande om målen inte nåtts.<br />
NÅGRA VIKTIGA ORD ELLER TERMER 27
28 NÅGRA VIKTIGA ORD ELLER TERMER<br />
Emellertid ser problemet annorlunda ut när vi mera grundligt vill värdera en statlig verksamhet.<br />
Det har tidigare pekats på att målen kan uppnås oberoende av de statliga insatserna, målen har<br />
uppnåtts men det skulle de ha gjort även utan det staten gjort. Och ibland kan en verksamhet<br />
bedömas som framgångsrik trots att vi inte förflyttar oss närmare målen – men det går kanske<br />
att visa att vi skulle ha avlägsnat oss från dem utan den statliga verksamheten, arbetslösheten<br />
skulle t.ex. kanske ha ökat ännu mera om inte vissa styrmedel satts in.<br />
1970- och 1980-talens satsning på effektivisering av energianvändning innebar att staten satsade<br />
tiotals miljarder – redan i den tidens penningvärde – för att subventionera olika former av investeringar.<br />
Och de mål riksdagen hade angett nåddes också. Under 1980-talet lades också omfattande<br />
resurser <strong>ned</strong> på att minska spridningen av hiv/aids. Och det visade sig också att kunskaper<br />
och beteenden förändrades på det sätt som informationsinsatserna syftade till.<br />
Gemensamt för dessa exempel är att de politiska åtgärderna är en följd av händelser som påverkar<br />
inte bara politikernas uppfattning om behovet av interventioner utan också en rad andra<br />
aktörer i samhället. I det första exemplet följde en rad prisförändringar av de internationella störningarna<br />
i oljetillförseln. Dessa påverkade rimligen hushåll och företag direkt och oberoende av<br />
de statliga åtgärderna. Det påverkar också bedömningarna av teknikutveckling och lönsamheten<br />
i olika investeringar.<br />
I det andra exemplet påverkas en rad icke-statliga aktörer, kommersiella företag med kondomtillverkning<br />
använder smittorisken i sin reklam, enskilda individers sexuella beteenden påverkas osv.<br />
Exemplen illustrerar en viktig sak. Politiska åtgärder uppstår därför att det inträffat något som<br />
påverkar samhället i stort. Verkligheten kommer alltså att förändras oberoende av den politiska<br />
interventionen.<br />
Effekterna av statens åtgärder är alltså ett slags nettotillskott. Och det är just detta som gör kontra-<br />
fakticiteten till ett så centralt problem.<br />
Är det då ointressant att konstatera att verkligheten har närmat sig eller främjat sig från målet,<br />
m.a.o. att bedöma måluppfyllelsen? Naturligtvis inte, oberoende av om något är en effekt eller<br />
ej så är det viktigt att få veta om verkligheten stämmer med det som anses önskvärt. Alldeles<br />
oberoende av vad som orsakat en viss utveckling är det förstås viktigt för politikerna att få veta<br />
om t.ex. de problem som lett fram till att man ställt upp vissa mål lösts eller förvärrats.<br />
Våra möjligheter att ange hur väl ett mål nåtts varierar. Det beror självklart på målet. Många<br />
politiska mål är till sin karaktär sådana att de t.o.m. kan ha sin grund i statistiska verklighetsbeskrivningar.<br />
Ett politiskt mål kan t.ex. vara att alla skall ha en bostad av viss storlek, ett högsta<br />
avstånd till viss service osv. Förverkligandet av detta slag av mål kan alltså ofta beskrivas i samma<br />
termer som den som ursprungliga problembeskrivningen gjordes i.
Det är dock viktigt att veta att en och samma företeelse kan få en förändrad innebörd över tiden.<br />
Ett exempel får illustrera resonemanget. De utbildningspolitiska målen på 1960-talet om social<br />
och ekonomisk utjämning av tillträdet till högre ut bildning byggde på föreställningar om den<br />
sociala betydelsen av högre utbildning. Det politiska målet handlade därmed inte bara om utbild-<br />
ningen som sådan. En social utjämning av utbildningen reflekterade också att individer skulle ha<br />
möjlighet att få vissa yrken, vissa positioner, oberoende av social bakgrund. Om vi nu mäter<br />
eftergymnasial utbildning i stort har denna inte alls samma betydelse 1960 som 2010. Enbart<br />
vissa utbildningar, på vissa linjer och på vissa nivåer, ger samma sociala möjligheter som akademisk<br />
utbildning generellt sett gjorde 1960.<br />
En statistisk serie över den sociala distributionen av eftergymnasial utbildning i stort är därmed<br />
givetvis sann – givet de definitioner som gjorts. Den säger dock bara en del av hur framgångsrik<br />
man varit för att nå det politikerna vill uppnå och lösa det som de såg som problem.<br />
Kostnader<br />
Kostnader är en företagsekonomisk term. Den definieras som värdet av förbrukade resurser under<br />
en viss period. Det är viktigt att vara medveten om att en utgift inte är samma sak som en<br />
kostnad. Utgiften är den ekonomiska ersättningen vid anskaffandet av en resurs. En maskin som<br />
köps in ger upphov till en utgift. Om kostnaden skall beräknas måste man ta reda på hur stor del<br />
av maskinen som förbrukats under t.ex. det gångna året. I praktiken avgörs kostnaden genom<br />
olika regler för avskrivning.<br />
När vi i det följande talar om kostnader så handlar det alltså i grunden om hur mycket resurser<br />
som har lagts <strong>ned</strong> på en viss verksamhet. I den kommande framställningen kommer att diskuteras<br />
möjligheterna att koppla ihop den finansiella informationen om vilka resurser som har<br />
förbrukats i en viss verksamhet med informationen om resultaten. Detta har ofta beskrivits som<br />
kopplingen mellan finansiell styrning och resultatstyrning.<br />
Den inomstatliga terminologin<br />
Ett konkret mål är ofta knutet till någon form av subjekt. Ofta, om än inte alltid, är det angivet<br />
eller underförstått vem eller vilka som skall handla så att målet uppnås. Det är däremot viktigt<br />
att framhålla att begrepp som mål, resultat, effekter och kostnader inte har med organisatoriska<br />
gränser att göra. De har inte heller någonting att göra med var vi befinner vi oss i en produktionskedja<br />
eller en mål–medel hierarki. För att låna en formulering som Rolf Sandahl använder<br />
i diskussionen av effektbegreppet så är de per definition ”inte rumsligt knutet till något specifikt<br />
förhållande” (Sandahl, 1996:11). Det kan också läggas till att inte heller mål som begrepp är<br />
rumsligt knutet. Vi kan ange mål för hela samhället men vi kan också ange mål för t.ex. hur<br />
många ärenden som skall handläggas nästa år på en enhet i en viss myndighet.<br />
NÅGRA VIKTIGA ORD ELLER TERMER 29
30 NÅGRA VIKTIGA ORD ELLER TERMER<br />
Däremot har en del termer just i den inomstatliga diskussionen, och även i t.ex. förordningen<br />
om årsredovisning och budgetunderlag, fått en mer avgränsad innebörd. För undvikande av<br />
missuppfattningar betyder inte detta att det inomstatliga språkbruket är bristfälligt eller sekunda.<br />
Det är dock viktigt att klargöra att det på vissa punkter skiljer sig från ett mer allmänt språkbruk<br />
eftersom ju många inom staten faktiskt växlar mellan dessa olika språkbruk – vilket skapar en<br />
och annan missuppfattning.<br />
Av de termer som vi tidigare diskuterat har inom staten effekter kommit att avse det som händer<br />
utanför myndigheten. I det inomstatliga språkbruket har effekter alltså getts en rumslig knytning.<br />
Detta har varit fallet sedan åtminstone 1980-talet och spreds till förvaltningen inte minst genom<br />
de skrifter om resultatanalys och utvärdering som RRV utarbetade i mitten av 1980-talet. Det har<br />
sedan dess varit centralt i olika vägledningsskrifter. Det som är effekter är alltså, förklarar t. ex.<br />
ESV i nutida skrifter, det som har orsakats av prestationerna (Ekonomistyrningsverket, 2003:7).<br />
Prestationerna i sin tur är ”de tjänster och produkter som lämnat myndigheten”. Dessa slutprestationer<br />
kan sedan delas upp i olika delprestationer. De gränsdragningsproblem som följer av<br />
denna underindelning av prestationer skall vi inte gå in på här. Den sammanfattande benämningen<br />
på prestationer och effekter är i det inomstatliga språkbruket resultat. Inom staten har alltså<br />
resultat blivit en ”paraplyterm” medan effekter fått en avgränsad betydelse.<br />
Enligt det inomstatliga språkbruk som skapades under 1980-talet kan både prestationer och<br />
effekter bli föremål för uppföljning och utvärdering (Ekonomistyrningsverket, 2003:11). Genom<br />
uppföljning beskrivs hur något utvecklas. Det kan gälla både hur handläggningstiderna förändrats<br />
eller ”hur de samhällsförhållanden utvecklats som man velat påverka med den statliga insatsen”<br />
som påpekas i en skrift med ett par årtionden på nacken (Furubo 1987:11). Det något kryptiska<br />
uttryckssättet i citatet har förstås att göra just med att uppföljningen inte handlade om att<br />
berätta om effekterna utan i vilken utsträckning förändringar inträffat. Som framgått tidigare är vi<br />
dock vanligen inte intresserade av att ”följa upp” vilka förändringar som helst. Vi är intresserade<br />
av dem som staten velat påverka. Det handlar alltså om att se på hur målvariablerna utvecklats.<br />
Blev det t. ex färre trafikolyckor?<br />
I detta språkbruk betonas att utvärderingar handlade om kausalitet. Var de olika förändringarna<br />
verkligen en följd av de statliga insatserna? Och det gäller alltså oavsett om det gäller prestationerna<br />
eller effekterna ute i samhället. Utvärdering konfronteras därför med frågor om kontrafakticitet.<br />
Annorlunda uttryckt gäller det att isolera effekterna av en statlig insats från allt annat som<br />
påverkar utvecklingen och därmed kunna visa på vad som kan attribueras den statliga insatsen,<br />
för att knyta an till ytterligare ett vanligt sätt att beskriva kausalitetsproblemet.<br />
Den specifika inomstatliga terminologin avviker också ibland från terminologin i andra sammanhang.<br />
Det är här relevant att påpeka att EU:s terminologi på vissa punkter skiljer sig från<br />
den svenska.
Noteras kan också användningen av uttrycken inre och yttre effektivitet. I kortform handlar det<br />
om att inre effektivitet avser sambandet mellan tillförda resurser och de prestationer som lämnar<br />
myndigheten, ofta uttrycks detta genom produktivitet. Yttre effektivitet avser sambandet mellan<br />
dessa prestationer och de effekter i samhället som de ger upphov till. Men yttre effektivitet används<br />
också för att ange sambandet mellan till myndigheten tillförda produktionsresurser, som<br />
alltså används för att producera olika prestationer, och yttre effekter. En formulering som tar fasta<br />
på skillnaden mellan inre och yttre effektivitet är ”do things right or do the right things”.<br />
Det finns ingen anledning att mer i detalj uppehålla sig vid detta mer än att konstatera att vi här<br />
har att göra med ett område där det finns olika åsikter i sak men också stor språklig förvirring –<br />
inte minst då språk blandas.<br />
Inom staten används ibland ordet effektivitet för att uttrycka samband mellan måluppfyllelse och<br />
insatta resurser. Just på denna punkt finns det åtminstone två skäl att inte acceptera det inomstatliga<br />
språkbruket. För det första kan, som påpekats, måluppfyllelsen vara god även då det inte<br />
beror på de statliga insatserna. Språkbruket kan därmed leda till att vi talar om god effektivitet<br />
även i de fall staten slösat bort pengarna. Det verkar strida mot en rimlig språkanvändning. För<br />
det andra så skapar en sådan användning av ordet effektivitet en brist på symmetri. Vi kan förvisso<br />
tala om statens kostnader i förhållande till effekter av något ”ute i samhället” och det kan<br />
vara av betydelse att göra det. Däremot säger detta ingenting om den totala resursuppoffringen i<br />
förhållande till effekterna. Statens kostnader kan ju ha varit mycket marginella i sammanhanget.<br />
För att ta ett något ålderstiget exempel: Om fem tjänstemän som arbetar med byggnormer lyckas<br />
sänka kostnaderna för energianvändningen med någon miljard så blir det orimligt att jämföra<br />
deras löner med denna miljardvinst. Uppoffringen måste inkludera de investeringar som gjorts i<br />
byggandet av de nya husen och/eller förändringar i äldre hus.<br />
Några engelska termer<br />
Det finns en rad engelska ord som ofta används även i svenska diskussioner. Just i sammanhang<br />
med revision talas – sedan decennier – ofta om de tre E:na. Det skall sägas att det inte heller i<br />
engelskspråkig litteratur alltid är självklart vad dessa står för. Pollitt och Bouckaert påpekar att<br />
”Despite (or perhaps because of) their frequency of their usage, one should not assume that<br />
such terms always have the same meaning. On the contrary, we are aware of a wide range of<br />
meanings, both precise and vague, being attached to these central elements in ’performance<br />
vocabulary’” (Pollitt & Bouckaert, 2004:106).<br />
Med tanke på dessa termers betydelse i diskussionen om performance auditing finns det dock<br />
anledning att mycket kort kommentera de tre E:na.<br />
NÅGRA VIKTIGA ORD ELLER TERMER 31
32 NÅGRA VIKTIGA ORD ELLER TERMER<br />
Economy handlar om kostnaderna för det vi vanligen talar om som input i en produktionsprocess,<br />
det som tillförs processen. Innebörden av Economy beskriver Power som “obtaing the best<br />
possible terms under which resources are obtai<strong>ned</strong>” (Power, 1997: 50). Det finns redan här en<br />
oklarhet som bl.a. handlar om huruvida kvalitet skall vägas in i en analys av Economy. Detta bör<br />
dock ske enligt den ”Handbook in Performance Auditing” som RRV gav ut under 1990-talet.<br />
Här definieras Economy som ”minimising the cost of resources for an activity, having regard<br />
to appropriate quality” (<strong>Riksrevisionen</strong>, 1999:27) och INTOSAI använde samma formulering i<br />
Implementation Guidelines for Performance Auditing (INTOSAI, 2004:15).<br />
När vi talar om Efficiency intresserar vi oss för relationen mellan det som tillförs processen (input)<br />
och det som kommer ut från den. Att sträva efter efficiency innebär alltså ”ensuring that<br />
maximum output is obtai<strong>ned</strong> from the resources employed or that minimum resources are used<br />
to achieve a given level of output service” (Power, 1997: 51). Denna relation kan uttryckas på<br />
olika sätt, och vi talar ofta om kvoter som t.ex. säger något om produktiviteten. Om detta har<br />
det funnits omfattande diskussioner som både gällt en rad olika mättekniska problem (t.ex. vid<br />
jämförelser över längre tidsperioder) och en rad andra aspekter. Dessa skall dock inte diskuteras<br />
i detta sammanhang. Det skall dock sägas att om en bedömning görs av efficiency ingår alltid<br />
någon form av föreställning om en slags bästa möjliga relation givet t.ex. en viss teknisk nivå.<br />
I denna genomgång av ord och termer bör vi dock observera en oklarhet kring efficiency. Bör<br />
efficiency enbart ses som relationen mellan input och output eller kan vi kan tänka oss att även<br />
faktorer som förklarar denna relation ingår i en bedömning av efficiency? I sin studie av <strong>Riksrevisionen</strong><br />
har Grönlund gett efficiency en snäv innebörd då han konstaterar: ”Ju fler enheter<br />
man får ut av en viss mängd insatta resurser desto bättre kan man säga att det är” (Grönlund,<br />
2008: 26). Grönlund beskriver därför också följdriktigt analyser av de verksamhetsprocesser som<br />
kan påverka relationen mellan insatta resurser och mängden prestationer som en särskild revisionstyp<br />
(Grönlund, 2008:29). INTOSAI:s guidelines definierar däremot efficiency på ett bredare<br />
sätt:”The main question is whether these resources have been put to optimal or satisfactory use<br />
or whether the same or similar results in terms of quality and turn-around time could have been<br />
achieved with fewer resources. Are we getting the most output – in terms of quanity and quality –<br />
from our inputs and actions?” (INTOSAI, 2004:15, kursiverat i orginalet). INTOSAI:s tolkning gör<br />
alltså att t.ex. en analys av själva produktionsprocessen inryms i studier av efficiency.<br />
Om vi återgår till engelskan står så det tredje E:et för Effectiveness. Detta tredje E skiljer sig i ett<br />
centralt avseende från de föregående. De två första E:na handlade om vad som hände i ett visst<br />
produktionssystem. Det tredje E:et handlar däremot om vad som händer utanför förvaltningen,<br />
det handlar om vad som vi ofta kort talar om som ”ute i samhället”.<br />
Även här rör vi oss med en term som inte är alldeles självklar. Power beskriver effectiveness som<br />
något som handlar om huruvida ”outcomes conform to intentions, as defi<strong>ned</strong> in programmes”<br />
(Power, 1997:51). Grönlund har samma syn då han anger att det handlar om ”i vilken utsträck-
ning målen har uppnåtts med tillfredsställande kvalitet” (Grönlund, 2008:27). Detta gör också<br />
att Grönlund inte ser revision inriktad på frågan om hur framgångrikt den aktuella verksamheten<br />
bidragit till att förverkliga de mål som ställts upp som ”Effectiveness Audit” (Grönlund, 2008:29)<br />
och därför ser detta slag av revision som en särskild kategori. 13<br />
Det är uppenbart att t.ex INTOSAI här intagit en annan uppfattning. INTOSAI har, vilket också<br />
t.ex. NAO gjorde redan under 1990-talet, inkluderat frågan om kausalitet i termen effectiveness.<br />
I sina guidelines har t.o.m. INTOSAI valt att kursivera följande: ”Are the stipulated aims being met<br />
by the means employed, the outputs produced and the impacts observed? Are the impacts observed<br />
really the result of the policy rather than other circumstances?” Detta förefaller också att ha varit<br />
den tolkning av effectiveness som även tidigare gjordes av de SAI:ar som använde termen (Pollitt<br />
et al 1999).<br />
Effectiveness är alltså inte en oomstridd term. Det förefaller dock vara klart att ”SAI-världen”<br />
tolkar effectiveness som något som också avser frågan om hur framgångrikt den aktuella verksamheten<br />
bidragit till (de yttre) målens förverkligande och därmed till att svara på om statens<br />
pengar använts väl eller ej. Och enligt min mening är det också en förnuftig tolkning. Det torde<br />
dock ha framgått att jag inte anser att diskussionen vinner något på, åtminstone inte i klarhet,<br />
om vi börjar använda de engelska termerna i vår inhemska diskussion. En annan sak är att vi<br />
måste förhålla oss till dem när vi deltar i diskussionen i olika internationella sammanhang.<br />
13 Effectiveness får alltså tolkas som relaterad till yttre mål. Termen skulle bli helt ohanterlig om den gällde mål i<br />
allmänhet och även därmed produktionsmål som täcks av efficiency.<br />
NÅGRA VIKTIGA ORD ELLER TERMER 33
3. EFFEKTER OCH INTERVENTIONER 14<br />
I det följande skall vi något mera diskutera vad som är de grundläggande förutsättningarna för<br />
att mäta effekter av statlig verksamhet. De effekter vi talar om är s.k. yttre effekter.<br />
Det finns en hel litteratur om att mäta sådana effekter. På ett mera konkret plan finns en mängd<br />
olika metoder och tekniker. I denna PM skall inte upprepas vad som behandlas i dessa metodböcker.<br />
I nästa kapitel skall dock diskuteras vilka möjligheter och svårigheter som finns med<br />
några olika sätt att angripa problemet med effekter.<br />
Innan dess skall vi i detta kapitel diskutera effektmätningens grundläggande problem och vad vi<br />
egentligen talar om när vi pratar om effekter.<br />
Kapitlet börjar med att det tidigare resonemanget utvecklas och några aspekter som är viktiga<br />
vid diskussion om effektmätningar förs in. Därefter diskuteras det som kan ses som effektmätningens<br />
objekt – den statliga verksamheten, programmet, insatsen eller vad vi väljer att kalla det.<br />
I kapitlets sista del behandlas olika slag av sidoeffekter.<br />
Det grundläggande problemet<br />
I kapitel 2 konstaterade vi att ordet effekter inte har någon rumslig knytning. Men det vi i här<br />
kommer att diskutera är det som vi mera vardagligt talar om som yttre effekter och som alltså är<br />
något som inträffar ”ute i samhället” till följd av det staten gör. Och det staten gör kan vara att<br />
t.ex. förbjuda eller påbjuda något, med ekonomiska styrmedel stimulera eller motverka något,<br />
skapa institutioner etc.<br />
Så fort vi talar om effekter av det staten gör talar vi alltså om skillnaden mellan det som faktiskt<br />
hänt och det som skulle ha hänt utan den statliga interventionen eller verksamheten.<br />
14 En viss möda har lagts <strong>ned</strong> redan i det föregående kapitlet på att definiera effekter. Ansträngningarna fortsätter också<br />
i detta kapitel. Motsvarande möda har dock inte här lagts <strong>ned</strong> på att definiera begreppet interventioner. I amerikanskt<br />
språkbruk talas ofta om program. I Sverige, och många europeiska länder, kan vi dock inte tala om program på det<br />
sätt som sker i USA, vilket bl.a. Peter Dahler Larsen pekat på (Larsen, 2009). Den amerikanska synen på program<br />
bygger också på andra grundläggande föreställningar än de som präglar europeisk politik. Verksamhet är ibland<br />
många gånger därför ett bättre ord än program. Jag har valt att oftast använda termen intervention men växlar också<br />
mellan detta och andra termer – ofta utan särskilt djupgående avsikter.<br />
EFFEKTER OCH INTERVENTIONER 35
36 EFFEKTER OCH INTERVENTIONER<br />
Detta problem kan uttryckas på olika sätt.1934 formulerades det av Gunnar Myrdal: ”En utredning<br />
rörande verkningarna av en viss finansiell reglering måste nämligen gälla skillnaden mellan det<br />
ekonomiska händelseförlopp, som utlöser sig vid denna reglering, och det förlopp som utlöser<br />
sig vid en annan reglering.”<br />
Problemet kan också uttryckas i grafisk form.<br />
Figur 1: Kontrafakticitet<br />
Styrmedel<br />
X<br />
Hypotetisk utveckling<br />
Faktisk utveckling<br />
Kontrafakticiteten kan uttryckas också i mera formellt formelspråk. Det sker t.ex. i en bilaga till<br />
rapporten Stöd till start av näringsverksamhet (RiR 2008:24) utarbetad vid Centrum för arbetsmarknadspolitisk<br />
forskning. Där beskrivs samma grundläggande problem men på ett annat sätt:<br />
Att mäta effekten för en person av SSN-deltagande fordrar alltså i princip en jämförelse mellan<br />
utfallet av såväl det förlopp som skulle följa av deltagande som av det som skulle bli resultatet<br />
av icke-deltagande. Eftersom det naturligtvis inte är möjligt att observera båda de potentiella<br />
utfallen samtidigt för en och samma person, en person kan ju inte vara deltagare och<br />
icke-deltagare på samma gång, så kommer det att saknas information om ett potentiellt<br />
utfall. Detta är det fundamentala utvärderingsproblemet. Vad som kan observeras för<br />
deltagare är det faktiska utfallet Y 1 , varför det går att beräkna det genomsnittliga utfallet<br />
förutsatt deltagande:<br />
E(Y 1 |D = 1) där D = 1 indikerar deltagande i programmet. Det hypotetiska genomsnittliga<br />
utfallet utan deltagande för dem som deltagit, det kontrafaktiska utfallet, kan beskrivas<br />
som E(Y 0 |D = 1) vilket ger följande uttryck för effekten av deltagande:<br />
(1) E(Y 1 |D = 1)– E(Y 0 |D = 1)= E(Y 1 – Y 0 |D = 1)<br />
Oavsett hur vi väljer att uttrycka det kan vi lätt gå i fällan att tro att det handlar om en kontrafaktisk<br />
utveckling, att vi med andra ord skall försöka spåra upp en alternativ utveckling. I verkligheten<br />
– för att använda ett ord som kanske inte är helt perfekt i detta sammanhang – består den<br />
kontrafaktiska utvecklingen av en rad olika tänkbara förlopp.
Detta kan illustreras med det tidigare energiexemplet. Under 1970-talet införde staten en rad<br />
ekonomiska stöd till investeringar i energihushållningsåtgärder, sammanlagt kan dessa beräknas<br />
till tiotals miljarder i dagens penningvärde. Om vi nu tänker oss att dessa stöd inte funnits så<br />
hade investeringar i forskning och utveckling i t.ex. privata företag inriktats på andra områden, en<br />
del av den forskning som nu bedrivits hade inte genomförts och annan forskning som nu kanske<br />
trängts undan hade bedrivits i stället. Denna tänkta alternativa händelsekedja skulle ha skapat<br />
andra alternativa möjligheter för den fortsatta utvecklingen och andra optioner om staten vid<br />
någon senare tidpunkt skulle ha velat engagera sig på detta område och om man då inte valt att<br />
göra det så hade det i sin tur lett till andra förlopp och som i sin tur…<br />
Det alternativa faktiska förloppet kan alltså snarast ses som ett träd av alternativa förlopp som<br />
blir alltmer vittförgrenat ju längre tid som går.<br />
Föreställningen att vi skall kunna få fatt i ett kontrafaktiskt förlopp som alltså kan utgöra en jämförelsenorm<br />
när vi bedömer en statlig insats effekter bygger ytterst på tanken att vi kan hoppa<br />
tillbaka till en punkt i historien och ungefärligen säga ”att hade vi gjort så här i stället för så här<br />
så hade följande inträffat”. Det är en rationalistisk tanke som hamnar i en paradoxal närhet av en<br />
historiedeterminism. För om vi skulle kunna spela upp olika alternativa förlopp borde vi ju också<br />
kunna spela upp utvecklingen från den punkt där vi i dag faktiskt befinner oss och alltså förutse<br />
olika framtida skeenden.<br />
Det som här beskrivits är det grundläggande problem som alla studier av effekter möter. Och<br />
det sagda kan tyckas <strong>ned</strong>slående. För det inses lätt att vi nästan aldrig kan vara helt säkra när vi<br />
i efterhand säger något om effekter av olika statliga insatser eftersom detta – principiellt sett –<br />
förutsätter att vi har kunnat skapa två identiska världar.<br />
I syfte att moderera denna <strong>ned</strong>slående bild av våra möjligheter att mäta effekter skall därför ett<br />
par kommentarer göras. En första kommentar är att även om effekter alltid handlar om skillnaden<br />
mellan något som faktiskt hänt och ett alternativt förlopp finns det situationer då vi anser<br />
oss, trots en del av det som sagts i denna skrift, kunna vara helt säkra på att utvecklingen skulle<br />
ha fortsatt precis eller nästan precis som tidigare utan den statliga interventionen. Det bör dock<br />
sägas att skälen till att en sådan oföränderlighet antas måste redovisas av den som analyserar<br />
effekter av en specifik statlig insats.<br />
En andra kommentar är att vi även i de sammanhang vi försöker visa på ett alternativt förlopp får<br />
acceptera att vår bild av detta förlopp sällan är fullständig eller invändningsfri. Med hjälp av ett<br />
antal redskap kan vi mera systematiskt nalkas frågor om kausalitet. Genom användande av dessa<br />
redskap kan vi skaffa oss ett rimligt underlag för att göra påståenden av kausal karaktär. Det är<br />
dock viktigt att vi kan skaffa oss en bild av vilka problem som är förenade med olika redskap så att<br />
vi också kan få en bild av graden av tillförlitlighet i olika kausala påståenden och om kostnaderna<br />
för att öka tillförlitligheten.<br />
EFFEKTER OCH INTERVENTIONER 37
38 EFFEKTER OCH INTERVENTIONER<br />
Frågan om vilka krav som kan ställas på kausalitetanalys diskuterades under 1980-talet i ett av<br />
Sveriges mera omfattande utvärderingsprojekt. Projektet, det s.k. MURA-projektet, handlade om<br />
rättsliga reformer i arbetslivet under ledning av ett antal forskare från en rad olika discipliner och<br />
förkortningen stod för Metoder för Utvärdering av reformer i Arbetslivet.<br />
Göran Hermerén polemiserar i en uppsats i projektet mot de forskare som ”tror att de inte gör<br />
kausala antaganden bara därför att de inte använder termerna ’orsak’ och ’effekt’.” (Hermerén,<br />
1984:31).<br />
Hermerén påpekar dock också att kritiken mot kausalitetsanalys kan<br />
”bl.a. bottna i att man själv har orimligt höga krav på vad kausalanalys skall leda fram till för att<br />
vara godtagbar – eller (felaktigt) tillskriver kausalanalytikerna sådana högra krav. Exempelvis kan<br />
man tro att kausalanalys förutsätter att man inom arbetslivet (utbildningen, alkoholpolitiken) kan<br />
skilja mellan effekterna av x och effekterna av y. Men detta förutsätts inte alls. x och y kan samvariera<br />
eller betinga varandra ömsesidigt, och då går det inte att (i sådana falla) säga z var ett<br />
resultat av x och ej av y.”<br />
Men detta är inte något som visar att kausal analys är principiellt omöjlig – ett sådant påstående<br />
är ju tvärtom resultatet av ett försök att göra en kausal analys (Hermerén, 1984:34).<br />
Diskussionen om kausalitet, som på ett eller annat sätt varit levande under åtminstone ett par<br />
århundraden, har under det senaste årtiondet tilldragit sig ett starkt ökat intresse just i samband<br />
med diskussionen om politiska interventioner. Det har skett till följd av den s.k. evidensrörelsen.<br />
Till detta skall vi något återkomma.<br />
Olika slag av effekter – ett slags geografi<br />
I praktiken torde de flesta mena att svårigheterna med att hantera effekter beror på ett antal<br />
omständigheter. Dessa skall nu diskuteras.<br />
När vi pratar om (yttre) effekter använder vi ofta ord som klargör att effekter kan stå i olika<br />
förhållanden till en viss orsak (en intervention av något slag). Inte sällan talas om nära eller<br />
längre bort liggande effekter. 15 Sådana uttryck säger att det kan vara fler eller färre kausala led<br />
mellan insatsen och effekten. Det metaforiska uttryckssättet torde ha sin grund i att vi tänker oss<br />
en effektkedja. Här visa en enkel effektkedja för en informationsinsats att påverka frekvensen av<br />
malignt melanom.<br />
15 Det bör påpekas att man i engelskan ofta genom själva valet av ord gör en sådan åtskillnad, outcomes tänks som<br />
något närmare prestationerna än impact trots att denna rumsliga eller geografiska skillnad inte finns språkligt sett.<br />
Här är det alltså fråga om en slags konvention, de flesta författare använder orden på detta sätt.
Figur 2: Malignt melanom<br />
Informationsinsats<br />
Antaganden<br />
om<br />
Ökat<br />
info-utbud<br />
Antaganden<br />
om<br />
Avsedda<br />
mottagare<br />
nås och<br />
tar del<br />
av info<br />
Antaganden<br />
om<br />
Kunskaperna<br />
ökar om<br />
faran med<br />
solande<br />
Antaganden<br />
om<br />
Förändring<br />
av<br />
beteende<br />
(minskat<br />
solande)<br />
Antaganden<br />
om<br />
Minskad<br />
frekvens<br />
av malignt<br />
melanom<br />
Det är viktigt att veta att denna kausala avståndsdimension egentligen inte handlar om tid. Vanligen<br />
tänker vi oss dock att de olika effekterna i denna kedja inträffar efter varandra. Det säger dock<br />
ingenting om hur stort detta avstånd är räknat i tid. Ibland kan det handla om snabba förlopp och<br />
ibland långsamma. I praktiken blir det också viktigt att skaffa sig en uppfattning om avståndet i tid<br />
mellan de olika effekterna. Det är t.o.m. så att just ett avkortande av det tidsgapet mellan de olika<br />
stegen kan ses som en central effekt. Genom den statliga interventionen påskyndas processer i<br />
samhället som kanske i vart fall skulle ha ägt rum men där själva påskyndandet av olika skäl kan<br />
vara viktigt.<br />
Det är inte heller alltid självklart i vilken ordning de olika stegen skall placeras. Tvärtom kan<br />
just denna ordning vara en fråga i studier av offentlig verksamhet. Detta kan illustreras med ett<br />
konkret exempel som gäller skolan och som tas upp av Bouckaert & Halligan i en internationell<br />
jämförelse publicerad 2008. De två forskarna diskuterar sambandet mellan Performance och<br />
Trust genom att bl.a. jämföra Sverige och Finland. Finland ligger avsevärt högre i performance än<br />
Sverige och får också detta till en lägre kostnad. 16 Olika mätningar visar också på att förtroendet<br />
för skolan är högre i Finland än i Sverige. En spontan gissning skulle rimligen kunna vara att det<br />
finska skolsystemets prestationsförmåga leder till ett större förtroende för detta än vad som är<br />
fallet i Sverige. Men de två forskarna pekar på att sambandet också kan vara det motsatta.<br />
Det är inte heller svårt att förställa sig mekanismer som skulle leda fram till detta motsatta<br />
samband. Just förtroendet skapar ökad prestationsförmåga och att det finns en stor respekt för<br />
lärarna som yrkesgrupp kan påverka eleverna direkt men också mera indirekt – t.ex. är kanske<br />
föräldrarna mera benägna att säga ”gör nu som dina lärare säger eftersom de säkert vet bäst ”<br />
än att säga ”ja, ja, vi vet ju vilka som är lärare, så ...”.<br />
När staten försöker intervenera så bygger det på en föreställning om de kausala processerna som<br />
leder till de effekter man är intresserad av. Statliga interventioner kan därför beskrivas utifrån hur<br />
de kan fogas in och ändra ett kausalt skeende.<br />
16 Vi bortser från att själva mätandet av skolans performance i sig är en kontroversiell fråga.<br />
Bouckaert & Halligan bygger på PISA och European Value Survey.<br />
EFFEKTER OCH INTERVENTIONER 39
40 EFFEKTER OCH INTERVENTIONER<br />
Det är i själva verket detta som kan ses som utgångspunkten för alla s.k. programteorier. Dessa<br />
har kommit att bli viktiga inslag i läroböcker om effektmätning. Ett antal olika benämningar<br />
är i omlopp. Under 1980-talet myntades inom dåvarande Riksrevisionsverket benämningen<br />
effektkedjor och inom FN-system talades redan under 1970-talet, och särskilt i samband med<br />
planering, om Logical Framework Approach (FMA) vilket gick tillbaka till en analysmetod som<br />
förknippas med Leon L. Rosenberg. 17 Vi skall senare något utveckla resonemangen om interventionsteorier<br />
som metod i effektstudier. Det som här närmast skall tas upp är hur en programteori<br />
kan användas för att visa på olika tänkbara effekter, de kausala stegen, och ordningen mellan<br />
dem.<br />
Detta kan illustreras med hur Tullverket bekämpar den illegala narkotikainförseln med en rad<br />
olika kontrollåtgärder. Dessa åtgärder – eller prestationer – syftar till att öka risken för upptäckt<br />
för den presumtive smugglaren. Denna ökade risk för upptäckt ses då som ett medel för att<br />
sänka smugglingstalen, vilket i nästa steg syftar till att minska det totala utbudet av narkotika på<br />
marknaden, vilket i sin tur avser att påverka den totala konsumtionen.<br />
Varje längre bort liggande steg eller resultatvariabel påverkas uppenbarligen av en rad andra faktorer,<br />
där bara några kan kontrolleras av staten. I vårt exempel är det t.ex. sannolikt att effekterna<br />
av en ökad upptäcktsrisk på smugglingstalen påverkas av straffsatserna och formerna för straffets<br />
verkställighet. I vilken utsträckning sänkta smugglingstal i nästa led inverkar på det totala<br />
utbudet kan sedan kanske påverkas av polisens insatser men förmodligen också av en rad annat.<br />
Ju längre bort vi förflyttar oss i denna kedja, desto fler sidofaktorer kommer alltså in.<br />
För den som planerar en verksamhet kan programteorier vara ett hjälpmedel att planera en verksamhet,<br />
att ”tänka efter före”. Om vi t.ex. anser att ökad kunskap hos en grupp är nödvändigt<br />
för att påverka dess beteenden så bygger ju detta på antagandet att ökad kunskap sannolikt orsakar<br />
beteendeförändring. I effektkedjan på föregående sida har vi markerat att de olika kausala sambanden<br />
bygger på olika former av antaganden. När vi – eller den som svarar för verksamheten<br />
– klargjort dessa kan det leda till att man börjar fundera på vilka forskare som har studerat<br />
sambandet mellan t.ex. kunskap och beteende. Själva preciseringen av det antagna kausala sambanden<br />
och underliggande antaganden kan alltså vara ett medel i en process som handlar om<br />
att identifiera relevanta frågetecken både innan genomförandet av en verksamhet och i den efterföljande<br />
utvärderingen.<br />
17 Den stora betydelse programteorier fick på utvärderingsområdet under 1990-talet ter sig mot denna bakgrund<br />
lite svårförklarad. Det illustrerar möjligen vikten av förpackningen! I denna PM skall vi återkomma till frågan om<br />
programteorier i samband med frågan om metoder för utvärdering.
Men i detta sammanhang handlar det inte om planering utan om utvärdering i efterhand. Effektkedjan<br />
– om vi väljer att kalla den så – kan då vara ett hjälpmedel för att diskutera var i en slags<br />
effektgeografi en enskild effektstudie skall riktas. Det är t.ex. också uppenbart i följande effektkedja<br />
att den myndighet som ansvarar för genomförandet inte – och knappast inte heller revisionen<br />
– skall undersöka de längst bort liggande effekterna. De inbegriper kausalitetsfrågor som<br />
tiotusentals forskare brottas med varje dag. Det är alltså möjligt att använda detta slag av ”effektgeografiska”<br />
resonemang för en diskussion om möjligheterna att mäta effekter av olika slag.<br />
Figur 3: Global uppvärmning<br />
Bidrg till<br />
energibesiktning<br />
Ökad<br />
frekvens<br />
åtgärder i<br />
hus<br />
Minskad<br />
energianv.<br />
i hus<br />
Minskad<br />
energianv.<br />
i Sv.<br />
Minskad<br />
utsläpp<br />
av<br />
koldioxid<br />
Minskad<br />
global<br />
uppvärmning<br />
Det exempel vi visat illustrerar också att de kausala förhållandena, med åtföljande antaganden, är<br />
av många slag. Det är meningsfullt att skilja mellan åtminstone tre kategorier.<br />
• En statlig intervention bygger ofta på kausala relationer avseende ett slags fysiskt, biologiskt<br />
eller naturvetenskapligt förhållande. Det handlar alltså om antaganden gällande substans-<br />
frågan. Staten vill att individer, företag, etc. skall göra något mycket konkret och försöker<br />
alltså påverka individer och företag att leva upp till en viss handlingsnorm. Det kan handla<br />
om att sopsortera, sola, anställa viss personal, investera i energihushållning, kalka sjöar,<br />
starta företag etc. Staten vill detta därför att staten antar att dessa handlingar är bra och<br />
leder till positiva processer i samhället. När staten uppmanar landets invånare att minska<br />
på solandet handlar det om att staten har – eller åtminstone anser sig ha – kunskap om<br />
förhållandet mellan solande och malignt melanom. Detsamma gäller sambandet mellan<br />
t.ex. kalkning av sjöar och surhetsgrad eller, för att knyta an till bilden ovan, mellan energianvändning<br />
och koldioxidhalt. Antaganden kan ibland också gälla sociala eller psykologiska<br />
processer. Om t.ex. staten skulle välja att vilja öka lärarnas ämnesmässiga kompetens i syfte<br />
att eleverna skall ”bli duktigare” skulle detta t.ex. bygga på en rad antaganden om vad som<br />
påverkar lärarnas förmåga och hur detta påverkar elevernas ”duktighet”. Dessa antaganden<br />
karakteriseras av att de ofta ligger långt bort i effektkedjan, om vi väljer att rita dem såsom<br />
gjorts här. Sambanden gäller om den åtgärd eller handling staten på något sätt försöker få till<br />
stånd i företag, i kommuner, hos enskilda etc. påverkar ett visst förlopp. Det bör framhållas<br />
att just detta slag av kausala samband också är av den karaktären att de ibland faktiskt går<br />
att pröva genom experiment. Det är t.ex. inte alltför svårt att tänka sig ett experiment som<br />
försöker testa sambandet mellan kalkning och surhetsgrad.<br />
EFFEKTER OCH INTERVENTIONER 41
42 EFFEKTER OCH INTERVENTIONER<br />
• Men interventionen bygger också på antaganden om vad som får individer och organisationer<br />
att handla på ett visst sätt, det är antaganden om vilka faktorer som styr handlingsbenägenheten.<br />
Vad är det som gör att individer kan fås att minska på solandet eller vad ökar t.ex.<br />
kommunernas vilja att kalka sjöar? Vad är det som får villaägare att investera i energisparåtgärder?<br />
Vad är det som får kommuner att anställa lärare och utbilda personal? Detta slag av<br />
antaganden handlar alltså nästan aldrig om fysiska eller biologiska förhållanden. Det handlar<br />
oftare om psykologi, organisationsteori, diffusionsteorier etc.<br />
• Slutligen finns en grupp antaganden som handlar om vad som påverkar förekomsten av<br />
dessa för beslut eller beteenden styrande faktorer, det är antaganden om de olika styrfaktorerna.<br />
Om kunskap om sambandet mellan solande och malignt melanom anses påverka<br />
viljan att sola eller om kunskap om olika energiekonomiska samband avgör benägenheten att<br />
genomföra energihushållningsåtgärder så handlar det om vilka aktörer som har intresse av<br />
att ge en sådan information. Det är kanske mera sannolikt att det finns kommersiella aktörer<br />
som har ett stort intresse av att sprida information om värdet av olika energihushållningsinvesteringar<br />
än om sambandet mellan solande och malignt melanom. Det kan handla om hur<br />
kreditmarknaden ser på t.ex. lån till villaägare för genomförandet av energihushållningsåtgärder.<br />
Om kommunernas villighet att anställa viss personal och/eller utbilda personal påverkas<br />
av t.ex. ekonomiska förutsättningar bygger t.ex. en ekonomisk stimulans till kommunerna<br />
på antaganden om hur kommunernas resurser kommer att utvecklas. Många antaganden i<br />
denna grupp kan därför också handla om undanträngningseffekter. Statliga insatser – oavsett<br />
om det gäller finansiering eller informationsgivning – kan t.ex. tränga undan insatser<br />
från andra aktörer.<br />
Om den första gruppen av antaganden gällde själva substansfrågan handlar de två senare<br />
grupperna antaganden om påverkan och styrning.<br />
Olika interventioner – olika effektfrågor<br />
Det som nu diskuterats handlar om effekterna som sådana och resonemangen som har förts har<br />
inte gjort någon skillnad – mer än möjligen närmast oavsiktligt – mellan olika interventioner, t.ex.<br />
om de är små eller stora. Interventionens karaktär liksom de förhållanden som skall påverkas är<br />
dock avgörande för vilka frågor som kan ställas om interventionen.
Mer eller mindre komplexa interventioner<br />
Det första som skall behandlas är att interventionen, som vi intresserar oss för, kan vara mer eller<br />
mindre sammansatt eller komplex. Om vi tänker oss att staten vill minska alkoholkonsumtionen<br />
så förfogar staten över en rad – åtminstone teoretiskt tänkbara – medel, vi kan tänka oss allt från<br />
totalförbud till informationsinsatser. Och även om vi enbart skulle göra en lista på de åtgärder<br />
staten i praktiken använt sig av för att påverka alkoholkonsumtionen så skulle vi finna att listan<br />
blir mycket lång.<br />
Det är möjligt att välja ut en av de åtgärder eller verksamheter som vi skulle ha skrivit upp på<br />
denna lista och studera effekterna av den. Men vi kan också välja ut en mängd olika åtgärder som<br />
riktar sig till en och samma grupp eller som på något sätt kan sägas tillhöra samma kategori,<br />
t.ex. någon form av förbud eller restriktioner. Vi kan också ta alla åtgärder som finns på listan<br />
och ställa frågor om effekterna på vad som då får beskrivas som ”den svenska alkoholpolitiken”.<br />
Om staten väljer att satsa på upplysning till alla elever i nionde årskursen så får vi betrakta detta<br />
som en tämligen avgränsad insats. Det hindrar inte att man kan vilja ta reda på effekterna av<br />
denna insats. Samtidigt är det också möjligt att ställa frågor om effekterna av ”den svenska alkoholpolitiken”.<br />
Det inses lätt att effektfrågorna kan te sig annorlunda i dessa två fall. I det första<br />
fallet framstår det närmast intuitivt som orimligt att i en studie – oavsett närmare utformning<br />
– försöka ta reda på effekterna i form av förändrade dryckesvanor för dem som exponeras för<br />
kampanjen på längre sikt – kanske 20 eller 30 år – eller att försöka få en bild av hur dryckesvanorna<br />
i samhället i stort påverkats. Och sannolikt är det väl också så att ingen på allvar skulle<br />
ställa denna typ av frågor. Det naturliga är väl här kanske att man försöker se om ungdomarna<br />
uppmärksammat informationen och kanske frågar ungdomarna själva, lärare, kuratorer och andra<br />
om ungdomarnas reaktioner.<br />
I det andra fallet ”den svenska alkoholpolitiken” ter det sig dock inte alls orimligt att vi just skulle<br />
vilja ta reda på effekterna längre fram i effektkedjan. Har den förda alkoholpolitiken påverkat<br />
alkoholvanorna i Sverige? I verkligheten är också frågor av detta slag vanliga. Inom ett område<br />
kan miljard efter miljard ha pumpats ut och rader av administrativa (regulativa) styrmedel ha<br />
använts, och frågan som inställer sig är förstås om allt detta medfört någon nytta. Ofta ställs också<br />
just sådana frågor i t.ex. olika utredningsdirektiv. Frågorna som ställs sträcker sig alltså långt fram<br />
i effektkedjan. En helt annan sak gäller våra möjligheter att besvara denna typ av frågor.<br />
Interventionens tyngd<br />
En annan dimension handlar om faktorns tyngd bland alla andra faktorer som kan påverka. Det<br />
kan invändas att det är just det som vi vill ta reda på genom utvärderingar. Vi vill veta hur mycket<br />
av t.ex. en förändring som förklaras av en viss faktor.<br />
EFFEKTER OCH INTERVENTIONER 43
44 EFFEKTER OCH INTERVENTIONER<br />
Oaktat detta finns det dock situationer där vi redan i förväg kan göra en slags rimlighetsbedömning<br />
av faktorns relativa tyngd i förhållande till andra påverkande faktorer. I vissa fall är avgränsningen<br />
av den insats vi studerar sådan att vi har svårt att tänka oss några andra faktorer – det är<br />
uppenbart att alla andra faktorer är tämligen konstanta. Om en myndighet genomför en reform i<br />
syfte att korta handläggningstiderna och andra faktorer som rimligen kan påverka detta (personalens<br />
kompetens, massmedial uppmärksamhet, ärendenas karaktär etc.) är konstanta är det svårt<br />
att tänka sig att förändringarna har orsakats av annat än interventionen.<br />
Det går förstås att tänka sig liknande situationer vad gäller yttre effekter, även om det är svårare<br />
att konstruera sådana exempel av det skäl som vi berört tidigare – ofta vill staten uppnå dessa<br />
effekter just därför att annat, som också påverkar förutsättningarna för dessa effekter, inträffar.<br />
Det kan dock förekomma att vissa tidigare förändringar i effektkedjan rimligen inte kan ha påverkats<br />
av något annat än interventionen. I en studie av energihushållningsformation konstaterades<br />
t.ex. att ett visst budskap, om hur en grads temperatursänkning påverkade energianvändningen,<br />
hade spridits enbart i den statliga informationskampanjen. Eventuella förändringar av kunskapen<br />
om detta ”monopolbudskap” kunde då helt tillskrivas den statliga kampanjen medan andra<br />
tänkbara kunskapsförändringar kunde ha berott på information som skulle spridits ändå, t.ex. av<br />
kommersiella aktörer. 18<br />
När vi talar om tyngden av interventionen relativt andra faktorer är det oftare fråga om ett slags<br />
rimlighetsresonemang, kanske baserat på olika former av teoribildning. I vissa fall ter det sig helt<br />
enkelt inte rimligt att en mycket begränsad styrinsats på ett område som vi vet påverkas av rader<br />
av andra förlopp kan ha haft särskild betydelse. I andra fall kan vi tänka oss att statens åtgärd<br />
är så drastisk att det knappast går att anta annat än att insatsen är förklaringen till ett aktuellt<br />
skeende – för enkelhetens skull kan vi tänka oss en höjning av skatten på godis med 500 procent.<br />
Hur väldefinierad interventionen är<br />
När vi nu talat om interventioner har det varit underförstått att vi redan från början har en god<br />
bild av vad interventionen faktiskt består av. Det är dock många gånger inte alls självklart att<br />
vi vet detta. Detta kan illustreras med ett exempel, åter från alkoholpolitikens område. Inom<br />
detta område finns ett antal mycket klara och entydiga regleringar. En reglering som förbjuder<br />
spritförsäljning till ungdomar under 20 år är entydig. Förbudet har samma innehåll i varje situation<br />
och för alla som vistas i Sverige. I detta fall är det också klart vems handlande som skall<br />
styras. Eftersom Systembolaget har monopol på spritförsäljning är det ledning och personal i<br />
detta bolag vars agerande skall påverkas. Även utan systematiska studier av hur Systembolaget<br />
implementerar detta förbud är det också rimligt att anta, t.ex. på grundval av de mera personliga<br />
observationer de flesta svenskar har gjort genom att stå i Systembolagets köer, att detta förbud<br />
också implementeras av Systembolaget.<br />
18<br />
Exemplet hämtat från Information som styrmedel (Energisparkommittén, 1983: 85, 89).
I detta fall är det alltså inte nödvändigt att fundera på vad interventionen faktiskt handlar om.<br />
Riksdagen har bestämt att åldersgränsen för inköp på Systembolaget är 20 år och det är detta<br />
förbud som implementeras av systembolaget. En helt annan fråga är om förbudet är bra i den<br />
meningen att det motverkar alkoholkonsumtion inom den aktuella åldersgruppen och om det<br />
ger upphov till illegal spritförsäljning.<br />
Om vi i stället tänker oss ett exempel som innebär att kommunerna genom lag är ålagda att<br />
erbjuda rådgivning till alla som har alkoholrelaterade problem ställs vi inför andra svårigheter.<br />
Själva den statliga insatsen kan tyckas klar, men själva rådgivningen kommer att variera inom<br />
riket i avseende på omfattning, inriktning etc. I verkligheten blir här det allra första problemet<br />
att försöka ta reda på vilken verksamhet som de facto genomförs. När vi senare – möjligen –<br />
uttalar oss om effekterna av den statliga interventionen blir detta ointressant om vi faktiskt inte<br />
kan precisera interventionens innehåll, hur det varierar och hur dessa variationer förhåller sig till<br />
effekterna.<br />
Genom studier av implementeringsprocesser vet vi att just detta även kan vara en viktig fråga. Ett<br />
specifikt bidrag till kommunerna för att stimulera till en viss bestämd typ av insatser i skolorna är<br />
visserligen enkelt i sitt första led – bidraget – men det är inget som säger att det som faktiskt görs<br />
är de insatser staten tänkte sig. Även om vi bortser från, den bl.a. av <strong>Riksrevisionen</strong> påvisade,<br />
risken att pengarna över huvud taget inte går till den tänkta insatsen så kan själva insatsen ha en<br />
mycket skiftande karaktär.<br />
Ett problem som sammanhänger med detta är att olika interventioner kan vara mer eller mindre<br />
direkt riktade till dem som man på något sätt vill påverka. Många interventioner har inte denna<br />
direkta karaktär. Många interventioner bygger på att åtgärder genomförs av olika organisatoriska<br />
mellanled, t.ex. kommuner, organisationer, företag osv. Själva formen på den intervention som<br />
når slutmottagarna kan därför vara svår att fånga in, även om styrmedlet från början ter sig ganska<br />
lätt att få grepp om. I många fall kan vi också notera att det sker en slags styrmedelsväxling.<br />
EU:s direktiv om pengatvätt implementeras i sitt ”slutled” av bankerna, den praxis som växer<br />
fram i bankerna avgör alltså därmed karaktären på denna intervention.<br />
Problemet kan kompliceras av att staten ibland tror sig ha en ganska klar uppfattning om vad interventionen<br />
innebär men att den som interventionen är riktad mot uppfattar den på annat sätt,<br />
sändaren och mottagaren kan alltså ha två olika uppfattningar om vad det faktiskt är för statlig<br />
insats som genomförts. Den första AIDS-delegationen genomförde t.ex. informationsinsatser<br />
som av sändaren ansågs kommunicera ett visst – tolerant och öppet – budskap, men en del av<br />
den avsedda målgruppen ansåg i stället att det uttryckte fördomsfullhet. Studier om effekter som<br />
utgår från sändarens uppfattning om vad som var budskapet skulle därmed i verkligheten ha<br />
studerat en annan insats än den som i verkligheten nådde mottagarna.<br />
Detta bidrar till att det i en utvärdering kan vara oklart hur den intervention ser ut som faktiskt<br />
skall utvärderas.<br />
EFFEKTER OCH INTERVENTIONER 45
46 EFFEKTER OCH INTERVENTIONER<br />
En färsk utvärdering illustrerar detta problem. Utvärderingen är en jämförelse av olika metoder<br />
eller program mot mobbing. Ett av de problem utvärderarna ställdes inför var att inte en enda<br />
skola använde ett enda program för sitt arbete mot mobbing. Skolorna använde istället inslag<br />
hämtade från olika program. Utvärderarna fokuserade därför istället enskilda insatser, eller komponenter,<br />
som ingick i olika program. En sådan analys kan dock i ett följande steg också föras<br />
tillbaks till den ursprungliga programnivån (Skolverket 2011).<br />
Kunskapen om de förhållanden som skall påverkas<br />
Ofta är de skeenden som staten försöker påverka komplexa. Ibland finns det dock en betydande<br />
kunskap om dessa skeenden. Så finns det betydande forskning om vad som t.ex. genererar trafikolyckor,<br />
och vilken betydelse olika faktorer (vägarnas standard, bilarnas egenskaper, körbeteende<br />
etc.) har. Det finns också kunskap om hur t.ex. olika hastighetsgränser påverkar de faktiska hastigheterna.<br />
Trafiksäkerhet är alltså ett område om vilket det kan hävdas att insikterna om centrala<br />
kausala sammanhang är relativt goda, låt vara att en trafikforskare säkert skulle kunna peka på<br />
områden där kunskapen är bristfällig eller osäker.<br />
Många samhälleliga förhållanden är dock inte bara komplexa utan insikterna om kausala sammanhang,<br />
t.ex. i de tre avseenden som behandlades på sidan 41 och 42, är bristfälliga och kanske<br />
ofta omstridda.<br />
Många frågor som politikerna ägnar kraft åt har just denna karaktär. De tillhör det som man<br />
ibland talar om som wicked questions. Ett exempel på en väldefinierad intervention som försöker<br />
påverka ett extremt komplext förlopp är det studiesociala systemet, som tidigare använts som<br />
exempel. När detta konstruerades under 1960-talets första hälft angavs som ett mål social och<br />
ekonomisk utjämning av möjligheterna att bedriva högre studier. Det inses lätt vilken mängd<br />
faktorer som påverkar detta och de intrikata samband som finns mellan dessa. Och det inses<br />
också lätt att det kring många av dessa faktorer kan finns mycket olika uppfattningar, både bland<br />
forskare och politiker.<br />
Våra möjligheter att hantera effekter av statliga interventioner påverkas således av en rad faktorer<br />
som både har att göra med interventionen och med de skeenden som skall påverkas. De resonemang<br />
som här förts visar på följande: Principiellt sett finns det vissa grundläggande teoretiska<br />
problem när det gäller att mäta effekter. Men det är också så att våra möjligheter att hantera<br />
dessa problem, på ett sådant sätt att vi ändå med viss tillförlitlighet kan uttala oss om effekter,<br />
varierar och beror på en rad omständigheter. Det finns dock effektfrågor där de praktiska svårigheterna<br />
är så stora att det vore förmätet av någon utvärderare att hävda att vi med tillförlitlighet<br />
kan uttala oss om effekterna – åtminstone på ett mer precist sätt.
Sidoeffekter<br />
Av de tidigare definitionerna av effekter och mål följer att effekter som sker till följd av en statlig<br />
intervention inte behöver ha med målen att göra.<br />
Och i utvärderingsforskningen talas också ofta om sidoeffekter, de kan vara positiva eller negativa.<br />
Vid sidan av de effekter som ligger i målens riktning kan en rad andra effekter inträffa, som<br />
ibland kan vara positiva och avsedda.<br />
Detta beror förstås också på hur målet formuleras. Ofta kanske målet är ett resultat av en kompromiss<br />
där man valt att fokusera just på några av de effekter som man rimligen inser kommer<br />
att följa på interventionen. Det kan t.o.m. vara så att dessa effekter, för vissa av de politiska<br />
grupperingar som genom en kompromiss kommit överens om ett visst mål, är de som man i<br />
verkligheten eftersträvar.<br />
Uttrycket sidoeffekter, eller bieffekter, är därför något förledande. Det är lätt att uppfatta dem som<br />
en bisak, något marginellt som sker vid sidan av det huvudsakliga. Det torde vara möjligt att i<br />
stället hävda att huvuddelen av effekterna som uppstår vid en intervention inte har med målen<br />
att göra. Och även om inte interventionen leder till de avsedda effekterna utesluter det inte olika<br />
unanticipated consequences för att använda ett uttryck som myntades av Merton (1936). Diskussionen<br />
om sidoeffekter är inte bara centralt i utvärderingssammanhang. Det är över huvud taget<br />
centralt i diskussionen om politik och maktutövning. Lukes pekar i sin diskussion om maktbegreppet<br />
att ”what actors intentionally do always generates chains of unintended consequences”<br />
(Lukes, 2005:76).<br />
Inom utvärderingsområdet har det utvecklats en hel begreppsapparat för sådana andra effekter<br />
än de som interventionen är inriktad på, det talas om avsedda och oavsedda bieffekter, förutsedda<br />
och oförutsedda, positiva och negativa (t.ex. Vedung, 2009:108).<br />
Om staten genomför en intervention av något slag – det kan handla om ett förbud, ett påbud,<br />
en ekonomisk stimulans eller ett ekonomiskt avskräckningsmedel, en kunskapshöjande åtgärd<br />
etc. – kan denna ge upphov till rader av effekter under en mycket lång tid. En ändring i normerna<br />
för husbyggande påverkar uppenbarligen hur husen ser ut många decennier därefter. En ändring<br />
i skolsystemet kan också naturligen ha mycket långsiktiga effekter, etc.<br />
Effekterna kan alltså sträcka sig över lång tid, men de kan också återfinns inom områden som<br />
inte har så mycket med den ursprungliga interventionen att göra. Ett exempel som inte är en statlig<br />
intervention är t.ex. Putnams resonemang om de negativa effekterna på det sociala kapitalet<br />
som följde av 1950-talets spridning av televisionen i USA. Enkelt sammanfattat: Tv har bidragit till<br />
att vi deltar allt mindre i föreningar och andra verksamheter som gör att vi bygger upp förtroende<br />
och bidrar till socialt kapital.<br />
EFFEKTER OCH INTERVENTIONER 47
Det är möjligt att på olika sätt kategorisera olika sidoeffekter. Här skall en uppdelning göras. Sidoeffekter<br />
kan uppkomma som en följd av det materiella innehållet i den statliga interventionen,<br />
alltså det som staten vill få till stånd, själva styrnormen. Ett exempel kan illustrera detta. Det<br />
flitiga isolerandet av byggnader som drevs på av statliga bidrag under 1980-talet ledde till ökade<br />
problem med mögel i olika hus.<br />
För det andra kan bieffekter uppkomma som ett resultat av styrningens formella struktur, själva<br />
styrtekniken. Vi kan t.ex. föreställa oss en långtgående reglering som – möjligen – är synnerligen<br />
effektiv i så måtto att det uttalade syftet med regleringen uppnås. Däremot får dess genomförande<br />
effekter på den personliga integriteten.<br />
Slutligen kan bieffekter också ge upphov till effekter inom och utom målområdet. Det kan alltså<br />
vara fråga om effekter som går att kvantifiera efter samma variabler som de avsedda effekterna av<br />
den statliga insatsen. Många bieffekter kan dock också anses ligga utanför målområdet.<br />
Figur 4: Sidoeffekter<br />
Inom<br />
målområdet<br />
Effekter<br />
Utom<br />
målområdet<br />
48 EFFEKTER OCH INTERVENTIONER<br />
Styrningens<br />
materialla<br />
innehåll<br />
Orsaker<br />
Styrningens<br />
formella<br />
struktur<br />
1 2<br />
3 4<br />
När det staten gör skall bedömas får vi alltså en mycket begränsad bild av verkligheten om vi<br />
helt fokuserar på målen. Måluppfyllelsen kan – som framgått – ha uppnåtts oberoende av den<br />
statliga insatsen och de resurser som åtgått för denna är alltså felanvända. Men även i de fall<br />
målen nåtts till följd av interventionen, och denna alltså kan ses som en god resursanvändning,<br />
kan interventionen leda till andra effekter som kan förstärka interventionens plussida men som<br />
också kan leda till negativa effekter som överstiger interventionens positiva värde.
4. HUR VÄL KAN VI DÅ TA REDA PÅ<br />
EFFEKTERNA?<br />
I det föregående avsnittet visades att de statliga verksamheter om vars effekter vi kan spörja<br />
kan vara mycket olika. Det kan vara fråga om en enkel ”rak” intervention, men det kan också<br />
vara fråga om en mycket sammansatt, och kanske svårdefinierad, intervention som syftar till att<br />
påverka ett skeende med, om uttrycket tillåts, tillrörda kausala förhållanden.<br />
Resonemanget avser att vi också måste gå till väga på olika sätt när vi försöker besvara frågorna<br />
om effekterna. Detta är också något som, förhoppningsvis, kommer att tydliggöras i den kommande<br />
genomgången av hur effektfrågan kan angripas. Framställningen här är kortfattad, det<br />
finns rader av böcker som beskriver olika metoder. Fokus ligger inte på tekniken utan på frågan<br />
om ”möjligheter och gränser”.<br />
Hur en sådan genomgång skall läggas upp är dock inte självklart. Många läroböcker bygger på att<br />
man börjar framställningen med de metoder som författaren anser starkast och därefter tar övriga<br />
metoder i en slags fallande ordning. Det innebär i praktiken att RCT (Randomized Controlled<br />
Trials) kommer först och därefter alla olika kvasiexperimentella uppläggningar och därefter övriga<br />
uppläggningar. En sådan disposition ger därmed uttryck för en ståndpunkt i metodfrågor som<br />
kan diskuteras.<br />
Av pedagogiska skäl är det dock svårt att helt frångå denna struktur och den kommer därför att gå<br />
igen även här. Det är därför desto viktigare att peka på några skillnader mellan några olika synsätt<br />
på hur effektfrågan kan attackeras.<br />
Många studier av effekter bygger på att en viss intervention relateras till det som är den avsedda<br />
förändringen med interventionen. En kampanj för att minska tobaksrökning skulle därmed naturligen<br />
relateras till förändringar i rökvanor. Genom sådana studier kan vi alltså veta om en viss<br />
intervention orsakat en viss förändring. Därmed fokuserar inte sådana studier på själva den<br />
process som leder fram till att en insats påverkar ett visst skeende. Vi får alltså, i exemplet, inte<br />
veta om det var förekomsten av vissa kulturella faktorer som gjorde att kampanjen hade vissa<br />
effekter. Vi får inte heller veta om kampanjens effekter hade varit andra om t.ex. cigarettpriserna<br />
hade varit lägre eller högre.<br />
Till en helt annan grupp kan vi föra studier som försöker fokusera på de mellanliggande stegen.<br />
Detta kan göras på många olika sätt, och med många redskap, men på något sätt försöker man i<br />
HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 49
50 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />
sådana effektstudier fokusera på frågan om hur den konstaterade effekten eller icke-effekten kan<br />
förklaras. Det finns många företrädare för detta synsätt.<br />
Det är också möjligt att göra en åtskillnad mellan studier beroende på i vilken kausal riktning de<br />
rör sig. De allra flesta studier av effektanalyser börjar med att beskriva insatsen och därefter ställa<br />
den mot en förändring på den variabel som insatsen syftar till att påverka. Studien börjar alltså<br />
med en tänkbar orsak och försöker ta reda på om denna också faktiskt gett effekter. Det är dock<br />
möjligt att försöka skaffa sig en bild av effekter av en intervention genom att gå i motsatt riktning<br />
mot de kausala sambanden. Det handlar om att med utgångspunkt från ett skeende i samhället<br />
försöka se på vilka faktorer som närmast förklarar detta skeende och därefter se på om den statliga<br />
interventionen varit inriktad på dessa faktorer. Några gånger har uttrycket baklängesmetoden<br />
använts om detta angreppssätt.<br />
Jag går nu över till den utlovade, och summariska, genomgången av olika uppläggningar med<br />
början med olika former av experimentella uppläggningar. Det finns en rad metodböcker som<br />
detaljerat beskriver sådana. De böcker som tas upp i rutan får betraktas som exempel.<br />
Några böcker som tar upp experimentella uppläggningar.<br />
En rad läroböcker i olika samhällsvetenskapliga ämnen beskriver uppläggningar av olika<br />
slags experiment. Här kan nog de flesta hitta något genom att botanisera i egna hyllor<br />
eller i <strong>Riksrevisionen</strong>s bibliotek. Några exempel från utvärderingslitteraturen:<br />
Sandahl, Rolf (1991) Resultatanalys, särskilt kapitel 5.5. RRV<br />
Sandahl, Rolf (1996) Att mäta effekter, andra delen. RRV<br />
Vedung, Evert (2009) Utvärdering i politik och förvaltning, kapitel 13 och 14<br />
(3:e upplagan). Studentlitteratur<br />
Mohr, Lawrence B. (1992) Impact Analysis for Program Evaluation, kapitel 4 och 8 men<br />
också flera andra kapitel. Sage Publications.<br />
Peter H. Rossi, Mark W. Lipsey & Howard E. Freeman (2004) Evaluation –<br />
A Systematic Approach, Seventh edition, kapitel 6-9. Sage Publications.<br />
Smith, Nick L. & Paul R.Branden (ed) (2008) Fundamental Issues in Evaluation,<br />
kapitel 4 ”Multipe Threats to the Validity of Randomized Studies”<br />
(av Judith A. Droitcour och Mary G. Covar). The Guilford Press.<br />
Patton, Michael Q (2008) Utilization-Focused Evaluation, 4 th Edition, bl.a. kap 12.<br />
Sage Publications.
”Riktiga” experiment -RCT<br />
I grunden handlar ett experiment om att jämföra två situationer: en situation som har påverkats<br />
av en faktor, t.ex. ett statligt styrmedel som man vill undersöka effekterna av, och en annan situation<br />
där denna faktor saknas. Experiment kan ha mer eller mindre starka uppläggningar.<br />
Starkast – och allra överst i läroböckerna – kommer därför det randomiserade experimentet<br />
(RCT). Det innebär alltså att vi slumpmässigt fördelat ett antal individer – eller något annat – på<br />
två grupper på ett sätt som gör det lika sannolikt att en individ hamnar i den ena eller andra<br />
gruppen. Den ena gruppen utsätts för en viss åtgärd, den andra gruppen – kontrollgruppen – gör<br />
det inte. 19 Grupperna förutsätts alltså vara lika utom i avseende på den faktor som experimentgruppen<br />
utsätts för och som mäts före eller efter en viss intervention. Exakt hur detta kan göras<br />
– och också vissa problem – beskrivs i olika metodböcker. I statliga sammanhang är sådana<br />
experiment ovanliga. Inom arbetsmarknadspolitiken hänvisas dock till ett par sådana experiment<br />
(RiR, 2007:12: 48).<br />
Även i det praktiska experimenterandet finns det några problem som tidigt tilldrog sig uppmärksamhet<br />
i diskussion om experimentella uppläggningar, och det var de som vanligen uppträder<br />
under namnet Hawthorneffekten, med andra ord att själva experimentet – intresset från omgivningen<br />
– är det som skapar effekten. 20<br />
På en rad områden hanteras detta med hjälp av dubbelblindförfaranden (varken de individer som<br />
deltar eller den som genomför experimentet vet vem som tillhör experiment- eller kontrollgruppen)<br />
och både grupperna får synbarligen samma behandling (experimentgruppen på låtsas, placebo).<br />
En lösning på olika försökseffekter som ibland rekommenderas i litteraturen är då Solomons<br />
fyrfältsuppläggning. I denna kan man bedöma effekten av själva mätningen. Genom att se på<br />
skillnaden mellan de två experimentgrupperna och skillnaden mellan de två kontrollgrupperna<br />
kan vi få en uppfattning om storleken på vad vi kan tala som mäteffekten.<br />
Figur 5: Solomons fyrfätsuppläggning<br />
Typ av urval Mätning Åtgärd Mätning<br />
Experimentgrupp Slumpmässigt O X O<br />
Kontrollgrupp Slumpmässigt O O<br />
Experimentgrupp Slumpmässigt X O<br />
Kontrollgrupp Slumpmässigt O<br />
19 Vedung framhåller här att det bör observeras att detta är något helt annat än ”random sampling” (2009:226).<br />
20 Namnet kommer från ett fabrikskomplex i Illinois. Experimentet gällde bl.a. belysningen i fabrikslokalerna och<br />
att produktiviteten förväntades öka om det blev ljusare, men produktiviteten ökade också när det blev mörkare.<br />
Detta finns utförligt beskrivet i ett otal läroböcker.<br />
HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 51
52 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />
Det är svårt att hitta exempel på att sådana undersökningar genomförts i en mera renodlad form<br />
i statliga sammanhang. Detta torde inte bero på principiella skäl utan kanske fram för allt på<br />
kostnaderna.<br />
Men även om denna uppläggning löser problemet med det som här beskrivits som försöks- eller<br />
undersökningseffekten så kan informationen om själva experimentet ändå spilla över till kontrollgruppen,<br />
något som senare skall utvecklas något ytterligare.<br />
Matchad kontroll<br />
I princip är här grundtanken densamma som vid slumpmässigt urval, skillnaden är att likheten<br />
inte sker genom slumpmässighet utan genom att vi försöker hitta grupper som är så lika som<br />
möjligt i alla avseenden som man tror har betydelse. Ett exempel på detta är när den statliga<br />
energisparkommittén på slutet av 1970-talet skulle ta reda på vad som kan uppnås med särskilt<br />
intensiva informationsinsatser. Kommunerna i Blekinge var då experimentgruppen. Som<br />
kontrollgrupp valdes ett antal andra kommuner, som ansågs lika i avseende på åldersstruktur,<br />
näringsstruktur, utbildningsnivå, boendeformer osv.<br />
Den matchade kontrollen bygger alltså på att utvärderaren eller den som svarar för experimentet<br />
har en uppfattning om vilka faktorer som är neutrala och vilka som är påverkande. Problemet är<br />
förstås att eftersom själva experimentet kan bygga på en föreställning om just dessa faktorer så<br />
fortplantas dessa till själva utvärderingen.<br />
Nära detta upplägg ligger att man i efterhand försöker hitta en jämförbar grupp till den som man<br />
faktiskt riktat en åtgärd mot. Om det finns minst en mätning före interventionen och minst en<br />
efter så kan utvecklingen jämföras med utvecklingen för samma tidsperiod i en eller flera större<br />
populationer som den mindre gruppen kan sägas tillhöra. Om utvärderingen gäller en åtgärd<br />
som genomförts i en kommun kan utvecklingen i denna kommun jämföras med utvecklingen<br />
i andra kommuner, t.ex. i samma län eller kommuner som är lika i avseenden som anses relevanta.<br />
Exempel på sådan generisk kontroll beskrivs av Vedung (Vedung, 2009:241).<br />
Problemet med dessa slag av uppläggningar, som bygger på jämförelser mellan grupper, är bl.a.<br />
att just det förhållandet att vissa individer eller organiserar låter sig exponeras för styrningen är<br />
att man redan från början kan antas skilja sig från dem som inte gör detta val. De som t.ex. väljer<br />
att delta i en utbildning, som väljer att låta den kommunala energirådgivaren titta på sitt hus etc.,<br />
kan åtminstone misstänkas vara andra än de som inte gör detta. Fallgroparna är alltså många.<br />
Och det finns inget annat sätt att hitta dem än att faktiskt diskutera eller analysera den aktuella<br />
verksamheten i sak. I exemplet handlar diskussionen om vad det är för faktorer som påverkar<br />
hushåll att t.ex. genomföra energireducerande investeringar i sina hus. Och i det konkreta exemplet<br />
skulle en studie av effekterna också i ett inledande skede ägna uppmärksamhet åt vilken<br />
kunskap som faktiskt finns om detta i t.ex. tidigare utvärderingar.
Experiment i statlig verksamhet<br />
Ofta avfärdas experimentella uppläggningar i offentlig verksamhet med snabba hänvisningar till<br />
etiska problem och mera allmänna påståenden om svårigheter att genomföra experiment.<br />
Med tanke på den betydelse som RCT och andra experimentella uppläggningar har haft i evidensdiskussionen,<br />
och också för att det t.o.m. ibland hävdas att offentlig verksamhet skall ordnas<br />
så att det går att pröva dess värde genom experiment, skall dock diskussionen om detta något<br />
utvecklas. De problem vi möter i dessa sammanhang ligger på flera plan. Det första – och kanske<br />
självklara – är att vi även i mycket kraftfulla experimentella uppläggningar inte kan vara säkra<br />
på att den skillnad vi kan iaktta förklaras av just den faktor som vi försöker utröna effekterna av.<br />
Problemet har att göra med att vi många gånger kan misstänka att det kan finnas en risk att grupperna<br />
redan ”från början” inte är lika och/eller att kontrollgruppen på något sätt ändå utsatts<br />
för experimentet, det har så att säga spillt över. Rent praktiskt kan vi tänka oss att det skrivs om<br />
experimentet, det kan t.o.m. vara så att ansvariga politiker med visst ståhej meddelar att de nu<br />
skall satsa på det ena eller det andra och därför kommer att bedriva en försöksverksamhet som<br />
också mera ingående beskrivs.<br />
Detta problem har förstås samband med karaktären på statliga interventioner – och även då de<br />
genomförs som försöksverksamhet. Om interventionen – för att ta en motsatt ytterlighet – gäller<br />
ett biologiskt förlopp bland klonade råttor, som alltså biologiskt sett är exakt lika, är situationen<br />
en helt annan.<br />
Vi kan också – och här erinrar vi om tidigare resonemang – tänka oss experiment för att ta reda<br />
på om själva den handling staten försöker få till stånd påverkar ett visst skeende, t.ex. om kalkade<br />
sjöar ”mår bättre” än okalkade.<br />
När det däremot gäller att ta reda på hur en viss intervention påverkar människors eller organisationers<br />
beteenden är situationen en annan. Här finns det dock anledning att skilja mellan<br />
interventioner där det är en enskild individ och ett väl definierat beteende som står i fokus och<br />
interventioner som bygger på t.ex. interaktion mellan olika aktörer.<br />
I det första fallet där det kanske handlar om en väl avgränsad terapeutisk åtgärd, t.ex. inom socialt<br />
arbete eller kriminalvård, ter sig problemet annorlunda än i det senare fallet. Det finns en<br />
omfattande diskussion om möjligheterna att bygga säker kunskap (evidence) även i det första<br />
fallet men det torde i vart fall vara obestritt att det är svårare ju mer komplex interventionen är.<br />
Innebörden av detta är att det finns anledning att känna stor tvekan till hur säker kunskap vi kan<br />
få, genom experiment, om effekterna av många statliga verksamheter. Att t.ex. experimentera<br />
med olika former av studiefinansiering för att ta reda på effekterna av olika lösningar på socioekonomisk<br />
utjämning ter sig vanskligt, detsamma gäller olika metoder för att få bukt med smuggling<br />
av t.ex. narkotika.<br />
HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 53
Det är däremot möjligt att tänka sig att vissa ”lågnivåinterventioner” kan genomföras med RCT<br />
(eller andra experimentella uppläggningar) i olika sammanhang. Vi kan tänka oss att vi vill ta<br />
reda på hur en viss tänkbar offentlig rådgivning till villaägare kan påverka deras benägenhet att<br />
genomföra energihushållningsåtgärder i sina hus. Rimligen borde vi här kunna skapa experiment<br />
och kontrollgrupper som uppfyller höga krav på ”likhet” i alla de avseenden som vi anser lika.<br />
Genom den typen av uppläggningar som beskrivs i metodböcker kan vi också eliminera s.k.<br />
försöksverksamheter, m.a.o. effekten som uppstår av att man vet att man deltar i ett experiment<br />
(t.ex. Salomons teknik).<br />
Hur är det då med etiken? Det är svårt att se några etiska betänkligheter med detta. Många<br />
interventioner jämförs i olika omfattning och vid olika tidpunkter i t.ex. olika kommuner. Att<br />
dessa skillnader kan ”tämjas” för mätsyften är det svårt att uppfatta som etiskt tveksamt.<br />
En konklusion av detta är därför att de etiska problemen snarast överbetonats medan de mer<br />
metodmässiga kanske betonats för litet.<br />
Tidsserieanalyser<br />
54 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />
I de mera experimentella metoder som nu behandlats används någon form av tidsserie. I metodböckerna<br />
kan vi också hitta varianter på tidsserieanalyser gällande enbart den grupp som utsatts<br />
för en viss intervention. Sådana tidsserieanalyser bygger på att vi har data om förhållanden både<br />
före och efter interventionen. Olika former av tidsserier existerar ofta ”naturligt”, alltså oberoende<br />
av planerade utvärderingar. Vi har en statistikproduktion, som gäller rader av variabler kring<br />
konsumtion, hälsa, sysselsättning, fritidsvanor etc. Vi har också olika former av statistik i form av<br />
data i olika myndigheters och kommuners administrativa system.<br />
Om vi tänker oss att riksdagen anvisar pengar som kommunerna får söka för att genom biblioteken<br />
stimulera ungdomar till ökat bokläsande, som möjligen är ett inaktuellt exempel, skulle vi<br />
möjligen kunna tänka oss att vi använder befintlig statistik från bibliotekens utlåning.<br />
Vi skulle därmed kunna få en tidsserie som visar utlåningen av viss litteratur till ungdom i en<br />
ganska lång serie före bidragets införande. Och därefter också utvecklingen efter införandet av<br />
de statliga bidragen.<br />
I praktiken kanske en sådan uppläggning skulle kompletteras med enkäter till bibliotekspersonal<br />
och kanske också ungdomarna själva.<br />
Tidsserier kan uppfattas som en ganska svag uppläggning. Ett viktigt skäl till detta är det som<br />
lyftes fram redan i inledningen till denna PM. Statliga interventioner sker ofta därför att något<br />
annat skett som i sin tur har en ”egen påverkan” på den resultatvariabel man är intresserad av.
Det skall dock inte avfärdas alltför lättvindigt. Tidsserieanalyser måste kompletteras med en<br />
intelligent rimlighetsanalys. Den intelligenta frågan som alltid måste ställas är: Givet allt vi anser<br />
oss veta om detta område finns det någon annan faktor som rimligen kan ha påverkat skeendet?<br />
Detta innebär att vi måste konstruera olika former av teorier för det kausala skeendet. Vad påverkar<br />
benägenheten att röka? Vad påverkar trafikolyckor, vad påverkar benägenheten att bedriva<br />
högre studier etc.? En tidsserieanalys kan alltså kombineras med olika former av interventionsteorier<br />
och med den kunskap som finns om vad som påverkar ett visst skeende.<br />
Alldeles uppenbart finns det situationer där vi tror oss kunna vara rimligt säkra på att ingen<br />
annan faktor rimligen kan ha förklarat en förändring.<br />
Tidsserieanalys i flera steg<br />
Effektanalyser kan också direkt utgå från en modell av det kausala förlopp som kan leda fram till<br />
det man vill uppnå. Sådana analyser använder serier av data kring ett antal olika variabler, och<br />
genom att gå in på olika punkter i den kausala kedjan kan vi få grepp om just hur styrmedlet<br />
kommit in.<br />
Om vi återvänder till exemplet malignt melanom så skulle vi kunna t.ex. tänka oss data kring<br />
”uppmärksammande” av information, kunskap om sambandet mellan solande och malignt<br />
melanom, skattningar av ”det egna solandet” och/eller användande av solskyddsmedel, vi kanske<br />
också kan få fram försäljningssiffror på solskyddsmedel osv.<br />
I princip bygger sådana resonemang på en slags stegvis process där vi så att säga försöker spåra<br />
effekterna framåt. När vi fått reda på hur många som uppmärksammat informationen, tar vi<br />
reda på om det finns en korrelation mellan uppmärksammande av information och kunskaper, vi<br />
försöker därefter ta reda på sambandet mellan kunskap och beteende. Möjligen kan vi använda<br />
försäljningssiffrorna som indikator på faktiska beteendeförändringar.<br />
Detta slag av uppläggning kan komplettera en tidsserie som rör enbart t.ex. utfallsdata. De metod-<br />
mässiga fallgroparna är dock många. Det är uppenbart att en positiv korrelation – som är antaglig<br />
mellan uppmärksammande av information och ökad kunskap – beror på att de som redan<br />
från början har goda kunskaper kan tendera att uppmärksamma informationen mera. Och de<br />
som har vidtagit en viss åtgärd tenderar att uppmärksamma information om denna mera än<br />
andra och de tenderar också att utnyttja t.ex. bidrag eller skatteavdrag oavsett om det var det<br />
som påverkade deras handlande (free riders-problemet). Många utvärderingar som använder<br />
sig av detta slag av stegvissa korrelationer tenderar därför att visa på positiva effekter av ett visst<br />
styrmedel.<br />
HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 55
Det stora problemet handlar dock om att utgångspunkten för en sådan utvärdering är just den<br />
kausala föreställning som ligger bakom insatsen, att t.ex. ökad kunskap av visst slag styr beteendet.<br />
Och det är exakt samma antaganden som ligger till grund för informationsinsatsen. Det<br />
är alltså lätt att hamna i en sådan där man pekar på att verksamheten varit effektiv, men enbart<br />
under förutsättning att de ursprungliga verksamhetsantagandena var riktiga. Och dessa har ju<br />
inte prövats i utvärderingen – de har i stället tagits för givna.<br />
Simuleringar<br />
56 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />
I en rad sammanhang används simuleringar som ett sätt att konstruera fram en alternativ utveckling,<br />
som inte påverkats av den statliga intervention som studeras.<br />
Själva idén med simuleringar är i grunden enkel. Vi utgår från en föreställning om vilka faktorer<br />
som påverkar människorna i det ”icke intervenerande tillståndet”. Simuleringen måste därför<br />
bygga på både en teoretisk ram om vilka faktorer som påverkar viljan att genomföra en viss<br />
åtgärd eller ändra ett visst beteende och data om utvecklingen av dessa faktorer. Detta kan illustreras<br />
med ett exempel.<br />
I en undersökning av Kurt Wickman, vid dåvarande Statens institut för byggnadsforskning i<br />
mitten av 1980-talet, som gällde effekter av energisparstöd konstrueras ett referensalternativ –<br />
om man så vill en tänkbar kontrafaktisk utveckling. Denna byggde på den faktiska utvecklingen<br />
under en 15-års period under vilken statlig styrning via lån och bidrag inte förekom. Energiförbrukningen<br />
kan i det ostyrda läget beskrivas enbart med hjälp av marknadsargument, dvs. priser<br />
och inkomster. Vid punkten B i diagrammet förändras situationen. Priserna stiger och lån och<br />
bidrag som syftar till att stimulera minskad användning introduceras. Fallet är alltså typiskt för<br />
statliga interventioner. När staten intervenerar har samtidigt något annat skett som också påverkar<br />
det framtida skeendet.<br />
Wickman använder de tidigare mätningarna av marknadsanpassningens styrka (AB) på den<br />
efterföljande perioden för att sortera bort markadens egna anpassningsmekanismer. Detta result-<br />
erar i att det högre priset och inkomstförändringar ensamt skulle få till följd att energiförbrukningen<br />
skulle följt BC. Men i verkligheten följer energianvändningen linjen BD.<br />
Skillnaden kan ses som en effekt av energisparstödet. Men det är uppenbart att andra inslag<br />
också finns i denna restpost. Skillnaden, konstaterar därför Wickman, visar på den största<br />
möjliga effekten. Noggrannare studier förutsätts dock för att precisera den faktiska effekten och<br />
hur mycket av denna största möjliga effekt som kan förklaras av den teknologiska utvecklingen<br />
under perioden.
Figur 6: En modell för att spåra effekter av energisparstöd (Wickman 1987)<br />
Energiförbrukning<br />
A<br />
Införande av lån och bidrag<br />
Falsifierings- eller baklängesmetod<br />
B<br />
Teoretisk förbrukningsnivå<br />
Verklig förbrukningsnivå<br />
Det vi hittills talat om är alla utvärderingsuppläggningar som bygger på att vi på något sätt utgår<br />
från själva insatsen och därefter försöker relatera denna till något som hänt. Innebörden är att vi<br />
kan sägas söka effekterna, vi går i de kausala sambandens riktning.<br />
Det är också möjligt att försöka skaffa sig en bild av effekterna genom att gå i motsatt riktning.<br />
Det handlar om att med utgångspunkt av ett skeende i samhället först försöka se på de omedelbara<br />
orsakerna till detta skeende och därefter rulla upp orsakerna steg för steg. Analysen av orsakerna<br />
blir ett medel för att ta reda på effekterna. Några gånger har uttrycket baklängesmetoden<br />
använts om detta angreppssätt. 21<br />
Metoden innebär alltså att vi ser på förändringen av den variabel staten försökt påverka, det kan<br />
handla om <strong>ned</strong>gång i spridningen av sexuellt överförbara sjukdomar, färre trafikolyckor etc. Vi<br />
kan därefter se på vilka faktorer som enligt tillgänglig statistik påverkat utvecklingen, som vi nu<br />
21 Det sätt som här beskrivs när det gäller att attackera effektfrågan har tyvärr inget riktigt bra namn. Nilstun (1984:140)<br />
talar om orsaksanalys i stället för effektanalys och i dessa benämningar ligger därmed att det handlar om olika<br />
riktningar av kausala samband. Problemet är att det i ett mera vardagligt utvärderingsspråk blir konstigt eftersom<br />
orsaksanalysen i detta snarast kan ses som en metod för att göra effektanalysen. Det är i stället möjligt att tala om ett<br />
slags falsifieringsmetod eftersom det handlar om att stegvis falsifiera (den underförstådda) hypotesen om vad som<br />
kan ge effekter. Evert Vedung kallade den rätt och slätt för ”baklängesanalys” i ett yttrande från Uppsala universitet<br />
över en myndighetsrapport.<br />
E<br />
C<br />
D<br />
Tid<br />
HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 57
58 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />
för enkelhetens skull tänker oss ha gått i önskad riktning. Det kan i det ena fallet handla om ökad<br />
kondomanvändning, minskad sexuell aktivitet, senare sexuell debut, ändrad frekvens av smittkritiska<br />
sexuella tekniker eller, vad gäller trafikolyckor, ändrad sammansättning av fordonsparken,<br />
förändrat körbeteende, ombyggnad av farliga vägsträckor och så vidare.<br />
Det gäller alltså att med hjälp av tillgänglig statistik och olika analyser klargöra vilka faktorer som<br />
i huvudsak, så att säga i närmast föregående steg, förklarar förändringen i den variabel man ville<br />
påverka. I vissa fall kan förklaringarna därefter fortsätta i flera steg. Körbeteende kan t.ex. delas i<br />
hastighet, beteende vid omkörningar etc.<br />
Jag skall ytterligare illustrera detta med ett schematiskt exempel. Riksdagen vill att koldioxidutsläppen<br />
skall minska. Detta kan ske genom en arsenal av politiska åtgärder, bidrag eller<br />
skattelättnader för vissa fordon, motsvarande åtgärder för att minska användningen av t.ex. olja<br />
för uppvärmning av byggnader osv. 22<br />
En analys av effekterna kan då bygga på att man i ett allra första steg tar reda på om det över<br />
huvud taget har skett någon minskning av utsläppen. Detta steg, som förmodligen är det<br />
lättaste, följs av ett steg där minskningen fördelas på olika utsläppskällor (bilar, bostäder, industri<br />
etc.). I det därpå följande steget, låt oss ta bostäder, kan utsläppsminskningen fördelas på t.ex.<br />
olika kategorier av fastigheter men också därefter på om den kan förklaras av tekniska åtgärder<br />
i husen (t.ex. isolering), tekniska installationer eller beteendeförändringar. Hur långt en sådan<br />
mera ”fysisk” analys kan drivas beror förstås på tillgänglig statistik och hur mycket studier som<br />
gjorts inom området.<br />
Om nu förändringen i huvudsak beror på en faktor som staten över huvud taget inte försökt att<br />
påverka kan hypotesen om den statliga styrningens effekter sägas vara falsifierad. Om t.ex. staten<br />
– i ett fiktivt exempel – som huvudsakligt medel för att minska spridningen av sexuellt överförbara<br />
sjukdomar propagerat för senare sexuell debutålder och denna inte alls förändrats trots en<br />
<strong>ned</strong>gång i spridningen av sexuellt överförbara sjukdomar är en rimlig slutsats att statens styrning<br />
inte förklarar denna <strong>ned</strong>gång. Metoden gör det möjligt att begränsa det möjliga utrymmet för<br />
effekter utan att tala om vilka effekterna faktiskt är. Om vi däremot kan konstatera att utvecklingen<br />
inte bara gått i den av staten önskade riktningen utan också att detta helt eller delvis förklaras av<br />
en faktor som styrningen inriktades på måste vi gå vidare. Detta förhållande ensamt verifierar<br />
inte att styrningen har haft effekter. Nilstun hänvisar i sin diskussion av denna form av analys till<br />
några exempel (Nilstun 1984).<br />
22 Exemplet bygger på en tämligen utförlig studie som gjordes i mitten av 1980-talet (STEV, 1984:2).
Interventionsteori<br />
Både experimentella uppläggningar, tidsserieanalyser och simuleringar konfronteras också med<br />
ett annat problem. Det problemet handlar om att detta slag av uppläggningar inte säger något<br />
om varför en viss förändring uppstått. Även om vi kan konstatera, med rigorösa metoder, att<br />
faktorn X gett upphov till förändringen Y vet vi inte varför denna förändring skett.<br />
Det är naturligtvis i praktiken en viktig fråga. Om vi inte vet varför förändringen skett kan vi inte<br />
bedöma den tidigare insatsen. Vi kan t.ex. inte veta om vi med små förändringar av interventionen,<br />
och t.o.m. för minskade kostnader, skulle kunna få en större effekt. Vi kan inte heller dra<br />
några slutsatser inför framtiden – vi kan inte generalisera från den undersökning vi gjort. Frågan<br />
om betydelse av generaliserbarhet skall vi återkomma till.<br />
Den s.k. falsifieringsmetod som nyss beskrivits bygger dock på en föreställning om vilka mekanismer<br />
som leder fram till det man vill uppnå.<br />
Det förklarande perspektivet står ännu mera i förgrunden när vi talar om olika former av program-<br />
eller interventionsteorier. Dessa har kommit att få stor betydelse när det gäller diskussionen om<br />
metoder för utvärdering. Detta utvecklas i en rad läroböcker. Med hjälp av s.k. programteori kan<br />
vi t.ex. bestämma var det kan vara klokt att mäta, vad som är viktiga indikationer osv. Här skall<br />
dock programteorin som en ”egen” utvärderingsmetod något diskuteras.<br />
Exempel på böcker som tar upp Program- eller interventionsteoretiska<br />
utvärderingsuppläggningar.<br />
Program - eller interventionsteoretiska ansatser har varit mycket populära på utvärderingsområdet<br />
under ungefärligen ett decennium, trots att det som påpekats är något<br />
som i olika sammanhang använts sedan avsevärt längre tid. En utförlig beskrivning av<br />
en programteoriansats ges av Suchman 1967. I dag finns en rad böcker som behandlar<br />
programteorier. Några exempel är:<br />
Vedung, Evert (2009). Utvärdering i politik och förvaltning, kapitel 3.<br />
Chen, Huey-Tsyh (2005) Practical Program Evaluation. Assessing and Improving<br />
Planning, Implementation and Effectiveness. Sage Publications.<br />
Owen, Johan M. (2007) Program Evaluation. Forms and Approaches. 3rd edition.<br />
The Guilford Press.<br />
Rogers, Patricia (2008) ”Using Program Theory to Evaluate Complicated and Complex<br />
Aspects of Interventions” i Evaluation, vol 14, No 1.<br />
Benämningarna är som nämnts tidigare skiftande och vi har talat om interventionsteori som<br />
förefaller att passa bättre i svensk politisk kultur än att använda ordet program som prefix.<br />
HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 59
När interventionsteorier beskrivs som en utvärderingsmetod handlar det om att utvärderaren<br />
skapar sig en föreställningsram om hur de kausala relationerna ser ut. Det är naturligtvis i en<br />
utvärdering möjligt att ställa frågor om beslutsfattarens kausala antaganden – då handlar dock<br />
själva frågan om hur ”bra beslutsfattarna utnyttjat befintlig kunskap” och själva kvaliteten på<br />
den analys som föregick besutet. Det är rimliga frågor, men det vi nu diskuterar är något annat,<br />
nämligen hur vi kan använda programteori för att uttala oss om effekterna. Interventionsteorier<br />
som utvärderingsmetod bygger i grunden på en slags teoriprövning av insatsen i fråga.<br />
Vi återvänder nu till exemplet malignt melanom. Här kunde vi se att sambandet mellan kunskap<br />
och beteende är ett centralt antagande (sid.39). Den fråga som nu ställs är i vilken utsträckning<br />
detta antagande kan prövas utifrån den forskning som finns. Det handlar alltså om forskning<br />
som gäller på vilket sätt människor ändrar ”farliga beteenden” när de får veta att de är farliga och<br />
under vilka betingelser kunskap kan påverka beteendet.<br />
Det finns dock uppenbara begränsningar när det gäller interventionsteoriers användbarhet som<br />
metod i en utvärdering. Det är ju faktiskt så att vi då bara utvärderar ”i teorin”. Det skall dock<br />
samtidigt sägas att vi på vissa områden har en så solid teoretisk grund att det är uppenbart att<br />
en viss insats kan framstå som mycket tveksam redan på teoretiska grunder. Ett centralt problem<br />
är dock att utvärderaren inte vet hur interventionen sett ut i verkligheten, utvärderaren känner till<br />
hur interventionen avsågs att genomföras. Men i verkligheten kan ju den genomförda interventionen<br />
bli, som kommer att behandlas i ett kommande avsnitt, en helt annan. Under resan kan<br />
genomförandet ändras, ibland så att den blir ”bättre”. Den faktiskt genomförda interventionen<br />
kanske därför blir mera teoretiskt hållbar än den tänkta.<br />
För en revision väcker detta frågor. Är det tillräckligt att konstatera att en verksamhet inte kan ha<br />
effekter därför att den är ”teoretiskt ohållbar”? Till detta skall vi återkomma.<br />
Svårt med tillförlitligheten<br />
60 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />
Av de föregående avsnitten i detta kapitel torde det ha framgått, kanske nästan övertydligt, att<br />
det är svårt att tillförlitligt uttala sig om effekter av statlig verksamhet. Allmänt sett kan vi också<br />
konstatera att enskilda metoder ofta kan visa på resultat som motsägs av andra metoder. En hel<br />
del i evidensrörelsens angrepp har handlat om just detta. Det finns ett antal berömda fall där det<br />
gått att visa på rader av mycket välgjorda utvärderingar som pekat i viss riktning och där senare<br />
utvärderingar med experimentell uppläggning pekat i en helt annan riktning. 23<br />
Det bör alltså sägas att det inte är självklart i vilken utsträckning revisionen själv bör bedöma<br />
effekter utifrån enstaka undersökningar baserade på en enskild metod. Ofta talas det om triangu-<br />
23 Bl.a. i de ofta refererade utvärderingarna om effekterna av att skrämma förstagångsförbrytare.
lering och liknande i betydelsen användning av flera metoder. Det är förmodligen en framgångsväg.<br />
Det viktiga är dock att det då måste vara fråga om helt olika metoder. I verkligheten visar<br />
sig detta ofta så krävande att det som konkret görs kommer att handla om varianter på samma<br />
metod – t.ex. att ungefär samma data samlas in med intervjuer och enkäter och/eller att man<br />
relaterar sig till andra studier gjorda med ungefärligen samma metod. En strategi för att medvetet<br />
föra in olika metoder i en enskild utvärdering kan John Mayne sägas stå för i sin diskussion<br />
om contribution analysis (Mayne, 2008). Denna är inte, så som jag uppfattar den, någon ”egen<br />
metod” utan ett sätt att systematiskt använda den kunskap som kan tas fram med flera av de<br />
metoder som berörts här.<br />
Innan vi nu – för denna gång – lämnar tillförlitlighetsfrågan bör den omfattande debatten om<br />
evidens något kommenteras. Under det senaste årtiondet har diskussionen om betydelsen av<br />
evidens vid formandet av offentliga interventioner varit häftig. En orsak till kraften i diskussionen<br />
kan vara att den handlat både om metodfrågor – som ofta tangerat mer grundläggande epistemologiska<br />
problem – och olika ideologiska synsätt.<br />
Även i den tidigare debatten har olika synsätt konfronterats. Mycket av debatten har sedan<br />
1960-talet handlat om hur säkert man kan beskriva och förklara olika förlopp i samhället. Dock<br />
händer det något nytt under 1990-talet. Det är då det börjar talas om evidensbaserad policy och<br />
”evidence based evaluation” och andra uttryck i vilka evidens används som ett slags prefix. 24<br />
Debatten har sina rötter i att man inom medicinen under 1980-talet började inse att mycket av<br />
den praxis som fanns inte var baserad på evidens – i motsats till vad de flesta av oss vanliga dödliga<br />
tror. Det uppstod därför ett intresse för diffusion men också för att mera systematiskt pröva<br />
de studier som denna praxis ansågs bygga på. Det leder fram till att bl.a. Cochrane Collaboration,<br />
som fortfarande har en tämligen medicinsk inriktning, inrättades i slutet av 1980-talet. Några år<br />
senare skapas flera olika organisationer/institutioner av detta slag, bl.a. Campbell Collaboration<br />
(1993) och ”What Works Clearinghouse” (under US Department of Education).<br />
Mycket kortfattat kan verksamheten i dessa institut innebära systematiska genomgångar (reviews)<br />
av alla vetenskapliga studier inom ett område. Det är en hårt reglerad process, som styrs<br />
av en omfattande manual (Rieper 2006). Det handlar om att precisera en viss intervention (t.ex.<br />
olika interventioner för att påverka ungdomar att inte begå brott), kartlägga alla studier som<br />
gjorts av en viss intervention, inklusion/exklusion av studier baserade på angivna metodkrav,<br />
analys och syntetisering av data och slutligen en sammanfattning av vad man vet efter denna<br />
genomgång.<br />
24 Vid detta laget finns det en hel del litteratur om evidens diskussion. Nämnas kan t.ex. What Counts as Credible<br />
Evidence in Applied Research and Evaluation Practice (Donaldson, Christie & Mark, 2009) men också två danska<br />
böcker (Rieper, Hansen & Bhatti, 2006 samt Rieper & Forss, 2006).<br />
HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 61
62 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />
Det är ofrånkomligt att notera att det finns en sällsynt kraft i ”evidensbevaegelsen” för att<br />
använda en dansk boktitel. Det är rimligt att tala om en rörelse på ett helt annat sätt än vad man<br />
gör när man talar om skolbildningar eller vetenskapliga synsätt i allmänhet. Till en del beror det<br />
på att evidensrörelsen i hög grad kunnat bygga upp samarbete mellan ett mycket stort antal<br />
vetenskapliga institutioner. År 2005 hade t.ex. Cochrane 50 samarbetande reviewgrupper vid<br />
prestigefyllda forskningsmiljöer och ett tiotal olika centrum i olika delar av världen.<br />
Det är alltså i hög grad en rörelse bland forskare. Men har också haft stora kopplingar till ministerier<br />
och statliga myndigheter. SBU och Socialstyrelsen har t.ex. haft en viktig roll i spridningen<br />
av dessa idéer i Sverige.<br />
De som företräder ett evidensperspektiv utgår från att studier kan rangordnas. Överst finns<br />
RCT (Randomized Controlled Trial) eller snarare en review som bygger på ett antal sådana RCT.<br />
Evidensrörelsen betonar vikten av generaliserbarhet, varför det förstås är bättre med flera studier<br />
om fler interventioner (upprepningstanken).<br />
Få företrädare för evidensrörelsen torde hävda att enbart utvärderingar som bygger på RCT är<br />
acceptabla. Det är däremot viktigt att komma ihåg att föreställningen är att RCT representerar<br />
en ”golden standard”. Tanken på en evidenshierarki är viktig: Det innebär att man inte tänker sig<br />
ett antal alternativa metoder som var och en kan vara lika värdefulla beroende på syfte och sammanhang.<br />
RCT är helt enkelt bäst och andra metoder är mindre bra.<br />
En del av debattens intensitet förklaras förmodligen av de politiska implikationerna. Redan utvärd-<br />
ering i allmänhet kan omöjligen frikopplas från ett politiskt sammanhang – diskussionen om<br />
detta skall dock inte föras här.<br />
Kritikerna av evidensrörelsen framhåller att när beviskrav knyts till en specifik metodologi<br />
kommer det i verkligheten att vara svårt att bevisa värdet med några interventioner.<br />
Redan det sagda visar på att det finns grundläggande skillnader i synen på vad som är kunskap<br />
och hur kunskap skapas – för att i hastigheten använda ett inte särskilt bra ord. Linjerna kan<br />
brutalt skisseras ungefär så här:<br />
Det finns en grupp forskare som intar en hållning präglad av en ”180-gradig” opposition. De<br />
förnekar tanken på att det går att bygga generaliserbar kunskap om olika interventioner. Det är en<br />
ståndpunkt som ligger nära en mera konstruktivistisk syn.<br />
Denna linje torde för de flesta dock te sig lite verklighetsfrämmande. Många kritiker bejakar<br />
tanken på att evidens är viktig, att vi bör kunna etablera kausala samband, men menar att deras<br />
”metodologiska” monopolanspråk är felaktigt. De menar att de kan visa att det finns ett stort<br />
antal situationer där ”the golden standard” faktiskt är mindre lämpad att ge evidens än andra<br />
metoder. I ett uttalande av den amerikanska utvärderingsorganisationen i november 2003, som
gav upphov till en omfattande intern debatt i organisationen, pekade kritikerna på att det inom<br />
medicinen finns viktiga områden där ”causality has been conclusively shown” utan RCT. Det<br />
framhölls vidare att ”RCT are not always best for determining causality and can be misleading”<br />
(citerat efter Donaldson m.fl. 2008). Kritikerna menar att en rad andra metoder än de som anses<br />
uppfylla evidensrörelsens metodkrav ”are rigorous and scientific”.<br />
Andra menar att evidensrörelsen överdriver betydelsen av att kunna etablera kausala samband.<br />
Kunskapen om dessa samband är bara en del av den kunskap som vi kan få om verkligheten,<br />
och om olika interventioner, men ofta inte den viktigaste. Ett exempel på denna tankegång gav<br />
Thomas A. Schwandt vid SVUF:s konferens 2004:<br />
It is this second view of evaluation that I have been talking and writing about for many years. I do<br />
not object to the idea of generating evaluation knowledge of ‘what works’—that is, to conducting<br />
theory-based or experimental studies of whether and why a particular social intervention or program<br />
achieves its intended effects. This kind of scientific evidens can be helpful. What I worry about is that<br />
science-based or evidens-based approaches to practice are too readily becoming an ideology that<br />
aims to instill scientific rationality as authoritative for everyday practice, that threatens to eclipse<br />
practical knowledge and reasoning, and that comes dangerously close to regarding the practitioner<br />
as a judgmental dunce, who if left to her or his own way of doing things will inevitably be inefficient,<br />
ineffective, and squander precious social resources. We are in danger of believing in a false<br />
dichotomy: That the only legitimate knowledge for practice is ‘scientific’ all else is unreliable intuition,<br />
habit, custom, or mere belief. We are in danger of accepting without reservation the myth of<br />
a scientifically-guided society, a society in which science (not everyday life ) occupies center stage.<br />
(Schwandt 2004).<br />
Effekter och kostnader<br />
Det är tämligen självklart – eller bör åtminstone vara det – att information om kostnader är<br />
betydelsefull i beslut om statlig verksamhet. Och självfallet blir det därför i samband med studier<br />
av effekter inte bara en fråga om ”hur mycket effekt det blev? ” utan också en fråga om ”till vilken<br />
kostnad?”.<br />
Innan vi går in på frågan om hur vi kan se på kostnader i förhållande till effekter skall dock något<br />
sägas om kostnader i förhållande till prestationer (output).<br />
Kostnader för prestationer<br />
När det gäller att ta fram information för enskilda prestationer finns inte några grundläggande<br />
principiella eller teoretiska problem. Det finns handfasta mättekniska problem och de praktiska<br />
möjligheterna att ta fram information handlar i grunden om hur exakt de enskilda medarbetarnas<br />
tid redovisas.<br />
HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 63
64 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />
När det gäller kostnader för vissa prestationstyper, det kan handla t.ex. om hur mycket staten<br />
lägger <strong>ned</strong> på utbildning eller på ekonomiadministrativ verksamhet, är bilden svårare. Den går<br />
inte direkt att hämta från redovisningssystemen. Även om alla enskilda myndigheter hade en<br />
fungerande tidsredovisning, kan skärningen på olika prestationstyper variera. Ett visst projekt kan<br />
t.ex. ha inslag av utbildning utan att projektet i redovisningssystemet beskrivs i sådana termer.<br />
I de sammanhang där denna form av information om kostnader för en viss prestationstyp<br />
behöver tas fram torde det därför förutsätta särskilda kartläggningsinsatser för att få fram denna<br />
information.<br />
Hur mycket staten satsar i förhållande till ett visst mål<br />
I många sammanhang har det efterlysts information om hur mycket staten satsar på en viss<br />
verksamhet i syfte att nå ett visst mål. Det är teoretiskt möjligt att föreställa sig att alla statens<br />
kostnader fördelas på olika mål. Två grundläggande begränsningar finns med sådana fördelningar.<br />
Enskilda prestationer och kostnader för dessa kan hänföras inte bara till ett utan till flera politikområden.<br />
Problemet kan hanteras genom olika fördelningar. Osäkerhet kommer dock alltid att<br />
vidlåda alla kostnadsaggregeringar. Just frågan om olika nycklar för kostnadsfördelning kan i<br />
grunden dessutom vara politiskt kontroversiell.<br />
Målstrukturer varierar över tiden beroende på hur de samhälleliga problemen uppfattas. Målstrukturen<br />
är i grunden en, åtminstone delvis, politisk fråga. Om en åtgärd i första hand skall ses<br />
som syftande mot Y-målet eller X-målet, kan vara föremål för olika bedömningar.<br />
Dessa begränsningar förklarar säkert till väsentlig del varför det upplevs som förenat med så<br />
stora svårigheter att svara på frågor efter mallen ”hur mycket lägger vi egentligen <strong>ned</strong> för att öka<br />
den kulturella delaktigheten eller minska barnolycksfall?”.<br />
Det betyder inte att dessa frågor är omöjliga att besvara. Dock måste det accepteras att det alltid<br />
kommer att vara förenat med krav på situationsspecifika definitioner för att ta fram sådan information,<br />
och att relativt stor osäkerhet kommer att vidlåda denna information.<br />
Just sådana analyser är därför också något som revisionen kan göra. Det ter sig relevant att<br />
någon faktiskt kan visa hur mycket som läggs av statliga resurser för en viss verksamhet som<br />
syftar till att nå ett mål – eller i någon annan skärning – som är intressant för riksdagen och kanske<br />
delar av allmänheten. Revisionen har här också andra möjligheter än nästan någon annan<br />
kunskapsproducent att få fram sådan information – naturligtvis med begränsningar som avser<br />
kommunerna.
Kostnader för statens insatser i förhållande till<br />
måluppfyllelse<br />
Diskussionen om kostnader versus resultat har också gällt att det borde vara möjligt att tala om<br />
vad måluppfyllelsen kostar. Frågan kan vara: Vad får vi ut av de 5 miljarder som satsats för att<br />
uppnå ett visst mål?<br />
I själva verket har en av de grundläggande svårigheterna med denna tankegång att göra med den<br />
mera generella effektproblematik som diskuteras tidigare. Vi har tidigare betonat att svårigheterna<br />
att ta reda på effekterna, åtminstone praktiskt sett, beror på sådana faktorer som den statliga<br />
insatsens omfattning, hur sammansatt den är, dess tidsförlopp och komplexiteten i det fenomen<br />
som skall påverkas och också hur långt bort i effektkedjan målen satts. Många statliga insatser<br />
som syftar till vissa mål passerar gränsen för det utvärderingsbara i den meningen att vi inte kan<br />
ange vilka effekter insatserna haft. Även om vi bortser från problemet med kostnadssidan – som<br />
är nog så allvarligt – så har vi alltså svårigheter med att få fram information om effekterna.<br />
Den andra svårigheten handlar om att kostnaderna för många interventioner framför allt uppstår<br />
på andra håll i samhället än inom staten, de syns alltså inte som kostnader inom staten. Att ställa<br />
”statens kostnader” i förhållande till vad man får ut i form av (positiva) effekter ute i samhället<br />
uttrycker en brist på symmetri.<br />
Statens kostnader kan vara små, när det t.ex. gäller normer för husbyggande, men kostnaderna<br />
som drabbar dem som bygger och/eller boende och lokalnyttjare kan vara stora. När statliga<br />
insatser diskuteras från ett kostnadsperspektiv är det alltså oftast viktigare med att föra in detta<br />
slag av kostnader, och kostnader för olika negativa bieffekter, i kalkylen.<br />
Även analysen av sådana kostnader handlar därför i hög grad om kausala antaganden som också<br />
är situationsspecifika. Det är alltså en typ av kunskap som revisionen kan bidra med.<br />
Till sist: Effektstudiernas relevans för framtida beslut?<br />
Något i förbigående konstaterades i samband med diskussionen om experimentella uppläggningar<br />
och tidsserieanalyser att vi inte får veta varför en viss förändring uppstått. Lite annorlunda<br />
tedde sig dock bilden både vad gällde det vi kallade falsifieringsmetoden och när programteorin<br />
används för utvärdering.<br />
Detta påstående har dock vittgående konsekvenser. Vi tänker oss nu att vi – i likhet med vad<br />
Candides berömda lärare anser – lever i den bästa av världar. Riksdagen fattar ett beslut om att<br />
satsa 3 miljarder på att rätta till något missförhållande och att skickliga utvärderare i efterhand<br />
konstaterar att detta har lett till effekten 418, i stället för effekten 284 som var målet. I denna värld<br />
har utvärderarna klarat av alla de vanskligheter som här berörts. Utvärderarna kan alltså inte bara<br />
HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 65
66 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />
ange det precisa utfallet av interventionen och kostnaderna härför utan kan också göra det med<br />
stor tillförlitlighet.<br />
Allt är alltså bra – om vi ser på utvärderingen som ett betyg över insatsen. Vid den efterföljande<br />
debatten framhålls dock att även om det är gott och väl att målet nåtts för den första satsningen<br />
borde nu – med tanke på de goda erfarenheterna – hela problemet lösas. Problemet som helhet<br />
kan nämligen betraktas som löst om effekten 1000 uppnås. Den promemoria som upprättas<br />
inom Regeringskansliet visar på kostnaden för varje enskild effektenhet (7 177 033 kronor) och<br />
sluter sig därför till att en satsning på 4 177 miljoner under en fyraårsperiod kommer att leda till<br />
att problemet kan lösas – eftersom man då kommer att nå totalt 1000 effektenheter.<br />
Det fiktiva, och övertydliga, exemplet illustrerar problemet med användning av information om<br />
sambandet mellan en viss intervention – kostnaderna för den – och dess effekter. Sambandet<br />
mellan interventionen och effekterna avgjordes av en rad faktorer, det kan handla om priser (tänk<br />
på energiexemplen), attitydförändringar, teknikutveckling, massmedial uppmärksamhet etc. Om<br />
vi inte vet styrkan av dessa faktorer och samspelet mellan dem liksom samspelet mellan dem<br />
och den statliga interventionen så har vi svårt att dra några som helst slutsatser om vad de 4,2<br />
miljarderna kommer att ge i framtiden. För att kunna resonera om vilka effekter en motsvarande<br />
satsning kan få i framtiden måste vi alltså veta varför de 3 miljarderna i förfluten tid fick den effekt<br />
de nu fick. Det handlar om något som vi kan tala om som den förklarande mekanismen eller<br />
kontexten.<br />
Detta problem kan också beskrivas som ett generaliserbarhetsproblem. Om vi skall kunna använda<br />
kunskap från enskilda utvärderingar för framtida beslutsfattande måste vi ha en kunskap<br />
som gör att vi kan överföra kunskapen om effekterna från det enskilda fallet till framtida situationer<br />
vars kontext kan vara annorlunda.<br />
Betydelsen av detta beror förstås på vad kunskapen skall användas till.
5. IMPLIKATIONER FÖR REVISIONEN<br />
De föregående kapitlen har försökt skapa en slags ram med vars hjälp vi nu kan diskutera hur<br />
effektivitetsrevisionen skall hantera frågan om effekter och kostnader.<br />
Påstående 1: Effektivitetsrevisionen granskar statlig verksamhet och<br />
inte måluppfyllelsen som sådan<br />
Revisionen har, principiellt sett, inga särskilda svårigheter att uttala sig om huruvida mål som<br />
uttryckts i form av förändringar av olika tillstånd i samhället uppnåtts. Som påpekats finns en<br />
omfattande statistik både inom ramen för statistikproduktionen som sådan och sådan som<br />
genereras inom ramen för olika administrativa system.<br />
Svårigheter här kan i praktiken finnas, det är t.ex. inte alldeles lätt att operationalisera målet om<br />
”social och ekonomisk utjämning” av rekryteringen till högre studier. Det är självklart inte så att<br />
vi kan jämföra all utbildning på en viss nivå med all utbildning på motsvarande nivå för 10, 20<br />
eller 40 år sedan. Utbildningens sociala roll har förändrats och utredaren eller forskaren som vill<br />
fokusera på utbildningar som har samma sociala funktion som akademisk utbildning i allmänhet<br />
hade 1970 måste välja enbart vissa utbildningar i dag.<br />
Sådana jämförelseproblem möter vi ständigt när det görs jämförelser över tiden. Det kan också<br />
gälla sådant som vi synbarligen uppfattar som ganska ”fast”, t.ex. kunskaper i matematik.<br />
Detta slag av svårigheter gör att det tidigare påståendet om att det principiellt sett inte fanns<br />
några särskilda svårigheter att beskriva en viss utveckling i förhållande till mål i praktiken många<br />
gånger får modifieras. Men allt detta handlar i grunden om något annat än frågan om (yttre)<br />
effekter. Måluppfyllelsen säger ingenting om den bedrivna verksamheten, om den var bra eller<br />
dåligt genomförd eller om den var rätt eller fel tänkt.<br />
Men, kan det då spörjas, är inte måluppfyllelsen intressant för politikerna? Självklart är den det,<br />
eftersom de engagerat sig på ett område – och t.o.m. talat om vad man anser vara ett önskvärt<br />
tillstånd – får man anta att politikerna är intresserade av ”hur det går”. Men att leverera statistik<br />
om utvecklingen av centrala variabler är inte en uppgift för ett granskande organ, det är en fråga<br />
om produktion av statistik.<br />
IMPLIKATIONER FÖR REVISIONEN 67
68 IMPLIKATIONER FÖR REVISIONEN<br />
Men, är inte bristande måluppfyllelse viktig därför att den indikerar ett problem? Om riksdagen<br />
fastställt ett mål och detta inte alls uppnås bör det väl vara en intressant verksamhet för revisionen<br />
att granska. Jo, det kan det säkert vara. Men då handlar det om bristande måluppfyllelse som<br />
indikator på vad som är ”granskningsintressant”.<br />
Oavsett hur vi väljer vad som skall granskas är det dock själva verksamheten som skall granskas,<br />
därför säger ett konstaterande av bristande måluppfyllelse ingenting om hur effektiv verksamheten<br />
är. En granskning kan möjligen ha detta som utgångspunkt men det kan aldrig vara resultatet<br />
av en granskning.<br />
Innan vi går vidare: Än en gång bör det påpekas, att det vi talar om här, är mål för förlopp ”ute i<br />
samhället”. Om vi diskuterar ett mål som gäller prestationer blir situationen en annan. Kausalitetsproblemet<br />
föreligger även här. Men lite förenklat uttryckt – myndigheten äger sina prestationer.<br />
En ökning av en myndighets output, t.ex. i form av publicerade rapporter, har att göra med<br />
saker som hänt i myndigheten i fråga. Alla påverkande faktorer har visserligen inte myndigheten<br />
kontroll över, men tillräckligt mycket för att problematiken är en annan när det gäller mål som<br />
gäller prestationer än de mål vi diskuterat här.<br />
Påstående 2: Revisionen måste ta reda på orsakerna till att det inte<br />
blev effekter för att klargöra vem som rådde över orsakerna<br />
Även om vi kan säkerställa att en viss statlig verksamhet gett upphov – eller inte gett upphov – till<br />
vissa effekter kvarstår frågan vad detta betyder i ett revisionellt perspektiv.<br />
Om vi kommer fram till, och vi bortser nu från olika svårigheter, att en verksamhet fått avsedda<br />
effekter kan vi rimligen sluta oss till att det är sannolikt att den är teoretiskt hållbar och dessutom<br />
rimligt genomförd. Detta hindrar inte att verksamheten bör granskas, men kanske då inte från<br />
detta effektperspektiv. Det förhållandet att verksamheten fått avsedda effekter säger t.ex. ingenting<br />
om graden av rättssäkerhet i verksamheten eller att det kanske finns möjligheter att förbilliga<br />
administrationen av den.<br />
Givet vårt effektperspektiv går vi i stället över till det motsatta fallet. Verksamheten förefaller<br />
inte att ha lett till avsedda effekter eller i vart fall inte alls i den omfattning som verkar rimligt i<br />
förhållande till de insatser som gjorts. Att hitta förklaringen till detta torde vara betydelsefullt för<br />
varje utvärderare som är inriktad på att analysera effekter. Om det inte går att förklara varför effekterna<br />
uteblev går det inte heller att säga något om vad som bör göras i framtiden. Även om vi vet<br />
att en intervention lett till vissa effekter vet vi således inte vad som händer om interventionen – i<br />
nästa omgång så att säga – blir dubbelt så omfattande. Vi vet – brutalt uttryckt – inte om rådet<br />
eller rekommendationen bör vara ”sluta satsa” eller ”satsa dubbelt så mycket”.
Vi kan på ett principiellt plan tänka oss ett antal olika förklaringar till att en intervention misslyckas.<br />
Om vi ser på den huvudgrupp av förklaringar som vi talat om som genomförandemisslyckanden<br />
pekar Rossi, Freeman & Lipsey i den i nya upplagor ständigt utgivna Evaluation – A Systematic<br />
Approach på tre underkategorier (1999:215 f).<br />
• No intervention, or not enough, is delivered.<br />
• The wrong intervention is delivered.<br />
• The intervention is understandardized or uncontrolled and<br />
varies across the target population.<br />
I praktiken kan vi hitta exempel på alla dessa tre företeelser. Kühlhorn pekade på detta i en utvärdering<br />
av ett försök med intensifierad övervakning av dömda. Inom ramen för denna genomfördes<br />
en rad aktiviteter för att möjliggöra en sådan intensifierad övervakning, t.ex. utbildning<br />
av personal. Förberedelserna var dock så omfattande att det inte fanns kvar några pengar för att<br />
genomföra själva verksamheten – den intensifierade övervakningen. 25<br />
Vi kan också hitta exempel på att den intervention som slutgiltigt levererats är en annan än den<br />
avsedda. Slutligen finns det många exempel på att interventionen förändras, av olika mellanled,<br />
innan den på något sätt träffar ”slutanvändarna”.<br />
Rossis et al tre underkategorier går förstås att beskriva också på andra sätt. Det handlar om att<br />
något kan ha gått fel vad gäller den input som tillförts utföraren men också i den output som<br />
kommer ut. Och om det funnits tillräckligt med input men blivit fel output får vi rimligen söka<br />
orsakerna i den mellanliggande omvandlingsprocessen.<br />
Den andra huvudgruppen av förklaringar gäller alltså felaktigheter i interventionsteorin. Dessa går<br />
att beskriva i termer av de olika grupper av antaganden som den kausala processen byggde på (se<br />
tidigare avsnitt, sid 41-42). Antagandena kan gälla själva det önskvärda handlandets effekter på de<br />
fysiska, biologiska förhållanden man vill påverka. En mycket effektiv lagstiftning – i den meningen<br />
att företag eller enskilda följer ett visst förbud eller ett påbud – är ju ineffektivt i förhållande till<br />
det yttersta syftet (t.ex. global warming) om det underliggande naturvetenskapliga antagandet<br />
var felaktigt. Det kan också handla om de två andra grupperna av antaganden, vad som gör att<br />
individer eller organisationer genomför olika handlingar och hur påverkansfaktorerna utvecklas.<br />
Den gjorda insatsen kan dock vara riktigt tänkt, m.a.o. är olika antaganden rimliga i förhållande<br />
till aktuell kunskap. Men de insatser som görs understiger en viss kritisk nivå.<br />
25 Exemplet är refererat i Furubo 1994.<br />
IMPLIKATIONER FÖR REVISIONEN 69
70 IMPLIKATIONER FÖR REVISIONEN<br />
Förklaringar till ”icke-effekter” är, som påpekats, viktiga för alla som sysslar med att analysera<br />
effekterna. För revisionen är den dock ett nödvändigt steg på vägen mot vem-frågan. Om vi inte<br />
vet hur de uteblivna effekterna kan förklaras kan vi inte heller fördela ansvaret. Svaret på vemfrågan<br />
förutsätter att vi har svaret på vad-frågan, det är möjligt att tala om att en beslutsfattare<br />
har ansvar för ett misslyckande enbart om denna på något sätt råder över den faktor som orsakat<br />
misslyckandet.<br />
Påstående 3: Revisionen måste (oftast) stanna vid näraliggande<br />
effekter<br />
Genom de resonemang vi förde i kapitel 3 och 4 har vi visat att osäkerheten ökar ju längre fram<br />
vi går i olika effektkedjor.<br />
Ett viktigt påpekande skall dock göras. Vi kan inte sällan uttala oss med stor säkerhet om ett<br />
tekniskt eller naturvetenskapligt antagande mellan steg långt fram i effektkedjan, t.ex. om huruvida<br />
avkalkning av sjöar leder till ett förändrat pH-värde. Detsamma gäller effekter av solande.<br />
När vi, i en slags geografiska termer, talar om längre bort i effektkedjan handlar det om hur långt<br />
vi kan komma när vi har den statliga interventionen som startpunkt och från denna går fram i<br />
effektkedjan.<br />
En revision bör nog därför ha som en grundhållning att det inte är rimligt att den skall försöka<br />
uttala sig om långsiktiga effekter av komplexa interventioner, med de krav på tillförlitlighet och<br />
precision som måste gälla för revisionen. Detta betyder självklart inte att denna typ av frågor inte<br />
bör ställas, men de bör ställas av andra. Studier av långsiktiga effekter även av mycket komplexa<br />
interventioner bör självfallet göras i olika forskningssammanhang där syftet kan vara långsiktig<br />
kunskapsuppbyggnad och ökad förståelse för olika skeenden. Sådana studier ger oss ökad<br />
kunskap om varför individer och organisationer agerar på ett visst sätt och kan därmed vara av<br />
stor betydelse när olika framtida politiska handlingsalternativ bedöms.<br />
De effekter revisionen kan uttala sig om är därför oftast sådana som kan föras till de tidiga stegen<br />
i effektkedjan. Uppmärksammandet av en viss information som spridits av en statlig myndighet<br />
går t.ex. tämligen lätt att mäta. Detta kan då användas som en indikator på att informationen nått<br />
ut. Anledningen till att vi kan anse att uppmärksammandet, eller möjligen kunskapsförändringar,<br />
indikerar en framgång för en informationsverksamhet som t.ex. syftar till beteendeförändringar<br />
är att vi antar ett kausalt samband mellan t.ex. kunskap och vissa beteenden.<br />
Problemet med detta har beskrivits i det föregående. Det ligger nära till hands att granskaren<br />
utgår från samma antaganden om kausaliteter som de som själva verksamheten baserades på.<br />
Om dessa antaganden är felaktiga kan vi tala om en falsk indikator.<br />
En verksamhet kan alltså berömmas, men berömmet bygger på felaktiga antaganden om kausala<br />
samband.
När revisionen därför bestämmer sig för att använda en indikator av detta slag – eller en prestationsnära<br />
effekt – så måste revisionen utgå från en egen föreställningsram om de kausala relationerna<br />
på området i fråga. Det måste alltså från tillgänglig och ”bästa möjliga” kunskap göras<br />
troligt att den effekt som mäts faktiskt leder framåt i effektkedjdan.<br />
Påstående 4: När revisionen arbetar med effekter måste den ha en<br />
egen interventionsteori<br />
I diskussionen i kapitel 3 berördes i flera sammanhang s.k. interventions- eller programteorier.<br />
Det kan sägas att vid sidan av diskussionen om evidens har frågan om sådana teorier kanske<br />
varit det som dominerat diskussionen om utvärdering det senaste decenniet.<br />
Det framgick redan i diskussionen om föregående påstående och vad som där skrevs om falska<br />
indikatorer att denna fråga inte är oviktig för revisionen. Här skall två aspekter på revisionens<br />
förhållande till interventionsteorier lyftas fram.<br />
Den första aspekten gäller just att revisionen, när den väljer att granska näraliggande effekter,<br />
alltid utgår från en egen interventionsteori gällande den granskade företeelsen. I själva verket är<br />
detta mycket tydligt i ett antal av våra rapporter. Om vi väljer att granska något därför att vi tror<br />
att det har betydelse för uppnåendet av ett mål har vi självklart en föreställning om de kausala<br />
sambanden.<br />
Det som dock kanske är viktigare för revisionen än för många andra analytiker, givet den syn<br />
som ligger i botten för denna framställning, är att revisionen är mycket explicit i sin framställning<br />
av dessa underliggande kausala antaganden. Revisionen måste göra troligt att dess egen<br />
programteori avspeglar bästa möjliga kunskap – detta är ett viktigt kvalitetskrav på revisionens<br />
granskningar.<br />
Den andra aspekten gäller ett grundläggande problem med interventionsteorier. Sådana teorier<br />
handlar om relationen mellan något som görs och något som avses inträffa till följd av det som<br />
görs (programmet/interventionen). Mål spelar därför en stor roll för olika interventionsteorier.<br />
I samband med påstående 8 utvecklas några synpunkter på frågan om mål. Här skall vi bara ta<br />
upp det förhållandet att en verksamhet kan ha olika mål – även om vi bara håller oss till de officiella<br />
– och att dessa kan föranleda olika interventionsteorier.<br />
Problemet gäller också att mål formuleras i en viss kontext och i en viss politisk miljö, själva<br />
verksamheten kan ha än mera grundläggande mål än de som kommer att utgöra den lämpliga<br />
förpackningen i en viss situation.<br />
Detta har ställs på sin spets i flera sammanhang. När Nixon som president försökte lägga <strong>ned</strong><br />
Head Start, fortfarande ett betydelsefullt federalt program, skedde det mot bakgrund av att en<br />
IMPLIKATIONER FÖR REVISIONEN 71
72 IMPLIKATIONER FÖR REVISIONEN<br />
omfattande utvärdering gjorts av välrenommerade forskare. Utvärderingen visade att Head Start<br />
var ett misslyckande. Utvärderingen ledde dock till en omfattande debatt, som t.o.m. får ses<br />
som ett viktigt inslag i amerikansk utvärderingshistoria. Det framhölls i denna debatt att utvärderingen<br />
av Head Start hade gjorts i förhållande till de mål kongressen ställt upp. Den omfattande<br />
diskussionen om utvärderingen och om själva programmet visade på att rader av aktörer hade<br />
andra mål än dessa officiella. Head Start kunde bedömas vara ett bra program – men i förhållande<br />
till andra mål än de kongressen från början angett.<br />
Samma problem aktualiseras av evidensdiskussionen. Även stark evidens för att något inte fungerat<br />
som det var tänkt i förhållande till de avsedda målen kan problematiseras just därför att<br />
målbilden många gånger – helt legitimt och rimligt – förändras eller, redan från början, är mångskiftande.<br />
Head Start visar därmed också att det finns en maktdimension i denna diskussion,<br />
det handlar om huruvida ”makthavarens” mål skall vara ensamt bestämmande för värderingen<br />
av en insats.<br />
Påstående 5: Revisionens uttalanden om en granskad verksamhet<br />
måste bygga på att just denna har granskats<br />
Påståendet kan verka självklart, hur skall man kunna uttala sig om en verksamhet utan att studera<br />
just denna? Emellertid kan det ibland vara möjligt att med stor säkerhet konstatera att en<br />
intervention som genomförts inte kan fungera på avsett sätt. Det kan finnas rader av tidigare<br />
empiriska studier av just detta slag av interventioner. Det kan också finnas en teoribildning som<br />
klargör att verksamheten bygger på icke teoretiskt hållbara antaganden.<br />
En ytterligare aspekt på programteorin är, som berörts tidigare, att denna också kan användas<br />
som granskningsmetod. Om vi accepterar tanken att misslyckande i offentlig verksamhet kan<br />
förklaras antingen av att det är fråga om teorifel eller genomförandefel så skulle man kunna<br />
hävda ungefär följande: Man bör börja med att granska den underliggande teorin för att se om<br />
programmet över huvud taget har förutsättningar att leda till effekter. Och om vi redan har sett<br />
att det inte har det kan man undersöka den teoretiska hållbarheten innan man börjar ”gräva i”<br />
själva genomförandet. Annorlunda uttryckt innebär resonemanget att revisionen kan använda<br />
just studier av programteorin för att granska olika verksamheter.<br />
Även om detta i princip skulle kunna vara möjligt är det lätt att komma med invändningar. Den<br />
första invändningen är att denna typ av granskningar alldeles uppenbart skulle komma att granska<br />
”politiken” snarare än dess genomförande. Den andra invändningen är att den bygger på en<br />
slags instrumentell syn på politiken – en ingenjörsmodell som ser målen som politiska och själva<br />
medelsvalet som tekniskt eller vetenskapligt. Den tredje invändningen är att en revision bedriven<br />
efter sådana linjer skulle uppfattas som alltför naiv i sin uppfattning om politikens villkor.
Ett ytterligare invändning är att det sällan är meningsfullt att enbart se på effekterna av en intervention.<br />
Vi vill också veta mera om interventionen. Även en intervention som är ”omöjlig” kan<br />
ju t.ex. genomföras mer eller mindre bra. Det finns alltså en rad andra viktiga aspekter utöver de<br />
”effektaspekter” som tas upp i denna skrift.<br />
Påstående 6: Experimentella uppläggningar har begränsad<br />
användbarhet för revisionen<br />
Sedan 1960-talet har en diskussion förts om möjligheterna att få kunskap om effekterna skall vara<br />
styrande för politikens utformning. En berömd företrädare för denna uppfattning var Campbell<br />
som också gett namn åt Campbell Collaboration. Campbells normativa ståndpunkt var att politik<br />
skulle ordnas så att den gick att utvärdera genom experimentella uppläggningar.<br />
Ståndpunkten har, som också framgått tidigare, fått en renässans genom den s.k. evidens-<br />
rörelsen som betonar att politiken skall vara evidensbaserad. Det är en ståndpunkt som har<br />
betydande implikationer och som grundas på en syn på vad politik är som långt ifrån är fri från<br />
underliggande värdepremisser. Detta skall inte diskuteras här.<br />
Det finns dock anledning att påpeka att ett sådant synsätt lätt får ett mycket konserverande drag.<br />
Det är ju förändringarna – de nya programmen – som kan utsättas för dessa krav. Intill den<br />
punkten vi har kunnat konstruera nya interventioner, som vi kan testa genom experiment, har vi<br />
alltså svårt att göra någonting alls.<br />
Det centrala här är dock egentligen inte den normativa frågan. Det är i stället ett avsevärt mera<br />
faktiskt förhållande. Den som bedömer befintlig statlig verksamhet hamnar förstås i en omöjlig<br />
position om man bara kan bedöma verksamheter som redan i förväg är ordnade på ett sätt som<br />
gör att de kan studeras genom experimentella uppläggningar. En revision som skulle inta en<br />
sådan ståndpunkt skulle möjligen befinna sig i en situation där man faktiskt inte skulle kunna<br />
granska särskilt mycket. När det gäller det som redan görs, det faktiskt existerande, är det så att<br />
säga redan för sent. Och om revisionen just skall granska det som görs kan man därmed inte<br />
granska någonting. Det skulle alltså innebära ett slags ”moment 22-situation”.<br />
Kravet att granska befintlig verksamhet innebär därför att revisionen i princip har svårt att applicera<br />
experimentella uppläggningar i sitt granskningsarbete. Undantag kan tänkas från denna<br />
princip. Vi kan t.ex. tänka oss att revisionen anser att det är viktigt att inom ett visst område använda<br />
experiment för att öka kunskapen om olika interventioner. För att kunna påvisa riktigheten<br />
i sin ståndpunkt kan revisionen i detta fall välja att genom egna studier påvisa möjligheterna att<br />
genomföra sådana uppläggningar.<br />
Vad gäller övriga utvärderingsuppläggningar är det dock inte möjligt att på principiella grunder<br />
– som alltså gäller revisionens grundläggande roll – inta en avvisande ståndpunkt. Här måste i<br />
IMPLIKATIONER FÖR REVISIONEN 73
74 IMPLIKATIONER FÖR REVISIONEN<br />
stället den fråga som ställs vara följande: Kan vi med användande av en viss specifik metod, eller<br />
ett antal metoder, besvara de frågor vi ställer med tillräckliga krav på tillförlitlighet? Det är alltså<br />
mycket högt ställda krav på den information som revisionen tar fram. Men gäller inte dessa krav<br />
all kunskap som tas fram om statlig verksamhet?<br />
Svaret på den frågan är nej. Kraven på kunskap beror på hur den är tänkt att användas. Om syftet<br />
är att t.ex. använda kunskapen om en viss informationsinsats på folkhälsoområdet för att långsiktigt<br />
bygga upp kunskap om hur hälsoinformation kan användas är kraven andra. I en sådan<br />
situation är kanske själva poängen att man konstaterar att verksamheten har gett upphov till ett<br />
antal frågor som det måste forskas mera om.<br />
Syftet kan vara att inom ramen för en viss policy utveckla en professionell praxis. I en verksamhet<br />
möter man t.ex. klienter. Det kan finnas ett stort värde i att studera hur bemötandet går till, vad<br />
som är svårt för personalen och i vilka situationer förutfattade meningar blir felaktigt styrande<br />
etc. Detta slag av professionell utveckling kan givetvis vara viktig och det kan ske i studier som är<br />
inriktade på att skapa underlag för diskussion och samtal snarare än att med stor tillförlitlighet<br />
uttala sig om vilken ”samtalsmodell” som ger bäst effekter.<br />
Det vi talar om som utvärdering kan alltså – som tidigare framhållits – ha en rad olika syften, och<br />
dessa andra syften kan leda till andra krav än de som jag menar bör gälla för revisionen.<br />
Revisionens ”accountability-perspektiv” innebär också att en tidsfaktor förs in. Mycket av det<br />
staten gör ser vi effekterna av först på mycket lång sikt. Det blir orimligt att tala om ett ord som<br />
ansvar om det inte handlar om sådant som ”dagens aktörer” med någon rimlig avgränsning har<br />
haft rådighet över.<br />
Uppenbarligen är analyser av skolsystemets långsiktiga utveckling och de effekter som inträffar<br />
många år efter t.ex. en reform betydelsefulla i en rad avseenden. Bland annat kan analyser som<br />
pekar på en rad strategiska misstag under 1950- och 1960-talen ha betydelse för många människors<br />
uppfattning om vem man skall skylla olika nu befintliga problem på. 26 Men det kan knappast<br />
vara revisionens uppgift att svara för sådana analyser, ofta finns ju varken organisationerna eller<br />
människorna kvar.<br />
26 Redan tidsperspektivet i Skolverkets intressanta studie Vad påverkar resultaten i svensk grundskola gör att<br />
angreppssättet skulle vara tveksamt i ett revisionellt sammanhang.
Påstående 7: Revisionens granskning syftar till att bedöma det<br />
enskilda fallet<br />
För effektivitetsrevisionen handlar det om att bedöma det enskilda fallet – det kan handla om en<br />
myndighet, en verksamhet, ett åtagande eller något annat. Poängen är dock att det man säger<br />
gäller just detta objekt.<br />
I många sammanhang ses då som ett stort problem att utvärderingar inte är en verksamhet som<br />
– om vi är lite vårdslösa – är särskilt kumulativ. Samma sak utvärderas gång på gång utan att det<br />
byggs upp en kunskapsbas som kan användas i kommande utvärderingar eller vid diskussioner<br />
om hur framtida interventioner skall utformas. 27<br />
Det som är ett problem för utvärdering i allmänhet är dock inte ett problem för revisionen.<br />
Revisionen är inriktad på det enskilda fallet – när vi talar om det bakåtriktade ansvaret handlar<br />
det alltid om en situation eller ett enskilt fall. Vi vill också ha kunskap för att bedöma om det – i<br />
detta enskilda fall – gått bra eller dåligt, vad som eventuellt inte gått bra och i vilken utsträckning<br />
detta beror på någons (person eller organisation) agerande.<br />
Om vi i denna process kan bidra till en kunskap som kan användas i andra sammanhang, för att<br />
t.ex. utveckla teorier om i vilka lägen ett visst styrmedel fungerar, så är det förstås bra. Men vi får<br />
i så fall se detta som en positiv bieffekt av revisionens verksamhet – det är inte därför revisionen<br />
finns till.<br />
En helt annan diskussion gäller, för att undvika missuppfattningar, på vilket sätt t.ex. en delundersökning<br />
i en granskning kan generaliseras till det ”granskande fallets nivå”. Det handlar då om<br />
frågor som gäller på vilket sätt vi kan dra generella slutsatser om t.ex. polisverksamhet i hela<br />
Sverige genom att studera ett urval av individer eller polisiära arbetsställen.<br />
Det bör också läggas till att det som nu sagts om att det för revisionen handlar om att bedöma<br />
om det enskilda fallet gått bra eller dåligt och om brister beror på någons agerande inte behöver<br />
betyda att objektet i granskningen måste vara en organisation, t.ex. myndighet eller en person.<br />
Självfallet kan det som granskas vara ett avsevärt vidare system. Däremot måste de brister som<br />
påtalas i en sådan granskning kunna föras tillbaks på t.ex. en myndighets agerande eller underlåtenheter.<br />
27<br />
Jag har själv tagit upp detta vid flera tillfällen, t.ex. i OECD Journal on Budgeting för några år sedan och i ett kapitel<br />
from Studies to Streams (Furubo 2006).<br />
IMPLIKATIONER FÖR REVISIONEN 75
76 IMPLIKATIONER FÖR REVISIONEN<br />
Påstående 8: Revisionen bedömer en verksamhet i förhållande till<br />
olika slag av kriterier<br />
Det är självklart att det inte enbart är mål som kan vara bedömningskriterier. Det kan också<br />
finnas andra bedömningskriterier som det kan presumeras att riksdagen anser bör gälla i statlig<br />
verksamhet. Först skall dock något sägas om just mål. Mål är något som någon strävar efter att<br />
uppnå. Att formulera mål har sedan mycket lång tid varit en väg att ange den grundläggande vilje-<br />
inriktningen med olika politiska interventioner, alldeles självklart har därför målen en relevans vid<br />
bedömningen av en verksamhet.<br />
Vi kan tala om mål i en rad olika avseenden. Det har redan tidigare framgått att mål kan avse<br />
skeenden på samhällsnivå men också interna förhållanden i en myndighet, t.ex. att personalen<br />
skall ha en viss kompetens eller krav på myndighetens prestationer. Här behandlas dock mål som<br />
gäller vad man vill uppnå ”ute i samhället”.<br />
När det gäller att använda mål som bedömningskriterier ställs dock revisionen inför olika svårigheter.<br />
Vi skall därför börja med att peka på några problem som gäller revisionens användning av<br />
målen som bedömningskriterier av statliga verksamheter. 28<br />
• Många mål uttrycker normativa föreställningar om det ”goda samhället”. Ibland uttrycks<br />
dessa föreställningar mera vagt men ibland mycket precist. Oavsett vilket är dock själva<br />
värdet med att uttrycka sådana föreställningar om framtiden att vissa på i vilken riktning man<br />
vill att samhället skall utvecklas. Samtidigt finns det säkert också en insikt om att det ibland<br />
handlar om problem som samhället alltid kommer att brottas med. Det kommer därför alltid<br />
att vara möjligt att konstatera att det inte görs tillräckligt för att förverkliga dessa mål. Att<br />
bedöma en statlig verksamhet utifrån sådana mål innebär därmed att revisionen utgår från<br />
en slags ”perfektionsnorm”. Den bristande måluppfyllelsen kan konstateras även i de fall de<br />
konkreta verksamheterna är synnerligen väl genomförda. Revisionen kommer därför alltid<br />
att kunna konstatera en diskrepans mellan vad som görs och vad som borde göras när den<br />
bedömer statlig verksamhet i perspektiv av dessa mål.<br />
Många politiker kan vara mycket medvetna om att dessa mål är uttryck för långsiktiga<br />
strävanden. De kan i stället anses viktiga för att markera en frågas vikt och legitimera t.ex.<br />
lagstiftning och ytterligare resurser. Målen kan därmed användas som ett medel för att påverka<br />
framtida prioriteringar. Dessa prioriteringar är dock i grunden politiska till sin karaktär.<br />
28 Sammanhanget innebär alltså en avgränsning, en mera allmän diskussion om målens roll i olika politiska och<br />
administrativa processer fördes dock av Styrutredningen 2007: 177–189, 254–258.
• Riksdagen kan välja att uttala sig om mål som är olika långt <strong>ned</strong> i mål–medel-hierarkin. Om<br />
målet betraktas som oomkullrunkeliga utgångspunkter som inte får sättas i fråga av revisionen<br />
så kommer revisionsutrymmet att variera från tid till annan och från område till område.<br />
Detta ter sig problematiskt. Ett alternativt förhållningssätt är därför att revisionen försöker<br />
skilja mellan mål av olika politisk signifikans – vilket förutsätter en mycket kvalificerad analys<br />
av den politiska signifikansen.<br />
• En alltför stark fokusering på målen inom revisionen kan innebära att viktiga gransknings-<br />
frågor exkluderas. Målen är ett sätt att beskriva politiken som den politiska majoriteten enats<br />
om. De behöver därför inte avspegla syften bland alla dem, t.ex. partier, som utgör denna<br />
majoritet. Olika syften kan ha funnits och kompromissen har gällt just målen, politikbeskrivningen,<br />
snarare än själva verksamheten. Och de grupperingar inom politiken som kanske<br />
t.o.m. har helt andra uppfattningar om verksamheten – eller sättet att beskriva den – kan<br />
konstatera att en revision som bedömer verksamhetens effekter i förhållande till målen har<br />
exkluderat det som de anser vara centrala aspekter för en bedömning av politiken. Målfokusering<br />
leder till att vi väljer att fokusera på vissa former av effekter, och kan därför innebära<br />
att vi kommer att granska verksamheter på ett mycket partiellt sätt.<br />
För en revision finns här också särskilda problem. Det har sedan mer än tio år förts en debatt,<br />
som i hög grad förknippas med Power, kring just det förhållandet att revision och också<br />
mera generella utvärderingskrav lätt bidrar till vissa former av information som passar<br />
granskare. Kraven på en sådan granskningsbar information kan därmed också leda till krav på hur<br />
politiken skall formuleras. De berömda SMART-kriterierna är ett tydligt fall av detta.<br />
• Till dessa tre punkter kan läggas en fjärde som varje form av utvärdering som har mera<br />
övergripande mål som utgångspunkt konfronteras med. I många utvärderingar, som har<br />
en sådan utgångspunkt, konstateras snabbt att det är nödvändigt att använda effekter som<br />
inträffar tidigare i den tänkta effektkedjan som indikatorer. Ett konstaterande i en sådan utvärdering<br />
av att en verksamhet är framgångsrik är dock, som tidigare påpekats, enbart korrekt<br />
givet att det tänkta kausala sambandet mellan det som används som en indikator och det<br />
längre fram liggande målet är korrekt.<br />
Dessa svårigheter illustrerar att målen är viktiga vid formandet av revisionens bedömningskriterier.<br />
Men de visar också att det inte är oproblematiskt att omvandla politiska mål till revisionella<br />
kriterier.<br />
Och i det motsatta fallet, där vi har svårt att hitta målet, måste vi självklart ändå kunna bedöma<br />
en verksamhet. Det finns därför anledning att också diskutera andra bedömningskriterier.<br />
Intentionerna kan härledas genom att man går från det konkreta, t.ex. en viss författningsförändring,<br />
och försöker blottlägga avsikten, vad det är man vill uppnå. Genom själva åtgärden, eller i<br />
IMPLIKATIONER FÖR REVISIONEN 77
78 IMPLIKATIONER FÖR REVISIONEN<br />
detta fall snarast beslutet om åtgärden, kan vi tolka ut avsikten. Ett beslut i riksdagen att ge bidrag<br />
till kommunerna för att stimulera dessa till antimobbingsinsatser kan utan större svårighet<br />
tolkas som en ambition att minska frekvensen av mobbning eller att motverka en tänkbar ökning<br />
av mobbning. Ett mål, oavsett hur detta formulerats, torde här inte skapa större klarhet om vad<br />
riksdagens vill med sitt beslut än vad som redan kan härledas från beslutet om själva bidraget.<br />
Utöver detta slag av bedömningskriterier, som också gäller något specifikt, finns också ett antal<br />
mera generella krav fastställda av riksdagen. Riksdagen har t.ex. genom förvaltningslagen<br />
meddelat vissa krav som gäller handläggning av förvaltningsärenden. Och i budgetlagen finns<br />
vissa allmänna krav på all statlig verksamhet. Andra lagar har krav som har bäring på personalfrågor<br />
etc.<br />
Fram tills nu har vi dock rört oss med bedömningskriterier som kan härledas från beslut i riksdagen.<br />
Det finns emellertid också bedömningskriterier som bygger på vad som kan beskrivas<br />
som en dubbel presumtion. Revisionen måste rimligen utgå från att riksdagen för sin del utgår<br />
från att regeringen, och dess förvaltning, följer ett antal olika etiska och yrkesmässiga normer.<br />
Här är det alltså fråga om krav som vanligen inte omnämns i olika beslutsdokument.<br />
I den revisionella processen kan därför blickarna vändas mot någon av dessa tre kategorier:<br />
Grundläggande etiska normer. Det finns en rad normer i samhället både av mer generell karaktär<br />
och av partikulär art som det måste förutsättas att staten också följer, i vissa fall är det t.o.m. så<br />
att riksdagen angett att de faktiskt skall gälla i samhället i övrigt. De allmänna rättsregler som<br />
riksdagen beslutat skall gälla samhällslivet i övrigt får det t.ex. tas för givet att riksdagen anser<br />
också skall gälla inom staten, t.ex. att löften har en viss giltighet.<br />
Praxis eller sedvänja. Om t.ex. relationen mellan institutioner och organisationer sedan lång tid<br />
har präglats av vissa former så kan dessa anses ha lett till vissa berättigade krav på de olika<br />
parternas uppträdande i denna relation, oavsett om de kodifierats genom direkta beslut och<br />
formella regler. För att konkretisera detta: Regeringens propositioner innehåller sedan mycket<br />
lång tid sammanställningar av inkomna remissvar, i de fall ett förslag föregåtts av t.ex. en kommitté<br />
vars förslag remissbehandlats. Detta är dock inte något som riksdagen särskilt beslutat<br />
om, t.ex. genom en lag. 29 Det får dock förutsättas att riksdagen därmed kan antas ha ett berättigat<br />
krav, till följd av denna praxis, att få veta vad remissinstanserna har sagt.<br />
Inomprofessionella eller yrkesmässiga krav. Det kan antas att riksdagen, och regeringen, utgår från<br />
att de uppgifter som lämnas till underordnade organ skall fullgöras på bästa möjliga sätt – givet<br />
de resurser som ställs i anspråk – även om riksdagen eller regeringen inte själva kan ange vad<br />
29 Däremot är det reglerat att man skall återge Lagrådets synpunkter (3 kap. 1 § RO).
detta innebär. Om t.ex. datasäkerheten i en myndighet granskas så måste detta rimligen ske<br />
utifrån den kunskap som i olika expertmiljöer finns om risker och hur dessa kan hanteras.<br />
Användandet av detta slag av bedömningsgrunder ställer dock revisionen inför olika utmaningar.<br />
På vissa områden är de relevanta expertstrukturerna väl definierade och avgränsade, på andra<br />
områden är inte detta fallet.<br />
Rent praktiskt är det också i det senare fallet som riskerna är störst att revisionen börjar uppfinna<br />
sina egna normer. Är oenigheten stor bland professionella bedömare är det lätt att revisorn själv<br />
agerar domare mellan olika ståndpunkter.<br />
Påstående 9: Revisionen kan sällan uttala sig om kostnaderna<br />
för att uppnå en viss längre bort liggande effekt eller en viss<br />
måluppfyllelse<br />
Detta påstående är – mot bakgrund av det som sagts i denna skrift – föga överraskande. Om<br />
vi har svårt att säkerställa effekterna av en intervention kan vi inte veta vad kostnaderna kan<br />
relateras till.<br />
Men även i de fall effekterna kan säkerställas kvarstår de problem som vi berört tidigare. Det<br />
ena problemet gällde svårigheten att avgränsa vilka statliga resurser som faktiskt åtgått. Och det<br />
andra problemet gällde att det i många sammanhang framstår som orimligt att bara ”räkna in”<br />
statens kostnader för en viss intervention.<br />
Påstående 10: Revisionen kan ta fram viktig kostnadsinformation<br />
och därmed visa på den ”verkliga prislappen”<br />
Revisionen kan dock göra en viktig insats genom att uttala sig om hur mycket som lagts <strong>ned</strong> på<br />
olika verksamheter som har sagts ha vissa syften. Det handlar här om intentioner – verksamheten<br />
bedrivs för att man vill uppnå något. Huruvida detta sker är en annan sak. Hur mycket<br />
resurser som har satsats i förhållande till olika mål är dock en viktig information i sig.<br />
Frågan om ”hur mycket” behöver dock inte ha sin grund i syfte eller mål. Den kan ställas i förhållande<br />
till andra skärningar. Poängen är här att revisionen har vissa fördelar framför andra<br />
kunskapsproducenter och har förmodligen lättare att identifiera intressanta skärningar.<br />
IMPLIKATIONER FÖR REVISIONEN 79
Till sist<br />
80 IMPLIKATIONER FÖR REVISIONEN<br />
Vi har tidigare berört att det inte finns någon överordnad norm som säger att riksdagen inte<br />
kan styra inriktningen på ett ganska detaljerat sätt. Tanken med en skarp skiljelinje mellan en<br />
”politisk” målnivå och en ”administrativ-vetenskaplig” medelsnivå var central i diskussionen i<br />
början av 1900-talet. Det är knappast en tudelning som självklart skulle accepteras i dag. Vi är i<br />
dag väl medvetna om att den politiska diskussionen i hög grad kan gälla frågor tidigt i en tänkt<br />
mål–medel-kedja.<br />
Det diskretionära utrymmet som utförarna har vid genomförandet av politiken varierar därför<br />
mellan olika områden och också inom samma område över tid.<br />
För revisionen har detta flera konsekvenser. En tänkbar konsekvens kan vara att de områden där<br />
det diskretionära utrymmet är vidast bör vara viktigare för revisionen att granska än de områden<br />
där detta är mera begränsat. Ett större diskretionärt utrymme betyder ju att utföraren i hög grad<br />
råder över situationen och har fler valmöjligheter.<br />
En annan konsekvens är att revisionen också måste problematisera vilket diskretionära befogenheter<br />
regeringen eller en myndighet har när den kritiseras för att inte t.ex. ha tillämpat ett<br />
regelverk fullt ut.<br />
I denna skrift har jag försökt framhålla ett antal viktiga frågor när det gäller att se på statlig verksamhet<br />
i förhållande till effekter.<br />
Slutligen, effektivitetsrevision handlar rimligen inte bara om effekter.<br />
Statlig verksamhet kan självklart studeras från en rad andra utgångspunkter än i avseende på<br />
sina (yttre) effekter. Det kan t.ex. gälla själva prestationerna – om t.ex. riksdagen anger mål vad<br />
gäller mängden av och kvaliteten på dessa och kanske i förhållande till en viss kostnad – är det<br />
rimligen viktigt att veta hur det gått med detta.<br />
Själva genomförandet av prestationerna kan vara av central betydelse. Om t.ex. ROT-avdragen<br />
leder till sina effekter är förstås viktigt, men för den som sökt ROT-avdraget är t.ex. tiden det tar<br />
att få sin ansökan behandlad av stor betydelse, och detta helt oberoende av det vi talat om som<br />
de yttre effekterna.<br />
Frågor som gäller kvaliteten i utbildning – för att ta ytterligare ett exempel – kan analyseras<br />
oberoende av utbildningens effekter på sysselsättning och ekonomisk tillväxt under kommande<br />
decennier.<br />
Det finns också uppenbara möjligheter att utveckla tänkandet kring hur revisionen kan hantera<br />
dessa andra frågor. Några ytterligare exempel:
Implementering kan t.ex. granskas på ett mer eller mindre brett sätt. Perspektivet kan vara den insti-<br />
tution som var ansvarig för implementeringen av ett visst program. Det innebär att frågor kan<br />
ställas om administrativa förutsättningar och relationen mellan input och output. Det är dock<br />
också möjligt att ställa frågor om implementering på ett bredare sätt. Många program bygger<br />
på att andra aktörer involveras, t.ex. kommuner och olika organisationer. Ett revisionsorgan har<br />
möjlighet att få tillgång till information om det faktiska genomförandet på ett annat sätt än andra<br />
utvärderare, och revision har inte heller en uppdragsgivare som kan ha ”vested interests” i programmet.<br />
Politikens kunskapsförsörjning är en fråga som blir central då politikerna möter en ”ongoing<br />
stream of evaluative information”. I många länder har vi sett framväxten av komplexa utvärderingssystem.<br />
Vi kan också observera att kvaliteten på de utvärderingar som görs varierar. Framväxten<br />
av olika institut och myndigheter med utvärdering som specialitet gör att utvärdering<br />
börjar bli en kostsam verksamhet inom staten. En utvärdering är också många gånger en viktig<br />
faktor i själva policyskapandet på många områden. Denna faktor har själv aldrig blivit granskad.<br />
Inom utvärderingsfältet förs sedan några år en självkritisk diskussion om detta. Leeuw publicerade<br />
2009 en artikel med den talande rubriken Evaluation:A booming business, but is it added<br />
value” (Leeuw 2009). Nyligen publicerades också en bok med den, möjligen, provokativa titeln<br />
”Evaluation, Seeking Truth or Power” (Eliadis, Furubo & Jacob 2011). Utöver sådana inlägg har en<br />
rad andra studier, med skiftande empirisk grund, pekat på problem som följer av den snabba tillväxten<br />
av krav på utvärdering och byggandet av olika utvärderingssystem (Dahler-Larsen 2004,<br />
De Bruijin 2007, Lindgren 2008, Leeuw & Furubo 2008).<br />
För revisionen är denna diskussion betydelsefull på flera sätt. Den får ofrånkomligen konsekvenser<br />
för diskussionen om vår egen roll och på vilket sätt vår egen verksamhet kan ha negativa<br />
sidoeffekter och hur dessa kan minimeras. Den pekar också på vikten av att vi, som granskare,<br />
förhåller oss till vad som sker i detta vidare utvärderingslandskap.<br />
IMPLIKATIONER FÖR REVISIONEN 81
BILAGA OM ANSVAR OCH<br />
ANSVARSUTKRÄVANDE<br />
Grundläggande innebörd<br />
Diskussionen om ansvar och ansvarsutkrävande bygger i sin idealtypiska form på en uppdragsgivare<br />
(P) och en utförare (A) och att P ställer krav på A som denne är skyldig att leva upp till<br />
och att P har rätt att på något sätt vidta åtgärder som kan vara negativa för A om inte A fullföljt<br />
dessa krav.<br />
Redan denna grundform leder till ett antal frågor om den närmare innebörden av denna relation,<br />
kravens karaktär och giltighet och om hur det skall kontrolleras om kraven följs. Här skall<br />
inte dessa frågor behandlas mer än mycket summariskt. Vi skall inte heller behandla hur rollen<br />
mellan P och A uppstått. Vi skall ta för givet att vi talar om en relation som uppstått genom lagar<br />
eller avtal som på något sätt reglerar över- och underordning.<br />
Relationens karaktär ger en dubbel innebörd åt ”ansvar”. Ansvar har en framåtriktad dimension<br />
och kan, som ofta påpekas, därmed översättas med uppgift eller skyldighet. Norstedts synonymordbok<br />
(2004) anger t.ex. ”sköta om” och ”se till” som synonymer till ansvara. Akademiens ordbok<br />
ger också exempel på ansvar i denna betydelse. Men ansvar används också i en bakåtriktad<br />
betydelse. Det handlar om någon form av konsekvenser som kan följa om uppgiften inte utförts,<br />
att skyldigheten inte fullföljts. Synonymordboken ger här bl.a. alternativen ”bära följderna” och<br />
”stå till svars”. I diskussionen görs ofta en åtskillnad mellan dessa olika betydelser.<br />
Samtidigt är sambandet dock mycket tydligt. Det är först om det finns ett ansvar i den framåtriktade<br />
betydelsen som vi kan anse att någon skall stå till svars eller bära konsekvenserna när skyldigheten<br />
inte fullföljts eller att den som hade att genomföra den på något sätt felat. Om denna<br />
normativa utgångspunkt torde nog de flesta vara överens: En första förutsättning för att ansvar<br />
skall utkrävas är att den som vi utkräver ansvaret av för underlåtelser eller tillkortakommanden<br />
haft ett uppdrag eller skyldighet.<br />
I den andra riktningen tänker vi oss också att innebörden av att någon har en skyldighet är att<br />
den som inte fullföljt sin skyldighet kan drabbas av någon (negativ) konsekvens. Om den som<br />
fastställt skyldigheten och gett en viss order inte alls bryr sig om vad som händer eller struntar<br />
i att vidta någon åtgärd när han eller hon får veta att utföraren nonchalerat sin skyldighet så är<br />
det i längden svårt att tala om en skyldighet. Det sagda innebär att den som ger ett uppdrag<br />
också måste ha någon form av rätt att besluta om olika konsekvenser. Att P kan ställa krav på A<br />
BILAGA OM ANSVAR OCH ANSVARSUTKRÄVANDE 83
84 BILAGA OM ANSVAR OCH ANSVARSUTKRÄVANDE<br />
förutsätter alltså att P på något sätt kan fatta beslut som får negativa konsekvenser för A eller att<br />
besluta om att något positivt uteblir.<br />
Så här långt kan det verka ganska klart. Det finns dock en anledning till att den dubbla innebörden<br />
av ”ansvar” så ofta framhålls i diskussionen om ansvar. Det har att göra med att det ofta<br />
talas om ansvar i den framåtriktade meningen utan att det som sägs kopplas till tanken på att<br />
den som gör fel, eller underlåter att göra något, skall drabbas av konsekvenser.<br />
En företrädare för läkarkåren framhöll för ett par år sedan apropå en undersökning om allmänhetens<br />
uppfattning om lönerna i olika yrken: ”Vi fattar varje dag en rad beslut. Vi har ett stort<br />
ansvar som bör synas i lönesättningen.” I ett annat sammanhang talade en lärare om att lärarna<br />
påverkar de unga människornas hela framtid, ”läraren har ett stort ansvar” framhölls det. Ansvar<br />
handlar här om att olika grupper har ett stort ansvar i meningen fatta svåra beslut som kräver<br />
skicklighet och där själva besluten är allvarliga i den meningen att de kan påverka olika skeenden.<br />
Själva kopplingen till ansvar i betydelsen ”bära konsekvenserna” är åtminstone svag och/eller<br />
oklar i dessa exempel.<br />
Dessa exempel visar också att det framåtriktade ansvaret, som vi tänker oss handlar om en uppgift<br />
eller skyldighet i en mer specifik mening också kan få en mer allmän syftning. Det mer specifika<br />
ansvaret glider över till ett mer allmänt ansvar vi har såsom tillhöriga en grupp. Det handlar<br />
om ansvar i en tredje betydelse, som ”fullgörande av moralisk förpliktelse”. Vi talar ofta om<br />
ansvar i denna mer allmänna mening utan att, får det förmodas, ha någon klar föreställning om<br />
tänkbara konsekvenser i olika situationer. Den franska adelsfamilj som lär ha myntat, det senare<br />
bevingade, uttrycket noblesse oblige hade gissningsvis en föreställning om detta framåtriktade<br />
ansvar, men ansåg förmodligen inte att någon hade rätt att utkräva detta ansvar (åtminstone inte<br />
i en mer jordisk tillvaro). Det är en betydelse av ordet ansvar som kanske inte heller låg så långt<br />
från Chomskys föreställningar när han skrev sin 1960-talsskrift om de intellektuellas ansvar (The<br />
Responsibility of Intellectuals).<br />
Ibland och även i vardagliga sammanhang är dock båda betydelserna högst närvarande. Chefen<br />
som inte säger till sin underliggande att ”du får se till att promemorian är färdig på onsdag nästa<br />
vecka” utan säger ”det är verkligen ditt ansvar att promemorian skickas ut senast på onsdag<br />
nästa vecka” vill antagligen markera att det inte bara är en uppgift som han eller hon vänligen<br />
uppdrar åt den underlydande att utföra, utan också att konsekvenser kan tänkas följa om uppgiften<br />
inte utförs.<br />
Att ansvar används i flera betydelser är inte så mycket att diskutera. Det är ett språkligt faktum.<br />
Det finns dock vissa saker som kan hävdas normativt.<br />
Det gäller först och främst, vilket redan påpekats, att den av vilken ansvar utkrävs också skall ha<br />
haft ansvar i den framåtsyftande meningen. Ansvar kan alltså inte utkrävas av en person (eller
institution) för något mer allmänt missförhållande, även om detta missförhållande alldeles<br />
uppenbart står i strid mot olika förväntningar och med t.ex. uppdragsgivarens beslut. De konstaterade<br />
problemen måste gå att koppla ihop med agerandet hos någon person eller institution.<br />
Den som hålls ansvarig måste ha haft befogenhet att agera och det är detta agerande, eller bristen<br />
på agerande, som kan visas ha orsakat missförhållandet.<br />
Det är ett normativt påstående som både kan sägas innefatta ett slags befogenhets- eller kapacitetsprincip.<br />
Att utkräva ansvar för något av någon som inte haft någon möjlighet, inte ens potentiellt,<br />
att påverka det som skett skulle vi anse stötande. Men ansvarsutkrävande bygger också<br />
på det som ibland kallas kausalitetsprincipen, det måste gå att visa att det som har skett har<br />
samband med det som A gjort eller underlåtit att göra.<br />
Ansvarsutkrävande förutsätter också att uppdragstagaren har getts en bild om vad han eller hon<br />
förväntas göra, vilka krav som ställs på beteenden, verksamhet, prestationer, information som<br />
lämnas etc. En central aspekt är alltså att kraven – på någon nivå – skall ha existerat i förväg.<br />
För att något utveckla frågan om själva kravens karaktär så skall det sägas att påståendet att<br />
detta ”förvägskriterium” inte innebär att kraven måste vara uttryckta i detalj. I en diskussion<br />
om ansvar, revision, accountability och ansvarsutkrävande talas ibland om förväntningar (Flint,<br />
1988 och Behn, 2001 talar t.ex. om expectations). Vissa krav ligger i ett uppdrags natur. Det kan<br />
förutsättas att den som åtagit sig ett visst uppdrag också accepterat vissa krav även om de inte<br />
tydliggjorts. Det går också, för att låna en formulering från Katastrofkommissionen, att diskutera<br />
huruvida t.ex. politiker och tjänstemän levt upp till de krav som ”situationen ställt dem inför”<br />
(Katastrofkommissionen, 2005:104, sid. 65)<br />
Vi föreställer oss också att hur detaljerat kraven uttrycks till en del beror på vilken hierarkisk nivå<br />
det handlar om. Ju ”högre upp” desto fler optioner står till buds. Det som är en förutsättning<br />
på en lägre nivå kan den högre chefen undanröja. I sin klassiska bok Speaking Truth to Power<br />
illustrerar Wildavsky detta med att ett beslut på en högre nivå kan gälla fördelningen av resurser<br />
mellan ”national parks and urban recreation” medan de som har ansvaret för att ”run the parks”<br />
fattar beslut om fördelningen av resurser ”within parks” (Wildavsky,1979, sid. 217).<br />
Det är inte heller självklart att bedömningar av brister i uppdragstagarens agerande enbart skall<br />
baseras på kriterier som mer explicit följer av de beslut uppdragsgivaren har fattat om den specifika<br />
verksamheten och inte heller av beslut som fattats som gäller t.ex. alla myndigheter. Sådana<br />
krav måste kompletteras med professionella eller yrkesmässiga krav. Det kan också antas att<br />
regeringen förutsätter att statlig verksamhet inte skall underskrida vad som betraktas som normal<br />
standard, givet olika expertnormer, vad gäller de aktuella prestationerna. I vissa fall finns sådana<br />
professionella normer uttryckta som ett slags ”överkrav” i olika verksamheter, t.ex. när man i<br />
medicinska sammanhang talat om ”vetenskap och beprövad erfarenhet”.<br />
BILAGA OM ANSVAR OCH ANSVARSUTKRÄVANDE 85
86 BILAGA OM ANSVAR OCH ANSVARSUTKRÄVANDE<br />
En annan aspekt är att kraven kan tänkas avse företeelser som är mer eller mindre direkt kopplade<br />
till den verksamhet som bedrivs. Dessa delas in på olika sätt i olika sammanhang. En aspekt<br />
av detta fångas dock in om vi tänker oss skalan från olika former av finansiella krav, to ”account<br />
for the money” (Behn, 2001:7) till effekter av verksamheten. Rent principiellt kan ansvarsutkrävande<br />
kopplas till vad som helst på denna skala. Krav kan dock stå i konflikt med varandra. Ett<br />
starkt betonande av procedurer och hantering av pengar kan stå i konflikt med innovativitet och<br />
flexibilitet som – kanske – positivt kan befrämja verksamhetens resultat. Efterlevnaden och uppfyllandet<br />
av kraven kan också vara mer eller mindre svåra att kontrollera.<br />
Kontroll<br />
Kontroll kan kanske beskrivas som bryggan mellan det framåtsyftande och bakåtriktade ansvaret.<br />
För att utkräva ansvar måste det finnas en kontroll av om A levt upp till de krav som ställs.<br />
Kontrollen kan gälla både vad A faktiskt gör och A:s redovisning gällande t.ex. ekonomi och<br />
verksamhet.<br />
Det innebär också att det är svårt att tänka sig styrning utan kontroll. Om uppdragsgivaren helt<br />
lämnar uppdragstagaren åt sitt öde skulle vi knappast kunna tala om styrning. I realiteten skulle<br />
ju en sådan situation innebära att uppdragstagaren, åtminstone när uppdragstagaren inser att<br />
det inte förekommer kontroll, kan göra precis det han eller hon behagar. Alla effekter av styrningen<br />
skulle därmed ha bortfallit. Teoretiskt kan vi förstås tänka oss en styrning i form av en initial<br />
impuls – och inget mer – men sådana fall kan vi bortse från i detta sammanhang.<br />
Så styrning förutsätter kontroll. Men det är något mer problematiskt att hävda sambandet i motsatt<br />
riktning, att kontroll alltid syftar till styrning. Det kan hävdas att kontroll på något sätt syftar<br />
till att påverka. Men det kan samtidigt sägas att kontroll i en mer specifik situation kan ha ett värde<br />
utöver dess roll i den framåtriktade styrningen.<br />
Även om vi tänker oss en styrprocess som något avslutat, det som styrningen handlade om har<br />
så att säga fullföljts och kommer inte att upprepas, kan vi se ett värde i kontrollen därför att vi genom<br />
kontrollen kan hålla någon ansvarig. Även i den verksamhet som är avslutad, t.ex. genom att<br />
företaget har likviderats, har uppdragsgivaren – och ibland andra parter – ett berättigat intresse<br />
att få kontrollerat att inte deras intressen kränkts och att ansvar utkrävs om så skulle ha varit<br />
fallet. Denna centrala tanke har starkt betonats både i USA och Europa under de senaste åren.<br />
Styraspekten kan alltså vara mer allmän. Även om den inte har betydelse i den specifika situationen<br />
kan vi mena att kontroll är viktigt därför att andra i motsvarande situationer kommer att veta<br />
att de kontrolleras. Vi kan också tycka att det är viktigt att veta att ansvar skall utkrävas för vissa<br />
handlingar oavsett det institutionella sammanhanget.
Detta oaktat finns det skäl att i mer specifika situationer se styrning och kontroll som två olika<br />
saker. Även om båda processerna förutsätter information behöver det inte vara samma information.<br />
Kontroll och ansvarsutkrävande förutsätter information som gör att uppdragsgivaren kan<br />
bedöma om utföraren har levt upp till berättigade krav. Kraven kan vara explicit uttryckta i formella<br />
regler men kan också vara implicita i en visst uppdragsförhållande, det kan t.ex. finns normer<br />
inom en bransch eller i en profession som skall följas. Om kraven inte följs skall uppdragsgivaren<br />
kunna få information om det finns faktorer som ”ursäktar” detta.<br />
Den framåtriktade styrningen förutsätter ofta annan information. Den styrande kan t.ex. vilja<br />
överväga om den aktuella verksamheten över huvud taget skall fortsätta och i så fall om den skall<br />
ges en annan inriktning eller bedrivas i helt andra organisatoriska former. 30<br />
Diskussionen om accountability<br />
Något bör sägas om accountability i förhållande till ansvar och kontroll. Själva termen accountability<br />
har under de senaste tio åren blivit central i den internationella förvaltningsdiskussionen<br />
och inom organisationer som OECD och Världsbanken. Accountability-diskussionen har varit<br />
central inom NPM men ansluter också till andra traditioner. Själva begreppet har blivit en slags<br />
”semantisk magnet”.<br />
Precis som alla de ord vi pratat om i denna PM förs diskussionen om accountability på flera plan.<br />
Det finns inga enhetliga föreställningar om innebörden. Något kan dock mycket knapphändigt<br />
sägas.<br />
I sin mest grundläggande betydelse handlar accountability om att någon är ”required or expected<br />
to justify actions or decisions” som OED förklarar det. Andra ordböcker ger ungefär samma grund-<br />
betydelse. Accountability handlar alltså om det bakåtriktade ansvarsperspektivet. Leif Lewin<br />
utvecklar samma tankegång i sin bok Democratic Accountability (2007) när han skriver: ”In place<br />
of the term responsibility, we will use the more narrow and precise term accountability: this word<br />
refers to the duty of an agent to account for his actions to his principal, who in turn can punish<br />
him if he fails to perform according to expectation.”<br />
Det är viktigt att poängtera att accountability kan ses som snävare men också mera precist. Den<br />
som har makt skall inte bara ta sitt ansvar på något mera allmänt och diffust sätt. Accountability<br />
innebär att man har en skyldighet att redogöra för vad man gjort.<br />
30<br />
I det som här sagts om kontroll, ansvar och ansvarsutkrävande har flera centrala saker utelämnats. Det gäller<br />
bl.a. den centrala frågan om ansvarsutkrävande av kollektiva aktörer som t.ex. diskuteras i en särskild bilaga till<br />
Katastrofkommissionen (SOU 2005:104, sid. 489-508.<br />
BILAGA OM ANSVAR OCH ANSVARSUTKRÄVANDE 87
88 BILAGA OM ANSVAR OCH ANSVARSUTKRÄVANDE<br />
Den livliga diskussionen om accountability handlar om att närvaron av ett sådant perspektiv<br />
påverkar grundläggande förhållningssätt bland dem som fattar beslut eller utför verksamheter.<br />
Att vara accountable inför någon blir därmed en del av definitionen av den hierarkiska relationen.<br />
Mer historiska förklaringar av accountability försvinner också bland faraoner, kejsare och kungar.<br />
Att ”överheten” är accountable till folket blir därmed en del i föreställningar om vad demokrati<br />
är. Accountable-relationens riktning blir ett uttryck för att det är en ny tid. Det är inte enbart av<br />
kuriosaintresse vi kan notera att författaren i nummer 55 av the Federalist Papers talar om att<br />
legislaturen är ”…at the same time accountable to the society over which they are placed” (15<br />
februari 1788). 31 Året efter att Madison eller Hamilton skrev detta så kom deklarationen om de<br />
mänskliga rättigheterna. En av de 17 artiklarna betonar vikten av att alla som innehar ett offentligt<br />
uppdrag är skyldiga att redovisa för sitt uppdrag. 32<br />
Det handlar om en skyldighet att svara på frågor, att redovisa och därmed att underkasta sig<br />
kontroll. Att vara accountable skapar också förutsättningar för offentlig kritik och debatt, som går<br />
över eller vid sidan av mer formella former för ansvarsutkrävande. När vi talar om accountability,<br />
som alltså kan uppfattas ha en snäv innebörd rent språklig sett, så talar vi därför samtidigt ofta<br />
om något som är mer omfattande än en diskussion om ansvarsutkrävande i mer institutionella<br />
eller rättsliga former. Vi inkluderar det förhållandet att t.ex. statsråd har en faktisk skyldighet att<br />
svara på t.ex. mediernas frågor om både det ena och det andra och att deras villighet, förmåga<br />
eller dumhet i själva svarandet får en faktisk betydelse.<br />
Men samtidigt har en stor del av diskussionen om accountability blivit liktydigt med ansvar<br />
och ansvarsutkrävande i mer formell mening. Inom ramen för accountability-diskussionen ställs<br />
därmed frågor som är centrala för diskussioner som här rubricerats som gällande ansvar och<br />
ansvarsutkrävande.<br />
En sådan diskussion gäller t.ex. att de krav på information som följer av ett starkt betonande<br />
av accountability kan leda fram till att fokus sätts på det som är mätbart och lätt kontrollerbart.<br />
En särskild debatt har också förts om vad som händer när kontrollsystem och revisionssystem<br />
expanderar.<br />
31<br />
No 55 tillhör de Federalist Papers där forskarna inte är helt eniga om vem som är författare. Det anges att det<br />
antingen är Hamilton eller Madison. The Federalist Papers finns publicerade i en rad olika former på nätet,<br />
har här använt www.yale.edu/labweb/avalon.<br />
32<br />
La Société a le droit de demander compte à tout Agent public de son administration (artikel 15).
REFERENSER TILL HUVUDTEXTEN<br />
Alkin, M.C. & C.A. Christie (2004) ”An Evaluation Theory Tree” i Alkin, M.C. (ed.),<br />
Evaluation Roots, Tracing Theorists’ Views and Influences (pp.12–65), London: Sage.<br />
Bhatti, Y. H. Foss Hansen & O. Rieper (2006) Evidensbevægelsens udvikling,<br />
organisering og arbejdsform: En kortlægningsrapport, Köpenhamn: Akf forlaget.<br />
Barzelay, M. (1996) ”Performance Auditing and the New Public Management: Changing Roles<br />
and Strategies of Central Audit Institutions” i Performance Auditing and the Modernisation<br />
of Government. Paris: OECD.<br />
Behn, R. (2001) Rethinking democratic accountability. Washington, DC:<br />
Brookings Institution Press.<br />
Bouckaert, G. & J. Halligan (2008) Managing Performance: International Comparisons.<br />
London: Routledge.<br />
Chen, H.T. (2005) Practical Program Evaluation. Assessing and Improving Planning,<br />
Implementation and Effectiveness. Sage Publications.<br />
De Bruijin, H. (2007) Managing Performance in the Public Sector, andra upplagan.<br />
London: Routledge.<br />
Dahler-Larsen, P.D. (2004) Evaluering og magt, Magtutredningen.<br />
Århus: AarhusUniversitetsforlag.<br />
Dahler-Larsen, P.D. (2009). Context and Evaluation: African and European Perspectives.<br />
Plenarsession vid American Evaluation Associations konferens 2009.<br />
Donaldson, S.I., C.A. Christie & M.M. Mark (2009) What Counts as Credible Evidence in<br />
Applied Research and Evaluation Practice? Los Angeles, CA: Sage.<br />
Droitcour, J.A. & M.G. Covar (2008) ”Multipe Threats to the Validity of Randomized Studies”<br />
i N.L Smith, & P.R. Branden (eds.), Fundamental Issues in Evaluation.<br />
New York: The Guilford Press.<br />
Ekonomistyrningsverket (2003) Resultatanalys för nybörjare. Stockholm: ESV.<br />
REFERENSER 89
90 REFERENSER<br />
Eliadis, P., J.E.Furubo & Steve Jacob (eds.) (2011) Evaluation: Seeking Truth or Power.<br />
New Brtunswick, NJ: Transaction Publishers.<br />
Energisparkommittén (1983) Information som styrmedel. SOU 1983:34. Stockholm: Liber<br />
EUROSAI (2005) Public Audit in Europe. Achievements and Outlook.<br />
Moscow: Accounts Chamber of the Russian Federation.<br />
Flint, David (1988) Philosophy and Principles of Auditing – An Introduction, London: Macmillan.<br />
Finer, H. (1965) ”Administrative Responsibility in Democratic Government” i Rourke, F.E (ed.),<br />
Bureacratic Power in National Politics. Boston: Little Brown and Company.<br />
Friedrich, C. J. (1965) ”Public Policy and the Nature of Administrative Responsibility” i Rourke,<br />
F.E (ed.), Bureacratic Power in National Politics. Boston: Little Brown and Company.<br />
Furubo, J.E. (1994) Utvärderingar – till vad och hur mycket? Stockholm: RRV.<br />
Furubo, J.E. (1996) ”Why Evaluations Sometimes Can’t be Used – and why They Shouldn’t”<br />
in R.C.Rist & N. Stame (eds.) From Studies to Streams. New Brunswick,<br />
NJ: Transaction Publishers.<br />
Furubo, J.E. & Sandahl R. (2002) ”A Diffusion Perspective on Global Developments in<br />
Evaluation” in J.E Furubo, R.C. Rist & R. (eds.). International Atlas of Evaluation.<br />
New Brunswick, NJ: Transaction Publishers.<br />
Furubo, J.E. & O. Karlsson-Vestman (2011) ”Evaluation: For Public Good or Professional<br />
Power?” in P. Eliadis, J.E. Furubo & S. Jacobs (eds.) Evaluation: Seeking Truth or Power?<br />
New Brunswick, NJ: Transaction Publishers.<br />
Greene, J. C. (2006) ”Evaluation, Democracy and Social Change” in I.F Shaw, F. Shaw,<br />
J. C. Greene, and M.M. Mark, (eds.). The Sage Handbook of Evaluation (pp. 118–141).<br />
Sage: London.<br />
Grönlund, A. (2008) <strong>Riksrevisionen</strong> – effektivitetens, rättsäkerhetens och demokratins väktare.<br />
En studie av effektivitetsrevisionen 2003–2007. Akademirapport 2008:1, Företagsekonomiska<br />
institutionen i Stockholm, Akademin för ekonomistyrning i staten.<br />
Grönlund, A., F. Svärdsten & P. Öhman (2011) ”Value for Money and the Rule of Law:<br />
The (new) Performance audit in Sweden” i International Journal of Public Sector<br />
Management, Vol. 24 No 2.<br />
Guba, E.G. & Y.S. Lincoln (1981). Effective Evaluation. San Francisco, CA:<br />
Jossey Bass Publishers.
Hermerén, G. (1984) ”Varför kausalanalys” i Nilstun, T. & G. Hermerén (red),<br />
Utvärderingsforskning och rättsliga reformer. Analys av orsaker och effekter.<br />
Lund:Studentlitteratur.<br />
House, E.R. (1993) Professional Evaluation. London: Sage.<br />
House, E. & K. Howe (1999) Values in Evaluation and Social Research. London: Sage.<br />
INTOSAI. (2004) Implementation Guidelines for Performance Auditing.<br />
International Organisation of Supreme Audit Institutions.<br />
Katastrofkommissionen (2005) Sverige och tsunamin –granskning och förslag. SOU 2005:104.<br />
Stockholm: Fritzes.<br />
Kühlhorn, E. 1979 Frivård och rehabilitering. En empirisk utvärdering av ett experiment inom<br />
kriminalvården. BRÅ-rapport 1979:3. Stockholm: BRÅ.<br />
Lane, J.E. New Public Management. London:Routledge<br />
Leeuw, F.L. & J.E. Furubo (2008) ”Evaluation systems. What are they and why study them”<br />
in Evaluation, Vol. 5, No 4.<br />
Leeuw, F.L. (2009) ”Evaluation. A booming business but is it added value?” in<br />
Evaluation Journal of Australasia, Vol. 9, No.1, pp 3–9.<br />
Lewin, L. (2007) Democratic Accountability. Why Choice in Politicis is Both Possible and<br />
Necessary. Cambridge, MA: Harvard University Press.<br />
Lindgren, L. (2008) Utvärderingsmonstret. Kvalitets- och resultatmätning i den offentliga sektorn.<br />
Studentlitteratur.<br />
Lonsdale,J., P Wilkins & T.Ling (2011/under utgivning) Performance Audit: Contributing to<br />
Accountability in Democratic Government. Edward Elgar Publishing.<br />
Lukes, S. (2005) Power: A radical view. Second edition. Basingstoke, Hampshire:<br />
Palgrave Macmillan.<br />
Mayne, J. (2008) Contribution Analysis: An approach to exploring cause and effect. ILAC Brief 16.<br />
Merton, R.K. (1936) ”The unanticipated consequences of purposive social action” i<br />
American Sociological Review, Vol. 1, No. 6.<br />
Mohr, L.B. (1992) Impact Analysis for Program Evaluation. Newbury Park, CA: Sage Publications.<br />
REFERENSER 91
92 REFERENSER<br />
Myrdal, G (1934) Finanspolitikens ekonomiska verkningar, SOU 1934:1.<br />
Nilstun, T. (1985) ”Att identifiera mål i offentlig politik” i Statsvetenskaplig tidskrift, s. 321–330.<br />
Nilstun, T. (1984) ”Subsumtion, pragmatik och förklaring” i T. Nilstun & G. Hermerén (red.),<br />
Utvärderingsforskning och rättsliga reformer. Ananalys av orsaker och verkan.<br />
Lund: Studentlitteratur.<br />
Owen, J. M. (2007) Program Evaluation. Forms and Approaches. 3rd edition.<br />
New York: The Guilford Press.<br />
Patton, M (2007) ”The Roots of Utilization-Focused Evaluation” in M.C. Alkin (red.),<br />
Evaluation Roots, Tracing Theorists’ Views and Influences (pp.276–292), London: Sage.<br />
Patton, M.Q. (2008) Utilization Focused Evaluation. 4th Edition. Thousand Oaks, CA: Sage.<br />
Pollitt, C., X. Girre, J. Lonsdale, R. Mul, H. Summa & M. Waerness (1999) Performance or<br />
Compliance? Performance Audit and Public Management in Five Countries.<br />
Oxford: Oxford University Press.<br />
Pollitt, C. & G. Bouckaert (2004) Public Management Reform. A Comparative Analysis,<br />
second edition. Oxford: Oxford University Press.<br />
Power, M. (1997) The Audit Society: Rituals of Verification. Oxford: Oxford University Press.<br />
Rieper, O. & H.F. Hansen (2007) Metodedebatten om evidens. Kopenhavn: AKF Forlaget.<br />
<strong>Riksrevisionen</strong> (2007) Hur förbereds arbetsmarknadspolitiken? En granskning av regeringens<br />
underlag. Stockholm: <strong>Riksrevisionen</strong>.<br />
Riksrevisionsutredningen (2009) Uppföljning av Riksrevisionsreformen ll. Utredningar från<br />
riksdagsförvaltningen 2008/09:URF3.<br />
Riksrevisionsverket. (1976) Mål och program i verksamhetsplanering. Stockholm:RRV.<br />
Riksrevisionsverket. (1999) Handbook in Performance Auditing – Theory and Practice.<br />
Stockholm: RRV.<br />
Rist, R. C. & N. Stame (eds.), (2006) From studies to Streams. New Brunswick,<br />
NJ: Transaction Publishers.<br />
Rogers, Patricia (2008) ”Using Program Theory to Evaluate Complicated and<br />
Complex Aspects of Interventions” i Evaluation, vol 14, No 1.
Rossi, P.H., M. W. Lipsey & H.E. Freeman (1999) Evaluation – A Systematic Approach,<br />
Sixth Edition. Thousand Oaks. CA: Sage Publications.<br />
Rossi, P.H., M. W. Lipsey & H.E. Freeman (2004) Evaluation – A Systematic Approach,<br />
Seventh Edition. Thousand Oaks. CA: Sage Publications.<br />
Sandahl, R. (1991) Resultatanalys. Stockholm: RRV.<br />
Sandahl, R. (1996) Att mäta effekter. Stockholm: RRV.<br />
Schwandt, T.A. Key-note Key Note vid Svenska Utvärderingsföreningens konferens 2004.<br />
Svenska Utvärderingsföreningen 2004.<br />
Scriven, M. (1991) Evaluation Thesaurus. Newbury Park, CA: Sage.<br />
STEV (1984) Energihushållning programmets effekter. (Statens energiverk 1984:2). Stockholm<br />
Styrutredningen (2007) Att styra staten – regeringens styrning av sin förvaltning. SOU 2007:75.<br />
Stockholm: Fritzes<br />
Skolverket (2009) Vad påverkar resultaten i svenska grundskolor? Kunskapsöversikt om betydelsen<br />
av olika faktorer. Stockholm.<br />
Skolverket (2011) Utvärdering av metoder mot mobbing. Skolverket. Rapport 353.<br />
Speer, S. (2011 Under utgivning) ”Sectorial Evaluation Cultures. A Comparison of the<br />
Education and Labor Market Sectors in Germany” i Barbier, J.C. & P. Hawkins (red.)<br />
Evaluation Cultures. New Brunswick, NJ: Transaction Publishers.<br />
Vedung, Evert (2009) Utvärdering i politik och förvaltning, (3:e upplagan).<br />
Lund: Studentlitteratur AB.<br />
Weber, M. (1949) The Methodology of the Social Science, New York: The Free Press.<br />
Wickman, K. (1986) ”Utvärdering av ekonomiska styrmedel” i RRV Att utvärdera statlig styrning<br />
– tre uppsatser. Stockholm: RRV.<br />
Wildavsky, A. (1979) Speaking Truth to Power. Little Brown & Company.<br />
Wisler, Carl (ed.) (1996) ”Evaluation and Auditing: Prospects for Convergence” in<br />
New Directions for Evaluation, Number 71, San Francisco, CA: Jossey-Bass Publishers.<br />
REFERENSER 93
<strong>Riksrevisionen</strong> vill bidra till att skapa förutsättningar för en diskussion kring den offentliga<br />
revisionen. Diskussionen kan föras både på ett professionellt plan, bland dem som arbetar med<br />
revision, och bland andra som är intresserade av revisionsfrågor. I denna skrift analyseras vilken<br />
roll effektivitetsrevisionen kan ha i staten och i annan offentlig verksamhet samt revisionens<br />
möjligheter att besvara frågan om effekterna av den statliga verksamheten.<br />
Det är författaren, revisionsrådet Jan-Eric Furubo, som svarar för skriftens innehåll. De ståndpunkter<br />
som uttrycks i skriften behöver inte reflektera <strong>Riksrevisionen</strong>s hållning.<br />
ISSN 1652-6597<br />
ISBN 978 91 7086 268 7<br />
Beställning:<br />
<strong>Riksrevisionen</strong>s <strong>publikation</strong>sservice<br />
114 90 Stockholm<br />
Fax: 08-5171 41 00<br />
<strong>publikation</strong>sservice@riksrevisionen.se<br />
<strong>Riksrevisionen</strong> • 114 90 Stockholm • [Nybrogatan 55] • Tfn 08-5171 40 00 • www.riksrevisionen.se