30.09.2013 Views

Ladda ned publikation (PDF) - Riksrevisionen

Ladda ned publikation (PDF) - Riksrevisionen

Ladda ned publikation (PDF) - Riksrevisionen

SHOW MORE
SHOW LESS

You also want an ePaper? Increase the reach of your titles

YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.

Effektivitetsrevision<br />

– roll, möjligheter och gränser<br />

Jan-Eric Furubo


<strong>Riksrevisionen</strong> är en myndighet under riksdagen med uppgift att granska den verksamhet som bedrivs av staten. Vårt<br />

uppdrag är att genom oberoende revision skapa demokratisk insyn, medverka till god resursanvändning och effektiv<br />

förvaltning i staten.


Effektivitetsrevision<br />

– roll, möjligheter och gränser<br />

Av Jan-Eric Furubo


ISBN 978 91 7086 268 7<br />

Tryck: Östertälje Tryckeri, 2011.


RIKSREVISORERNAS FÖRORD<br />

<strong>Riksrevisionen</strong>s uppdrag är att granska den statliga verksamheten. Att regeringen och statens olika organ<br />

är föremål för en oberoende granskning är en betydelsefull del i den demokratiska arkitekturen. <strong>Riksrevisionen</strong><br />

bedriver både årlig revision med granskning av de statliga myndigheternas årsredovisningar och<br />

effektivitetsrevision där effektiviteten och måluppfyllelsen vid genomförandet av statlig verksamhet står i<br />

centrum för granskningen.<br />

För oss riksrevisorer är det viktigt att resultatet av granskningsverksamheten betraktas som tillförlitligt med<br />

hög kvalitet. Det är också viktigt att vår verksamhet hela tiden utvecklas i takt med internationella revisionsnormer<br />

och att de problem som är förknippade med granskning av offentlig verksamhet diskuteras. Vi<br />

vill därför bidra till att skapa förutsättningar för en diskussion kring den offentliga revisionen, en diskussion<br />

som måste föras både på ett professionellt plan bland de som arbetar med revision och bland andra som<br />

har intresse i och för revision.<br />

Den föreliggande skriften tar upp frågor som har betydelse för det interna professionella samtalet i vår<br />

organisation och särskilt då det som gäller effektivitetsrevisionen. Vi tror dessutom att den också har<br />

intresse för många som i andra roller sysslar med offentlig verksamhet. Vi har därför valt att ge denna skrift<br />

en vidare spridning även om det är författaren som svarar för skriftens innehåll och att de ståndpunkter<br />

som uttrycks i skriften inte behöver reflektera <strong>Riksrevisionen</strong>s hållning.<br />

Stockholm i oktober 2011<br />

Claes Norgren Jan Landahl Gudrun Antemar


INNEHÅLL<br />

Förord ......................................................................................................................................................... 9<br />

1 Effekter och syn på effektivitetsrevisionen .................................................................. 11<br />

Statlig verksamhet – en av många påverkansfaktorer ...................................................................... 12<br />

Olika synsätt på effektivitetsrevision .................................................................................................. 12<br />

Revisionen som idealtyp ................................................................................................................... 15<br />

En berömd debatt ........................................................................................................................... 16<br />

Mekanismen eller revisionens verkansteori .................................................................................... 20<br />

Revisionens tillförlitlighetskrav .......................................................................................................... 22<br />

Varför då denna diskussion? ........................................................................................................... 23<br />

2 Några viktiga ord eller termer ............................................................................................ 25<br />

Resultat ................................................................................................................................................ 25<br />

Mål ....................................................................................................................................................... 26<br />

Mål, resultat och måluppfyllelse ....................................................................................................... 27<br />

Måluppfyllelse och effekter är alltså inte samma sak ...................................................................... 27<br />

Kostnader ............................................................................................................................................ 29<br />

Den inomstatliga terminologin ......................................................................................................... 29<br />

Några engelska termer ........................................................................................................................ 31<br />

3 Effekter och interventioner ................................................................................................. 35<br />

Det grundläggande problemet ........................................................................................................... 35<br />

Olika slag av effekter – ett slags geografi ......................................................................................... 38<br />

Olika interventioner – olika effektfrågor ........................................................................................... 42<br />

Mer eller mindre komplexa interventioner ..................................................................................... 43<br />

Interventionens tyngd ...................................................................................................................... 43<br />

Hur väldefinierad interventionen är ............................................................................................... 44<br />

Kunskapen om de förhållanden som skall påverkas ...................................................................... 46<br />

Sidoeffekter ......................................................................................................................................... 47<br />

Forts.


4 Hur väl kan vi då ta reda på effekterna? ..................................................................... 49<br />

”Riktiga” experiment -RCT .............................................................................................................. 51<br />

Matchad kontroll ............................................................................................................................. 52<br />

Experiment i statlig verksamhet ...................................................................................................... 53<br />

Tidsserieanalyser .............................................................................................................................. 54<br />

Tidsserieanalys i flera steg ................................................................................................................ 55<br />

Simuleringar .................................................................................................................................... 56<br />

Falsifierings- eller baklängesmetod .................................................................................................. 57<br />

Interventionsteori ............................................................................................................................ 59<br />

Svårt med tillförlitligheten .............................................................................................................. 60<br />

Effekter och kostnader........................................................................................................................ 63<br />

Kostnader för prestationer ................................................................................................................. 63<br />

Hur mycket staten satsar i förhållande till ett visst mål .................................................................. 64<br />

Kostnader för statens insatser i förhållande till måluppfyllelse ...................................................... 65<br />

Till sist: Effektstudiernas relevans för framtida beslut? ................................................................... 65<br />

5 Implikationer för revisionen ............................................................................................... 67<br />

Påstående 1: Effektivitetsrevisionen granskar statlig verksamhet och<br />

inte måluppfyllelsen som sådan ........................................................................... 67<br />

Påstående 2: Revisionen måste ta reda på orsakerna till att det inte blev<br />

effekter för att klargöra vem som rådde över orsakerna ..................................... 68<br />

Påstående 3: Revisionen måste (oftast) stanna vid näraliggande effekter ............................... 70<br />

Påstående 4: När revisionen arbetar med effekter måste den ha en<br />

egen interventionsteori .......................................................................................... 71<br />

Påstående 5: Revisionens uttalanden om en granskad verksamhet måste<br />

bygga på att just denna har granskats ................................................................ 72<br />

Påstående 6: Experimentella uppläggningar har begränsad användbarhet för revisionen ....... 73<br />

Påstående 7: Revisionens granskning syftar till att bedöma det enskilda fallet ........................ 75<br />

Påstående 8: Revisionen bedömer en verksamhet i förhållande till olika slag av kriterier ...... 76<br />

Påstående 9: Revisionen kan sällan uttala sig om kostnaderna för att uppnå en<br />

viss längre bort liggande effekt eller en viss måluppfyllelse ................................. 79<br />

Påstående 10: Revisionen kan ta fram viktig kostnadsinformation och därmed visa<br />

på den ”verkliga prislappen” ................................................................................ 79<br />

Till sist ............................................................................................................................................. 80<br />

Bilaga om ansvar och ansvarsutkrävande .......................................................................... 83<br />

Grundläggande innebörd ................................................................................................................ 83<br />

Kontroll ............................................................................................................................................ 86<br />

Diskussionen om accountability ..................................................................................................... 87<br />

Referenser till huvudtexten .......................................................................................................... 89


FÖRORD<br />

Denna skrift är utarbetad på uppdrag av granskningschefen. Bakgrunden till uppdraget är att det i flera<br />

sammanhang aktualiserats att <strong>Riksrevisionen</strong>s granskningar i högre grad skall inriktas på effekter och<br />

kostnaderna för att uppnå dessa. I det följande diskuteras på vilket sätt – och med vilka begränsningar – en<br />

sådan intention kan förverkligas inom effektivitetsrevisionen.<br />

Diskussionen om detta handlar om två saker och kring båda bryts olika meningar. För det första handlar<br />

det om våra möjligheter att besvara frågor om effekter (och kostnaderna för att uppnå dem). För det andra<br />

handlar diskussionen om hur man ser på revisionens och effektivitetsrevisionens roll i samhället. Vad<br />

gäller det senare kan det möjligen sägas att vi genom att se på lagstiftningen och dess olika förarbeten,<br />

eller genom att be våra tre egna riksrevisorer om besked, borde kunna komma till klarhet om vilka ståndpunkter<br />

som bör utgöra diskussionens utgångspunkter. Sådana uttydningar skulle dock inte undanröja alla<br />

oklarheter. Detta kan i grunden uppfattas som positivt. Det är inte säkert att det skulle vara särskilt bra om<br />

ledningen för <strong>Riksrevisionen</strong>, eller andra SAI:ar, skulle ge entydiga besked om vilka som är ”de korrekta”<br />

utgångspunkterna för en diskussion om effektivitetsrevisionen.<br />

Tvärtom är det viktigt med en diskussion där olika synsätt belyses. Detta slags samtal, som förvisso kan<br />

föras oavsett om man betraktar effektivitetsrevisionen som en profession eller ej, är viktigt för att kunna<br />

utveckla verksamheten.<br />

Denna förhoppning är desto viktigare eftersom det, också sett i ett internationellt perspektiv, inte finns<br />

något som kan ses som en diskurs om effektivitetsrevision. I det första kapitlet i denna skrift kommer detta<br />

påstående att utvecklas något.<br />

En följd av denna bristfälliga diskurs är att det inte heller är så lätt att snabbt ange centrala utgångspunkter<br />

för resonemanget. I många andra sammanhang kan det räcka med att säga ungefär ”i det följande<br />

utgår jag från den syn som X presenterade i sitt arbete si och så”. Det är inte möjligt här. I introduktionskapitlet<br />

har jag därför valt att precisera ett synsätt på effektivitetsrevisionen. Detta ligger till grund för<br />

de påståenden som görs i det avslutande kapitlet (5) och som alltså handlar om hur vi skall se på detta<br />

med effekter i revisionen. Däremellan ligger de kapitel där jag för en diskussion om hur effekter, och i viss<br />

utsträckning kostnader, kan mätas och/eller bedömas.<br />

Diskussionen om effekter startar med en genomgång av ett antal nyckelord eller termer (kap. 2). Därefter<br />

kommer olika slags effekter att diskuteras i kapitel 3 – vi kan tala om detta som en ”effektgeografi”. Jag<br />

går därefter över till att diskutera vilka möjligheter och begränsningar som finns när det gäller att mäta<br />

effekter och kostnader. De frågor som kommer att ställas här är hur långt vi kan komma med olika sätt att<br />

attackera effektfrågan (kap. 4) och också, mera summariskt, frågan om kostnaderna för att uppnå olika<br />

FÖRORD 9


10 FÖRORD<br />

effekter. I framställningen kommer lite då och då att interfolieras kommentarer om vilken bäring detta<br />

kan ha på revisionen. I det avslutande kapitlet ges en mera samlad bild av vilka implikationer den diskussion<br />

som förts om effekter har för revisionen. Påståendena i detta kapitel har avsiktligt gjorts spetsiga och<br />

ganska nyansfria. Avsikten är förstås pedagogisk, spetsigare påståenden torde vara mera intresseväckande<br />

än påståenden som redan från början har en rad inbyggda reservationer.<br />

Det skall poängteras att detta inte är en handledning. Det finns rader av metodböcker – både mera översiktliga<br />

och sådana som på djupet handlar om enstaka metoder eller tekniker när det gäller att mäta och/<br />

eller bedöma effekter. Beskrivningar av metoder syftar bara till att lägga en grund för en diskussion om<br />

begränsningar och möjligheter när de gäller att reda ut frågor om effekter.<br />

Det bör också framhållas att det finns rader av frågor som är centrala vid utvecklingen av effektivitetsrevisionens<br />

praxis som inte tas upp här – rekommendationer, bedömningskriterier etc. En del av det som<br />

diskuteras här har samband med dessa frågor men här har diskussionen fokuserats på frågan om effekter<br />

i revisionens arbete.<br />

Denna lilla skrift är därmed enbart en enskild medarbetares bidrag till ett professionellt samtal och för att<br />

poängtera detta används första person singularis då jag velat tydliggöra att jag hävdar en viss ståndpunkt.<br />

Skriften uttrycker alltså inte en organisations eller grupps åsikter. Riksrevisorerna har tagit ställning till<br />

denna skrift endast i ett avseende och det är att den kan bidra, tillsammans med andra inlägg, till samtalet<br />

om vår verksamhet.<br />

Ledningen har därmed också uttryckt sin välvilja för att detta inlägg skall kunna följas av andra inlägg i<br />

denna och andra frågor av betydelse för vår långsiktiga utveckling. Meningen är förstås också att vi skall<br />

diskutera det som står på de följande sidorna i olika sammanhang. Flera kolleger har gett synpunkter på<br />

innehållet på de följande sidorna. Jag har också haft förmånen att få ta del av synpunkter från Kim Forss,<br />

Anders Hanberger och Evert Vedung samt från några av de forskare som ingår i <strong>Riksrevisionen</strong>s vetenskapliga<br />

råd. För dessa synpunkter är jag mycket tacksam.<br />

Jan-Eric Furubo


1. EFFEKTER OCH SYN PÅ<br />

EFFEKTIVITETSREVISIONEN<br />

Effekter är förstås viktiga i alla verksamheter. Men när det gäller statlig verksamhet påverkas<br />

diskussionen om effekter, och kostnader för att uppnå dem, av några särskilda omständigheter.<br />

Statlig verksamhet finns till av många skäl. I detta sammanhang är det viktigt att framhålla att<br />

beslut om en viss verksamhet många gånger fattats därför att det inträffat något som politikerna<br />

anser bör leda till beslut om statliga ingripanden. Det kan t.ex. handla om en dramatisk prisökning<br />

på olja som nödvändiggör statliga styrmedel för att påverka oljekonsumtionen eller en våg<br />

av våldsbrott som framtvingar olika former av politiskt agerande. Men det behöver inte vara<br />

dramatiska yttre händelser, det kan också vara att kunskapen ökar hos olika grupper, inklusive<br />

politiker, om något som pågår i samhället och som kanske pågått under lång tid. Klimatfrågan<br />

är ett bra exempel på detta. Här är det inte fråga om något plötsligt inträffat utan i stället om<br />

att forskarna börjar påvisa samband som skapar oro inför framtiden. Men det kan också vara<br />

avslöjande tv-program om t.ex. brister i hur våra äldsta omhändertas som gör att en fråga hamnar<br />

högt upp på den politiska dagordningen. Ett annat exempel är rapporter om skolelevernas<br />

kunskapsnivå. På detta område har mätningar, och jämförelser mellan olika länder, skapat ett<br />

tryck på politiker att agera. 1<br />

Alla politiker har naturligtvis inte samma uppfattning om vad som är ett problem. Och även i de<br />

fall där de är överens om att något är ett problem är det inte självklart att man är överens om att<br />

det är en uppgift för staten att agera för att lösa problemet.<br />

1 PISA uttyds Programme for International Student Assessment och är den omfattade undersökning som genomförs<br />

vart tredje år. I flera länder, bl.a. Tyskland talas om den s.k. PISA-chocken. Här är det alltså inte en plötsligt inträffade<br />

händelse utan kunskap om konsekvenserna av ett långvarigt förlopp som påverkat en frågas plats på den politiska<br />

dagordningen (bl.a. Speer, 2011/under utgivning).<br />

EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 11


Statlig verksamhet – en av många påverkansfaktorer<br />

I detta sammanhang skall dock inte en mera allmän diskussion föras om varför en fråga hamnar<br />

högt på den politiska dagordningen. Poängen här är att visa på att staten inte sällan agerar därför<br />

att det händer något, antingen faktiskt eller genom att politiker och andra bibringas en ny bild av<br />

verkligheten. Men det som händer i samhället påverkar inte bara politikerna utan också en rad<br />

andra aktörer i samhället. De händelser som får staten att agera utlöser också andra förlopp i<br />

samhället och de har därmed en ”egen påverkan” på utvecklingen.<br />

Ibland kan det därför bli som politikerna ville, måluppfyllelsen har med andra ord varit god, men<br />

till följd av andra förlopp eller faktorer än den statliga interventionen. Just detta gör att vi inte<br />

kan nöja oss med att se enbart på måluppfyllelsen. Målet har nåtts – men pengarna som satsats<br />

är ändå att se som en onödig utgift! I övrigt kan förstås också motsatsen gälla: Målen, som<br />

politikerna ställt upp, har inte nåtts men pengarna som satsats får ändå ses som väl använda.<br />

Redan detta visar att diskussionen om effekter i statlig verksamhet har flera bottnar. Innan<br />

diskussionen förs vidare skall en sak göras tydlig. Vad som skall diskuteras i denna skrift är s.k.<br />

yttre effekter, alltså effekter som den statliga verksamheten ger upphov till ”ute i samhället”. Vad<br />

detta innebär skall vi återkomma till.<br />

Ett viktigt påpekande bör dock göras här. Det är inte självklart att en diskussion om hur vi skall<br />

bedöma statlig verksamhet behöver handla om (yttre) effekter. Det är tvärtom viktigt att framhålla<br />

att många nog skulle mena att detta med effekter är en smal ingång i en diskussion om hur<br />

vi kan bedöma värdet av statlig verksamhet. Det är en debatt som förts under flera decennier,<br />

t.ex. av Guba & Lincoln redan i början av 1980-talet (1981) och senare av flera andra (House<br />

& Howe, 1999; Greene, 2006 m.fl.). Den internationella utvärderingsdiskussionen handlar om<br />

mycket annat än att mäta effekter av politiska interventioner.<br />

Detta är dock inte en skrift som handlar om tänkbara ”perspektiv i eller på utvärdering”. Diskussionens<br />

kontext är den statliga revisionen och det specifika problemet är hur effekter av statlig<br />

verksamhet skall hanteras i dess granskningar.<br />

Olika synsätt på effektivitetsrevision<br />

Först kan då konstateras något som kan förefalla paradoxalt. Vikten av effektivitetsrevision<br />

betonas i rader av dokument från organ som Världsbanken, OECD etc. Länder som ansökt om<br />

medlemskap i EU har fått visa att de har en fungerande effektivitetsrevision. Det betonas således<br />

att effektivitetsrevision är en viktig del i den demokratiska arkitekturen. Samtidigt kan vi dock<br />

konstatera att diskussionen om effektivitetsrevisionen är mycket outvecklad. Vi har bokstavligen<br />

inte fler än några få studier av detta och vi har ett antal, men fortfarande lätt räknade, artiklar i<br />

olika tidskrifter som är inriktade på utvärdering och förvaltning (public administration). Vi har<br />

12 EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN


dock ingen tidskrift som enbart ägnas effektivitetsrevision. Läget kan jämföras med den strida<br />

strömmen av <strong>publikation</strong>er på t.ex. utvärderingsområdet. Detta är inte platsen för en mera<br />

utförlig diskussion om orsakerna till detta. Några tänkbara förklaringar skall dock antydas.<br />

En tänkbar förklaring till detta är att performance auditing – om vi nu använder den inter-<br />

nationella benämningen – har definierats i en institutionell kontext. 2 När performance auditing<br />

diskuterats kretsar diskussionen kring vad olika revisionsorgan faktiskt gör eller vilka intentioner<br />

de har för sin verksamhet när det gäller det som de kallar performance auditing. Det är t.ex.<br />

utgångspunkten för bidragen i det speciella nummer av New Directions for Evaluation som analys-<br />

erade relationen mellan revision och utvärdering (Wisler, 1996) men också t.ex. i den jubileumsbok<br />

EUROSAI gav ut 2005. 3<br />

Diskussionen om praxis i performance auditing har i hög grad handlat om hur performance<br />

auditing kan relateras till andra former av utvärderande verksamhet. I denna diskussion har det<br />

funnits olika tolkningar av den historiska utvecklingen och normativa ställningstaganden har<br />

skiftat. Det är uppenbart att det har funnits en tendens att betrakta performance auditing som<br />

en del av ett större utvärderingslandskap. Ibland förefaller den att betraktas som revision enbart<br />

till följd av att den bedrivs av det högsta revisionsorganet. Performance auditing är därmed<br />

helt enkelt utvärderingar som utförs av ett revisionsorgan. Det är på ett sätt en cirkeldefinition:<br />

Om vi frågar en funktion inriktad på att bedriva performance auditing i en SAI om vad de gör<br />

kan svaret bli: ”Performance auditing”. Och på vår nästa fråga vad Performance auditing är följer<br />

svaret: ”Det är vad vi gör.”<br />

Denna ”definition” var förmodligen problemfri några decennier tillbaka. I de länder som kan<br />

betraktas som pionjärer eller tidiga anammare av performance auditing hade denna en dominerande<br />

ställning både när det gällde genomförandet av utvärderingar och i den allmänna debatten<br />

om utvärdering. Det gällde kanske i särskilt hög grad USA men också flera europeiska länder,<br />

däribland Sverige. Det var då – möjligen – inte så viktigt att precisera vad som var det speciella<br />

med det man själv gjorde i förhållande till övriga som höll på med ungefärligen samma sak.<br />

2 Den internationella benämningen performance auditing är problematisk. Den tillhör den kategori av internationellt<br />

konstruerade uttryck som inte riktigt motsvaras av de benämningar som används i de enskilda länderna. Inte ens<br />

alla engelskspråkiga länder har använt performance auditing i inhemska sammanhang när de talar om performance<br />

auditing. Andra länder, som Tyskland, Frankrike och Nederländerna använder benämningar som inte förefaller<br />

att ligga speciellt nära performance auditing. Den svenska benämningen ”effektivitetsrevisionen” får väl ses som<br />

ett exempel på detta eftersom vi i själva benämningen infört ett bedömningskriterium som inte finns när vi talar<br />

om performance. Här i texten kommer en viss växling att ske mellan performance auditing, förkortningen PA och<br />

effektivitetsrevision.<br />

3 I ett kapitel ”Performance auditing: audit or misnomer” i Lonsdale et al, Performance auditing: Contributing to<br />

Accountability in Democratic Government (2011) så gör jag en mera utförlig genomgång av olika inlägg vad gäller<br />

performance auditing. Jag har också valt att här vara sparsmakad vad gäller referenser och hänvisar i stället till<br />

detta kapitel.<br />

EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 13


I dag är situationen en annan. Vi har en ström av ”utvärderingsinformation” som produceras<br />

av en rad olika institutioner (Furubo & Sandahl, 2002; Rist & Stame, 2006; Leeuw, 2009). Olika<br />

former av performance auditing funktioner inom SAI:arna svarar därför i många länder ofrånkomligen<br />

för en begränsad del av denna informationsström. Och i länder som har utvecklat en<br />

praxis av performance auditing under senare år är det troligt att performance auditing aldrig<br />

kommer att få en lika dominerande roll som den hade i en handfull länder för några årtionden<br />

sedan. Det är därför viktigt att effektivitetsrevisionen kan argumentera för sin roll visavi andra<br />

organ som sysslar med att utvärdera och analysera statlig verksamhet.<br />

En sådan diskussion är svår – och också kontroversiell. Ett sätt att föra diskussionen är att utgå<br />

från att det viktiga är det historiska eller beskrivande perspektivet. Då betonas att effektivitetsrevision<br />

växer fram som en del av en mera allmän utvärderingstradition. Det finns här nyanseringar<br />

som kan göras, men det kan nog hävdas att detta, åtminstone i huvudsak, är en korrekt<br />

historiebeskrivning vad gäller USA, Kanada, Nederländerna, Sverige m.fl. Det förefaller också<br />

rimligt att hävda att Frankrike replierar på en mera utvärderingsorienterad tradition när de nu<br />

orienterar sig mera i riktning mot performance auditing och att detta också gäller, t.ex. Belgien. 4<br />

Denna bild av framväxten av performance är rimligen den som Barzelay utgår ifrån när han<br />

hävdar att ”Performance auditing is thus something of a misnomer. Performance auditing is<br />

an evaluative activity of a particular sort whose name happens to include the word ‘auditing’.”<br />

(1996:19).<br />

Ett alternativt sätt att föra diskussionen bygger på att vi inte kan definiera en samhällelig<br />

verksamhet (enbart) genom vad utövarna faktiskt gör. Det skulle rimligen vara otillfredsställande<br />

om vi definierade en företeelse som t.ex. parlamentarism enbart genom att se på relationen<br />

mellan olika statsorgan i de länder som vid en viss tidpunkt säger sig praktisera parlamentarism.<br />

Jag har därför valt att diskutera vad performance auditing är genom att gå tillbaka till ett slags<br />

– i Webersk mening – idealtypisk föreställning om vad revision är och därefter applicera denna<br />

föreställning på den svenska effektivitetsrevisionen.<br />

Det går inte att på några mera allmänna grunder avgöra vilket av dessa två sätt att föra diskussionen<br />

som är riktigast. De som förfäktar det första synsättet kan fråga varför vi skall definiera<br />

revision på något annat sätt än det som utgår från den praxis som vuxit fram under decennier.<br />

Genom att försöka hitta vad som är gemensamt när vi jämför vad olika SAI:ar gör borde vi kunna<br />

beskriva vad performance auditing är.<br />

Mot detta kan de som, i likhet med mig, företräder det andra synsättet invända: Må så vara, men<br />

när performance auditing är en del av ett större kunskapslandskap måste den kunna klargöra sin<br />

särart på ett mera grundläggande sätt och då går det inte att definiera sig själv enbart utifrån vad<br />

4 Bygger på personliga kontakter men också vad gäller Frankrike på deltagande i ett seminarium sommaren 2009.<br />

14 EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN


som görs. Den som står för en sådan ståndpunkt skulle nog också vilja lägga till att det är svårt<br />

att förstå hur oberoendet, och de särskilda ”friheter” ledningen för en SAI har, skall motiveras om<br />

man inte kan visa på innebörden av denna sin särart. De olika synsätten får också konsekvenser<br />

för synen på vad revisionen skall göra på ett mera handfast plan, även om de säkert inte kommer<br />

att påverka allt som görs. Oavsett syn på effektivitetsrevisionen kommer säkert en del att göras<br />

på samma sätt. Men det påverkar tillräckligt mycket för att ha betydelse.<br />

Den följande diskussionen kommer att utveckla vad performance audit eller effektivitets-<br />

revisionen är utifrån detta andra synsätt. I ett första steg skall en tolkning göras av innebörden<br />

av revision i allmänhet. I det därpå följande steget diskuteras möjligheterna att applicera denna<br />

tolkning på performance auditing.<br />

Revisionen som idealtyp<br />

Vi skall börja denna diskussion om hur revision kan uppfattas genom att försöka se på den som en<br />

idealtyp. Det är då viktigt att erinra om att detta Weberska verktyg inte har något att göra med ideal<br />

i den mening som antyds i t.ex. följande sats: ”Som ung hade han höga ideal.” Idealtyp handlar<br />

i stället om renodling, att skala av en företeelse alla de reservationer den dagliga praktiken<br />

motiverar och frilägga den från verklighetens alla variationer. Det handlar om att skapa konceptuell<br />

klarhet och inte att beskriva verkligheten, idealtypen ger ett redskap eller ett instrument som<br />

kan användas i analysen av en företeelse. Weber själv skriver 1904 ”An ideal type is formed by<br />

the one-sided accentuation of one or more points of view and by the synthesis of a great many<br />

diffuse, discrete, more or less present and occasionally absent concrete individual phenomena,<br />

which are arranged according to those onesidedly emphasized viewpoints into a unified analytical<br />

construct (Gedankenbild)” (Weber, 1949:91).<br />

När vi försöker konstruera revision som en idealtyp måste vi gå tillbaka till vad vi ser som grundläggande<br />

postulat gällande revision. I Philosophy and Principles of Auditing (1988) gör David Flint<br />

ett försök att konstruera ett antal postulat för revision. Hans första postulat är ”The primary<br />

condition for an audit is that there is a relationship of accountability or a situation of public<br />

accountability” (Flint, 1988:23). Han elaborerar detta första postulat genom att dela upp det i<br />

flera delar. Den första delen (1a) är att det finns ”a relationship of accountability between two<br />

or more parties in the sense that there is a duty of acceptable conduct owed by one party to the<br />

other party or parties” (Flint, 1988:22). Den enklaste formen av en sådan relation ”is a situation<br />

in which two parties can be specifically identified” (Flint, 1988:23).<br />

Den relation Flint talar om kan existera på olika nivåer och kan också ses som en kedja av<br />

accountability relations. I sin bok Rethinking Democratic Accountability (2001) utvecklar Robert.<br />

D. Behn resonemanget genom att tala om accountability holder or holdees och konstaterar att vi<br />

kan vara accountability holder i en relation och en accountability holdee i relation till en överordnad<br />

nivå. I denna kedja är det i demokratiska samhällen väljarna som är ”the ultimate accountability<br />

holder”.<br />

EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 15


I alla relationer i denna kedja finns ett essentiellt element och det är ”that the actions of the<br />

first party….are subject to scrutiny by another group or groups who are in the position to invoke<br />

or impose some sanction or penalty if the performance falls short of what can be expected by<br />

reference to the criteria that have been established. The first parties require to give an account,<br />

provide information or provide access to information as a basis of decision by the group or the<br />

groups to whom they are accountable” (Flint, 1988:24).<br />

Emellertid täckte Flints första postulat också situationer ”of public accountability” i vilka någon<br />

eller några har ett berättigat krav att få information utan att mottagaren av information kan<br />

”invoke or impose some sanction”. De som har detta berättigade krav på information kan vara<br />

”a specified group or groups of which the members may not be constant or individually<br />

identifiable” (1988:22). Det kan vara fråga om potentiella investerare, anställda etc. Dessa indirekta<br />

relationer är – även om de inte här skall diskuteras vidare – många gånger av central<br />

betydelse och har haft stor betydelse vid utformningen av lagstiftningen på flera olika områden.<br />

Dessa (del) postulat säger ingenting om behovet av revisorer. Flints andra postulat för in dessa:<br />

”The subject matter of accountability is too remote, too complex and/or of too great significance<br />

for the discharge of the duty to be demonstrated without the process of audit” (1988:22).<br />

Flint betraktar också independence som ett postulat. Med viss tolkning av Flint kan detta ses som<br />

en nödvändig följd givet de två första postulaten. Accountability förutsätter independence och<br />

”freedom from investigatory and reporting constraints” (1988:22).<br />

Det torde vara få som ifrågasätter att det behövs denna tredje part för att kontrollera t.ex. ett<br />

företags räkenskaper och beskrivningar av sin ekonomiska ställning. I grunden tycker vi att det är<br />

självklart. Vi anser oss, i en rad sammanhang, kunna utgå från att det är avsevärt mera sannolikt<br />

att den som vet att han eller hon inte kontrolleras kommer att fuska eller ”plocka ut lite extra” i<br />

kassan.<br />

När det dock gäller synen på granskning av hur statlig verksamhet genomförs, hur de som har att<br />

genomföra de folkvaldas beslut hanterar detta ansvar, har dock frågan inte tett sig lika självklar.<br />

Det är uppenbart, vilket tidigare illustrerats, att vi här möter olika uppfattningar. För renodlingens<br />

skull skall de olika synsätt vi kan möta illustreras med en berömd debatt.<br />

En berömd debatt<br />

Dessa olika synsätt kom att ställas mot varandra i en ofta refererad debatt 1941. Debatten är<br />

omtalad som ”the Finer and Friedrich debate”. Båda herrarna var statsvetare som verkade i USA,<br />

men med europeisk bakgrund. Debatten handlar ytterst om behovet av yttre kontroll i förhållande<br />

till ”självkontroll” i form av etiska förhållningssätt och professionella korrigeringsmekanismer. 5<br />

5<br />

16 EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN<br />

Inläggen har publicerats vid flera tillfällen. Citat är hämtade från Friedrich, 1965 och Finer, 1965.


De båda professorerna var nog ganska eniga om den tilltagande komplexiteten i den moderna<br />

statsapparaten och också att det skett en faktisk ökning av byråkratins diskretionära utrymme.<br />

Friedrich, som utvecklar detta med stor frenesi, bygger upp detta genom att argumentera<br />

mot den populära ståndpunkten från förra sekelskiftet, som betonade boskillnaden mellan ”the<br />

expression of the will of the state and the execution of the will”. Friedrich pekar, bl.a. genom<br />

konkreta exempel, på vad han ser som orimligheten i denna ståndpunkt. 6<br />

Friedrich bejakar i grunden denna utveckling – han förefaller nog snarast att vilja öka förvaltningens<br />

spelutrymme. Hans recept för att förena detta med demokratin innehåller två ingredienser,<br />

Technical Knowledge and Political Responsibility. Technical Knowledge innebär att ”administra”administrative<br />

officials seeking to apply scientific ’standards’ have to account for their action in terms<br />

of a somewhat rationalized and previously established set of hypotheses. Any deviation from<br />

these hypotheses will be subjected to thorough scrutiny by their colleagues in what is known<br />

as ’the fellowship of science’...” Administratören skall emellertid inte bara ta hänsyn till ” the<br />

existing sum of human knowledge concerning the technical issues involved” utan också ”existing<br />

preferences in the community, and more particularly the prevailing majority”. Mycket kan<br />

tilläggas om Friedrichs resonemang, men det som leder till debatten med Finer är att Friedrich<br />

i grunden menar att byråkrater i grunden kan fås att agera som, låt oss kalla det, ”good guys”.<br />

Finer menar för sin del att det är tvärtom. Det diskretionära utrymmet har ökat – javisst, säger<br />

Finer, men svaret på denna utveckling bör rimligen vara att ge politikerna ökade möjligheter att<br />

påverka även det som enligt Friedrich bör anförtros byråkratin. De valda är ”to determine the<br />

course of action of the public servants to the most minute degree that is technically feasible”.<br />

Bakom Finers ståndpunkt ligger i grunden uppfattningen att byråkratin måste övervakas. Han för<br />

in de redan två välkända definitionerna av ”responsibility” och konstaterar ”First, responsibility<br />

may mean that X is accountable for Y to Z. In the first definition the essence is the externality of<br />

the agency or persons to whom an account is to be rendered, and it can mean very little without<br />

that agency having authority over X, determining the lines of X’s obligations and the terms of is<br />

continuance or revocation. The second responsibility puts the emphasis on the conscience of<br />

the agent, and it follows from the definition that if he commits an error it is an error only when<br />

recognized by his own conscience, and that the punishment of the agent will be merely twinges<br />

thereof. The first one implies public execution; the other hara-kiri. While reliance on an official’s<br />

conscience may be reliance on an official’s accomplice, in democratic administration all parties,<br />

official, public, and Parliament will breathe more freely if a censor is in the offing…”.<br />

6 En liten sidokommentar: Det intressanta är att ståndpunkten, om en mycket markerad tudelning mellan mål och<br />

medel, under flera decennier var föremål för omfattande debatt. Som bl.a. Lane framhållit ter det sig desto konstigare<br />

att åsikten så helt utan diskussion långt senare anammas i bl.a. skepnad av NPM (New Public Management).<br />

(Lane, 2000:26).<br />

EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 17


Anledningen till att vi har anledning att hysa denna misstro är att den politiska och administrativa<br />

historien ”of all ages” har visat att alla styrelseskick – också ”the benevolent” – utan<br />

minsta tvivel kommer att visa att ”there is an abuse of power when external punitive controls<br />

are lacking”. Han talar om att detta förr eller senare visar sig på tre sätt.<br />

• Government and officials have been guilty of nonfeasance, that is to say that they have not<br />

done what law and custom required them to do owing to laziness, ignorance, or want of<br />

care for their charges, or corrupt influence.<br />

• Again, there may be malfeasance, where a duty is carried out, but is carried out with vaste<br />

and damage, because of ignorance, negligence, and technical incompetence.<br />

• Third, there is what may be called overfeasance, where a duty is undertaken beyond what<br />

law and custom oblige or empower; overfeasance may result from dictatorial temper, the<br />

vanity and ambition of the jack in office, or genuine, sincere, public-spirited zeal.<br />

Den sista formen av maktmissbruk kommenterar han särskilt. Med ett citat från Montesquieu<br />

konstaterar han att formuleringen ”virtue itself hath need of limits” förtjänar att sättas i centrum<br />

av diskussionen om ”public responsibility”. Han konstaterar att ”we in public administration<br />

must beware of the too good man as well as the too bad”.<br />

Hur skall vi då se på denna diskussion 70 år senare? I en viss mening är det nära till hands att<br />

se det som ett slags ”trosfråga”, antingen tycker man si eller också tycker man så. Detta svar kan<br />

möjligen te sig lite väl lättvindigt. Finer skulle måhända på ett allmänt plan hänvisa till att inget i<br />

de gångna 70 årens utveckling strider mot hans allmänna tes. Han skulle kanske också framhålla<br />

att den fråga som han och Friedrich diskuterade – ytterst förvaltningens drivkrafter – bl.a. belysts<br />

av forskare som förknippas med public choice och han skulle mena att de forskarna gett honom<br />

rätt.<br />

Friedrich skulle gissningsvis framhålla att det kanske trots allt var hans föreställningar som<br />

dominerat både teoretisk debatt och utveckling av förvaltningspraxis. Han skulle peka på att<br />

”the good guy notion” kan betraktas som central i många av idéerna om offentlig administration<br />

som har dominerat de senaste årtiondena, med etiketter som Management by Objectives, Performance<br />

Budgeting, Results Based Management och förstås New Public Management (NPM)<br />

under 1980-talet och i någon mån också under 1990-talet. Friedrich skulle notera att de centrala<br />

antagandena är att beslutsfattaren är grundläggande rationell, villig att använda kunskap och att<br />

bevekelsegrunden är det allmänna intresset i stället för egenintresset. Det är en beslutsfattare<br />

som, efter att ha fattat ett beslut, följer upp och mäter och är villig att justera det tidigare beslutet<br />

till följd av den information som införskaffas.<br />

Inom utvärderingsdiskussionen har också denna föreställning om ”good guys” varit viktiga för<br />

många ledande teoretiker. Trots stora skillnader har ledande utvärderingsforskare som Weiss,<br />

Suchman, Patton, Wholey, Mark och många andra en grundläggande positiv syn på hur politiska<br />

18 EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN


och administrativa beslutsfattare kan agera. Det som betonas är kopplingen mellan ny kunskap<br />

och ”improvement”. Det är kunskapen i sig som får beslutsfattaren att agera annorlunda – och<br />

bättre. Inte – om vi drar ut linjerna – rädslan för att någon annan skall kontrollera oss och t.ex.<br />

peka på vår bristande effektivitet eller bristande kompetens.<br />

Men frågan om det var Friedrich eller Finer som bäst beskrev byråkratin kan vi möjligen lämna<br />

därhän. Det är nämligen, tillåter jag mig att anta, få som inte skulle acceptera någon av följande<br />

två positioner:<br />

a) Friedrichs beskrivning är i allt väsentligt riktig. Det är möjligt att skapa en slags<br />

internaliserade och professionella mekanismer som innebär att administrativa system<br />

blir ”självkorrigerande”. Trots detta behövs det externa kontrollsystem, antingen därför<br />

att dessa mekanismer låser sig eller därför att det alltid kommer att finnas riktiga dåliga<br />

individer i systemet eller undantagssituationer.<br />

b) Finer har på det stora taget rätt. Samtidigt finns det så starka inslag av altruism och<br />

ärlig vilja i systemet att kunskap som förs in kan förväntas komma till användning.<br />

Det är därför viktigt också med en sådan kunskapsproduktion.<br />

Innebörden av denna – kanske lite naiva – ståndpunkt som innebär att ”båda kan ha rätt” är<br />

att även om vi utgår från att de flesta byråkrater, och byråkratiska institutioner, i de flesta situationer<br />

agerar med det allmännas bästa för ögonen så kan vi inte räkna med att detta alltid är<br />

fallet. Vi behöver alltså funktioner som granskar verksamheten med utgångspunkt i att vi alla kan<br />

uppträda som ”bad guys” – även på det paradoxala sättet att vi kan vara ”too good”.<br />

Detta innebär att det behövs revision inriktad på frågan om hur förvaltningen sköter sig som<br />

avses att komma till användning i en kontext av accountability eller ansvarsutkrävande. 7 Det<br />

är viktigt att detta inte säger något om vilken aspekt på ”sköter sig” som granskas. Även om<br />

accountability är grundsyftet kan förstås granskningen handla om någon aspekt av de tre E:na,<br />

som vi skall återkomma till, eller ytterligare något annat. Och även om grundsyftet är något annat<br />

än accountability kan man i olika studier ändå välja att låta studierna kretsa kring de tre E:na<br />

eller, även här, något helt annat.<br />

Detta resonemang innebär alltså att vi kan analysera och studera statlig eller annan verksamhet<br />

med olika syften. Vi kan placera ut kunskapsproduktionen på en skala där ytterligheterna kan<br />

sägas vara ”the good guy notion” där kunskapen antas leda till bättre beslut och en bättre praktik<br />

och ”the bad guy notion” där det antas att det inte är kunskapen som sådan som är verkansmedlet<br />

utan oron för vad vår principal skall säga.<br />

7 Jag är medveten att jag här för in ytterligare ett omdiskuterat begrepp, som utan tvekan tillhör gruppen contested<br />

concepts. I en bilaga till denna skrift har jag försökt redan ut relationen mellan ansvar, ansvarsutkrävande och<br />

engelskans accountability. Accountability kan i detta sammanhang uppfattas som snävare än responsibility eller<br />

ansvar och tar fasta på ansvarsutkrävandet som är en aspekt på ansvar.<br />

EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 19


Mekanismen eller revisionens verkansteori<br />

Det som här beskrivits är också två föreställningar om vilken roll kunskap kan ha. Inom utvärderingsområdet<br />

– och i många rörelser inom public administration – poängteras alltså ofta att<br />

människor fattar bättre beslut om de får kunskap. Användningsprocessen kan visserligen vara<br />

komplex, vilket t.ex.Weiss visat, men grundantagandet är att beslutsfattaren är rationell, villig att<br />

använda kunskap och har det allmänna intresset som ledstjärna.<br />

Revisionens interventions- eller verkansteori bygger, som jag försökt visa, på en mörkare föreställning<br />

om de drivkrafter som finns bland de som skall förverkliga besluten som den demokratiskt<br />

utsedda principalen fattar. Även här kan ett ”kritiskt öga” bidra till förbättring. Men den<br />

leder till förbättring därför att den som granskas eller kan komma att granskas är medveten om<br />

existensen av denna utomstående granskare. Denna medvetenhet gör att tjänstemannen eller<br />

myndigheten kommer att hantera sina plikter och förvalta offentliga resurser bättre än vad som<br />

annars skulle ha blivit fallet. Kontroll medverkar till bättre beteenden och bättre beslut och leder<br />

fram till en effektivare användning av gemensamma resurser och påverkar nivån av förtroende i<br />

samhället. Det kan möjligen ses som en paradox: Eftersom vi som medborgare har anledning att<br />

hysa misstroende mot makten och dess utövande i statens institutioner blir det möjligt att hysa<br />

förtroende för statens institutioner enbart då vi vet att de kontrolleras av en part som – i någon<br />

rimlig mening – är oberoende av dessa institutioner.<br />

Denna syn innebär också att kravet på oberoende får en helt annan betydelse för revisionen än<br />

för andra kunskapsproducenter. Om vi utgår från att förtroende förutsätter institutioner som på<br />

ett oberoende sätt granskar den statliga verksamheten blir oberoendet avsevärt mer ovillkorligt<br />

för revisionen än för andra kunskapsproducenter. Det är alltså inte fråga om något som ibland<br />

kan föreligga. Oberoendet är i stället en del av själva definitionen av revision.<br />

Detta är avgörande. Oberoendet kan vara viktigt i samband med t.ex. olika utvärderingar. Det är<br />

rimligt att anta att en studie som skall förbättra en verksamhet kan framstå som mera trovärdig<br />

och därmed få större påverkan om den som gjort den står fri från bindningar till verksamheten.<br />

Detta antagande gäller dock enbart ibland. Det är nämligen möjligt att argumentera för en motsatt<br />

syn. Det kan hävdas att just beroendet, i stället för oberoendet, är avgörande om syftet är<br />

att bidra till användning och förbättringar i en viss verksamhet. Att oberoendet inte är något<br />

självklart värde torde också vara uppenbart om vi ser på t.ex. hur olika organ som sysslar med<br />

rådgivning och organisationsförbättring arbetar.<br />

Michael Patton – som mer än någon annan förknippas med det som är omtalat som Utilization-<br />

Focused Evaluation – framhåller att ”…utilization-focused evaluation should be judged by their<br />

utility and actual use; therefore evaluators should facilitate the evaluation process and design<br />

any evaluation with careful consideration of how everything, from beginning to end, will affect<br />

use” (Patton, 2004:277). Patton menar att independence är bra givet vissa syften. Men givet vissa<br />

20 EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN


andra syften, t.ex. lärande och programförbättring, är det andra faktorer som bidrar till användning.<br />

Graden av independence blir en fråga om avvägningar (Patton, 2008: 140, 168).<br />

Nyckelorden i diskussionen om hur studier skall komma till nytta för lärande och förbättring av<br />

en verksamhet är ofta ”interactive”, ”participatory”, ”involving” och att utvärderaren skall verka<br />

för t.ex. ”closeness” och ha en roll som ”facilitator” snarare än att vara den som värnar sitt<br />

oberoende.<br />

Innebörden är att oberoende ibland är viktigt när det skall tas fram kunskap som mera direkt<br />

syftar till att användas för att förbättra en verksamhet. Men ibland är det inte det – oberoendet<br />

kan med andra ord diskuteras i instrumentella termer. Bidrar det eller bidrar det inte till förbättring?<br />

När vi talar om revision är det däremot uteslutet att betrakta oberoendet i instrumentella<br />

termer. Om vi accepterar att revisionens raison d’être är att granska – åtminstone potentiella<br />

– “bad guys” för att kunna hålla dem accountable måste revisionen alltid vara oberoende. Det<br />

handlar inte om en villkorlig egenskap utan om själva definitionen.<br />

Det är lätt att här förutse en invändning. Även många utvärderare kan, i ett specifikt samman-<br />

hang, tilldelas samma granskande roll och många utvärderingar görs i en kontext av ansvarsutkrävande<br />

och accountability. Många utvärderingsforskare har också framhållit att utvärde-<br />

ring kan ha detta syfte (Alkin & Christie, 2004:12). En utomstående utvärderare – t.ex. i form av<br />

en forskare eller konsult – kan kallas in av en ledning för att granska underlydande organs eller<br />

befattningshavares verksamhet. Det skall ärligt sägas att denna invändning inte går att vifta<br />

bort. Det viktigaste motargumentet är att oberoendet för den konsult som kallas in kan vara<br />

betydande i utförandet av den enskilda granskningen, men det gäller just det tilldelade uppdraget.<br />

Den tillkallade utvärderaren agerar inte utifrån en ”egen” institutionell plattform<br />

som gör det möjligt att t.ex. själv välja vad som skall granskas samt när och hur. 8 Oberoendet för<br />

den tillfällige granskaren är just tillfälligt och villkorat.<br />

Det som här tagits upp gäller synen på vad som är revisionens grundläggande existensmotiv.<br />

Det bör då framhållas att även en renodling av ansvarsperspektivet inte innebär att allt som görs<br />

enbart handlar om att kunna användas för att pröva någons ansvar. Den enskilda granskningen<br />

kan självklart läggas upp på ett sådant sätt att man blottlägger praktiska svårigheter, alternativa<br />

lösningar etc. Den kan därmed bidra till lärande bland dem som på olika sätt deltar i verksamheten<br />

och ge underlag för förändringar av verksamheten. Konsekvenserna, eller effekterna om<br />

man så vill, av effektivitetsrevision kan därmed också bidra till ett mer direkt främjande.<br />

8 Ove Karlsson-Vestman och jag har i introduktionen till en nyligen utkommen bok diskuterat sex aspekter på makt<br />

som är betydelsefulla i relationen mellan utvärderaren och andra aktörer. I analysen betonas utifrån en diskussion<br />

av brittiska NAO ”even if an audit office has de facto limitations…it controls all six aspects of power” (Furubo &<br />

Karlsson-Vestman 2011:23).<br />

EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 21


Det torde nu vara uppenbart att jag lutar åt en ståndpunkt som betonar vikten av ansvarsutkrävande.<br />

Innan vi går vidare bör därför ytterligare en sak sägas. Denna ståndpunkt leder inte<br />

till några självklara svar på frågan om hur revisionens praktik skall formas, som handlar om vad<br />

revisionen skall granska, vilka perspektiv som skall anläggas, vilka normer som skall appliceras,<br />

vilken betydelse ”idealmål” skall ha i bedömningen av en verksamhet, hur rekommendationer<br />

skall se ut m.m.<br />

Detta påpekande ter sig inte oviktigt eftersom Riksrevisionsutredningen, som följde upp, riksrevisionsreformen<br />

menade: ”Ansvarskriteriet kan enligt utredningen vara förknippat med en rad<br />

problem” (Riksrevisionsutredningen, 2009: 49). Hur detta uttalande skall tolkas är dock inte<br />

självklart.<br />

Utredningen pekar på ett antal konkreta brister man ansåg sig kunna iaktta i <strong>Riksrevisionen</strong>s<br />

dittillsvarande verksamhet. Utredningen såg dessa brister som följd av riksrevisorernas uppfattning<br />

om att <strong>Riksrevisionen</strong>s rapporter ”ska utformas så att de kan utgöra underlag för ansvarsutkrävande”.<br />

På vilket sätt de brister som utredningen såg var en följd av denna ansvarslinje<br />

analyserade dock inte utredningen närmare. Det kan inte uteslutas att en sådan analys skulle<br />

ha identifierat andra förklaringar till de brister som utredningen ansåg föreligga. Och även om<br />

dessa brister, om vi accepterar utredningens bedömning, förklaras av riksrevisorernas betonande<br />

av ansvar, är det möjligt att föreställa sig att ansvarslinjen kan ges andra tolkningar än den som<br />

orsakade de påtalade bristerna.<br />

För att vara tydlig på denna punkt: Uppfattningen att revisionens grundläggande roll är att skapa<br />

förutsättningar för att det skall gå att utkräva ansvar betyder naturligtvis inte att revisionen bör<br />

avstå från, vilket förefaller att ha föresvävat Riksrevisionsutredningen, att studera områden av<br />

stor betydelse. Ännu mindre behöver denna uppfattning leda till att revisionen binds till ett stuprörsperspektiv<br />

eller avstår från möjligheterna att komma med förslag till alternativa lösningar.<br />

Revisionens tillförlitlighetskrav<br />

Finns det då några konsekvenser av det synsätt som här förfäktats, som får betraktas som mer<br />

ofrånkomliga än andra?<br />

Det synsätt som här hävdas måste rimligen innebära att det revisionen säger skall vara sant i en<br />

mycket trivial mening. Det som sägs skall ju kunna användas för att i efterhand ställa människor<br />

– och organisationer – till svars för något som gjorts eller inte gjorts. Revisionens tyngdpunkt<br />

ligger i ansvarets bakåtriktade dimension. 9 Den bakåtriktade dimensionen tar fasta på att en<br />

9<br />

Att diskutera ansvarets olika dimensioner ligger utanför denna framställning. I en bilaga diskuteras dock detta<br />

något utförligare.<br />

22 EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN


innebörd av ansvar är att någon form av konsekvenser kan följa om en skyldighet som agenten<br />

har ålagts inte fullföljs.<br />

De uttalanden som görs måste alltså vara tillförlitliga. Det är ett överordnat krav. De skall alltså<br />

inte gå att tolka lite hur som helst, de måste kunna uppfattas som (tämligen) entydiga. Det är<br />

också viktigt, fast inte lika viktigt, att de är precisa. Ett tillförlitligt men mycket oprecist uttalande<br />

är knappast särskilt användbart när det gäller att leverera ett underlag för att pröva om något gått<br />

snett och i så fall vem som är ansvarig för detta.<br />

När vi diskuterar effekter är alltså den överordnade frågan för revisionen: När är det möjligt för<br />

oss att uttala oss med effekter på ett precist och tillförlitligt sätt?<br />

Inte sällan kan man i dokument från t.ex. myndigheter hitta ord som resultat, effekter, kostnader<br />

osv. Ibland används orden på ett sätt som antyder skillnader i betydelse där det egentligen inte<br />

finns någon skillnad. I det följande skall därför innebörden av ett antal nyckeltermer preciseras.<br />

När detta görs är det viktigt att ha en sak i åtanke. Många ord har en innebörd i ett mera allmänt<br />

språkbruk och en annan innebörd i ett visst inomprofessionellt språkbruk. Detta behöver inte<br />

vara något problem – om man vet vilket språk som talas eller skrivs! Ibland är dock detta inte helt<br />

klart. Det är däremot viktigt att förstå dessa olika användningar.<br />

Varför då denna diskussion…?<br />

Varför är då denna diskussion om vad revision – och mera specifikt effektivitetsrevision är – viktig?<br />

Helt rimliga frågor är ju: Varför begränsa innebörden av effektivitetsrevision eller performance<br />

auditing, är det inte bättre att acceptera olika tolkningar och den kreativa spänningen detta ger<br />

upphov till? Och när det gäller många andra intellektuella verksamheter och olika former av<br />

social praxis accepterar vi en sådan syn som självklar. När det gäller t.ex. utvärdering är nog flertalet<br />

av dem som haft anledning att skriva och tänka om utvärdering överens om att utvärdering<br />

måste tillåtas mycket stor – låt oss kalla det –pluralism. Och flertalet accepterar att utvärdering<br />

kan ha högst varierande perspektiv, utföras i högst varierande sammanhang och vara avsedd att<br />

användas på olika sätt (deliberation, kunskapsbyggande, accountability etc.). Men … utvärdering<br />

som en samhällelig praxis kräver inte en särskild legal position eller att de som utför utvärdering<br />

skall ha särskilt anställningsskydd eller att det skall finnas särskilda lagreglerade procedurer för<br />

att säkra att deras rapporter behandlas eller att de skall ha en särskild rätt att inhämta information.<br />

Men allt detta krävs för revisionen. Och om någon kräver särskild laglig protektion är det<br />

kanske rimligt att kräva att denna någon också kan beskriva vad hon eller han gör. Enkelt uttryckt:<br />

En riksrevisor kan inte säga till medborgarna ”jag gör vad jag vill göra”. Han eller hon måste säga<br />

”jag gör vad jag vill göra, men det sker inom vissa ramar och syften som jag kan berätta om”.<br />

EFFEKTER OCH SYN PÅ EFFEKTIVITETSREVISIONEN 23


2. NÅGRA VIKTIGA ORD ELLER TERMER<br />

Vi kan konstatera att vi redan har använt en rad ord som brukas på olika sätt i olika sammanhang.<br />

Inom staten används t.ex. ord som resultat och effekter på ett högst varierat sätt.<br />

Jag skall därför precisera innebörden av ett antal olika ord.<br />

Resultat<br />

En språklig innebörd är att resultat är något som inträffat och som orsakats av något annat.<br />

Ordböcker ger synonymer som verkan, konsekvens, följd och utfall. Effekt är i detta mer allmänna<br />

språkbruk synonym till resultat, de är t.o.m. likabetydande. 10<br />

Att påstå att något är ett resultat av något innebär inte att vi uttalat oss om det som hände var<br />

bra eller dåligt. Ett påstående kan vara: Förmögenhetsbeskattningen ledde till jämnare förmögen-<br />

hetsfördelning. Givet att påståendet är korrekt kan vi ha olika uppfattningar om en jämnare<br />

förmögenhetsfördelning är något bra eller dåligt. I själva påståendet utsägs dock inget om det<br />

som skedde var bra eller dåligt.<br />

Resultatet är något som har inträffat. Det hindrar dock inte att vi kan tala om ett tänkbart eller<br />

sannolikt resultat av en viss tänkt framtida orsak: ”Ett tänkbart resultat av denna temperatur-<br />

förändring är att Golfströmmen vänder” står det t.ex. i en artikel om klimatförändringar.<br />

Resultat behöver inte heller, det följer av det som sagts, vara knutet till någon mänsklig vilja. Vi<br />

kan t.o.m. använda ordet resultat för att beskriva förlopp som inträffade innan vi hade kravlat<br />

upp på stränderna.<br />

Om vi vänder oss till engelskan och Oxford Dictionary upplyses vi om att effekter är ”change<br />

which is a result or a consequence of an action or other causes”. Oavsett om vi talar om resultat<br />

eller effekter, eller några andra ord med samma kausala bäring, så impliceras något kontrafaktiskt.<br />

Det handlar om skillnaden mellan det som i verkligheten har skett och det som skulle ha<br />

skett om en viss faktor inte hade funnits. I rader av sammanhang gör vi kontrafaktiska påståenden.<br />

Ett välkänt exempel kan ungefär ges följande formulering: ”Järnvägarna hade en central<br />

betydelse för den industriella utvecklingen i USA.” Påståendet innebär att den industriella utveck-<br />

10<br />

Resultat i företagsekonomi har dock en annan betydelse och kan definieras som skillnader mellan intäkter och<br />

kostnader.<br />

NÅGRA VIKTIGA ORD ELLER TERMER 25


26 NÅGRA VIKTIGA ORD ELLER TERMER<br />

lingen skulle ha sett annorlunda ut om järnvägarna inte hade byggts. 11 När vi säger att något är<br />

en effekt, eller ett resultat, av en politisk insats tänker vi oss alltså att verkligheten skulle ha sett<br />

annorlunda ut utan den politiska insatsen.<br />

Det som här sagts om att ord som resultat eller effekter implicerar något kontrafaktiskt innebär<br />

dock inte att det krävs att vi i varje situation, där vi använder sådana ord, måste troliggöra hur<br />

den kontrafaktiska utvecklingen skulle se ut. Hela vår tillvaro är uppbyggd kring vår kunskap om<br />

kausala förhållanden där vi utgår från att en viss effekt följer på en viss händelse. Vad som är det<br />

kontrafaktiska förloppet har så att säga avgjorts tidigare.<br />

Mål<br />

Och om vi talar om sådana framtida resultat som vi vill uppnå till följd av någon åtgärd som vi<br />

själva genomför talar vi ofta om mål. Ofta implicerar mål någon form av förändring. Men ett mål<br />

kan också handla om att en viss företeelse inte skall ändras, en befarad förändring skall undvikas.<br />

Någon gör X för att uppnå målet Y. Och i efterhand kan vi jämföra resultatet Z med målet (Y) och<br />

se i vilken utsträckning målet är uppnått. Mål är alltså alltid något som vid någon tidpunkt har<br />

gällt framtiden, har varit något som man velat uppnå. Dock kan vi i efterhand tala om att målet<br />

uppnåtts: ”He achieved his goal of becoming King of England” är ett slagkraftigt exempel som<br />

OED förser oss med. Innebörden av detta är att mål aldrig är värdeneutrala. Mål är uttryck för<br />

någons vilja, det är något som någon vill uppnå. Det är något man ”aktivt eftersträvar att förverkliga”<br />

för att låna en formulering från en av 1970-talets handböcker från RRV. En helt annan sak är<br />

förstås att olika personer kan ha olika uppfattningar om vad som är önskvärt. 12<br />

När vi säger att vi har ett mål implicerar vi också en föreställning om hur det är eller kan bli. Målet<br />

uppstår alltså i spänningsfältet mellan vår bild av verkligheten (nu eller i framtiden) och vad vi<br />

anser vara bra eller dåligt. Nilstun som, i en artikel för ett antal år sedan, diskuterade vad mål är<br />

konstaterade att en ”sats för att vara mål måste ange (eller antyda) två saker: (1) verkligheten är<br />

(eller om inget görs: kommer att vara) beskaffad på ett visst sätt, och (2) det är önskvärt att den<br />

blir på ett visst annat sätt” (Nilstun,1985:321–330). Det finns alltså, menar Nilstun, ett deskriptivt<br />

11 Exemplet med den industrialismen är förstås inspirerat av Fogels studier. Just dessa illustrerar också att<br />

kontrafaktiska påståenden kan ha stor politisk betydelse. När Fogel fick Nobelpriset hänvisades till de bittra<br />

strider som hans studie om slaveriet utlöste. Fogel visade att slaveriet inte avskaffades därför att det var olönsamt,<br />

vilket tidigare var den gängse uppfattningen. Fogel visade att ”The institution did not fall to pieces due to its economic<br />

weakness but collapsed because of political decisions” enligt sammanfattningen i pressreleasen i<br />

samband med Fogels Nobelpris 1993.<br />

12 Att i mer praktiska sammanhang ställa mer precisa krav på ett mål är inte omöjligt. Mål beskrivs ibland som<br />

”ett valt önskvärt framtida tillstånd” med en formulering från RRV:s ”målhandbok” från 70-talet<br />

(Riksrevisionsverket,1976:17). Formuleringen förskjuter dock diskussionen till att handla om vad ett tillstånd är.<br />

I handboken från 1970-talet sägs att inom en producerande verksamhet innebär ett förändrat tillstånd att ”vid<br />

tidpunkten T framställa Z stycken artiklar av visst slag”.


element i målformuleringar. Orden ”eller antyda” i Nilstuns parentes är förstås viktiga. Många<br />

gånger blottläggs det deskriptiva elementet först då den aktuella satsen tolkas och sätts in i ett<br />

sammanhang.<br />

Mål är en central del i offentliga dokument. Det finns möjligen ibland en föreställning att mål<br />

uppstår som en del av de moderna administrativa styrsystemen, alltså kanske som en följd av<br />

programbudgetering eller mål- och resultatstyrning. Inget kan vara felaktigare – är det frestande<br />

att säga. Mål har sedan mycket länge formulerats i politiska dokument, i offentliga utredningar,<br />

propositioner etc. När, för att ta ett exempel före programbudgeteringen, den 1959 tillsatta studiesociala<br />

utredningen publiceras 1963 så talar man om de två mål som ”bör stå i blickpunkten<br />

när det gäller att överväga det studiesociala systemets utformning”. Det kan antas att en mera<br />

ingående genomgång av riksdagstryck och utredningsbetänkanden även från de närmaste föregående<br />

årtiondena skulle visa på att mål, och olika synonymer, används frekvent.<br />

Mål, resultat och måluppfyllelse<br />

Ett resultat behöver inte korrespondera mot mål. I en administrativ eller politisk sfär kan en åtgärd<br />

ge upphov till rader av resultat som inte har med målet att göra. När vi talar om olika slag av<br />

positiva eller negativa sidoeffekter så är ju förstås också dessa effekter eller resultat.<br />

Som påpekats kan vi också tänka oss situationer, vilka också förekommer i praktiken, att målen<br />

har uppnåtts men att måluppfyllelsen är ett resultat, eller en effekt, av andra orsaker än de åtgärder<br />

vi vidtog för att nå målet. Måluppfyllelsen som sådan säger alltså inte något om hur framgångsrik<br />

en viss statlig verksamhet varit.<br />

Det kan här vara på sin plats att göra ett ytterligare tillägg: Målstyrning och resultatstyrning är<br />

givet dessa språkliga noteringar samma sak och ”mål- och resultatstyrning” är språkligt sett en<br />

tautologi. Målstyrning innebär att vi – på något sätt – styr mot det uppställda målet, att de olika<br />

åtgärder som vidtas skall vara riktade mot dessa mål. Resultatstyrning å sin sida innebär förstås<br />

inte att vi styr mot vilket resultat som helst utan att vi har valt ut vissa avsedda resultat som<br />

önskvärda. De åtgärder vi vidtar skall vara riktade mot dessa avsedda resultat, som alltså är mål.<br />

Måluppfyllelse och effekter är alltså inte samma sak<br />

Ofta talas om vikten av att använda graden av måluppfyllelse som en norm för att bedöma en<br />

statlig verksamhet. Den enkla tanken är att politiken varit framgångsrik i de fall de politiska målen<br />

uppnåtts och misslyckad i de fall de inte uppnåtts.<br />

Och – om vi lämnar det språkliga och logiska planet – så är det förvisso svårt att tänka sig att en<br />

regering skulle avstå från att trumpeta ut att politiken varit framgångsrik om politiken nått sina<br />

mål eller att oppositionen inte skulle framhålla regeringens misslyckande om målen inte nåtts.<br />

NÅGRA VIKTIGA ORD ELLER TERMER 27


28 NÅGRA VIKTIGA ORD ELLER TERMER<br />

Emellertid ser problemet annorlunda ut när vi mera grundligt vill värdera en statlig verksamhet.<br />

Det har tidigare pekats på att målen kan uppnås oberoende av de statliga insatserna, målen har<br />

uppnåtts men det skulle de ha gjort även utan det staten gjort. Och ibland kan en verksamhet<br />

bedömas som framgångsrik trots att vi inte förflyttar oss närmare målen – men det går kanske<br />

att visa att vi skulle ha avlägsnat oss från dem utan den statliga verksamheten, arbetslösheten<br />

skulle t.ex. kanske ha ökat ännu mera om inte vissa styrmedel satts in.<br />

1970- och 1980-talens satsning på effektivisering av energianvändning innebar att staten satsade<br />

tiotals miljarder – redan i den tidens penningvärde – för att subventionera olika former av investeringar.<br />

Och de mål riksdagen hade angett nåddes också. Under 1980-talet lades också omfattande<br />

resurser <strong>ned</strong> på att minska spridningen av hiv/aids. Och det visade sig också att kunskaper<br />

och beteenden förändrades på det sätt som informationsinsatserna syftade till.<br />

Gemensamt för dessa exempel är att de politiska åtgärderna är en följd av händelser som påverkar<br />

inte bara politikernas uppfattning om behovet av interventioner utan också en rad andra<br />

aktörer i samhället. I det första exemplet följde en rad prisförändringar av de internationella störningarna<br />

i oljetillförseln. Dessa påverkade rimligen hushåll och företag direkt och oberoende av<br />

de statliga åtgärderna. Det påverkar också bedömningarna av teknikutveckling och lönsamheten<br />

i olika investeringar.<br />

I det andra exemplet påverkas en rad icke-statliga aktörer, kommersiella företag med kondomtillverkning<br />

använder smittorisken i sin reklam, enskilda individers sexuella beteenden påverkas osv.<br />

Exemplen illustrerar en viktig sak. Politiska åtgärder uppstår därför att det inträffat något som<br />

påverkar samhället i stort. Verkligheten kommer alltså att förändras oberoende av den politiska<br />

interventionen.<br />

Effekterna av statens åtgärder är alltså ett slags nettotillskott. Och det är just detta som gör kontra-<br />

fakticiteten till ett så centralt problem.<br />

Är det då ointressant att konstatera att verkligheten har närmat sig eller främjat sig från målet,<br />

m.a.o. att bedöma måluppfyllelsen? Naturligtvis inte, oberoende av om något är en effekt eller<br />

ej så är det viktigt att få veta om verkligheten stämmer med det som anses önskvärt. Alldeles<br />

oberoende av vad som orsakat en viss utveckling är det förstås viktigt för politikerna att få veta<br />

om t.ex. de problem som lett fram till att man ställt upp vissa mål lösts eller förvärrats.<br />

Våra möjligheter att ange hur väl ett mål nåtts varierar. Det beror självklart på målet. Många<br />

politiska mål är till sin karaktär sådana att de t.o.m. kan ha sin grund i statistiska verklighetsbeskrivningar.<br />

Ett politiskt mål kan t.ex. vara att alla skall ha en bostad av viss storlek, ett högsta<br />

avstånd till viss service osv. Förverkligandet av detta slag av mål kan alltså ofta beskrivas i samma<br />

termer som den som ursprungliga problembeskrivningen gjordes i.


Det är dock viktigt att veta att en och samma företeelse kan få en förändrad innebörd över tiden.<br />

Ett exempel får illustrera resonemanget. De utbildningspolitiska målen på 1960-talet om social<br />

och ekonomisk utjämning av tillträdet till högre ut bildning byggde på föreställningar om den<br />

sociala betydelsen av högre utbildning. Det politiska målet handlade därmed inte bara om utbild-<br />

ningen som sådan. En social utjämning av utbildningen reflekterade också att individer skulle ha<br />

möjlighet att få vissa yrken, vissa positioner, oberoende av social bakgrund. Om vi nu mäter<br />

eftergymnasial utbildning i stort har denna inte alls samma betydelse 1960 som 2010. Enbart<br />

vissa utbildningar, på vissa linjer och på vissa nivåer, ger samma sociala möjligheter som akademisk<br />

utbildning generellt sett gjorde 1960.<br />

En statistisk serie över den sociala distributionen av eftergymnasial utbildning i stort är därmed<br />

givetvis sann – givet de definitioner som gjorts. Den säger dock bara en del av hur framgångsrik<br />

man varit för att nå det politikerna vill uppnå och lösa det som de såg som problem.<br />

Kostnader<br />

Kostnader är en företagsekonomisk term. Den definieras som värdet av förbrukade resurser under<br />

en viss period. Det är viktigt att vara medveten om att en utgift inte är samma sak som en<br />

kostnad. Utgiften är den ekonomiska ersättningen vid anskaffandet av en resurs. En maskin som<br />

köps in ger upphov till en utgift. Om kostnaden skall beräknas måste man ta reda på hur stor del<br />

av maskinen som förbrukats under t.ex. det gångna året. I praktiken avgörs kostnaden genom<br />

olika regler för avskrivning.<br />

När vi i det följande talar om kostnader så handlar det alltså i grunden om hur mycket resurser<br />

som har lagts <strong>ned</strong> på en viss verksamhet. I den kommande framställningen kommer att diskuteras<br />

möjligheterna att koppla ihop den finansiella informationen om vilka resurser som har<br />

förbrukats i en viss verksamhet med informationen om resultaten. Detta har ofta beskrivits som<br />

kopplingen mellan finansiell styrning och resultatstyrning.<br />

Den inomstatliga terminologin<br />

Ett konkret mål är ofta knutet till någon form av subjekt. Ofta, om än inte alltid, är det angivet<br />

eller underförstått vem eller vilka som skall handla så att målet uppnås. Det är däremot viktigt<br />

att framhålla att begrepp som mål, resultat, effekter och kostnader inte har med organisatoriska<br />

gränser att göra. De har inte heller någonting att göra med var vi befinner vi oss i en produktionskedja<br />

eller en mål–medel hierarki. För att låna en formulering som Rolf Sandahl använder<br />

i diskussionen av effektbegreppet så är de per definition ”inte rumsligt knutet till något specifikt<br />

förhållande” (Sandahl, 1996:11). Det kan också läggas till att inte heller mål som begrepp är<br />

rumsligt knutet. Vi kan ange mål för hela samhället men vi kan också ange mål för t.ex. hur<br />

många ärenden som skall handläggas nästa år på en enhet i en viss myndighet.<br />

NÅGRA VIKTIGA ORD ELLER TERMER 29


30 NÅGRA VIKTIGA ORD ELLER TERMER<br />

Däremot har en del termer just i den inomstatliga diskussionen, och även i t.ex. förordningen<br />

om årsredovisning och budgetunderlag, fått en mer avgränsad innebörd. För undvikande av<br />

missuppfattningar betyder inte detta att det inomstatliga språkbruket är bristfälligt eller sekunda.<br />

Det är dock viktigt att klargöra att det på vissa punkter skiljer sig från ett mer allmänt språkbruk<br />

eftersom ju många inom staten faktiskt växlar mellan dessa olika språkbruk – vilket skapar en<br />

och annan missuppfattning.<br />

Av de termer som vi tidigare diskuterat har inom staten effekter kommit att avse det som händer<br />

utanför myndigheten. I det inomstatliga språkbruket har effekter alltså getts en rumslig knytning.<br />

Detta har varit fallet sedan åtminstone 1980-talet och spreds till förvaltningen inte minst genom<br />

de skrifter om resultatanalys och utvärdering som RRV utarbetade i mitten av 1980-talet. Det har<br />

sedan dess varit centralt i olika vägledningsskrifter. Det som är effekter är alltså, förklarar t. ex.<br />

ESV i nutida skrifter, det som har orsakats av prestationerna (Ekonomistyrningsverket, 2003:7).<br />

Prestationerna i sin tur är ”de tjänster och produkter som lämnat myndigheten”. Dessa slutprestationer<br />

kan sedan delas upp i olika delprestationer. De gränsdragningsproblem som följer av<br />

denna underindelning av prestationer skall vi inte gå in på här. Den sammanfattande benämningen<br />

på prestationer och effekter är i det inomstatliga språkbruket resultat. Inom staten har alltså<br />

resultat blivit en ”paraplyterm” medan effekter fått en avgränsad betydelse.<br />

Enligt det inomstatliga språkbruk som skapades under 1980-talet kan både prestationer och<br />

effekter bli föremål för uppföljning och utvärdering (Ekonomistyrningsverket, 2003:11). Genom<br />

uppföljning beskrivs hur något utvecklas. Det kan gälla både hur handläggningstiderna förändrats<br />

eller ”hur de samhällsförhållanden utvecklats som man velat påverka med den statliga insatsen”<br />

som påpekas i en skrift med ett par årtionden på nacken (Furubo 1987:11). Det något kryptiska<br />

uttryckssättet i citatet har förstås att göra just med att uppföljningen inte handlade om att<br />

berätta om effekterna utan i vilken utsträckning förändringar inträffat. Som framgått tidigare är vi<br />

dock vanligen inte intresserade av att ”följa upp” vilka förändringar som helst. Vi är intresserade<br />

av dem som staten velat påverka. Det handlar alltså om att se på hur målvariablerna utvecklats.<br />

Blev det t. ex färre trafikolyckor?<br />

I detta språkbruk betonas att utvärderingar handlade om kausalitet. Var de olika förändringarna<br />

verkligen en följd av de statliga insatserna? Och det gäller alltså oavsett om det gäller prestationerna<br />

eller effekterna ute i samhället. Utvärdering konfronteras därför med frågor om kontrafakticitet.<br />

Annorlunda uttryckt gäller det att isolera effekterna av en statlig insats från allt annat som<br />

påverkar utvecklingen och därmed kunna visa på vad som kan attribueras den statliga insatsen,<br />

för att knyta an till ytterligare ett vanligt sätt att beskriva kausalitetsproblemet.<br />

Den specifika inomstatliga terminologin avviker också ibland från terminologin i andra sammanhang.<br />

Det är här relevant att påpeka att EU:s terminologi på vissa punkter skiljer sig från<br />

den svenska.


Noteras kan också användningen av uttrycken inre och yttre effektivitet. I kortform handlar det<br />

om att inre effektivitet avser sambandet mellan tillförda resurser och de prestationer som lämnar<br />

myndigheten, ofta uttrycks detta genom produktivitet. Yttre effektivitet avser sambandet mellan<br />

dessa prestationer och de effekter i samhället som de ger upphov till. Men yttre effektivitet används<br />

också för att ange sambandet mellan till myndigheten tillförda produktionsresurser, som<br />

alltså används för att producera olika prestationer, och yttre effekter. En formulering som tar fasta<br />

på skillnaden mellan inre och yttre effektivitet är ”do things right or do the right things”.<br />

Det finns ingen anledning att mer i detalj uppehålla sig vid detta mer än att konstatera att vi här<br />

har att göra med ett område där det finns olika åsikter i sak men också stor språklig förvirring –<br />

inte minst då språk blandas.<br />

Inom staten används ibland ordet effektivitet för att uttrycka samband mellan måluppfyllelse och<br />

insatta resurser. Just på denna punkt finns det åtminstone två skäl att inte acceptera det inomstatliga<br />

språkbruket. För det första kan, som påpekats, måluppfyllelsen vara god även då det inte<br />

beror på de statliga insatserna. Språkbruket kan därmed leda till att vi talar om god effektivitet<br />

även i de fall staten slösat bort pengarna. Det verkar strida mot en rimlig språkanvändning. För<br />

det andra så skapar en sådan användning av ordet effektivitet en brist på symmetri. Vi kan förvisso<br />

tala om statens kostnader i förhållande till effekter av något ”ute i samhället” och det kan<br />

vara av betydelse att göra det. Däremot säger detta ingenting om den totala resursuppoffringen i<br />

förhållande till effekterna. Statens kostnader kan ju ha varit mycket marginella i sammanhanget.<br />

För att ta ett något ålderstiget exempel: Om fem tjänstemän som arbetar med byggnormer lyckas<br />

sänka kostnaderna för energianvändningen med någon miljard så blir det orimligt att jämföra<br />

deras löner med denna miljardvinst. Uppoffringen måste inkludera de investeringar som gjorts i<br />

byggandet av de nya husen och/eller förändringar i äldre hus.<br />

Några engelska termer<br />

Det finns en rad engelska ord som ofta används även i svenska diskussioner. Just i sammanhang<br />

med revision talas – sedan decennier – ofta om de tre E:na. Det skall sägas att det inte heller i<br />

engelskspråkig litteratur alltid är självklart vad dessa står för. Pollitt och Bouckaert påpekar att<br />

”Despite (or perhaps because of) their frequency of their usage, one should not assume that<br />

such terms always have the same meaning. On the contrary, we are aware of a wide range of<br />

meanings, both precise and vague, being attached to these central elements in ’performance<br />

vocabulary’” (Pollitt & Bouckaert, 2004:106).<br />

Med tanke på dessa termers betydelse i diskussionen om performance auditing finns det dock<br />

anledning att mycket kort kommentera de tre E:na.<br />

NÅGRA VIKTIGA ORD ELLER TERMER 31


32 NÅGRA VIKTIGA ORD ELLER TERMER<br />

Economy handlar om kostnaderna för det vi vanligen talar om som input i en produktionsprocess,<br />

det som tillförs processen. Innebörden av Economy beskriver Power som “obtaing the best<br />

possible terms under which resources are obtai<strong>ned</strong>” (Power, 1997: 50). Det finns redan här en<br />

oklarhet som bl.a. handlar om huruvida kvalitet skall vägas in i en analys av Economy. Detta bör<br />

dock ske enligt den ”Handbook in Performance Auditing” som RRV gav ut under 1990-talet.<br />

Här definieras Economy som ”minimising the cost of resources for an activity, having regard<br />

to appropriate quality” (<strong>Riksrevisionen</strong>, 1999:27) och INTOSAI använde samma formulering i<br />

Implementation Guidelines for Performance Auditing (INTOSAI, 2004:15).<br />

När vi talar om Efficiency intresserar vi oss för relationen mellan det som tillförs processen (input)<br />

och det som kommer ut från den. Att sträva efter efficiency innebär alltså ”ensuring that<br />

maximum output is obtai<strong>ned</strong> from the resources employed or that minimum resources are used<br />

to achieve a given level of output service” (Power, 1997: 51). Denna relation kan uttryckas på<br />

olika sätt, och vi talar ofta om kvoter som t.ex. säger något om produktiviteten. Om detta har<br />

det funnits omfattande diskussioner som både gällt en rad olika mättekniska problem (t.ex. vid<br />

jämförelser över längre tidsperioder) och en rad andra aspekter. Dessa skall dock inte diskuteras<br />

i detta sammanhang. Det skall dock sägas att om en bedömning görs av efficiency ingår alltid<br />

någon form av föreställning om en slags bästa möjliga relation givet t.ex. en viss teknisk nivå.<br />

I denna genomgång av ord och termer bör vi dock observera en oklarhet kring efficiency. Bör<br />

efficiency enbart ses som relationen mellan input och output eller kan vi kan tänka oss att även<br />

faktorer som förklarar denna relation ingår i en bedömning av efficiency? I sin studie av <strong>Riksrevisionen</strong><br />

har Grönlund gett efficiency en snäv innebörd då han konstaterar: ”Ju fler enheter<br />

man får ut av en viss mängd insatta resurser desto bättre kan man säga att det är” (Grönlund,<br />

2008: 26). Grönlund beskriver därför också följdriktigt analyser av de verksamhetsprocesser som<br />

kan påverka relationen mellan insatta resurser och mängden prestationer som en särskild revisionstyp<br />

(Grönlund, 2008:29). INTOSAI:s guidelines definierar däremot efficiency på ett bredare<br />

sätt:”The main question is whether these resources have been put to optimal or satisfactory use<br />

or whether the same or similar results in terms of quality and turn-around time could have been<br />

achieved with fewer resources. Are we getting the most output – in terms of quanity and quality –<br />

from our inputs and actions?” (INTOSAI, 2004:15, kursiverat i orginalet). INTOSAI:s tolkning gör<br />

alltså att t.ex. en analys av själva produktionsprocessen inryms i studier av efficiency.<br />

Om vi återgår till engelskan står så det tredje E:et för Effectiveness. Detta tredje E skiljer sig i ett<br />

centralt avseende från de föregående. De två första E:na handlade om vad som hände i ett visst<br />

produktionssystem. Det tredje E:et handlar däremot om vad som händer utanför förvaltningen,<br />

det handlar om vad som vi ofta kort talar om som ”ute i samhället”.<br />

Även här rör vi oss med en term som inte är alldeles självklar. Power beskriver effectiveness som<br />

något som handlar om huruvida ”outcomes conform to intentions, as defi<strong>ned</strong> in programmes”<br />

(Power, 1997:51). Grönlund har samma syn då han anger att det handlar om ”i vilken utsträck-


ning målen har uppnåtts med tillfredsställande kvalitet” (Grönlund, 2008:27). Detta gör också<br />

att Grönlund inte ser revision inriktad på frågan om hur framgångrikt den aktuella verksamheten<br />

bidragit till att förverkliga de mål som ställts upp som ”Effectiveness Audit” (Grönlund, 2008:29)<br />

och därför ser detta slag av revision som en särskild kategori. 13<br />

Det är uppenbart att t.ex INTOSAI här intagit en annan uppfattning. INTOSAI har, vilket också<br />

t.ex. NAO gjorde redan under 1990-talet, inkluderat frågan om kausalitet i termen effectiveness.<br />

I sina guidelines har t.o.m. INTOSAI valt att kursivera följande: ”Are the stipulated aims being met<br />

by the means employed, the outputs produced and the impacts observed? Are the impacts observed<br />

really the result of the policy rather than other circumstances?” Detta förefaller också att ha varit<br />

den tolkning av effectiveness som även tidigare gjordes av de SAI:ar som använde termen (Pollitt<br />

et al 1999).<br />

Effectiveness är alltså inte en oomstridd term. Det förefaller dock vara klart att ”SAI-världen”<br />

tolkar effectiveness som något som också avser frågan om hur framgångrikt den aktuella verksamheten<br />

bidragit till (de yttre) målens förverkligande och därmed till att svara på om statens<br />

pengar använts väl eller ej. Och enligt min mening är det också en förnuftig tolkning. Det torde<br />

dock ha framgått att jag inte anser att diskussionen vinner något på, åtminstone inte i klarhet,<br />

om vi börjar använda de engelska termerna i vår inhemska diskussion. En annan sak är att vi<br />

måste förhålla oss till dem när vi deltar i diskussionen i olika internationella sammanhang.<br />

13 Effectiveness får alltså tolkas som relaterad till yttre mål. Termen skulle bli helt ohanterlig om den gällde mål i<br />

allmänhet och även därmed produktionsmål som täcks av efficiency.<br />

NÅGRA VIKTIGA ORD ELLER TERMER 33


3. EFFEKTER OCH INTERVENTIONER 14<br />

I det följande skall vi något mera diskutera vad som är de grundläggande förutsättningarna för<br />

att mäta effekter av statlig verksamhet. De effekter vi talar om är s.k. yttre effekter.<br />

Det finns en hel litteratur om att mäta sådana effekter. På ett mera konkret plan finns en mängd<br />

olika metoder och tekniker. I denna PM skall inte upprepas vad som behandlas i dessa metodböcker.<br />

I nästa kapitel skall dock diskuteras vilka möjligheter och svårigheter som finns med<br />

några olika sätt att angripa problemet med effekter.<br />

Innan dess skall vi i detta kapitel diskutera effektmätningens grundläggande problem och vad vi<br />

egentligen talar om när vi pratar om effekter.<br />

Kapitlet börjar med att det tidigare resonemanget utvecklas och några aspekter som är viktiga<br />

vid diskussion om effektmätningar förs in. Därefter diskuteras det som kan ses som effektmätningens<br />

objekt – den statliga verksamheten, programmet, insatsen eller vad vi väljer att kalla det.<br />

I kapitlets sista del behandlas olika slag av sidoeffekter.<br />

Det grundläggande problemet<br />

I kapitel 2 konstaterade vi att ordet effekter inte har någon rumslig knytning. Men det vi i här<br />

kommer att diskutera är det som vi mera vardagligt talar om som yttre effekter och som alltså är<br />

något som inträffar ”ute i samhället” till följd av det staten gör. Och det staten gör kan vara att<br />

t.ex. förbjuda eller påbjuda något, med ekonomiska styrmedel stimulera eller motverka något,<br />

skapa institutioner etc.<br />

Så fort vi talar om effekter av det staten gör talar vi alltså om skillnaden mellan det som faktiskt<br />

hänt och det som skulle ha hänt utan den statliga interventionen eller verksamheten.<br />

14 En viss möda har lagts <strong>ned</strong> redan i det föregående kapitlet på att definiera effekter. Ansträngningarna fortsätter också<br />

i detta kapitel. Motsvarande möda har dock inte här lagts <strong>ned</strong> på att definiera begreppet interventioner. I amerikanskt<br />

språkbruk talas ofta om program. I Sverige, och många europeiska länder, kan vi dock inte tala om program på det<br />

sätt som sker i USA, vilket bl.a. Peter Dahler Larsen pekat på (Larsen, 2009). Den amerikanska synen på program<br />

bygger också på andra grundläggande föreställningar än de som präglar europeisk politik. Verksamhet är ibland<br />

många gånger därför ett bättre ord än program. Jag har valt att oftast använda termen intervention men växlar också<br />

mellan detta och andra termer – ofta utan särskilt djupgående avsikter.<br />

EFFEKTER OCH INTERVENTIONER 35


36 EFFEKTER OCH INTERVENTIONER<br />

Detta problem kan uttryckas på olika sätt.1934 formulerades det av Gunnar Myrdal: ”En utredning<br />

rörande verkningarna av en viss finansiell reglering måste nämligen gälla skillnaden mellan det<br />

ekonomiska händelseförlopp, som utlöser sig vid denna reglering, och det förlopp som utlöser<br />

sig vid en annan reglering.”<br />

Problemet kan också uttryckas i grafisk form.<br />

Figur 1: Kontrafakticitet<br />

Styrmedel<br />

X<br />

Hypotetisk utveckling<br />

Faktisk utveckling<br />

Kontrafakticiteten kan uttryckas också i mera formellt formelspråk. Det sker t.ex. i en bilaga till<br />

rapporten Stöd till start av näringsverksamhet (RiR 2008:24) utarbetad vid Centrum för arbetsmarknadspolitisk<br />

forskning. Där beskrivs samma grundläggande problem men på ett annat sätt:<br />

Att mäta effekten för en person av SSN-deltagande fordrar alltså i princip en jämförelse mellan<br />

utfallet av såväl det förlopp som skulle följa av deltagande som av det som skulle bli resultatet<br />

av icke-deltagande. Eftersom det naturligtvis inte är möjligt att observera båda de potentiella<br />

utfallen samtidigt för en och samma person, en person kan ju inte vara deltagare och<br />

icke-deltagare på samma gång, så kommer det att saknas information om ett potentiellt<br />

utfall. Detta är det fundamentala utvärderingsproblemet. Vad som kan observeras för<br />

deltagare är det faktiska utfallet Y 1 , varför det går att beräkna det genomsnittliga utfallet<br />

förutsatt deltagande:<br />

E(Y 1 |D = 1) där D = 1 indikerar deltagande i programmet. Det hypotetiska genomsnittliga<br />

utfallet utan deltagande för dem som deltagit, det kontrafaktiska utfallet, kan beskrivas<br />

som E(Y 0 |D = 1) vilket ger följande uttryck för effekten av deltagande:<br />

(1) E(Y 1 |D = 1)– E(Y 0 |D = 1)= E(Y 1 – Y 0 |D = 1)<br />

Oavsett hur vi väljer att uttrycka det kan vi lätt gå i fällan att tro att det handlar om en kontrafaktisk<br />

utveckling, att vi med andra ord skall försöka spåra upp en alternativ utveckling. I verkligheten<br />

– för att använda ett ord som kanske inte är helt perfekt i detta sammanhang – består den<br />

kontrafaktiska utvecklingen av en rad olika tänkbara förlopp.


Detta kan illustreras med det tidigare energiexemplet. Under 1970-talet införde staten en rad<br />

ekonomiska stöd till investeringar i energihushållningsåtgärder, sammanlagt kan dessa beräknas<br />

till tiotals miljarder i dagens penningvärde. Om vi nu tänker oss att dessa stöd inte funnits så<br />

hade investeringar i forskning och utveckling i t.ex. privata företag inriktats på andra områden, en<br />

del av den forskning som nu bedrivits hade inte genomförts och annan forskning som nu kanske<br />

trängts undan hade bedrivits i stället. Denna tänkta alternativa händelsekedja skulle ha skapat<br />

andra alternativa möjligheter för den fortsatta utvecklingen och andra optioner om staten vid<br />

någon senare tidpunkt skulle ha velat engagera sig på detta område och om man då inte valt att<br />

göra det så hade det i sin tur lett till andra förlopp och som i sin tur…<br />

Det alternativa faktiska förloppet kan alltså snarast ses som ett träd av alternativa förlopp som<br />

blir alltmer vittförgrenat ju längre tid som går.<br />

Föreställningen att vi skall kunna få fatt i ett kontrafaktiskt förlopp som alltså kan utgöra en jämförelsenorm<br />

när vi bedömer en statlig insats effekter bygger ytterst på tanken att vi kan hoppa<br />

tillbaka till en punkt i historien och ungefärligen säga ”att hade vi gjort så här i stället för så här<br />

så hade följande inträffat”. Det är en rationalistisk tanke som hamnar i en paradoxal närhet av en<br />

historiedeterminism. För om vi skulle kunna spela upp olika alternativa förlopp borde vi ju också<br />

kunna spela upp utvecklingen från den punkt där vi i dag faktiskt befinner oss och alltså förutse<br />

olika framtida skeenden.<br />

Det som här beskrivits är det grundläggande problem som alla studier av effekter möter. Och<br />

det sagda kan tyckas <strong>ned</strong>slående. För det inses lätt att vi nästan aldrig kan vara helt säkra när vi<br />

i efterhand säger något om effekter av olika statliga insatser eftersom detta – principiellt sett –<br />

förutsätter att vi har kunnat skapa två identiska världar.<br />

I syfte att moderera denna <strong>ned</strong>slående bild av våra möjligheter att mäta effekter skall därför ett<br />

par kommentarer göras. En första kommentar är att även om effekter alltid handlar om skillnaden<br />

mellan något som faktiskt hänt och ett alternativt förlopp finns det situationer då vi anser<br />

oss, trots en del av det som sagts i denna skrift, kunna vara helt säkra på att utvecklingen skulle<br />

ha fortsatt precis eller nästan precis som tidigare utan den statliga interventionen. Det bör dock<br />

sägas att skälen till att en sådan oföränderlighet antas måste redovisas av den som analyserar<br />

effekter av en specifik statlig insats.<br />

En andra kommentar är att vi även i de sammanhang vi försöker visa på ett alternativt förlopp får<br />

acceptera att vår bild av detta förlopp sällan är fullständig eller invändningsfri. Med hjälp av ett<br />

antal redskap kan vi mera systematiskt nalkas frågor om kausalitet. Genom användande av dessa<br />

redskap kan vi skaffa oss ett rimligt underlag för att göra påståenden av kausal karaktär. Det är<br />

dock viktigt att vi kan skaffa oss en bild av vilka problem som är förenade med olika redskap så att<br />

vi också kan få en bild av graden av tillförlitlighet i olika kausala påståenden och om kostnaderna<br />

för att öka tillförlitligheten.<br />

EFFEKTER OCH INTERVENTIONER 37


38 EFFEKTER OCH INTERVENTIONER<br />

Frågan om vilka krav som kan ställas på kausalitetanalys diskuterades under 1980-talet i ett av<br />

Sveriges mera omfattande utvärderingsprojekt. Projektet, det s.k. MURA-projektet, handlade om<br />

rättsliga reformer i arbetslivet under ledning av ett antal forskare från en rad olika discipliner och<br />

förkortningen stod för Metoder för Utvärdering av reformer i Arbetslivet.<br />

Göran Hermerén polemiserar i en uppsats i projektet mot de forskare som ”tror att de inte gör<br />

kausala antaganden bara därför att de inte använder termerna ’orsak’ och ’effekt’.” (Hermerén,<br />

1984:31).<br />

Hermerén påpekar dock också att kritiken mot kausalitetsanalys kan<br />

”bl.a. bottna i att man själv har orimligt höga krav på vad kausalanalys skall leda fram till för att<br />

vara godtagbar – eller (felaktigt) tillskriver kausalanalytikerna sådana högra krav. Exempelvis kan<br />

man tro att kausalanalys förutsätter att man inom arbetslivet (utbildningen, alkoholpolitiken) kan<br />

skilja mellan effekterna av x och effekterna av y. Men detta förutsätts inte alls. x och y kan samvariera<br />

eller betinga varandra ömsesidigt, och då går det inte att (i sådana falla) säga z var ett<br />

resultat av x och ej av y.”<br />

Men detta är inte något som visar att kausal analys är principiellt omöjlig – ett sådant påstående<br />

är ju tvärtom resultatet av ett försök att göra en kausal analys (Hermerén, 1984:34).<br />

Diskussionen om kausalitet, som på ett eller annat sätt varit levande under åtminstone ett par<br />

århundraden, har under det senaste årtiondet tilldragit sig ett starkt ökat intresse just i samband<br />

med diskussionen om politiska interventioner. Det har skett till följd av den s.k. evidensrörelsen.<br />

Till detta skall vi något återkomma.<br />

Olika slag av effekter – ett slags geografi<br />

I praktiken torde de flesta mena att svårigheterna med att hantera effekter beror på ett antal<br />

omständigheter. Dessa skall nu diskuteras.<br />

När vi pratar om (yttre) effekter använder vi ofta ord som klargör att effekter kan stå i olika<br />

förhållanden till en viss orsak (en intervention av något slag). Inte sällan talas om nära eller<br />

längre bort liggande effekter. 15 Sådana uttryck säger att det kan vara fler eller färre kausala led<br />

mellan insatsen och effekten. Det metaforiska uttryckssättet torde ha sin grund i att vi tänker oss<br />

en effektkedja. Här visa en enkel effektkedja för en informationsinsats att påverka frekvensen av<br />

malignt melanom.<br />

15 Det bör påpekas att man i engelskan ofta genom själva valet av ord gör en sådan åtskillnad, outcomes tänks som<br />

något närmare prestationerna än impact trots att denna rumsliga eller geografiska skillnad inte finns språkligt sett.<br />

Här är det alltså fråga om en slags konvention, de flesta författare använder orden på detta sätt.


Figur 2: Malignt melanom<br />

Informationsinsats<br />

Antaganden<br />

om<br />

Ökat<br />

info-utbud<br />

Antaganden<br />

om<br />

Avsedda<br />

mottagare<br />

nås och<br />

tar del<br />

av info<br />

Antaganden<br />

om<br />

Kunskaperna<br />

ökar om<br />

faran med<br />

solande<br />

Antaganden<br />

om<br />

Förändring<br />

av<br />

beteende<br />

(minskat<br />

solande)<br />

Antaganden<br />

om<br />

Minskad<br />

frekvens<br />

av malignt<br />

melanom<br />

Det är viktigt att veta att denna kausala avståndsdimension egentligen inte handlar om tid. Vanligen<br />

tänker vi oss dock att de olika effekterna i denna kedja inträffar efter varandra. Det säger dock<br />

ingenting om hur stort detta avstånd är räknat i tid. Ibland kan det handla om snabba förlopp och<br />

ibland långsamma. I praktiken blir det också viktigt att skaffa sig en uppfattning om avståndet i tid<br />

mellan de olika effekterna. Det är t.o.m. så att just ett avkortande av det tidsgapet mellan de olika<br />

stegen kan ses som en central effekt. Genom den statliga interventionen påskyndas processer i<br />

samhället som kanske i vart fall skulle ha ägt rum men där själva påskyndandet av olika skäl kan<br />

vara viktigt.<br />

Det är inte heller alltid självklart i vilken ordning de olika stegen skall placeras. Tvärtom kan<br />

just denna ordning vara en fråga i studier av offentlig verksamhet. Detta kan illustreras med ett<br />

konkret exempel som gäller skolan och som tas upp av Bouckaert & Halligan i en internationell<br />

jämförelse publicerad 2008. De två forskarna diskuterar sambandet mellan Performance och<br />

Trust genom att bl.a. jämföra Sverige och Finland. Finland ligger avsevärt högre i performance än<br />

Sverige och får också detta till en lägre kostnad. 16 Olika mätningar visar också på att förtroendet<br />

för skolan är högre i Finland än i Sverige. En spontan gissning skulle rimligen kunna vara att det<br />

finska skolsystemets prestationsförmåga leder till ett större förtroende för detta än vad som är<br />

fallet i Sverige. Men de två forskarna pekar på att sambandet också kan vara det motsatta.<br />

Det är inte heller svårt att förställa sig mekanismer som skulle leda fram till detta motsatta<br />

samband. Just förtroendet skapar ökad prestationsförmåga och att det finns en stor respekt för<br />

lärarna som yrkesgrupp kan påverka eleverna direkt men också mera indirekt – t.ex. är kanske<br />

föräldrarna mera benägna att säga ”gör nu som dina lärare säger eftersom de säkert vet bäst ”<br />

än att säga ”ja, ja, vi vet ju vilka som är lärare, så ...”.<br />

När staten försöker intervenera så bygger det på en föreställning om de kausala processerna som<br />

leder till de effekter man är intresserad av. Statliga interventioner kan därför beskrivas utifrån hur<br />

de kan fogas in och ändra ett kausalt skeende.<br />

16 Vi bortser från att själva mätandet av skolans performance i sig är en kontroversiell fråga.<br />

Bouckaert & Halligan bygger på PISA och European Value Survey.<br />

EFFEKTER OCH INTERVENTIONER 39


40 EFFEKTER OCH INTERVENTIONER<br />

Det är i själva verket detta som kan ses som utgångspunkten för alla s.k. programteorier. Dessa<br />

har kommit att bli viktiga inslag i läroböcker om effektmätning. Ett antal olika benämningar<br />

är i omlopp. Under 1980-talet myntades inom dåvarande Riksrevisionsverket benämningen<br />

effektkedjor och inom FN-system talades redan under 1970-talet, och särskilt i samband med<br />

planering, om Logical Framework Approach (FMA) vilket gick tillbaka till en analysmetod som<br />

förknippas med Leon L. Rosenberg. 17 Vi skall senare något utveckla resonemangen om interventionsteorier<br />

som metod i effektstudier. Det som här närmast skall tas upp är hur en programteori<br />

kan användas för att visa på olika tänkbara effekter, de kausala stegen, och ordningen mellan<br />

dem.<br />

Detta kan illustreras med hur Tullverket bekämpar den illegala narkotikainförseln med en rad<br />

olika kontrollåtgärder. Dessa åtgärder – eller prestationer – syftar till att öka risken för upptäckt<br />

för den presumtive smugglaren. Denna ökade risk för upptäckt ses då som ett medel för att<br />

sänka smugglingstalen, vilket i nästa steg syftar till att minska det totala utbudet av narkotika på<br />

marknaden, vilket i sin tur avser att påverka den totala konsumtionen.<br />

Varje längre bort liggande steg eller resultatvariabel påverkas uppenbarligen av en rad andra faktorer,<br />

där bara några kan kontrolleras av staten. I vårt exempel är det t.ex. sannolikt att effekterna<br />

av en ökad upptäcktsrisk på smugglingstalen påverkas av straffsatserna och formerna för straffets<br />

verkställighet. I vilken utsträckning sänkta smugglingstal i nästa led inverkar på det totala<br />

utbudet kan sedan kanske påverkas av polisens insatser men förmodligen också av en rad annat.<br />

Ju längre bort vi förflyttar oss i denna kedja, desto fler sidofaktorer kommer alltså in.<br />

För den som planerar en verksamhet kan programteorier vara ett hjälpmedel att planera en verksamhet,<br />

att ”tänka efter före”. Om vi t.ex. anser att ökad kunskap hos en grupp är nödvändigt<br />

för att påverka dess beteenden så bygger ju detta på antagandet att ökad kunskap sannolikt orsakar<br />

beteendeförändring. I effektkedjan på föregående sida har vi markerat att de olika kausala sambanden<br />

bygger på olika former av antaganden. När vi – eller den som svarar för verksamheten<br />

– klargjort dessa kan det leda till att man börjar fundera på vilka forskare som har studerat<br />

sambandet mellan t.ex. kunskap och beteende. Själva preciseringen av det antagna kausala sambanden<br />

och underliggande antaganden kan alltså vara ett medel i en process som handlar om<br />

att identifiera relevanta frågetecken både innan genomförandet av en verksamhet och i den efterföljande<br />

utvärderingen.<br />

17 Den stora betydelse programteorier fick på utvärderingsområdet under 1990-talet ter sig mot denna bakgrund<br />

lite svårförklarad. Det illustrerar möjligen vikten av förpackningen! I denna PM skall vi återkomma till frågan om<br />

programteorier i samband med frågan om metoder för utvärdering.


Men i detta sammanhang handlar det inte om planering utan om utvärdering i efterhand. Effektkedjan<br />

– om vi väljer att kalla den så – kan då vara ett hjälpmedel för att diskutera var i en slags<br />

effektgeografi en enskild effektstudie skall riktas. Det är t.ex. också uppenbart i följande effektkedja<br />

att den myndighet som ansvarar för genomförandet inte – och knappast inte heller revisionen<br />

– skall undersöka de längst bort liggande effekterna. De inbegriper kausalitetsfrågor som<br />

tiotusentals forskare brottas med varje dag. Det är alltså möjligt att använda detta slag av ”effektgeografiska”<br />

resonemang för en diskussion om möjligheterna att mäta effekter av olika slag.<br />

Figur 3: Global uppvärmning<br />

Bidrg till<br />

energibesiktning<br />

Ökad<br />

frekvens<br />

åtgärder i<br />

hus<br />

Minskad<br />

energianv.<br />

i hus<br />

Minskad<br />

energianv.<br />

i Sv.<br />

Minskad<br />

utsläpp<br />

av<br />

koldioxid<br />

Minskad<br />

global<br />

uppvärmning<br />

Det exempel vi visat illustrerar också att de kausala förhållandena, med åtföljande antaganden, är<br />

av många slag. Det är meningsfullt att skilja mellan åtminstone tre kategorier.<br />

• En statlig intervention bygger ofta på kausala relationer avseende ett slags fysiskt, biologiskt<br />

eller naturvetenskapligt förhållande. Det handlar alltså om antaganden gällande substans-<br />

frågan. Staten vill att individer, företag, etc. skall göra något mycket konkret och försöker<br />

alltså påverka individer och företag att leva upp till en viss handlingsnorm. Det kan handla<br />

om att sopsortera, sola, anställa viss personal, investera i energihushållning, kalka sjöar,<br />

starta företag etc. Staten vill detta därför att staten antar att dessa handlingar är bra och<br />

leder till positiva processer i samhället. När staten uppmanar landets invånare att minska<br />

på solandet handlar det om att staten har – eller åtminstone anser sig ha – kunskap om<br />

förhållandet mellan solande och malignt melanom. Detsamma gäller sambandet mellan<br />

t.ex. kalkning av sjöar och surhetsgrad eller, för att knyta an till bilden ovan, mellan energianvändning<br />

och koldioxidhalt. Antaganden kan ibland också gälla sociala eller psykologiska<br />

processer. Om t.ex. staten skulle välja att vilja öka lärarnas ämnesmässiga kompetens i syfte<br />

att eleverna skall ”bli duktigare” skulle detta t.ex. bygga på en rad antaganden om vad som<br />

påverkar lärarnas förmåga och hur detta påverkar elevernas ”duktighet”. Dessa antaganden<br />

karakteriseras av att de ofta ligger långt bort i effektkedjan, om vi väljer att rita dem såsom<br />

gjorts här. Sambanden gäller om den åtgärd eller handling staten på något sätt försöker få till<br />

stånd i företag, i kommuner, hos enskilda etc. påverkar ett visst förlopp. Det bör framhållas<br />

att just detta slag av kausala samband också är av den karaktären att de ibland faktiskt går<br />

att pröva genom experiment. Det är t.ex. inte alltför svårt att tänka sig ett experiment som<br />

försöker testa sambandet mellan kalkning och surhetsgrad.<br />

EFFEKTER OCH INTERVENTIONER 41


42 EFFEKTER OCH INTERVENTIONER<br />

• Men interventionen bygger också på antaganden om vad som får individer och organisationer<br />

att handla på ett visst sätt, det är antaganden om vilka faktorer som styr handlingsbenägenheten.<br />

Vad är det som gör att individer kan fås att minska på solandet eller vad ökar t.ex.<br />

kommunernas vilja att kalka sjöar? Vad är det som får villaägare att investera i energisparåtgärder?<br />

Vad är det som får kommuner att anställa lärare och utbilda personal? Detta slag av<br />

antaganden handlar alltså nästan aldrig om fysiska eller biologiska förhållanden. Det handlar<br />

oftare om psykologi, organisationsteori, diffusionsteorier etc.<br />

• Slutligen finns en grupp antaganden som handlar om vad som påverkar förekomsten av<br />

dessa för beslut eller beteenden styrande faktorer, det är antaganden om de olika styrfaktorerna.<br />

Om kunskap om sambandet mellan solande och malignt melanom anses påverka<br />

viljan att sola eller om kunskap om olika energiekonomiska samband avgör benägenheten att<br />

genomföra energihushållningsåtgärder så handlar det om vilka aktörer som har intresse av<br />

att ge en sådan information. Det är kanske mera sannolikt att det finns kommersiella aktörer<br />

som har ett stort intresse av att sprida information om värdet av olika energihushållningsinvesteringar<br />

än om sambandet mellan solande och malignt melanom. Det kan handla om hur<br />

kreditmarknaden ser på t.ex. lån till villaägare för genomförandet av energihushållningsåtgärder.<br />

Om kommunernas villighet att anställa viss personal och/eller utbilda personal påverkas<br />

av t.ex. ekonomiska förutsättningar bygger t.ex. en ekonomisk stimulans till kommunerna<br />

på antaganden om hur kommunernas resurser kommer att utvecklas. Många antaganden i<br />

denna grupp kan därför också handla om undanträngningseffekter. Statliga insatser – oavsett<br />

om det gäller finansiering eller informationsgivning – kan t.ex. tränga undan insatser<br />

från andra aktörer.<br />

Om den första gruppen av antaganden gällde själva substansfrågan handlar de två senare<br />

grupperna antaganden om påverkan och styrning.<br />

Olika interventioner – olika effektfrågor<br />

Det som nu diskuterats handlar om effekterna som sådana och resonemangen som har förts har<br />

inte gjort någon skillnad – mer än möjligen närmast oavsiktligt – mellan olika interventioner, t.ex.<br />

om de är små eller stora. Interventionens karaktär liksom de förhållanden som skall påverkas är<br />

dock avgörande för vilka frågor som kan ställas om interventionen.


Mer eller mindre komplexa interventioner<br />

Det första som skall behandlas är att interventionen, som vi intresserar oss för, kan vara mer eller<br />

mindre sammansatt eller komplex. Om vi tänker oss att staten vill minska alkoholkonsumtionen<br />

så förfogar staten över en rad – åtminstone teoretiskt tänkbara – medel, vi kan tänka oss allt från<br />

totalförbud till informationsinsatser. Och även om vi enbart skulle göra en lista på de åtgärder<br />

staten i praktiken använt sig av för att påverka alkoholkonsumtionen så skulle vi finna att listan<br />

blir mycket lång.<br />

Det är möjligt att välja ut en av de åtgärder eller verksamheter som vi skulle ha skrivit upp på<br />

denna lista och studera effekterna av den. Men vi kan också välja ut en mängd olika åtgärder som<br />

riktar sig till en och samma grupp eller som på något sätt kan sägas tillhöra samma kategori,<br />

t.ex. någon form av förbud eller restriktioner. Vi kan också ta alla åtgärder som finns på listan<br />

och ställa frågor om effekterna på vad som då får beskrivas som ”den svenska alkoholpolitiken”.<br />

Om staten väljer att satsa på upplysning till alla elever i nionde årskursen så får vi betrakta detta<br />

som en tämligen avgränsad insats. Det hindrar inte att man kan vilja ta reda på effekterna av<br />

denna insats. Samtidigt är det också möjligt att ställa frågor om effekterna av ”den svenska alkoholpolitiken”.<br />

Det inses lätt att effektfrågorna kan te sig annorlunda i dessa två fall. I det första<br />

fallet framstår det närmast intuitivt som orimligt att i en studie – oavsett närmare utformning<br />

– försöka ta reda på effekterna i form av förändrade dryckesvanor för dem som exponeras för<br />

kampanjen på längre sikt – kanske 20 eller 30 år – eller att försöka få en bild av hur dryckesvanorna<br />

i samhället i stort påverkats. Och sannolikt är det väl också så att ingen på allvar skulle<br />

ställa denna typ av frågor. Det naturliga är väl här kanske att man försöker se om ungdomarna<br />

uppmärksammat informationen och kanske frågar ungdomarna själva, lärare, kuratorer och andra<br />

om ungdomarnas reaktioner.<br />

I det andra fallet ”den svenska alkoholpolitiken” ter det sig dock inte alls orimligt att vi just skulle<br />

vilja ta reda på effekterna längre fram i effektkedjan. Har den förda alkoholpolitiken påverkat<br />

alkoholvanorna i Sverige? I verkligheten är också frågor av detta slag vanliga. Inom ett område<br />

kan miljard efter miljard ha pumpats ut och rader av administrativa (regulativa) styrmedel ha<br />

använts, och frågan som inställer sig är förstås om allt detta medfört någon nytta. Ofta ställs också<br />

just sådana frågor i t.ex. olika utredningsdirektiv. Frågorna som ställs sträcker sig alltså långt fram<br />

i effektkedjan. En helt annan sak gäller våra möjligheter att besvara denna typ av frågor.<br />

Interventionens tyngd<br />

En annan dimension handlar om faktorns tyngd bland alla andra faktorer som kan påverka. Det<br />

kan invändas att det är just det som vi vill ta reda på genom utvärderingar. Vi vill veta hur mycket<br />

av t.ex. en förändring som förklaras av en viss faktor.<br />

EFFEKTER OCH INTERVENTIONER 43


44 EFFEKTER OCH INTERVENTIONER<br />

Oaktat detta finns det dock situationer där vi redan i förväg kan göra en slags rimlighetsbedömning<br />

av faktorns relativa tyngd i förhållande till andra påverkande faktorer. I vissa fall är avgränsningen<br />

av den insats vi studerar sådan att vi har svårt att tänka oss några andra faktorer – det är<br />

uppenbart att alla andra faktorer är tämligen konstanta. Om en myndighet genomför en reform i<br />

syfte att korta handläggningstiderna och andra faktorer som rimligen kan påverka detta (personalens<br />

kompetens, massmedial uppmärksamhet, ärendenas karaktär etc.) är konstanta är det svårt<br />

att tänka sig att förändringarna har orsakats av annat än interventionen.<br />

Det går förstås att tänka sig liknande situationer vad gäller yttre effekter, även om det är svårare<br />

att konstruera sådana exempel av det skäl som vi berört tidigare – ofta vill staten uppnå dessa<br />

effekter just därför att annat, som också påverkar förutsättningarna för dessa effekter, inträffar.<br />

Det kan dock förekomma att vissa tidigare förändringar i effektkedjan rimligen inte kan ha påverkats<br />

av något annat än interventionen. I en studie av energihushållningsformation konstaterades<br />

t.ex. att ett visst budskap, om hur en grads temperatursänkning påverkade energianvändningen,<br />

hade spridits enbart i den statliga informationskampanjen. Eventuella förändringar av kunskapen<br />

om detta ”monopolbudskap” kunde då helt tillskrivas den statliga kampanjen medan andra<br />

tänkbara kunskapsförändringar kunde ha berott på information som skulle spridits ändå, t.ex. av<br />

kommersiella aktörer. 18<br />

När vi talar om tyngden av interventionen relativt andra faktorer är det oftare fråga om ett slags<br />

rimlighetsresonemang, kanske baserat på olika former av teoribildning. I vissa fall ter det sig helt<br />

enkelt inte rimligt att en mycket begränsad styrinsats på ett område som vi vet påverkas av rader<br />

av andra förlopp kan ha haft särskild betydelse. I andra fall kan vi tänka oss att statens åtgärd<br />

är så drastisk att det knappast går att anta annat än att insatsen är förklaringen till ett aktuellt<br />

skeende – för enkelhetens skull kan vi tänka oss en höjning av skatten på godis med 500 procent.<br />

Hur väldefinierad interventionen är<br />

När vi nu talat om interventioner har det varit underförstått att vi redan från början har en god<br />

bild av vad interventionen faktiskt består av. Det är dock många gånger inte alls självklart att<br />

vi vet detta. Detta kan illustreras med ett exempel, åter från alkoholpolitikens område. Inom<br />

detta område finns ett antal mycket klara och entydiga regleringar. En reglering som förbjuder<br />

spritförsäljning till ungdomar under 20 år är entydig. Förbudet har samma innehåll i varje situation<br />

och för alla som vistas i Sverige. I detta fall är det också klart vems handlande som skall<br />

styras. Eftersom Systembolaget har monopol på spritförsäljning är det ledning och personal i<br />

detta bolag vars agerande skall påverkas. Även utan systematiska studier av hur Systembolaget<br />

implementerar detta förbud är det också rimligt att anta, t.ex. på grundval av de mera personliga<br />

observationer de flesta svenskar har gjort genom att stå i Systembolagets köer, att detta förbud<br />

också implementeras av Systembolaget.<br />

18<br />

Exemplet hämtat från Information som styrmedel (Energisparkommittén, 1983: 85, 89).


I detta fall är det alltså inte nödvändigt att fundera på vad interventionen faktiskt handlar om.<br />

Riksdagen har bestämt att åldersgränsen för inköp på Systembolaget är 20 år och det är detta<br />

förbud som implementeras av systembolaget. En helt annan fråga är om förbudet är bra i den<br />

meningen att det motverkar alkoholkonsumtion inom den aktuella åldersgruppen och om det<br />

ger upphov till illegal spritförsäljning.<br />

Om vi i stället tänker oss ett exempel som innebär att kommunerna genom lag är ålagda att<br />

erbjuda rådgivning till alla som har alkoholrelaterade problem ställs vi inför andra svårigheter.<br />

Själva den statliga insatsen kan tyckas klar, men själva rådgivningen kommer att variera inom<br />

riket i avseende på omfattning, inriktning etc. I verkligheten blir här det allra första problemet<br />

att försöka ta reda på vilken verksamhet som de facto genomförs. När vi senare – möjligen –<br />

uttalar oss om effekterna av den statliga interventionen blir detta ointressant om vi faktiskt inte<br />

kan precisera interventionens innehåll, hur det varierar och hur dessa variationer förhåller sig till<br />

effekterna.<br />

Genom studier av implementeringsprocesser vet vi att just detta även kan vara en viktig fråga. Ett<br />

specifikt bidrag till kommunerna för att stimulera till en viss bestämd typ av insatser i skolorna är<br />

visserligen enkelt i sitt första led – bidraget – men det är inget som säger att det som faktiskt görs<br />

är de insatser staten tänkte sig. Även om vi bortser från, den bl.a. av <strong>Riksrevisionen</strong> påvisade,<br />

risken att pengarna över huvud taget inte går till den tänkta insatsen så kan själva insatsen ha en<br />

mycket skiftande karaktär.<br />

Ett problem som sammanhänger med detta är att olika interventioner kan vara mer eller mindre<br />

direkt riktade till dem som man på något sätt vill påverka. Många interventioner har inte denna<br />

direkta karaktär. Många interventioner bygger på att åtgärder genomförs av olika organisatoriska<br />

mellanled, t.ex. kommuner, organisationer, företag osv. Själva formen på den intervention som<br />

når slutmottagarna kan därför vara svår att fånga in, även om styrmedlet från början ter sig ganska<br />

lätt att få grepp om. I många fall kan vi också notera att det sker en slags styrmedelsväxling.<br />

EU:s direktiv om pengatvätt implementeras i sitt ”slutled” av bankerna, den praxis som växer<br />

fram i bankerna avgör alltså därmed karaktären på denna intervention.<br />

Problemet kan kompliceras av att staten ibland tror sig ha en ganska klar uppfattning om vad interventionen<br />

innebär men att den som interventionen är riktad mot uppfattar den på annat sätt,<br />

sändaren och mottagaren kan alltså ha två olika uppfattningar om vad det faktiskt är för statlig<br />

insats som genomförts. Den första AIDS-delegationen genomförde t.ex. informationsinsatser<br />

som av sändaren ansågs kommunicera ett visst – tolerant och öppet – budskap, men en del av<br />

den avsedda målgruppen ansåg i stället att det uttryckte fördomsfullhet. Studier om effekter som<br />

utgår från sändarens uppfattning om vad som var budskapet skulle därmed i verkligheten ha<br />

studerat en annan insats än den som i verkligheten nådde mottagarna.<br />

Detta bidrar till att det i en utvärdering kan vara oklart hur den intervention ser ut som faktiskt<br />

skall utvärderas.<br />

EFFEKTER OCH INTERVENTIONER 45


46 EFFEKTER OCH INTERVENTIONER<br />

En färsk utvärdering illustrerar detta problem. Utvärderingen är en jämförelse av olika metoder<br />

eller program mot mobbing. Ett av de problem utvärderarna ställdes inför var att inte en enda<br />

skola använde ett enda program för sitt arbete mot mobbing. Skolorna använde istället inslag<br />

hämtade från olika program. Utvärderarna fokuserade därför istället enskilda insatser, eller komponenter,<br />

som ingick i olika program. En sådan analys kan dock i ett följande steg också föras<br />

tillbaks till den ursprungliga programnivån (Skolverket 2011).<br />

Kunskapen om de förhållanden som skall påverkas<br />

Ofta är de skeenden som staten försöker påverka komplexa. Ibland finns det dock en betydande<br />

kunskap om dessa skeenden. Så finns det betydande forskning om vad som t.ex. genererar trafikolyckor,<br />

och vilken betydelse olika faktorer (vägarnas standard, bilarnas egenskaper, körbeteende<br />

etc.) har. Det finns också kunskap om hur t.ex. olika hastighetsgränser påverkar de faktiska hastigheterna.<br />

Trafiksäkerhet är alltså ett område om vilket det kan hävdas att insikterna om centrala<br />

kausala sammanhang är relativt goda, låt vara att en trafikforskare säkert skulle kunna peka på<br />

områden där kunskapen är bristfällig eller osäker.<br />

Många samhälleliga förhållanden är dock inte bara komplexa utan insikterna om kausala sammanhang,<br />

t.ex. i de tre avseenden som behandlades på sidan 41 och 42, är bristfälliga och kanske<br />

ofta omstridda.<br />

Många frågor som politikerna ägnar kraft åt har just denna karaktär. De tillhör det som man<br />

ibland talar om som wicked questions. Ett exempel på en väldefinierad intervention som försöker<br />

påverka ett extremt komplext förlopp är det studiesociala systemet, som tidigare använts som<br />

exempel. När detta konstruerades under 1960-talets första hälft angavs som ett mål social och<br />

ekonomisk utjämning av möjligheterna att bedriva högre studier. Det inses lätt vilken mängd<br />

faktorer som påverkar detta och de intrikata samband som finns mellan dessa. Och det inses<br />

också lätt att det kring många av dessa faktorer kan finns mycket olika uppfattningar, både bland<br />

forskare och politiker.<br />

Våra möjligheter att hantera effekter av statliga interventioner påverkas således av en rad faktorer<br />

som både har att göra med interventionen och med de skeenden som skall påverkas. De resonemang<br />

som här förts visar på följande: Principiellt sett finns det vissa grundläggande teoretiska<br />

problem när det gäller att mäta effekter. Men det är också så att våra möjligheter att hantera<br />

dessa problem, på ett sådant sätt att vi ändå med viss tillförlitlighet kan uttala oss om effekter,<br />

varierar och beror på en rad omständigheter. Det finns dock effektfrågor där de praktiska svårigheterna<br />

är så stora att det vore förmätet av någon utvärderare att hävda att vi med tillförlitlighet<br />

kan uttala oss om effekterna – åtminstone på ett mer precist sätt.


Sidoeffekter<br />

Av de tidigare definitionerna av effekter och mål följer att effekter som sker till följd av en statlig<br />

intervention inte behöver ha med målen att göra.<br />

Och i utvärderingsforskningen talas också ofta om sidoeffekter, de kan vara positiva eller negativa.<br />

Vid sidan av de effekter som ligger i målens riktning kan en rad andra effekter inträffa, som<br />

ibland kan vara positiva och avsedda.<br />

Detta beror förstås också på hur målet formuleras. Ofta kanske målet är ett resultat av en kompromiss<br />

där man valt att fokusera just på några av de effekter som man rimligen inser kommer<br />

att följa på interventionen. Det kan t.o.m. vara så att dessa effekter, för vissa av de politiska<br />

grupperingar som genom en kompromiss kommit överens om ett visst mål, är de som man i<br />

verkligheten eftersträvar.<br />

Uttrycket sidoeffekter, eller bieffekter, är därför något förledande. Det är lätt att uppfatta dem som<br />

en bisak, något marginellt som sker vid sidan av det huvudsakliga. Det torde vara möjligt att i<br />

stället hävda att huvuddelen av effekterna som uppstår vid en intervention inte har med målen<br />

att göra. Och även om inte interventionen leder till de avsedda effekterna utesluter det inte olika<br />

unanticipated consequences för att använda ett uttryck som myntades av Merton (1936). Diskussionen<br />

om sidoeffekter är inte bara centralt i utvärderingssammanhang. Det är över huvud taget<br />

centralt i diskussionen om politik och maktutövning. Lukes pekar i sin diskussion om maktbegreppet<br />

att ”what actors intentionally do always generates chains of unintended consequences”<br />

(Lukes, 2005:76).<br />

Inom utvärderingsområdet har det utvecklats en hel begreppsapparat för sådana andra effekter<br />

än de som interventionen är inriktad på, det talas om avsedda och oavsedda bieffekter, förutsedda<br />

och oförutsedda, positiva och negativa (t.ex. Vedung, 2009:108).<br />

Om staten genomför en intervention av något slag – det kan handla om ett förbud, ett påbud,<br />

en ekonomisk stimulans eller ett ekonomiskt avskräckningsmedel, en kunskapshöjande åtgärd<br />

etc. – kan denna ge upphov till rader av effekter under en mycket lång tid. En ändring i normerna<br />

för husbyggande påverkar uppenbarligen hur husen ser ut många decennier därefter. En ändring<br />

i skolsystemet kan också naturligen ha mycket långsiktiga effekter, etc.<br />

Effekterna kan alltså sträcka sig över lång tid, men de kan också återfinns inom områden som<br />

inte har så mycket med den ursprungliga interventionen att göra. Ett exempel som inte är en statlig<br />

intervention är t.ex. Putnams resonemang om de negativa effekterna på det sociala kapitalet<br />

som följde av 1950-talets spridning av televisionen i USA. Enkelt sammanfattat: Tv har bidragit till<br />

att vi deltar allt mindre i föreningar och andra verksamheter som gör att vi bygger upp förtroende<br />

och bidrar till socialt kapital.<br />

EFFEKTER OCH INTERVENTIONER 47


Det är möjligt att på olika sätt kategorisera olika sidoeffekter. Här skall en uppdelning göras. Sidoeffekter<br />

kan uppkomma som en följd av det materiella innehållet i den statliga interventionen,<br />

alltså det som staten vill få till stånd, själva styrnormen. Ett exempel kan illustrera detta. Det<br />

flitiga isolerandet av byggnader som drevs på av statliga bidrag under 1980-talet ledde till ökade<br />

problem med mögel i olika hus.<br />

För det andra kan bieffekter uppkomma som ett resultat av styrningens formella struktur, själva<br />

styrtekniken. Vi kan t.ex. föreställa oss en långtgående reglering som – möjligen – är synnerligen<br />

effektiv i så måtto att det uttalade syftet med regleringen uppnås. Däremot får dess genomförande<br />

effekter på den personliga integriteten.<br />

Slutligen kan bieffekter också ge upphov till effekter inom och utom målområdet. Det kan alltså<br />

vara fråga om effekter som går att kvantifiera efter samma variabler som de avsedda effekterna av<br />

den statliga insatsen. Många bieffekter kan dock också anses ligga utanför målområdet.<br />

Figur 4: Sidoeffekter<br />

Inom<br />

målområdet<br />

Effekter<br />

Utom<br />

målområdet<br />

48 EFFEKTER OCH INTERVENTIONER<br />

Styrningens<br />

materialla<br />

innehåll<br />

Orsaker<br />

Styrningens<br />

formella<br />

struktur<br />

1 2<br />

3 4<br />

När det staten gör skall bedömas får vi alltså en mycket begränsad bild av verkligheten om vi<br />

helt fokuserar på målen. Måluppfyllelsen kan – som framgått – ha uppnåtts oberoende av den<br />

statliga insatsen och de resurser som åtgått för denna är alltså felanvända. Men även i de fall<br />

målen nåtts till följd av interventionen, och denna alltså kan ses som en god resursanvändning,<br />

kan interventionen leda till andra effekter som kan förstärka interventionens plussida men som<br />

också kan leda till negativa effekter som överstiger interventionens positiva värde.


4. HUR VÄL KAN VI DÅ TA REDA PÅ<br />

EFFEKTERNA?<br />

I det föregående avsnittet visades att de statliga verksamheter om vars effekter vi kan spörja<br />

kan vara mycket olika. Det kan vara fråga om en enkel ”rak” intervention, men det kan också<br />

vara fråga om en mycket sammansatt, och kanske svårdefinierad, intervention som syftar till att<br />

påverka ett skeende med, om uttrycket tillåts, tillrörda kausala förhållanden.<br />

Resonemanget avser att vi också måste gå till väga på olika sätt när vi försöker besvara frågorna<br />

om effekterna. Detta är också något som, förhoppningsvis, kommer att tydliggöras i den kommande<br />

genomgången av hur effektfrågan kan angripas. Framställningen här är kortfattad, det<br />

finns rader av böcker som beskriver olika metoder. Fokus ligger inte på tekniken utan på frågan<br />

om ”möjligheter och gränser”.<br />

Hur en sådan genomgång skall läggas upp är dock inte självklart. Många läroböcker bygger på att<br />

man börjar framställningen med de metoder som författaren anser starkast och därefter tar övriga<br />

metoder i en slags fallande ordning. Det innebär i praktiken att RCT (Randomized Controlled<br />

Trials) kommer först och därefter alla olika kvasiexperimentella uppläggningar och därefter övriga<br />

uppläggningar. En sådan disposition ger därmed uttryck för en ståndpunkt i metodfrågor som<br />

kan diskuteras.<br />

Av pedagogiska skäl är det dock svårt att helt frångå denna struktur och den kommer därför att gå<br />

igen även här. Det är därför desto viktigare att peka på några skillnader mellan några olika synsätt<br />

på hur effektfrågan kan attackeras.<br />

Många studier av effekter bygger på att en viss intervention relateras till det som är den avsedda<br />

förändringen med interventionen. En kampanj för att minska tobaksrökning skulle därmed naturligen<br />

relateras till förändringar i rökvanor. Genom sådana studier kan vi alltså veta om en viss<br />

intervention orsakat en viss förändring. Därmed fokuserar inte sådana studier på själva den<br />

process som leder fram till att en insats påverkar ett visst skeende. Vi får alltså, i exemplet, inte<br />

veta om det var förekomsten av vissa kulturella faktorer som gjorde att kampanjen hade vissa<br />

effekter. Vi får inte heller veta om kampanjens effekter hade varit andra om t.ex. cigarettpriserna<br />

hade varit lägre eller högre.<br />

Till en helt annan grupp kan vi föra studier som försöker fokusera på de mellanliggande stegen.<br />

Detta kan göras på många olika sätt, och med många redskap, men på något sätt försöker man i<br />

HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 49


50 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />

sådana effektstudier fokusera på frågan om hur den konstaterade effekten eller icke-effekten kan<br />

förklaras. Det finns många företrädare för detta synsätt.<br />

Det är också möjligt att göra en åtskillnad mellan studier beroende på i vilken kausal riktning de<br />

rör sig. De allra flesta studier av effektanalyser börjar med att beskriva insatsen och därefter ställa<br />

den mot en förändring på den variabel som insatsen syftar till att påverka. Studien börjar alltså<br />

med en tänkbar orsak och försöker ta reda på om denna också faktiskt gett effekter. Det är dock<br />

möjligt att försöka skaffa sig en bild av effekter av en intervention genom att gå i motsatt riktning<br />

mot de kausala sambanden. Det handlar om att med utgångspunkt från ett skeende i samhället<br />

försöka se på vilka faktorer som närmast förklarar detta skeende och därefter se på om den statliga<br />

interventionen varit inriktad på dessa faktorer. Några gånger har uttrycket baklängesmetoden<br />

använts om detta angreppssätt.<br />

Jag går nu över till den utlovade, och summariska, genomgången av olika uppläggningar med<br />

början med olika former av experimentella uppläggningar. Det finns en rad metodböcker som<br />

detaljerat beskriver sådana. De böcker som tas upp i rutan får betraktas som exempel.<br />

Några böcker som tar upp experimentella uppläggningar.<br />

En rad läroböcker i olika samhällsvetenskapliga ämnen beskriver uppläggningar av olika<br />

slags experiment. Här kan nog de flesta hitta något genom att botanisera i egna hyllor<br />

eller i <strong>Riksrevisionen</strong>s bibliotek. Några exempel från utvärderingslitteraturen:<br />

Sandahl, Rolf (1991) Resultatanalys, särskilt kapitel 5.5. RRV<br />

Sandahl, Rolf (1996) Att mäta effekter, andra delen. RRV<br />

Vedung, Evert (2009) Utvärdering i politik och förvaltning, kapitel 13 och 14<br />

(3:e upplagan). Studentlitteratur<br />

Mohr, Lawrence B. (1992) Impact Analysis for Program Evaluation, kapitel 4 och 8 men<br />

också flera andra kapitel. Sage Publications.<br />

Peter H. Rossi, Mark W. Lipsey & Howard E. Freeman (2004) Evaluation –<br />

A Systematic Approach, Seventh edition, kapitel 6-9. Sage Publications.<br />

Smith, Nick L. & Paul R.Branden (ed) (2008) Fundamental Issues in Evaluation,<br />

kapitel 4 ”Multipe Threats to the Validity of Randomized Studies”<br />

(av Judith A. Droitcour och Mary G. Covar). The Guilford Press.<br />

Patton, Michael Q (2008) Utilization-Focused Evaluation, 4 th Edition, bl.a. kap 12.<br />

Sage Publications.


”Riktiga” experiment -RCT<br />

I grunden handlar ett experiment om att jämföra två situationer: en situation som har påverkats<br />

av en faktor, t.ex. ett statligt styrmedel som man vill undersöka effekterna av, och en annan situation<br />

där denna faktor saknas. Experiment kan ha mer eller mindre starka uppläggningar.<br />

Starkast – och allra överst i läroböckerna – kommer därför det randomiserade experimentet<br />

(RCT). Det innebär alltså att vi slumpmässigt fördelat ett antal individer – eller något annat – på<br />

två grupper på ett sätt som gör det lika sannolikt att en individ hamnar i den ena eller andra<br />

gruppen. Den ena gruppen utsätts för en viss åtgärd, den andra gruppen – kontrollgruppen – gör<br />

det inte. 19 Grupperna förutsätts alltså vara lika utom i avseende på den faktor som experimentgruppen<br />

utsätts för och som mäts före eller efter en viss intervention. Exakt hur detta kan göras<br />

– och också vissa problem – beskrivs i olika metodböcker. I statliga sammanhang är sådana<br />

experiment ovanliga. Inom arbetsmarknadspolitiken hänvisas dock till ett par sådana experiment<br />

(RiR, 2007:12: 48).<br />

Även i det praktiska experimenterandet finns det några problem som tidigt tilldrog sig uppmärksamhet<br />

i diskussion om experimentella uppläggningar, och det var de som vanligen uppträder<br />

under namnet Hawthorneffekten, med andra ord att själva experimentet – intresset från omgivningen<br />

– är det som skapar effekten. 20<br />

På en rad områden hanteras detta med hjälp av dubbelblindförfaranden (varken de individer som<br />

deltar eller den som genomför experimentet vet vem som tillhör experiment- eller kontrollgruppen)<br />

och både grupperna får synbarligen samma behandling (experimentgruppen på låtsas, placebo).<br />

En lösning på olika försökseffekter som ibland rekommenderas i litteraturen är då Solomons<br />

fyrfältsuppläggning. I denna kan man bedöma effekten av själva mätningen. Genom att se på<br />

skillnaden mellan de två experimentgrupperna och skillnaden mellan de två kontrollgrupperna<br />

kan vi få en uppfattning om storleken på vad vi kan tala som mäteffekten.<br />

Figur 5: Solomons fyrfätsuppläggning<br />

Typ av urval Mätning Åtgärd Mätning<br />

Experimentgrupp Slumpmässigt O X O<br />

Kontrollgrupp Slumpmässigt O O<br />

Experimentgrupp Slumpmässigt X O<br />

Kontrollgrupp Slumpmässigt O<br />

19 Vedung framhåller här att det bör observeras att detta är något helt annat än ”random sampling” (2009:226).<br />

20 Namnet kommer från ett fabrikskomplex i Illinois. Experimentet gällde bl.a. belysningen i fabrikslokalerna och<br />

att produktiviteten förväntades öka om det blev ljusare, men produktiviteten ökade också när det blev mörkare.<br />

Detta finns utförligt beskrivet i ett otal läroböcker.<br />

HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 51


52 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />

Det är svårt att hitta exempel på att sådana undersökningar genomförts i en mera renodlad form<br />

i statliga sammanhang. Detta torde inte bero på principiella skäl utan kanske fram för allt på<br />

kostnaderna.<br />

Men även om denna uppläggning löser problemet med det som här beskrivits som försöks- eller<br />

undersökningseffekten så kan informationen om själva experimentet ändå spilla över till kontrollgruppen,<br />

något som senare skall utvecklas något ytterligare.<br />

Matchad kontroll<br />

I princip är här grundtanken densamma som vid slumpmässigt urval, skillnaden är att likheten<br />

inte sker genom slumpmässighet utan genom att vi försöker hitta grupper som är så lika som<br />

möjligt i alla avseenden som man tror har betydelse. Ett exempel på detta är när den statliga<br />

energisparkommittén på slutet av 1970-talet skulle ta reda på vad som kan uppnås med särskilt<br />

intensiva informationsinsatser. Kommunerna i Blekinge var då experimentgruppen. Som<br />

kontrollgrupp valdes ett antal andra kommuner, som ansågs lika i avseende på åldersstruktur,<br />

näringsstruktur, utbildningsnivå, boendeformer osv.<br />

Den matchade kontrollen bygger alltså på att utvärderaren eller den som svarar för experimentet<br />

har en uppfattning om vilka faktorer som är neutrala och vilka som är påverkande. Problemet är<br />

förstås att eftersom själva experimentet kan bygga på en föreställning om just dessa faktorer så<br />

fortplantas dessa till själva utvärderingen.<br />

Nära detta upplägg ligger att man i efterhand försöker hitta en jämförbar grupp till den som man<br />

faktiskt riktat en åtgärd mot. Om det finns minst en mätning före interventionen och minst en<br />

efter så kan utvecklingen jämföras med utvecklingen för samma tidsperiod i en eller flera större<br />

populationer som den mindre gruppen kan sägas tillhöra. Om utvärderingen gäller en åtgärd<br />

som genomförts i en kommun kan utvecklingen i denna kommun jämföras med utvecklingen<br />

i andra kommuner, t.ex. i samma län eller kommuner som är lika i avseenden som anses relevanta.<br />

Exempel på sådan generisk kontroll beskrivs av Vedung (Vedung, 2009:241).<br />

Problemet med dessa slag av uppläggningar, som bygger på jämförelser mellan grupper, är bl.a.<br />

att just det förhållandet att vissa individer eller organiserar låter sig exponeras för styrningen är<br />

att man redan från början kan antas skilja sig från dem som inte gör detta val. De som t.ex. väljer<br />

att delta i en utbildning, som väljer att låta den kommunala energirådgivaren titta på sitt hus etc.,<br />

kan åtminstone misstänkas vara andra än de som inte gör detta. Fallgroparna är alltså många.<br />

Och det finns inget annat sätt att hitta dem än att faktiskt diskutera eller analysera den aktuella<br />

verksamheten i sak. I exemplet handlar diskussionen om vad det är för faktorer som påverkar<br />

hushåll att t.ex. genomföra energireducerande investeringar i sina hus. Och i det konkreta exemplet<br />

skulle en studie av effekterna också i ett inledande skede ägna uppmärksamhet åt vilken<br />

kunskap som faktiskt finns om detta i t.ex. tidigare utvärderingar.


Experiment i statlig verksamhet<br />

Ofta avfärdas experimentella uppläggningar i offentlig verksamhet med snabba hänvisningar till<br />

etiska problem och mera allmänna påståenden om svårigheter att genomföra experiment.<br />

Med tanke på den betydelse som RCT och andra experimentella uppläggningar har haft i evidensdiskussionen,<br />

och också för att det t.o.m. ibland hävdas att offentlig verksamhet skall ordnas<br />

så att det går att pröva dess värde genom experiment, skall dock diskussionen om detta något<br />

utvecklas. De problem vi möter i dessa sammanhang ligger på flera plan. Det första – och kanske<br />

självklara – är att vi även i mycket kraftfulla experimentella uppläggningar inte kan vara säkra<br />

på att den skillnad vi kan iaktta förklaras av just den faktor som vi försöker utröna effekterna av.<br />

Problemet har att göra med att vi många gånger kan misstänka att det kan finnas en risk att grupperna<br />

redan ”från början” inte är lika och/eller att kontrollgruppen på något sätt ändå utsatts<br />

för experimentet, det har så att säga spillt över. Rent praktiskt kan vi tänka oss att det skrivs om<br />

experimentet, det kan t.o.m. vara så att ansvariga politiker med visst ståhej meddelar att de nu<br />

skall satsa på det ena eller det andra och därför kommer att bedriva en försöksverksamhet som<br />

också mera ingående beskrivs.<br />

Detta problem har förstås samband med karaktären på statliga interventioner – och även då de<br />

genomförs som försöksverksamhet. Om interventionen – för att ta en motsatt ytterlighet – gäller<br />

ett biologiskt förlopp bland klonade råttor, som alltså biologiskt sett är exakt lika, är situationen<br />

en helt annan.<br />

Vi kan också – och här erinrar vi om tidigare resonemang – tänka oss experiment för att ta reda<br />

på om själva den handling staten försöker få till stånd påverkar ett visst skeende, t.ex. om kalkade<br />

sjöar ”mår bättre” än okalkade.<br />

När det däremot gäller att ta reda på hur en viss intervention påverkar människors eller organisationers<br />

beteenden är situationen en annan. Här finns det dock anledning att skilja mellan<br />

interventioner där det är en enskild individ och ett väl definierat beteende som står i fokus och<br />

interventioner som bygger på t.ex. interaktion mellan olika aktörer.<br />

I det första fallet där det kanske handlar om en väl avgränsad terapeutisk åtgärd, t.ex. inom socialt<br />

arbete eller kriminalvård, ter sig problemet annorlunda än i det senare fallet. Det finns en<br />

omfattande diskussion om möjligheterna att bygga säker kunskap (evidence) även i det första<br />

fallet men det torde i vart fall vara obestritt att det är svårare ju mer komplex interventionen är.<br />

Innebörden av detta är att det finns anledning att känna stor tvekan till hur säker kunskap vi kan<br />

få, genom experiment, om effekterna av många statliga verksamheter. Att t.ex. experimentera<br />

med olika former av studiefinansiering för att ta reda på effekterna av olika lösningar på socioekonomisk<br />

utjämning ter sig vanskligt, detsamma gäller olika metoder för att få bukt med smuggling<br />

av t.ex. narkotika.<br />

HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 53


Det är däremot möjligt att tänka sig att vissa ”lågnivåinterventioner” kan genomföras med RCT<br />

(eller andra experimentella uppläggningar) i olika sammanhang. Vi kan tänka oss att vi vill ta<br />

reda på hur en viss tänkbar offentlig rådgivning till villaägare kan påverka deras benägenhet att<br />

genomföra energihushållningsåtgärder i sina hus. Rimligen borde vi här kunna skapa experiment<br />

och kontrollgrupper som uppfyller höga krav på ”likhet” i alla de avseenden som vi anser lika.<br />

Genom den typen av uppläggningar som beskrivs i metodböcker kan vi också eliminera s.k.<br />

försöksverksamheter, m.a.o. effekten som uppstår av att man vet att man deltar i ett experiment<br />

(t.ex. Salomons teknik).<br />

Hur är det då med etiken? Det är svårt att se några etiska betänkligheter med detta. Många<br />

interventioner jämförs i olika omfattning och vid olika tidpunkter i t.ex. olika kommuner. Att<br />

dessa skillnader kan ”tämjas” för mätsyften är det svårt att uppfatta som etiskt tveksamt.<br />

En konklusion av detta är därför att de etiska problemen snarast överbetonats medan de mer<br />

metodmässiga kanske betonats för litet.<br />

Tidsserieanalyser<br />

54 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />

I de mera experimentella metoder som nu behandlats används någon form av tidsserie. I metodböckerna<br />

kan vi också hitta varianter på tidsserieanalyser gällande enbart den grupp som utsatts<br />

för en viss intervention. Sådana tidsserieanalyser bygger på att vi har data om förhållanden både<br />

före och efter interventionen. Olika former av tidsserier existerar ofta ”naturligt”, alltså oberoende<br />

av planerade utvärderingar. Vi har en statistikproduktion, som gäller rader av variabler kring<br />

konsumtion, hälsa, sysselsättning, fritidsvanor etc. Vi har också olika former av statistik i form av<br />

data i olika myndigheters och kommuners administrativa system.<br />

Om vi tänker oss att riksdagen anvisar pengar som kommunerna får söka för att genom biblioteken<br />

stimulera ungdomar till ökat bokläsande, som möjligen är ett inaktuellt exempel, skulle vi<br />

möjligen kunna tänka oss att vi använder befintlig statistik från bibliotekens utlåning.<br />

Vi skulle därmed kunna få en tidsserie som visar utlåningen av viss litteratur till ungdom i en<br />

ganska lång serie före bidragets införande. Och därefter också utvecklingen efter införandet av<br />

de statliga bidragen.<br />

I praktiken kanske en sådan uppläggning skulle kompletteras med enkäter till bibliotekspersonal<br />

och kanske också ungdomarna själva.<br />

Tidsserier kan uppfattas som en ganska svag uppläggning. Ett viktigt skäl till detta är det som<br />

lyftes fram redan i inledningen till denna PM. Statliga interventioner sker ofta därför att något<br />

annat skett som i sin tur har en ”egen påverkan” på den resultatvariabel man är intresserad av.


Det skall dock inte avfärdas alltför lättvindigt. Tidsserieanalyser måste kompletteras med en<br />

intelligent rimlighetsanalys. Den intelligenta frågan som alltid måste ställas är: Givet allt vi anser<br />

oss veta om detta område finns det någon annan faktor som rimligen kan ha påverkat skeendet?<br />

Detta innebär att vi måste konstruera olika former av teorier för det kausala skeendet. Vad påverkar<br />

benägenheten att röka? Vad påverkar trafikolyckor, vad påverkar benägenheten att bedriva<br />

högre studier etc.? En tidsserieanalys kan alltså kombineras med olika former av interventionsteorier<br />

och med den kunskap som finns om vad som påverkar ett visst skeende.<br />

Alldeles uppenbart finns det situationer där vi tror oss kunna vara rimligt säkra på att ingen<br />

annan faktor rimligen kan ha förklarat en förändring.<br />

Tidsserieanalys i flera steg<br />

Effektanalyser kan också direkt utgå från en modell av det kausala förlopp som kan leda fram till<br />

det man vill uppnå. Sådana analyser använder serier av data kring ett antal olika variabler, och<br />

genom att gå in på olika punkter i den kausala kedjan kan vi få grepp om just hur styrmedlet<br />

kommit in.<br />

Om vi återvänder till exemplet malignt melanom så skulle vi kunna t.ex. tänka oss data kring<br />

”uppmärksammande” av information, kunskap om sambandet mellan solande och malignt<br />

melanom, skattningar av ”det egna solandet” och/eller användande av solskyddsmedel, vi kanske<br />

också kan få fram försäljningssiffror på solskyddsmedel osv.<br />

I princip bygger sådana resonemang på en slags stegvis process där vi så att säga försöker spåra<br />

effekterna framåt. När vi fått reda på hur många som uppmärksammat informationen, tar vi<br />

reda på om det finns en korrelation mellan uppmärksammande av information och kunskaper, vi<br />

försöker därefter ta reda på sambandet mellan kunskap och beteende. Möjligen kan vi använda<br />

försäljningssiffrorna som indikator på faktiska beteendeförändringar.<br />

Detta slag av uppläggning kan komplettera en tidsserie som rör enbart t.ex. utfallsdata. De metod-<br />

mässiga fallgroparna är dock många. Det är uppenbart att en positiv korrelation – som är antaglig<br />

mellan uppmärksammande av information och ökad kunskap – beror på att de som redan<br />

från början har goda kunskaper kan tendera att uppmärksamma informationen mera. Och de<br />

som har vidtagit en viss åtgärd tenderar att uppmärksamma information om denna mera än<br />

andra och de tenderar också att utnyttja t.ex. bidrag eller skatteavdrag oavsett om det var det<br />

som påverkade deras handlande (free riders-problemet). Många utvärderingar som använder<br />

sig av detta slag av stegvissa korrelationer tenderar därför att visa på positiva effekter av ett visst<br />

styrmedel.<br />

HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 55


Det stora problemet handlar dock om att utgångspunkten för en sådan utvärdering är just den<br />

kausala föreställning som ligger bakom insatsen, att t.ex. ökad kunskap av visst slag styr beteendet.<br />

Och det är exakt samma antaganden som ligger till grund för informationsinsatsen. Det<br />

är alltså lätt att hamna i en sådan där man pekar på att verksamheten varit effektiv, men enbart<br />

under förutsättning att de ursprungliga verksamhetsantagandena var riktiga. Och dessa har ju<br />

inte prövats i utvärderingen – de har i stället tagits för givna.<br />

Simuleringar<br />

56 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />

I en rad sammanhang används simuleringar som ett sätt att konstruera fram en alternativ utveckling,<br />

som inte påverkats av den statliga intervention som studeras.<br />

Själva idén med simuleringar är i grunden enkel. Vi utgår från en föreställning om vilka faktorer<br />

som påverkar människorna i det ”icke intervenerande tillståndet”. Simuleringen måste därför<br />

bygga på både en teoretisk ram om vilka faktorer som påverkar viljan att genomföra en viss<br />

åtgärd eller ändra ett visst beteende och data om utvecklingen av dessa faktorer. Detta kan illustreras<br />

med ett exempel.<br />

I en undersökning av Kurt Wickman, vid dåvarande Statens institut för byggnadsforskning i<br />

mitten av 1980-talet, som gällde effekter av energisparstöd konstrueras ett referensalternativ –<br />

om man så vill en tänkbar kontrafaktisk utveckling. Denna byggde på den faktiska utvecklingen<br />

under en 15-års period under vilken statlig styrning via lån och bidrag inte förekom. Energiförbrukningen<br />

kan i det ostyrda läget beskrivas enbart med hjälp av marknadsargument, dvs. priser<br />

och inkomster. Vid punkten B i diagrammet förändras situationen. Priserna stiger och lån och<br />

bidrag som syftar till att stimulera minskad användning introduceras. Fallet är alltså typiskt för<br />

statliga interventioner. När staten intervenerar har samtidigt något annat skett som också påverkar<br />

det framtida skeendet.<br />

Wickman använder de tidigare mätningarna av marknadsanpassningens styrka (AB) på den<br />

efterföljande perioden för att sortera bort markadens egna anpassningsmekanismer. Detta result-<br />

erar i att det högre priset och inkomstförändringar ensamt skulle få till följd att energiförbrukningen<br />

skulle följt BC. Men i verkligheten följer energianvändningen linjen BD.<br />

Skillnaden kan ses som en effekt av energisparstödet. Men det är uppenbart att andra inslag<br />

också finns i denna restpost. Skillnaden, konstaterar därför Wickman, visar på den största<br />

möjliga effekten. Noggrannare studier förutsätts dock för att precisera den faktiska effekten och<br />

hur mycket av denna största möjliga effekt som kan förklaras av den teknologiska utvecklingen<br />

under perioden.


Figur 6: En modell för att spåra effekter av energisparstöd (Wickman 1987)<br />

Energiförbrukning<br />

A<br />

Införande av lån och bidrag<br />

Falsifierings- eller baklängesmetod<br />

B<br />

Teoretisk förbrukningsnivå<br />

Verklig förbrukningsnivå<br />

Det vi hittills talat om är alla utvärderingsuppläggningar som bygger på att vi på något sätt utgår<br />

från själva insatsen och därefter försöker relatera denna till något som hänt. Innebörden är att vi<br />

kan sägas söka effekterna, vi går i de kausala sambandens riktning.<br />

Det är också möjligt att försöka skaffa sig en bild av effekterna genom att gå i motsatt riktning.<br />

Det handlar om att med utgångspunkt av ett skeende i samhället först försöka se på de omedelbara<br />

orsakerna till detta skeende och därefter rulla upp orsakerna steg för steg. Analysen av orsakerna<br />

blir ett medel för att ta reda på effekterna. Några gånger har uttrycket baklängesmetoden<br />

använts om detta angreppssätt. 21<br />

Metoden innebär alltså att vi ser på förändringen av den variabel staten försökt påverka, det kan<br />

handla om <strong>ned</strong>gång i spridningen av sexuellt överförbara sjukdomar, färre trafikolyckor etc. Vi<br />

kan därefter se på vilka faktorer som enligt tillgänglig statistik påverkat utvecklingen, som vi nu<br />

21 Det sätt som här beskrivs när det gäller att attackera effektfrågan har tyvärr inget riktigt bra namn. Nilstun (1984:140)<br />

talar om orsaksanalys i stället för effektanalys och i dessa benämningar ligger därmed att det handlar om olika<br />

riktningar av kausala samband. Problemet är att det i ett mera vardagligt utvärderingsspråk blir konstigt eftersom<br />

orsaksanalysen i detta snarast kan ses som en metod för att göra effektanalysen. Det är i stället möjligt att tala om ett<br />

slags falsifieringsmetod eftersom det handlar om att stegvis falsifiera (den underförstådda) hypotesen om vad som<br />

kan ge effekter. Evert Vedung kallade den rätt och slätt för ”baklängesanalys” i ett yttrande från Uppsala universitet<br />

över en myndighetsrapport.<br />

E<br />

C<br />

D<br />

Tid<br />

HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 57


58 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />

för enkelhetens skull tänker oss ha gått i önskad riktning. Det kan i det ena fallet handla om ökad<br />

kondomanvändning, minskad sexuell aktivitet, senare sexuell debut, ändrad frekvens av smittkritiska<br />

sexuella tekniker eller, vad gäller trafikolyckor, ändrad sammansättning av fordonsparken,<br />

förändrat körbeteende, ombyggnad av farliga vägsträckor och så vidare.<br />

Det gäller alltså att med hjälp av tillgänglig statistik och olika analyser klargöra vilka faktorer som<br />

i huvudsak, så att säga i närmast föregående steg, förklarar förändringen i den variabel man ville<br />

påverka. I vissa fall kan förklaringarna därefter fortsätta i flera steg. Körbeteende kan t.ex. delas i<br />

hastighet, beteende vid omkörningar etc.<br />

Jag skall ytterligare illustrera detta med ett schematiskt exempel. Riksdagen vill att koldioxidutsläppen<br />

skall minska. Detta kan ske genom en arsenal av politiska åtgärder, bidrag eller<br />

skattelättnader för vissa fordon, motsvarande åtgärder för att minska användningen av t.ex. olja<br />

för uppvärmning av byggnader osv. 22<br />

En analys av effekterna kan då bygga på att man i ett allra första steg tar reda på om det över<br />

huvud taget har skett någon minskning av utsläppen. Detta steg, som förmodligen är det<br />

lättaste, följs av ett steg där minskningen fördelas på olika utsläppskällor (bilar, bostäder, industri<br />

etc.). I det därpå följande steget, låt oss ta bostäder, kan utsläppsminskningen fördelas på t.ex.<br />

olika kategorier av fastigheter men också därefter på om den kan förklaras av tekniska åtgärder<br />

i husen (t.ex. isolering), tekniska installationer eller beteendeförändringar. Hur långt en sådan<br />

mera ”fysisk” analys kan drivas beror förstås på tillgänglig statistik och hur mycket studier som<br />

gjorts inom området.<br />

Om nu förändringen i huvudsak beror på en faktor som staten över huvud taget inte försökt att<br />

påverka kan hypotesen om den statliga styrningens effekter sägas vara falsifierad. Om t.ex. staten<br />

– i ett fiktivt exempel – som huvudsakligt medel för att minska spridningen av sexuellt överförbara<br />

sjukdomar propagerat för senare sexuell debutålder och denna inte alls förändrats trots en<br />

<strong>ned</strong>gång i spridningen av sexuellt överförbara sjukdomar är en rimlig slutsats att statens styrning<br />

inte förklarar denna <strong>ned</strong>gång. Metoden gör det möjligt att begränsa det möjliga utrymmet för<br />

effekter utan att tala om vilka effekterna faktiskt är. Om vi däremot kan konstatera att utvecklingen<br />

inte bara gått i den av staten önskade riktningen utan också att detta helt eller delvis förklaras av<br />

en faktor som styrningen inriktades på måste vi gå vidare. Detta förhållande ensamt verifierar<br />

inte att styrningen har haft effekter. Nilstun hänvisar i sin diskussion av denna form av analys till<br />

några exempel (Nilstun 1984).<br />

22 Exemplet bygger på en tämligen utförlig studie som gjordes i mitten av 1980-talet (STEV, 1984:2).


Interventionsteori<br />

Både experimentella uppläggningar, tidsserieanalyser och simuleringar konfronteras också med<br />

ett annat problem. Det problemet handlar om att detta slag av uppläggningar inte säger något<br />

om varför en viss förändring uppstått. Även om vi kan konstatera, med rigorösa metoder, att<br />

faktorn X gett upphov till förändringen Y vet vi inte varför denna förändring skett.<br />

Det är naturligtvis i praktiken en viktig fråga. Om vi inte vet varför förändringen skett kan vi inte<br />

bedöma den tidigare insatsen. Vi kan t.ex. inte veta om vi med små förändringar av interventionen,<br />

och t.o.m. för minskade kostnader, skulle kunna få en större effekt. Vi kan inte heller dra<br />

några slutsatser inför framtiden – vi kan inte generalisera från den undersökning vi gjort. Frågan<br />

om betydelse av generaliserbarhet skall vi återkomma till.<br />

Den s.k. falsifieringsmetod som nyss beskrivits bygger dock på en föreställning om vilka mekanismer<br />

som leder fram till det man vill uppnå.<br />

Det förklarande perspektivet står ännu mera i förgrunden när vi talar om olika former av program-<br />

eller interventionsteorier. Dessa har kommit att få stor betydelse när det gäller diskussionen om<br />

metoder för utvärdering. Detta utvecklas i en rad läroböcker. Med hjälp av s.k. programteori kan<br />

vi t.ex. bestämma var det kan vara klokt att mäta, vad som är viktiga indikationer osv. Här skall<br />

dock programteorin som en ”egen” utvärderingsmetod något diskuteras.<br />

Exempel på böcker som tar upp Program- eller interventionsteoretiska<br />

utvärderingsuppläggningar.<br />

Program - eller interventionsteoretiska ansatser har varit mycket populära på utvärderingsområdet<br />

under ungefärligen ett decennium, trots att det som påpekats är något<br />

som i olika sammanhang använts sedan avsevärt längre tid. En utförlig beskrivning av<br />

en programteoriansats ges av Suchman 1967. I dag finns en rad böcker som behandlar<br />

programteorier. Några exempel är:<br />

Vedung, Evert (2009). Utvärdering i politik och förvaltning, kapitel 3.<br />

Chen, Huey-Tsyh (2005) Practical Program Evaluation. Assessing and Improving<br />

Planning, Implementation and Effectiveness. Sage Publications.<br />

Owen, Johan M. (2007) Program Evaluation. Forms and Approaches. 3rd edition.<br />

The Guilford Press.<br />

Rogers, Patricia (2008) ”Using Program Theory to Evaluate Complicated and Complex<br />

Aspects of Interventions” i Evaluation, vol 14, No 1.<br />

Benämningarna är som nämnts tidigare skiftande och vi har talat om interventionsteori som<br />

förefaller att passa bättre i svensk politisk kultur än att använda ordet program som prefix.<br />

HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 59


När interventionsteorier beskrivs som en utvärderingsmetod handlar det om att utvärderaren<br />

skapar sig en föreställningsram om hur de kausala relationerna ser ut. Det är naturligtvis i en<br />

utvärdering möjligt att ställa frågor om beslutsfattarens kausala antaganden – då handlar dock<br />

själva frågan om hur ”bra beslutsfattarna utnyttjat befintlig kunskap” och själva kvaliteten på<br />

den analys som föregick besutet. Det är rimliga frågor, men det vi nu diskuterar är något annat,<br />

nämligen hur vi kan använda programteori för att uttala oss om effekterna. Interventionsteorier<br />

som utvärderingsmetod bygger i grunden på en slags teoriprövning av insatsen i fråga.<br />

Vi återvänder nu till exemplet malignt melanom. Här kunde vi se att sambandet mellan kunskap<br />

och beteende är ett centralt antagande (sid.39). Den fråga som nu ställs är i vilken utsträckning<br />

detta antagande kan prövas utifrån den forskning som finns. Det handlar alltså om forskning<br />

som gäller på vilket sätt människor ändrar ”farliga beteenden” när de får veta att de är farliga och<br />

under vilka betingelser kunskap kan påverka beteendet.<br />

Det finns dock uppenbara begränsningar när det gäller interventionsteoriers användbarhet som<br />

metod i en utvärdering. Det är ju faktiskt så att vi då bara utvärderar ”i teorin”. Det skall dock<br />

samtidigt sägas att vi på vissa områden har en så solid teoretisk grund att det är uppenbart att<br />

en viss insats kan framstå som mycket tveksam redan på teoretiska grunder. Ett centralt problem<br />

är dock att utvärderaren inte vet hur interventionen sett ut i verkligheten, utvärderaren känner till<br />

hur interventionen avsågs att genomföras. Men i verkligheten kan ju den genomförda interventionen<br />

bli, som kommer att behandlas i ett kommande avsnitt, en helt annan. Under resan kan<br />

genomförandet ändras, ibland så att den blir ”bättre”. Den faktiskt genomförda interventionen<br />

kanske därför blir mera teoretiskt hållbar än den tänkta.<br />

För en revision väcker detta frågor. Är det tillräckligt att konstatera att en verksamhet inte kan ha<br />

effekter därför att den är ”teoretiskt ohållbar”? Till detta skall vi återkomma.<br />

Svårt med tillförlitligheten<br />

60 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />

Av de föregående avsnitten i detta kapitel torde det ha framgått, kanske nästan övertydligt, att<br />

det är svårt att tillförlitligt uttala sig om effekter av statlig verksamhet. Allmänt sett kan vi också<br />

konstatera att enskilda metoder ofta kan visa på resultat som motsägs av andra metoder. En hel<br />

del i evidensrörelsens angrepp har handlat om just detta. Det finns ett antal berömda fall där det<br />

gått att visa på rader av mycket välgjorda utvärderingar som pekat i viss riktning och där senare<br />

utvärderingar med experimentell uppläggning pekat i en helt annan riktning. 23<br />

Det bör alltså sägas att det inte är självklart i vilken utsträckning revisionen själv bör bedöma<br />

effekter utifrån enstaka undersökningar baserade på en enskild metod. Ofta talas det om triangu-<br />

23 Bl.a. i de ofta refererade utvärderingarna om effekterna av att skrämma förstagångsförbrytare.


lering och liknande i betydelsen användning av flera metoder. Det är förmodligen en framgångsväg.<br />

Det viktiga är dock att det då måste vara fråga om helt olika metoder. I verkligheten visar<br />

sig detta ofta så krävande att det som konkret görs kommer att handla om varianter på samma<br />

metod – t.ex. att ungefär samma data samlas in med intervjuer och enkäter och/eller att man<br />

relaterar sig till andra studier gjorda med ungefärligen samma metod. En strategi för att medvetet<br />

föra in olika metoder i en enskild utvärdering kan John Mayne sägas stå för i sin diskussion<br />

om contribution analysis (Mayne, 2008). Denna är inte, så som jag uppfattar den, någon ”egen<br />

metod” utan ett sätt att systematiskt använda den kunskap som kan tas fram med flera av de<br />

metoder som berörts här.<br />

Innan vi nu – för denna gång – lämnar tillförlitlighetsfrågan bör den omfattande debatten om<br />

evidens något kommenteras. Under det senaste årtiondet har diskussionen om betydelsen av<br />

evidens vid formandet av offentliga interventioner varit häftig. En orsak till kraften i diskussionen<br />

kan vara att den handlat både om metodfrågor – som ofta tangerat mer grundläggande epistemologiska<br />

problem – och olika ideologiska synsätt.<br />

Även i den tidigare debatten har olika synsätt konfronterats. Mycket av debatten har sedan<br />

1960-talet handlat om hur säkert man kan beskriva och förklara olika förlopp i samhället. Dock<br />

händer det något nytt under 1990-talet. Det är då det börjar talas om evidensbaserad policy och<br />

”evidence based evaluation” och andra uttryck i vilka evidens används som ett slags prefix. 24<br />

Debatten har sina rötter i att man inom medicinen under 1980-talet började inse att mycket av<br />

den praxis som fanns inte var baserad på evidens – i motsats till vad de flesta av oss vanliga dödliga<br />

tror. Det uppstod därför ett intresse för diffusion men också för att mera systematiskt pröva<br />

de studier som denna praxis ansågs bygga på. Det leder fram till att bl.a. Cochrane Collaboration,<br />

som fortfarande har en tämligen medicinsk inriktning, inrättades i slutet av 1980-talet. Några år<br />

senare skapas flera olika organisationer/institutioner av detta slag, bl.a. Campbell Collaboration<br />

(1993) och ”What Works Clearinghouse” (under US Department of Education).<br />

Mycket kortfattat kan verksamheten i dessa institut innebära systematiska genomgångar (reviews)<br />

av alla vetenskapliga studier inom ett område. Det är en hårt reglerad process, som styrs<br />

av en omfattande manual (Rieper 2006). Det handlar om att precisera en viss intervention (t.ex.<br />

olika interventioner för att påverka ungdomar att inte begå brott), kartlägga alla studier som<br />

gjorts av en viss intervention, inklusion/exklusion av studier baserade på angivna metodkrav,<br />

analys och syntetisering av data och slutligen en sammanfattning av vad man vet efter denna<br />

genomgång.<br />

24 Vid detta laget finns det en hel del litteratur om evidens diskussion. Nämnas kan t.ex. What Counts as Credible<br />

Evidence in Applied Research and Evaluation Practice (Donaldson, Christie & Mark, 2009) men också två danska<br />

böcker (Rieper, Hansen & Bhatti, 2006 samt Rieper & Forss, 2006).<br />

HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 61


62 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />

Det är ofrånkomligt att notera att det finns en sällsynt kraft i ”evidensbevaegelsen” för att<br />

använda en dansk boktitel. Det är rimligt att tala om en rörelse på ett helt annat sätt än vad man<br />

gör när man talar om skolbildningar eller vetenskapliga synsätt i allmänhet. Till en del beror det<br />

på att evidensrörelsen i hög grad kunnat bygga upp samarbete mellan ett mycket stort antal<br />

vetenskapliga institutioner. År 2005 hade t.ex. Cochrane 50 samarbetande reviewgrupper vid<br />

prestigefyllda forskningsmiljöer och ett tiotal olika centrum i olika delar av världen.<br />

Det är alltså i hög grad en rörelse bland forskare. Men har också haft stora kopplingar till ministerier<br />

och statliga myndigheter. SBU och Socialstyrelsen har t.ex. haft en viktig roll i spridningen<br />

av dessa idéer i Sverige.<br />

De som företräder ett evidensperspektiv utgår från att studier kan rangordnas. Överst finns<br />

RCT (Randomized Controlled Trial) eller snarare en review som bygger på ett antal sådana RCT.<br />

Evidensrörelsen betonar vikten av generaliserbarhet, varför det förstås är bättre med flera studier<br />

om fler interventioner (upprepningstanken).<br />

Få företrädare för evidensrörelsen torde hävda att enbart utvärderingar som bygger på RCT är<br />

acceptabla. Det är däremot viktigt att komma ihåg att föreställningen är att RCT representerar<br />

en ”golden standard”. Tanken på en evidenshierarki är viktig: Det innebär att man inte tänker sig<br />

ett antal alternativa metoder som var och en kan vara lika värdefulla beroende på syfte och sammanhang.<br />

RCT är helt enkelt bäst och andra metoder är mindre bra.<br />

En del av debattens intensitet förklaras förmodligen av de politiska implikationerna. Redan utvärd-<br />

ering i allmänhet kan omöjligen frikopplas från ett politiskt sammanhang – diskussionen om<br />

detta skall dock inte föras här.<br />

Kritikerna av evidensrörelsen framhåller att när beviskrav knyts till en specifik metodologi<br />

kommer det i verkligheten att vara svårt att bevisa värdet med några interventioner.<br />

Redan det sagda visar på att det finns grundläggande skillnader i synen på vad som är kunskap<br />

och hur kunskap skapas – för att i hastigheten använda ett inte särskilt bra ord. Linjerna kan<br />

brutalt skisseras ungefär så här:<br />

Det finns en grupp forskare som intar en hållning präglad av en ”180-gradig” opposition. De<br />

förnekar tanken på att det går att bygga generaliserbar kunskap om olika interventioner. Det är en<br />

ståndpunkt som ligger nära en mera konstruktivistisk syn.<br />

Denna linje torde för de flesta dock te sig lite verklighetsfrämmande. Många kritiker bejakar<br />

tanken på att evidens är viktig, att vi bör kunna etablera kausala samband, men menar att deras<br />

”metodologiska” monopolanspråk är felaktigt. De menar att de kan visa att det finns ett stort<br />

antal situationer där ”the golden standard” faktiskt är mindre lämpad att ge evidens än andra<br />

metoder. I ett uttalande av den amerikanska utvärderingsorganisationen i november 2003, som


gav upphov till en omfattande intern debatt i organisationen, pekade kritikerna på att det inom<br />

medicinen finns viktiga områden där ”causality has been conclusively shown” utan RCT. Det<br />

framhölls vidare att ”RCT are not always best for determining causality and can be misleading”<br />

(citerat efter Donaldson m.fl. 2008). Kritikerna menar att en rad andra metoder än de som anses<br />

uppfylla evidensrörelsens metodkrav ”are rigorous and scientific”.<br />

Andra menar att evidensrörelsen överdriver betydelsen av att kunna etablera kausala samband.<br />

Kunskapen om dessa samband är bara en del av den kunskap som vi kan få om verkligheten,<br />

och om olika interventioner, men ofta inte den viktigaste. Ett exempel på denna tankegång gav<br />

Thomas A. Schwandt vid SVUF:s konferens 2004:<br />

It is this second view of evaluation that I have been talking and writing about for many years. I do<br />

not object to the idea of generating evaluation knowledge of ‘what works’—that is, to conducting<br />

theory-based or experimental studies of whether and why a particular social intervention or program<br />

achieves its intended effects. This kind of scientific evidens can be helpful. What I worry about is that<br />

science-based or evidens-based approaches to practice are too readily becoming an ideology that<br />

aims to instill scientific rationality as authoritative for everyday practice, that threatens to eclipse<br />

practical knowledge and reasoning, and that comes dangerously close to regarding the practitioner<br />

as a judgmental dunce, who if left to her or his own way of doing things will inevitably be inefficient,<br />

ineffective, and squander precious social resources. We are in danger of believing in a false<br />

dichotomy: That the only legitimate knowledge for practice is ‘scientific’ all else is unreliable intuition,<br />

habit, custom, or mere belief. We are in danger of accepting without reservation the myth of<br />

a scientifically-guided society, a society in which science (not everyday life ) occupies center stage.<br />

(Schwandt 2004).<br />

Effekter och kostnader<br />

Det är tämligen självklart – eller bör åtminstone vara det – att information om kostnader är<br />

betydelsefull i beslut om statlig verksamhet. Och självfallet blir det därför i samband med studier<br />

av effekter inte bara en fråga om ”hur mycket effekt det blev? ” utan också en fråga om ”till vilken<br />

kostnad?”.<br />

Innan vi går in på frågan om hur vi kan se på kostnader i förhållande till effekter skall dock något<br />

sägas om kostnader i förhållande till prestationer (output).<br />

Kostnader för prestationer<br />

När det gäller att ta fram information för enskilda prestationer finns inte några grundläggande<br />

principiella eller teoretiska problem. Det finns handfasta mättekniska problem och de praktiska<br />

möjligheterna att ta fram information handlar i grunden om hur exakt de enskilda medarbetarnas<br />

tid redovisas.<br />

HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 63


64 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />

När det gäller kostnader för vissa prestationstyper, det kan handla t.ex. om hur mycket staten<br />

lägger <strong>ned</strong> på utbildning eller på ekonomiadministrativ verksamhet, är bilden svårare. Den går<br />

inte direkt att hämta från redovisningssystemen. Även om alla enskilda myndigheter hade en<br />

fungerande tidsredovisning, kan skärningen på olika prestationstyper variera. Ett visst projekt kan<br />

t.ex. ha inslag av utbildning utan att projektet i redovisningssystemet beskrivs i sådana termer.<br />

I de sammanhang där denna form av information om kostnader för en viss prestationstyp<br />

behöver tas fram torde det därför förutsätta särskilda kartläggningsinsatser för att få fram denna<br />

information.<br />

Hur mycket staten satsar i förhållande till ett visst mål<br />

I många sammanhang har det efterlysts information om hur mycket staten satsar på en viss<br />

verksamhet i syfte att nå ett visst mål. Det är teoretiskt möjligt att föreställa sig att alla statens<br />

kostnader fördelas på olika mål. Två grundläggande begränsningar finns med sådana fördelningar.<br />

Enskilda prestationer och kostnader för dessa kan hänföras inte bara till ett utan till flera politikområden.<br />

Problemet kan hanteras genom olika fördelningar. Osäkerhet kommer dock alltid att<br />

vidlåda alla kostnadsaggregeringar. Just frågan om olika nycklar för kostnadsfördelning kan i<br />

grunden dessutom vara politiskt kontroversiell.<br />

Målstrukturer varierar över tiden beroende på hur de samhälleliga problemen uppfattas. Målstrukturen<br />

är i grunden en, åtminstone delvis, politisk fråga. Om en åtgärd i första hand skall ses<br />

som syftande mot Y-målet eller X-målet, kan vara föremål för olika bedömningar.<br />

Dessa begränsningar förklarar säkert till väsentlig del varför det upplevs som förenat med så<br />

stora svårigheter att svara på frågor efter mallen ”hur mycket lägger vi egentligen <strong>ned</strong> för att öka<br />

den kulturella delaktigheten eller minska barnolycksfall?”.<br />

Det betyder inte att dessa frågor är omöjliga att besvara. Dock måste det accepteras att det alltid<br />

kommer att vara förenat med krav på situationsspecifika definitioner för att ta fram sådan information,<br />

och att relativt stor osäkerhet kommer att vidlåda denna information.<br />

Just sådana analyser är därför också något som revisionen kan göra. Det ter sig relevant att<br />

någon faktiskt kan visa hur mycket som läggs av statliga resurser för en viss verksamhet som<br />

syftar till att nå ett mål – eller i någon annan skärning – som är intressant för riksdagen och kanske<br />

delar av allmänheten. Revisionen har här också andra möjligheter än nästan någon annan<br />

kunskapsproducent att få fram sådan information – naturligtvis med begränsningar som avser<br />

kommunerna.


Kostnader för statens insatser i förhållande till<br />

måluppfyllelse<br />

Diskussionen om kostnader versus resultat har också gällt att det borde vara möjligt att tala om<br />

vad måluppfyllelsen kostar. Frågan kan vara: Vad får vi ut av de 5 miljarder som satsats för att<br />

uppnå ett visst mål?<br />

I själva verket har en av de grundläggande svårigheterna med denna tankegång att göra med den<br />

mera generella effektproblematik som diskuteras tidigare. Vi har tidigare betonat att svårigheterna<br />

att ta reda på effekterna, åtminstone praktiskt sett, beror på sådana faktorer som den statliga<br />

insatsens omfattning, hur sammansatt den är, dess tidsförlopp och komplexiteten i det fenomen<br />

som skall påverkas och också hur långt bort i effektkedjan målen satts. Många statliga insatser<br />

som syftar till vissa mål passerar gränsen för det utvärderingsbara i den meningen att vi inte kan<br />

ange vilka effekter insatserna haft. Även om vi bortser från problemet med kostnadssidan – som<br />

är nog så allvarligt – så har vi alltså svårigheter med att få fram information om effekterna.<br />

Den andra svårigheten handlar om att kostnaderna för många interventioner framför allt uppstår<br />

på andra håll i samhället än inom staten, de syns alltså inte som kostnader inom staten. Att ställa<br />

”statens kostnader” i förhållande till vad man får ut i form av (positiva) effekter ute i samhället<br />

uttrycker en brist på symmetri.<br />

Statens kostnader kan vara små, när det t.ex. gäller normer för husbyggande, men kostnaderna<br />

som drabbar dem som bygger och/eller boende och lokalnyttjare kan vara stora. När statliga<br />

insatser diskuteras från ett kostnadsperspektiv är det alltså oftast viktigare med att föra in detta<br />

slag av kostnader, och kostnader för olika negativa bieffekter, i kalkylen.<br />

Även analysen av sådana kostnader handlar därför i hög grad om kausala antaganden som också<br />

är situationsspecifika. Det är alltså en typ av kunskap som revisionen kan bidra med.<br />

Till sist: Effektstudiernas relevans för framtida beslut?<br />

Något i förbigående konstaterades i samband med diskussionen om experimentella uppläggningar<br />

och tidsserieanalyser att vi inte får veta varför en viss förändring uppstått. Lite annorlunda<br />

tedde sig dock bilden både vad gällde det vi kallade falsifieringsmetoden och när programteorin<br />

används för utvärdering.<br />

Detta påstående har dock vittgående konsekvenser. Vi tänker oss nu att vi – i likhet med vad<br />

Candides berömda lärare anser – lever i den bästa av världar. Riksdagen fattar ett beslut om att<br />

satsa 3 miljarder på att rätta till något missförhållande och att skickliga utvärderare i efterhand<br />

konstaterar att detta har lett till effekten 418, i stället för effekten 284 som var målet. I denna värld<br />

har utvärderarna klarat av alla de vanskligheter som här berörts. Utvärderarna kan alltså inte bara<br />

HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA? 65


66 HUR VÄL KAN VI DÅ TA REDA PÅ EFFEKTERNA?<br />

ange det precisa utfallet av interventionen och kostnaderna härför utan kan också göra det med<br />

stor tillförlitlighet.<br />

Allt är alltså bra – om vi ser på utvärderingen som ett betyg över insatsen. Vid den efterföljande<br />

debatten framhålls dock att även om det är gott och väl att målet nåtts för den första satsningen<br />

borde nu – med tanke på de goda erfarenheterna – hela problemet lösas. Problemet som helhet<br />

kan nämligen betraktas som löst om effekten 1000 uppnås. Den promemoria som upprättas<br />

inom Regeringskansliet visar på kostnaden för varje enskild effektenhet (7 177 033 kronor) och<br />

sluter sig därför till att en satsning på 4 177 miljoner under en fyraårsperiod kommer att leda till<br />

att problemet kan lösas – eftersom man då kommer att nå totalt 1000 effektenheter.<br />

Det fiktiva, och övertydliga, exemplet illustrerar problemet med användning av information om<br />

sambandet mellan en viss intervention – kostnaderna för den – och dess effekter. Sambandet<br />

mellan interventionen och effekterna avgjordes av en rad faktorer, det kan handla om priser (tänk<br />

på energiexemplen), attitydförändringar, teknikutveckling, massmedial uppmärksamhet etc. Om<br />

vi inte vet styrkan av dessa faktorer och samspelet mellan dem liksom samspelet mellan dem<br />

och den statliga interventionen så har vi svårt att dra några som helst slutsatser om vad de 4,2<br />

miljarderna kommer att ge i framtiden. För att kunna resonera om vilka effekter en motsvarande<br />

satsning kan få i framtiden måste vi alltså veta varför de 3 miljarderna i förfluten tid fick den effekt<br />

de nu fick. Det handlar om något som vi kan tala om som den förklarande mekanismen eller<br />

kontexten.<br />

Detta problem kan också beskrivas som ett generaliserbarhetsproblem. Om vi skall kunna använda<br />

kunskap från enskilda utvärderingar för framtida beslutsfattande måste vi ha en kunskap<br />

som gör att vi kan överföra kunskapen om effekterna från det enskilda fallet till framtida situationer<br />

vars kontext kan vara annorlunda.<br />

Betydelsen av detta beror förstås på vad kunskapen skall användas till.


5. IMPLIKATIONER FÖR REVISIONEN<br />

De föregående kapitlen har försökt skapa en slags ram med vars hjälp vi nu kan diskutera hur<br />

effektivitetsrevisionen skall hantera frågan om effekter och kostnader.<br />

Påstående 1: Effektivitetsrevisionen granskar statlig verksamhet och<br />

inte måluppfyllelsen som sådan<br />

Revisionen har, principiellt sett, inga särskilda svårigheter att uttala sig om huruvida mål som<br />

uttryckts i form av förändringar av olika tillstånd i samhället uppnåtts. Som påpekats finns en<br />

omfattande statistik både inom ramen för statistikproduktionen som sådan och sådan som<br />

genereras inom ramen för olika administrativa system.<br />

Svårigheter här kan i praktiken finnas, det är t.ex. inte alldeles lätt att operationalisera målet om<br />

”social och ekonomisk utjämning” av rekryteringen till högre studier. Det är självklart inte så att<br />

vi kan jämföra all utbildning på en viss nivå med all utbildning på motsvarande nivå för 10, 20<br />

eller 40 år sedan. Utbildningens sociala roll har förändrats och utredaren eller forskaren som vill<br />

fokusera på utbildningar som har samma sociala funktion som akademisk utbildning i allmänhet<br />

hade 1970 måste välja enbart vissa utbildningar i dag.<br />

Sådana jämförelseproblem möter vi ständigt när det görs jämförelser över tiden. Det kan också<br />

gälla sådant som vi synbarligen uppfattar som ganska ”fast”, t.ex. kunskaper i matematik.<br />

Detta slag av svårigheter gör att det tidigare påståendet om att det principiellt sett inte fanns<br />

några särskilda svårigheter att beskriva en viss utveckling i förhållande till mål i praktiken många<br />

gånger får modifieras. Men allt detta handlar i grunden om något annat än frågan om (yttre)<br />

effekter. Måluppfyllelsen säger ingenting om den bedrivna verksamheten, om den var bra eller<br />

dåligt genomförd eller om den var rätt eller fel tänkt.<br />

Men, kan det då spörjas, är inte måluppfyllelsen intressant för politikerna? Självklart är den det,<br />

eftersom de engagerat sig på ett område – och t.o.m. talat om vad man anser vara ett önskvärt<br />

tillstånd – får man anta att politikerna är intresserade av ”hur det går”. Men att leverera statistik<br />

om utvecklingen av centrala variabler är inte en uppgift för ett granskande organ, det är en fråga<br />

om produktion av statistik.<br />

IMPLIKATIONER FÖR REVISIONEN 67


68 IMPLIKATIONER FÖR REVISIONEN<br />

Men, är inte bristande måluppfyllelse viktig därför att den indikerar ett problem? Om riksdagen<br />

fastställt ett mål och detta inte alls uppnås bör det väl vara en intressant verksamhet för revisionen<br />

att granska. Jo, det kan det säkert vara. Men då handlar det om bristande måluppfyllelse som<br />

indikator på vad som är ”granskningsintressant”.<br />

Oavsett hur vi väljer vad som skall granskas är det dock själva verksamheten som skall granskas,<br />

därför säger ett konstaterande av bristande måluppfyllelse ingenting om hur effektiv verksamheten<br />

är. En granskning kan möjligen ha detta som utgångspunkt men det kan aldrig vara resultatet<br />

av en granskning.<br />

Innan vi går vidare: Än en gång bör det påpekas, att det vi talar om här, är mål för förlopp ”ute i<br />

samhället”. Om vi diskuterar ett mål som gäller prestationer blir situationen en annan. Kausalitetsproblemet<br />

föreligger även här. Men lite förenklat uttryckt – myndigheten äger sina prestationer.<br />

En ökning av en myndighets output, t.ex. i form av publicerade rapporter, har att göra med<br />

saker som hänt i myndigheten i fråga. Alla påverkande faktorer har visserligen inte myndigheten<br />

kontroll över, men tillräckligt mycket för att problematiken är en annan när det gäller mål som<br />

gäller prestationer än de mål vi diskuterat här.<br />

Påstående 2: Revisionen måste ta reda på orsakerna till att det inte<br />

blev effekter för att klargöra vem som rådde över orsakerna<br />

Även om vi kan säkerställa att en viss statlig verksamhet gett upphov – eller inte gett upphov – till<br />

vissa effekter kvarstår frågan vad detta betyder i ett revisionellt perspektiv.<br />

Om vi kommer fram till, och vi bortser nu från olika svårigheter, att en verksamhet fått avsedda<br />

effekter kan vi rimligen sluta oss till att det är sannolikt att den är teoretiskt hållbar och dessutom<br />

rimligt genomförd. Detta hindrar inte att verksamheten bör granskas, men kanske då inte från<br />

detta effektperspektiv. Det förhållandet att verksamheten fått avsedda effekter säger t.ex. ingenting<br />

om graden av rättssäkerhet i verksamheten eller att det kanske finns möjligheter att förbilliga<br />

administrationen av den.<br />

Givet vårt effektperspektiv går vi i stället över till det motsatta fallet. Verksamheten förefaller<br />

inte att ha lett till avsedda effekter eller i vart fall inte alls i den omfattning som verkar rimligt i<br />

förhållande till de insatser som gjorts. Att hitta förklaringen till detta torde vara betydelsefullt för<br />

varje utvärderare som är inriktad på att analysera effekter. Om det inte går att förklara varför effekterna<br />

uteblev går det inte heller att säga något om vad som bör göras i framtiden. Även om vi vet<br />

att en intervention lett till vissa effekter vet vi således inte vad som händer om interventionen – i<br />

nästa omgång så att säga – blir dubbelt så omfattande. Vi vet – brutalt uttryckt – inte om rådet<br />

eller rekommendationen bör vara ”sluta satsa” eller ”satsa dubbelt så mycket”.


Vi kan på ett principiellt plan tänka oss ett antal olika förklaringar till att en intervention misslyckas.<br />

Om vi ser på den huvudgrupp av förklaringar som vi talat om som genomförandemisslyckanden<br />

pekar Rossi, Freeman & Lipsey i den i nya upplagor ständigt utgivna Evaluation – A Systematic<br />

Approach på tre underkategorier (1999:215 f).<br />

• No intervention, or not enough, is delivered.<br />

• The wrong intervention is delivered.<br />

• The intervention is understandardized or uncontrolled and<br />

varies across the target population.<br />

I praktiken kan vi hitta exempel på alla dessa tre företeelser. Kühlhorn pekade på detta i en utvärdering<br />

av ett försök med intensifierad övervakning av dömda. Inom ramen för denna genomfördes<br />

en rad aktiviteter för att möjliggöra en sådan intensifierad övervakning, t.ex. utbildning<br />

av personal. Förberedelserna var dock så omfattande att det inte fanns kvar några pengar för att<br />

genomföra själva verksamheten – den intensifierade övervakningen. 25<br />

Vi kan också hitta exempel på att den intervention som slutgiltigt levererats är en annan än den<br />

avsedda. Slutligen finns det många exempel på att interventionen förändras, av olika mellanled,<br />

innan den på något sätt träffar ”slutanvändarna”.<br />

Rossis et al tre underkategorier går förstås att beskriva också på andra sätt. Det handlar om att<br />

något kan ha gått fel vad gäller den input som tillförts utföraren men också i den output som<br />

kommer ut. Och om det funnits tillräckligt med input men blivit fel output får vi rimligen söka<br />

orsakerna i den mellanliggande omvandlingsprocessen.<br />

Den andra huvudgruppen av förklaringar gäller alltså felaktigheter i interventionsteorin. Dessa går<br />

att beskriva i termer av de olika grupper av antaganden som den kausala processen byggde på (se<br />

tidigare avsnitt, sid 41-42). Antagandena kan gälla själva det önskvärda handlandets effekter på de<br />

fysiska, biologiska förhållanden man vill påverka. En mycket effektiv lagstiftning – i den meningen<br />

att företag eller enskilda följer ett visst förbud eller ett påbud – är ju ineffektivt i förhållande till<br />

det yttersta syftet (t.ex. global warming) om det underliggande naturvetenskapliga antagandet<br />

var felaktigt. Det kan också handla om de två andra grupperna av antaganden, vad som gör att<br />

individer eller organisationer genomför olika handlingar och hur påverkansfaktorerna utvecklas.<br />

Den gjorda insatsen kan dock vara riktigt tänkt, m.a.o. är olika antaganden rimliga i förhållande<br />

till aktuell kunskap. Men de insatser som görs understiger en viss kritisk nivå.<br />

25 Exemplet är refererat i Furubo 1994.<br />

IMPLIKATIONER FÖR REVISIONEN 69


70 IMPLIKATIONER FÖR REVISIONEN<br />

Förklaringar till ”icke-effekter” är, som påpekats, viktiga för alla som sysslar med att analysera<br />

effekterna. För revisionen är den dock ett nödvändigt steg på vägen mot vem-frågan. Om vi inte<br />

vet hur de uteblivna effekterna kan förklaras kan vi inte heller fördela ansvaret. Svaret på vemfrågan<br />

förutsätter att vi har svaret på vad-frågan, det är möjligt att tala om att en beslutsfattare<br />

har ansvar för ett misslyckande enbart om denna på något sätt råder över den faktor som orsakat<br />

misslyckandet.<br />

Påstående 3: Revisionen måste (oftast) stanna vid näraliggande<br />

effekter<br />

Genom de resonemang vi förde i kapitel 3 och 4 har vi visat att osäkerheten ökar ju längre fram<br />

vi går i olika effektkedjor.<br />

Ett viktigt påpekande skall dock göras. Vi kan inte sällan uttala oss med stor säkerhet om ett<br />

tekniskt eller naturvetenskapligt antagande mellan steg långt fram i effektkedjan, t.ex. om huruvida<br />

avkalkning av sjöar leder till ett förändrat pH-värde. Detsamma gäller effekter av solande.<br />

När vi, i en slags geografiska termer, talar om längre bort i effektkedjan handlar det om hur långt<br />

vi kan komma när vi har den statliga interventionen som startpunkt och från denna går fram i<br />

effektkedjan.<br />

En revision bör nog därför ha som en grundhållning att det inte är rimligt att den skall försöka<br />

uttala sig om långsiktiga effekter av komplexa interventioner, med de krav på tillförlitlighet och<br />

precision som måste gälla för revisionen. Detta betyder självklart inte att denna typ av frågor inte<br />

bör ställas, men de bör ställas av andra. Studier av långsiktiga effekter även av mycket komplexa<br />

interventioner bör självfallet göras i olika forskningssammanhang där syftet kan vara långsiktig<br />

kunskapsuppbyggnad och ökad förståelse för olika skeenden. Sådana studier ger oss ökad<br />

kunskap om varför individer och organisationer agerar på ett visst sätt och kan därmed vara av<br />

stor betydelse när olika framtida politiska handlingsalternativ bedöms.<br />

De effekter revisionen kan uttala sig om är därför oftast sådana som kan föras till de tidiga stegen<br />

i effektkedjan. Uppmärksammandet av en viss information som spridits av en statlig myndighet<br />

går t.ex. tämligen lätt att mäta. Detta kan då användas som en indikator på att informationen nått<br />

ut. Anledningen till att vi kan anse att uppmärksammandet, eller möjligen kunskapsförändringar,<br />

indikerar en framgång för en informationsverksamhet som t.ex. syftar till beteendeförändringar<br />

är att vi antar ett kausalt samband mellan t.ex. kunskap och vissa beteenden.<br />

Problemet med detta har beskrivits i det föregående. Det ligger nära till hands att granskaren<br />

utgår från samma antaganden om kausaliteter som de som själva verksamheten baserades på.<br />

Om dessa antaganden är felaktiga kan vi tala om en falsk indikator.<br />

En verksamhet kan alltså berömmas, men berömmet bygger på felaktiga antaganden om kausala<br />

samband.


När revisionen därför bestämmer sig för att använda en indikator av detta slag – eller en prestationsnära<br />

effekt – så måste revisionen utgå från en egen föreställningsram om de kausala relationerna<br />

på området i fråga. Det måste alltså från tillgänglig och ”bästa möjliga” kunskap göras<br />

troligt att den effekt som mäts faktiskt leder framåt i effektkedjdan.<br />

Påstående 4: När revisionen arbetar med effekter måste den ha en<br />

egen interventionsteori<br />

I diskussionen i kapitel 3 berördes i flera sammanhang s.k. interventions- eller programteorier.<br />

Det kan sägas att vid sidan av diskussionen om evidens har frågan om sådana teorier kanske<br />

varit det som dominerat diskussionen om utvärdering det senaste decenniet.<br />

Det framgick redan i diskussionen om föregående påstående och vad som där skrevs om falska<br />

indikatorer att denna fråga inte är oviktig för revisionen. Här skall två aspekter på revisionens<br />

förhållande till interventionsteorier lyftas fram.<br />

Den första aspekten gäller just att revisionen, när den väljer att granska näraliggande effekter,<br />

alltid utgår från en egen interventionsteori gällande den granskade företeelsen. I själva verket är<br />

detta mycket tydligt i ett antal av våra rapporter. Om vi väljer att granska något därför att vi tror<br />

att det har betydelse för uppnåendet av ett mål har vi självklart en föreställning om de kausala<br />

sambanden.<br />

Det som dock kanske är viktigare för revisionen än för många andra analytiker, givet den syn<br />

som ligger i botten för denna framställning, är att revisionen är mycket explicit i sin framställning<br />

av dessa underliggande kausala antaganden. Revisionen måste göra troligt att dess egen<br />

programteori avspeglar bästa möjliga kunskap – detta är ett viktigt kvalitetskrav på revisionens<br />

granskningar.<br />

Den andra aspekten gäller ett grundläggande problem med interventionsteorier. Sådana teorier<br />

handlar om relationen mellan något som görs och något som avses inträffa till följd av det som<br />

görs (programmet/interventionen). Mål spelar därför en stor roll för olika interventionsteorier.<br />

I samband med påstående 8 utvecklas några synpunkter på frågan om mål. Här skall vi bara ta<br />

upp det förhållandet att en verksamhet kan ha olika mål – även om vi bara håller oss till de officiella<br />

– och att dessa kan föranleda olika interventionsteorier.<br />

Problemet gäller också att mål formuleras i en viss kontext och i en viss politisk miljö, själva<br />

verksamheten kan ha än mera grundläggande mål än de som kommer att utgöra den lämpliga<br />

förpackningen i en viss situation.<br />

Detta har ställs på sin spets i flera sammanhang. När Nixon som president försökte lägga <strong>ned</strong><br />

Head Start, fortfarande ett betydelsefullt federalt program, skedde det mot bakgrund av att en<br />

IMPLIKATIONER FÖR REVISIONEN 71


72 IMPLIKATIONER FÖR REVISIONEN<br />

omfattande utvärdering gjorts av välrenommerade forskare. Utvärderingen visade att Head Start<br />

var ett misslyckande. Utvärderingen ledde dock till en omfattande debatt, som t.o.m. får ses<br />

som ett viktigt inslag i amerikansk utvärderingshistoria. Det framhölls i denna debatt att utvärderingen<br />

av Head Start hade gjorts i förhållande till de mål kongressen ställt upp. Den omfattande<br />

diskussionen om utvärderingen och om själva programmet visade på att rader av aktörer hade<br />

andra mål än dessa officiella. Head Start kunde bedömas vara ett bra program – men i förhållande<br />

till andra mål än de kongressen från början angett.<br />

Samma problem aktualiseras av evidensdiskussionen. Även stark evidens för att något inte fungerat<br />

som det var tänkt i förhållande till de avsedda målen kan problematiseras just därför att<br />

målbilden många gånger – helt legitimt och rimligt – förändras eller, redan från början, är mångskiftande.<br />

Head Start visar därmed också att det finns en maktdimension i denna diskussion,<br />

det handlar om huruvida ”makthavarens” mål skall vara ensamt bestämmande för värderingen<br />

av en insats.<br />

Påstående 5: Revisionens uttalanden om en granskad verksamhet<br />

måste bygga på att just denna har granskats<br />

Påståendet kan verka självklart, hur skall man kunna uttala sig om en verksamhet utan att studera<br />

just denna? Emellertid kan det ibland vara möjligt att med stor säkerhet konstatera att en<br />

intervention som genomförts inte kan fungera på avsett sätt. Det kan finnas rader av tidigare<br />

empiriska studier av just detta slag av interventioner. Det kan också finnas en teoribildning som<br />

klargör att verksamheten bygger på icke teoretiskt hållbara antaganden.<br />

En ytterligare aspekt på programteorin är, som berörts tidigare, att denna också kan användas<br />

som granskningsmetod. Om vi accepterar tanken att misslyckande i offentlig verksamhet kan<br />

förklaras antingen av att det är fråga om teorifel eller genomförandefel så skulle man kunna<br />

hävda ungefär följande: Man bör börja med att granska den underliggande teorin för att se om<br />

programmet över huvud taget har förutsättningar att leda till effekter. Och om vi redan har sett<br />

att det inte har det kan man undersöka den teoretiska hållbarheten innan man börjar ”gräva i”<br />

själva genomförandet. Annorlunda uttryckt innebär resonemanget att revisionen kan använda<br />

just studier av programteorin för att granska olika verksamheter.<br />

Även om detta i princip skulle kunna vara möjligt är det lätt att komma med invändningar. Den<br />

första invändningen är att denna typ av granskningar alldeles uppenbart skulle komma att granska<br />

”politiken” snarare än dess genomförande. Den andra invändningen är att den bygger på en<br />

slags instrumentell syn på politiken – en ingenjörsmodell som ser målen som politiska och själva<br />

medelsvalet som tekniskt eller vetenskapligt. Den tredje invändningen är att en revision bedriven<br />

efter sådana linjer skulle uppfattas som alltför naiv i sin uppfattning om politikens villkor.


Ett ytterligare invändning är att det sällan är meningsfullt att enbart se på effekterna av en intervention.<br />

Vi vill också veta mera om interventionen. Även en intervention som är ”omöjlig” kan<br />

ju t.ex. genomföras mer eller mindre bra. Det finns alltså en rad andra viktiga aspekter utöver de<br />

”effektaspekter” som tas upp i denna skrift.<br />

Påstående 6: Experimentella uppläggningar har begränsad<br />

användbarhet för revisionen<br />

Sedan 1960-talet har en diskussion förts om möjligheterna att få kunskap om effekterna skall vara<br />

styrande för politikens utformning. En berömd företrädare för denna uppfattning var Campbell<br />

som också gett namn åt Campbell Collaboration. Campbells normativa ståndpunkt var att politik<br />

skulle ordnas så att den gick att utvärdera genom experimentella uppläggningar.<br />

Ståndpunkten har, som också framgått tidigare, fått en renässans genom den s.k. evidens-<br />

rörelsen som betonar att politiken skall vara evidensbaserad. Det är en ståndpunkt som har<br />

betydande implikationer och som grundas på en syn på vad politik är som långt ifrån är fri från<br />

underliggande värdepremisser. Detta skall inte diskuteras här.<br />

Det finns dock anledning att påpeka att ett sådant synsätt lätt får ett mycket konserverande drag.<br />

Det är ju förändringarna – de nya programmen – som kan utsättas för dessa krav. Intill den<br />

punkten vi har kunnat konstruera nya interventioner, som vi kan testa genom experiment, har vi<br />

alltså svårt att göra någonting alls.<br />

Det centrala här är dock egentligen inte den normativa frågan. Det är i stället ett avsevärt mera<br />

faktiskt förhållande. Den som bedömer befintlig statlig verksamhet hamnar förstås i en omöjlig<br />

position om man bara kan bedöma verksamheter som redan i förväg är ordnade på ett sätt som<br />

gör att de kan studeras genom experimentella uppläggningar. En revision som skulle inta en<br />

sådan ståndpunkt skulle möjligen befinna sig i en situation där man faktiskt inte skulle kunna<br />

granska särskilt mycket. När det gäller det som redan görs, det faktiskt existerande, är det så att<br />

säga redan för sent. Och om revisionen just skall granska det som görs kan man därmed inte<br />

granska någonting. Det skulle alltså innebära ett slags ”moment 22-situation”.<br />

Kravet att granska befintlig verksamhet innebär därför att revisionen i princip har svårt att applicera<br />

experimentella uppläggningar i sitt granskningsarbete. Undantag kan tänkas från denna<br />

princip. Vi kan t.ex. tänka oss att revisionen anser att det är viktigt att inom ett visst område använda<br />

experiment för att öka kunskapen om olika interventioner. För att kunna påvisa riktigheten<br />

i sin ståndpunkt kan revisionen i detta fall välja att genom egna studier påvisa möjligheterna att<br />

genomföra sådana uppläggningar.<br />

Vad gäller övriga utvärderingsuppläggningar är det dock inte möjligt att på principiella grunder<br />

– som alltså gäller revisionens grundläggande roll – inta en avvisande ståndpunkt. Här måste i<br />

IMPLIKATIONER FÖR REVISIONEN 73


74 IMPLIKATIONER FÖR REVISIONEN<br />

stället den fråga som ställs vara följande: Kan vi med användande av en viss specifik metod, eller<br />

ett antal metoder, besvara de frågor vi ställer med tillräckliga krav på tillförlitlighet? Det är alltså<br />

mycket högt ställda krav på den information som revisionen tar fram. Men gäller inte dessa krav<br />

all kunskap som tas fram om statlig verksamhet?<br />

Svaret på den frågan är nej. Kraven på kunskap beror på hur den är tänkt att användas. Om syftet<br />

är att t.ex. använda kunskapen om en viss informationsinsats på folkhälsoområdet för att långsiktigt<br />

bygga upp kunskap om hur hälsoinformation kan användas är kraven andra. I en sådan<br />

situation är kanske själva poängen att man konstaterar att verksamheten har gett upphov till ett<br />

antal frågor som det måste forskas mera om.<br />

Syftet kan vara att inom ramen för en viss policy utveckla en professionell praxis. I en verksamhet<br />

möter man t.ex. klienter. Det kan finnas ett stort värde i att studera hur bemötandet går till, vad<br />

som är svårt för personalen och i vilka situationer förutfattade meningar blir felaktigt styrande<br />

etc. Detta slag av professionell utveckling kan givetvis vara viktig och det kan ske i studier som är<br />

inriktade på att skapa underlag för diskussion och samtal snarare än att med stor tillförlitlighet<br />

uttala sig om vilken ”samtalsmodell” som ger bäst effekter.<br />

Det vi talar om som utvärdering kan alltså – som tidigare framhållits – ha en rad olika syften, och<br />

dessa andra syften kan leda till andra krav än de som jag menar bör gälla för revisionen.<br />

Revisionens ”accountability-perspektiv” innebär också att en tidsfaktor förs in. Mycket av det<br />

staten gör ser vi effekterna av först på mycket lång sikt. Det blir orimligt att tala om ett ord som<br />

ansvar om det inte handlar om sådant som ”dagens aktörer” med någon rimlig avgränsning har<br />

haft rådighet över.<br />

Uppenbarligen är analyser av skolsystemets långsiktiga utveckling och de effekter som inträffar<br />

många år efter t.ex. en reform betydelsefulla i en rad avseenden. Bland annat kan analyser som<br />

pekar på en rad strategiska misstag under 1950- och 1960-talen ha betydelse för många människors<br />

uppfattning om vem man skall skylla olika nu befintliga problem på. 26 Men det kan knappast<br />

vara revisionens uppgift att svara för sådana analyser, ofta finns ju varken organisationerna eller<br />

människorna kvar.<br />

26 Redan tidsperspektivet i Skolverkets intressanta studie Vad påverkar resultaten i svensk grundskola gör att<br />

angreppssättet skulle vara tveksamt i ett revisionellt sammanhang.


Påstående 7: Revisionens granskning syftar till att bedöma det<br />

enskilda fallet<br />

För effektivitetsrevisionen handlar det om att bedöma det enskilda fallet – det kan handla om en<br />

myndighet, en verksamhet, ett åtagande eller något annat. Poängen är dock att det man säger<br />

gäller just detta objekt.<br />

I många sammanhang ses då som ett stort problem att utvärderingar inte är en verksamhet som<br />

– om vi är lite vårdslösa – är särskilt kumulativ. Samma sak utvärderas gång på gång utan att det<br />

byggs upp en kunskapsbas som kan användas i kommande utvärderingar eller vid diskussioner<br />

om hur framtida interventioner skall utformas. 27<br />

Det som är ett problem för utvärdering i allmänhet är dock inte ett problem för revisionen.<br />

Revisionen är inriktad på det enskilda fallet – när vi talar om det bakåtriktade ansvaret handlar<br />

det alltid om en situation eller ett enskilt fall. Vi vill också ha kunskap för att bedöma om det – i<br />

detta enskilda fall – gått bra eller dåligt, vad som eventuellt inte gått bra och i vilken utsträckning<br />

detta beror på någons (person eller organisation) agerande.<br />

Om vi i denna process kan bidra till en kunskap som kan användas i andra sammanhang, för att<br />

t.ex. utveckla teorier om i vilka lägen ett visst styrmedel fungerar, så är det förstås bra. Men vi får<br />

i så fall se detta som en positiv bieffekt av revisionens verksamhet – det är inte därför revisionen<br />

finns till.<br />

En helt annan diskussion gäller, för att undvika missuppfattningar, på vilket sätt t.ex. en delundersökning<br />

i en granskning kan generaliseras till det ”granskande fallets nivå”. Det handlar då om<br />

frågor som gäller på vilket sätt vi kan dra generella slutsatser om t.ex. polisverksamhet i hela<br />

Sverige genom att studera ett urval av individer eller polisiära arbetsställen.<br />

Det bör också läggas till att det som nu sagts om att det för revisionen handlar om att bedöma<br />

om det enskilda fallet gått bra eller dåligt och om brister beror på någons agerande inte behöver<br />

betyda att objektet i granskningen måste vara en organisation, t.ex. myndighet eller en person.<br />

Självfallet kan det som granskas vara ett avsevärt vidare system. Däremot måste de brister som<br />

påtalas i en sådan granskning kunna föras tillbaks på t.ex. en myndighets agerande eller underlåtenheter.<br />

27<br />

Jag har själv tagit upp detta vid flera tillfällen, t.ex. i OECD Journal on Budgeting för några år sedan och i ett kapitel<br />

from Studies to Streams (Furubo 2006).<br />

IMPLIKATIONER FÖR REVISIONEN 75


76 IMPLIKATIONER FÖR REVISIONEN<br />

Påstående 8: Revisionen bedömer en verksamhet i förhållande till<br />

olika slag av kriterier<br />

Det är självklart att det inte enbart är mål som kan vara bedömningskriterier. Det kan också<br />

finnas andra bedömningskriterier som det kan presumeras att riksdagen anser bör gälla i statlig<br />

verksamhet. Först skall dock något sägas om just mål. Mål är något som någon strävar efter att<br />

uppnå. Att formulera mål har sedan mycket lång tid varit en väg att ange den grundläggande vilje-<br />

inriktningen med olika politiska interventioner, alldeles självklart har därför målen en relevans vid<br />

bedömningen av en verksamhet.<br />

Vi kan tala om mål i en rad olika avseenden. Det har redan tidigare framgått att mål kan avse<br />

skeenden på samhällsnivå men också interna förhållanden i en myndighet, t.ex. att personalen<br />

skall ha en viss kompetens eller krav på myndighetens prestationer. Här behandlas dock mål som<br />

gäller vad man vill uppnå ”ute i samhället”.<br />

När det gäller att använda mål som bedömningskriterier ställs dock revisionen inför olika svårigheter.<br />

Vi skall därför börja med att peka på några problem som gäller revisionens användning av<br />

målen som bedömningskriterier av statliga verksamheter. 28<br />

• Många mål uttrycker normativa föreställningar om det ”goda samhället”. Ibland uttrycks<br />

dessa föreställningar mera vagt men ibland mycket precist. Oavsett vilket är dock själva<br />

värdet med att uttrycka sådana föreställningar om framtiden att vissa på i vilken riktning man<br />

vill att samhället skall utvecklas. Samtidigt finns det säkert också en insikt om att det ibland<br />

handlar om problem som samhället alltid kommer att brottas med. Det kommer därför alltid<br />

att vara möjligt att konstatera att det inte görs tillräckligt för att förverkliga dessa mål. Att<br />

bedöma en statlig verksamhet utifrån sådana mål innebär därmed att revisionen utgår från<br />

en slags ”perfektionsnorm”. Den bristande måluppfyllelsen kan konstateras även i de fall de<br />

konkreta verksamheterna är synnerligen väl genomförda. Revisionen kommer därför alltid<br />

att kunna konstatera en diskrepans mellan vad som görs och vad som borde göras när den<br />

bedömer statlig verksamhet i perspektiv av dessa mål.<br />

Många politiker kan vara mycket medvetna om att dessa mål är uttryck för långsiktiga<br />

strävanden. De kan i stället anses viktiga för att markera en frågas vikt och legitimera t.ex.<br />

lagstiftning och ytterligare resurser. Målen kan därmed användas som ett medel för att påverka<br />

framtida prioriteringar. Dessa prioriteringar är dock i grunden politiska till sin karaktär.<br />

28 Sammanhanget innebär alltså en avgränsning, en mera allmän diskussion om målens roll i olika politiska och<br />

administrativa processer fördes dock av Styrutredningen 2007: 177–189, 254–258.


• Riksdagen kan välja att uttala sig om mål som är olika långt <strong>ned</strong> i mål–medel-hierarkin. Om<br />

målet betraktas som oomkullrunkeliga utgångspunkter som inte får sättas i fråga av revisionen<br />

så kommer revisionsutrymmet att variera från tid till annan och från område till område.<br />

Detta ter sig problematiskt. Ett alternativt förhållningssätt är därför att revisionen försöker<br />

skilja mellan mål av olika politisk signifikans – vilket förutsätter en mycket kvalificerad analys<br />

av den politiska signifikansen.<br />

• En alltför stark fokusering på målen inom revisionen kan innebära att viktiga gransknings-<br />

frågor exkluderas. Målen är ett sätt att beskriva politiken som den politiska majoriteten enats<br />

om. De behöver därför inte avspegla syften bland alla dem, t.ex. partier, som utgör denna<br />

majoritet. Olika syften kan ha funnits och kompromissen har gällt just målen, politikbeskrivningen,<br />

snarare än själva verksamheten. Och de grupperingar inom politiken som kanske<br />

t.o.m. har helt andra uppfattningar om verksamheten – eller sättet att beskriva den – kan<br />

konstatera att en revision som bedömer verksamhetens effekter i förhållande till målen har<br />

exkluderat det som de anser vara centrala aspekter för en bedömning av politiken. Målfokusering<br />

leder till att vi väljer att fokusera på vissa former av effekter, och kan därför innebära<br />

att vi kommer att granska verksamheter på ett mycket partiellt sätt.<br />

För en revision finns här också särskilda problem. Det har sedan mer än tio år förts en debatt,<br />

som i hög grad förknippas med Power, kring just det förhållandet att revision och också<br />

mera generella utvärderingskrav lätt bidrar till vissa former av information som passar<br />

granskare. Kraven på en sådan granskningsbar information kan därmed också leda till krav på hur<br />

politiken skall formuleras. De berömda SMART-kriterierna är ett tydligt fall av detta.<br />

• Till dessa tre punkter kan läggas en fjärde som varje form av utvärdering som har mera<br />

övergripande mål som utgångspunkt konfronteras med. I många utvärderingar, som har<br />

en sådan utgångspunkt, konstateras snabbt att det är nödvändigt att använda effekter som<br />

inträffar tidigare i den tänkta effektkedjan som indikatorer. Ett konstaterande i en sådan utvärdering<br />

av att en verksamhet är framgångsrik är dock, som tidigare påpekats, enbart korrekt<br />

givet att det tänkta kausala sambandet mellan det som används som en indikator och det<br />

längre fram liggande målet är korrekt.<br />

Dessa svårigheter illustrerar att målen är viktiga vid formandet av revisionens bedömningskriterier.<br />

Men de visar också att det inte är oproblematiskt att omvandla politiska mål till revisionella<br />

kriterier.<br />

Och i det motsatta fallet, där vi har svårt att hitta målet, måste vi självklart ändå kunna bedöma<br />

en verksamhet. Det finns därför anledning att också diskutera andra bedömningskriterier.<br />

Intentionerna kan härledas genom att man går från det konkreta, t.ex. en viss författningsförändring,<br />

och försöker blottlägga avsikten, vad det är man vill uppnå. Genom själva åtgärden, eller i<br />

IMPLIKATIONER FÖR REVISIONEN 77


78 IMPLIKATIONER FÖR REVISIONEN<br />

detta fall snarast beslutet om åtgärden, kan vi tolka ut avsikten. Ett beslut i riksdagen att ge bidrag<br />

till kommunerna för att stimulera dessa till antimobbingsinsatser kan utan större svårighet<br />

tolkas som en ambition att minska frekvensen av mobbning eller att motverka en tänkbar ökning<br />

av mobbning. Ett mål, oavsett hur detta formulerats, torde här inte skapa större klarhet om vad<br />

riksdagens vill med sitt beslut än vad som redan kan härledas från beslutet om själva bidraget.<br />

Utöver detta slag av bedömningskriterier, som också gäller något specifikt, finns också ett antal<br />

mera generella krav fastställda av riksdagen. Riksdagen har t.ex. genom förvaltningslagen<br />

meddelat vissa krav som gäller handläggning av förvaltningsärenden. Och i budgetlagen finns<br />

vissa allmänna krav på all statlig verksamhet. Andra lagar har krav som har bäring på personalfrågor<br />

etc.<br />

Fram tills nu har vi dock rört oss med bedömningskriterier som kan härledas från beslut i riksdagen.<br />

Det finns emellertid också bedömningskriterier som bygger på vad som kan beskrivas<br />

som en dubbel presumtion. Revisionen måste rimligen utgå från att riksdagen för sin del utgår<br />

från att regeringen, och dess förvaltning, följer ett antal olika etiska och yrkesmässiga normer.<br />

Här är det alltså fråga om krav som vanligen inte omnämns i olika beslutsdokument.<br />

I den revisionella processen kan därför blickarna vändas mot någon av dessa tre kategorier:<br />

Grundläggande etiska normer. Det finns en rad normer i samhället både av mer generell karaktär<br />

och av partikulär art som det måste förutsättas att staten också följer, i vissa fall är det t.o.m. så<br />

att riksdagen angett att de faktiskt skall gälla i samhället i övrigt. De allmänna rättsregler som<br />

riksdagen beslutat skall gälla samhällslivet i övrigt får det t.ex. tas för givet att riksdagen anser<br />

också skall gälla inom staten, t.ex. att löften har en viss giltighet.<br />

Praxis eller sedvänja. Om t.ex. relationen mellan institutioner och organisationer sedan lång tid<br />

har präglats av vissa former så kan dessa anses ha lett till vissa berättigade krav på de olika<br />

parternas uppträdande i denna relation, oavsett om de kodifierats genom direkta beslut och<br />

formella regler. För att konkretisera detta: Regeringens propositioner innehåller sedan mycket<br />

lång tid sammanställningar av inkomna remissvar, i de fall ett förslag föregåtts av t.ex. en kommitté<br />

vars förslag remissbehandlats. Detta är dock inte något som riksdagen särskilt beslutat<br />

om, t.ex. genom en lag. 29 Det får dock förutsättas att riksdagen därmed kan antas ha ett berättigat<br />

krav, till följd av denna praxis, att få veta vad remissinstanserna har sagt.<br />

Inomprofessionella eller yrkesmässiga krav. Det kan antas att riksdagen, och regeringen, utgår från<br />

att de uppgifter som lämnas till underordnade organ skall fullgöras på bästa möjliga sätt – givet<br />

de resurser som ställs i anspråk – även om riksdagen eller regeringen inte själva kan ange vad<br />

29 Däremot är det reglerat att man skall återge Lagrådets synpunkter (3 kap. 1 § RO).


detta innebär. Om t.ex. datasäkerheten i en myndighet granskas så måste detta rimligen ske<br />

utifrån den kunskap som i olika expertmiljöer finns om risker och hur dessa kan hanteras.<br />

Användandet av detta slag av bedömningsgrunder ställer dock revisionen inför olika utmaningar.<br />

På vissa områden är de relevanta expertstrukturerna väl definierade och avgränsade, på andra<br />

områden är inte detta fallet.<br />

Rent praktiskt är det också i det senare fallet som riskerna är störst att revisionen börjar uppfinna<br />

sina egna normer. Är oenigheten stor bland professionella bedömare är det lätt att revisorn själv<br />

agerar domare mellan olika ståndpunkter.<br />

Påstående 9: Revisionen kan sällan uttala sig om kostnaderna<br />

för att uppnå en viss längre bort liggande effekt eller en viss<br />

måluppfyllelse<br />

Detta påstående är – mot bakgrund av det som sagts i denna skrift – föga överraskande. Om<br />

vi har svårt att säkerställa effekterna av en intervention kan vi inte veta vad kostnaderna kan<br />

relateras till.<br />

Men även i de fall effekterna kan säkerställas kvarstår de problem som vi berört tidigare. Det<br />

ena problemet gällde svårigheten att avgränsa vilka statliga resurser som faktiskt åtgått. Och det<br />

andra problemet gällde att det i många sammanhang framstår som orimligt att bara ”räkna in”<br />

statens kostnader för en viss intervention.<br />

Påstående 10: Revisionen kan ta fram viktig kostnadsinformation<br />

och därmed visa på den ”verkliga prislappen”<br />

Revisionen kan dock göra en viktig insats genom att uttala sig om hur mycket som lagts <strong>ned</strong> på<br />

olika verksamheter som har sagts ha vissa syften. Det handlar här om intentioner – verksamheten<br />

bedrivs för att man vill uppnå något. Huruvida detta sker är en annan sak. Hur mycket<br />

resurser som har satsats i förhållande till olika mål är dock en viktig information i sig.<br />

Frågan om ”hur mycket” behöver dock inte ha sin grund i syfte eller mål. Den kan ställas i förhållande<br />

till andra skärningar. Poängen är här att revisionen har vissa fördelar framför andra<br />

kunskapsproducenter och har förmodligen lättare att identifiera intressanta skärningar.<br />

IMPLIKATIONER FÖR REVISIONEN 79


Till sist<br />

80 IMPLIKATIONER FÖR REVISIONEN<br />

Vi har tidigare berört att det inte finns någon överordnad norm som säger att riksdagen inte<br />

kan styra inriktningen på ett ganska detaljerat sätt. Tanken med en skarp skiljelinje mellan en<br />

”politisk” målnivå och en ”administrativ-vetenskaplig” medelsnivå var central i diskussionen i<br />

början av 1900-talet. Det är knappast en tudelning som självklart skulle accepteras i dag. Vi är i<br />

dag väl medvetna om att den politiska diskussionen i hög grad kan gälla frågor tidigt i en tänkt<br />

mål–medel-kedja.<br />

Det diskretionära utrymmet som utförarna har vid genomförandet av politiken varierar därför<br />

mellan olika områden och också inom samma område över tid.<br />

För revisionen har detta flera konsekvenser. En tänkbar konsekvens kan vara att de områden där<br />

det diskretionära utrymmet är vidast bör vara viktigare för revisionen att granska än de områden<br />

där detta är mera begränsat. Ett större diskretionärt utrymme betyder ju att utföraren i hög grad<br />

råder över situationen och har fler valmöjligheter.<br />

En annan konsekvens är att revisionen också måste problematisera vilket diskretionära befogenheter<br />

regeringen eller en myndighet har när den kritiseras för att inte t.ex. ha tillämpat ett<br />

regelverk fullt ut.<br />

I denna skrift har jag försökt framhålla ett antal viktiga frågor när det gäller att se på statlig verksamhet<br />

i förhållande till effekter.<br />

Slutligen, effektivitetsrevision handlar rimligen inte bara om effekter.<br />

Statlig verksamhet kan självklart studeras från en rad andra utgångspunkter än i avseende på<br />

sina (yttre) effekter. Det kan t.ex. gälla själva prestationerna – om t.ex. riksdagen anger mål vad<br />

gäller mängden av och kvaliteten på dessa och kanske i förhållande till en viss kostnad – är det<br />

rimligen viktigt att veta hur det gått med detta.<br />

Själva genomförandet av prestationerna kan vara av central betydelse. Om t.ex. ROT-avdragen<br />

leder till sina effekter är förstås viktigt, men för den som sökt ROT-avdraget är t.ex. tiden det tar<br />

att få sin ansökan behandlad av stor betydelse, och detta helt oberoende av det vi talat om som<br />

de yttre effekterna.<br />

Frågor som gäller kvaliteten i utbildning – för att ta ytterligare ett exempel – kan analyseras<br />

oberoende av utbildningens effekter på sysselsättning och ekonomisk tillväxt under kommande<br />

decennier.<br />

Det finns också uppenbara möjligheter att utveckla tänkandet kring hur revisionen kan hantera<br />

dessa andra frågor. Några ytterligare exempel:


Implementering kan t.ex. granskas på ett mer eller mindre brett sätt. Perspektivet kan vara den insti-<br />

tution som var ansvarig för implementeringen av ett visst program. Det innebär att frågor kan<br />

ställas om administrativa förutsättningar och relationen mellan input och output. Det är dock<br />

också möjligt att ställa frågor om implementering på ett bredare sätt. Många program bygger<br />

på att andra aktörer involveras, t.ex. kommuner och olika organisationer. Ett revisionsorgan har<br />

möjlighet att få tillgång till information om det faktiska genomförandet på ett annat sätt än andra<br />

utvärderare, och revision har inte heller en uppdragsgivare som kan ha ”vested interests” i programmet.<br />

Politikens kunskapsförsörjning är en fråga som blir central då politikerna möter en ”ongoing<br />

stream of evaluative information”. I många länder har vi sett framväxten av komplexa utvärderingssystem.<br />

Vi kan också observera att kvaliteten på de utvärderingar som görs varierar. Framväxten<br />

av olika institut och myndigheter med utvärdering som specialitet gör att utvärdering<br />

börjar bli en kostsam verksamhet inom staten. En utvärdering är också många gånger en viktig<br />

faktor i själva policyskapandet på många områden. Denna faktor har själv aldrig blivit granskad.<br />

Inom utvärderingsfältet förs sedan några år en självkritisk diskussion om detta. Leeuw publicerade<br />

2009 en artikel med den talande rubriken Evaluation:A booming business, but is it added<br />

value” (Leeuw 2009). Nyligen publicerades också en bok med den, möjligen, provokativa titeln<br />

”Evaluation, Seeking Truth or Power” (Eliadis, Furubo & Jacob 2011). Utöver sådana inlägg har en<br />

rad andra studier, med skiftande empirisk grund, pekat på problem som följer av den snabba tillväxten<br />

av krav på utvärdering och byggandet av olika utvärderingssystem (Dahler-Larsen 2004,<br />

De Bruijin 2007, Lindgren 2008, Leeuw & Furubo 2008).<br />

För revisionen är denna diskussion betydelsefull på flera sätt. Den får ofrånkomligen konsekvenser<br />

för diskussionen om vår egen roll och på vilket sätt vår egen verksamhet kan ha negativa<br />

sidoeffekter och hur dessa kan minimeras. Den pekar också på vikten av att vi, som granskare,<br />

förhåller oss till vad som sker i detta vidare utvärderingslandskap.<br />

IMPLIKATIONER FÖR REVISIONEN 81


BILAGA OM ANSVAR OCH<br />

ANSVARSUTKRÄVANDE<br />

Grundläggande innebörd<br />

Diskussionen om ansvar och ansvarsutkrävande bygger i sin idealtypiska form på en uppdragsgivare<br />

(P) och en utförare (A) och att P ställer krav på A som denne är skyldig att leva upp till<br />

och att P har rätt att på något sätt vidta åtgärder som kan vara negativa för A om inte A fullföljt<br />

dessa krav.<br />

Redan denna grundform leder till ett antal frågor om den närmare innebörden av denna relation,<br />

kravens karaktär och giltighet och om hur det skall kontrolleras om kraven följs. Här skall<br />

inte dessa frågor behandlas mer än mycket summariskt. Vi skall inte heller behandla hur rollen<br />

mellan P och A uppstått. Vi skall ta för givet att vi talar om en relation som uppstått genom lagar<br />

eller avtal som på något sätt reglerar över- och underordning.<br />

Relationens karaktär ger en dubbel innebörd åt ”ansvar”. Ansvar har en framåtriktad dimension<br />

och kan, som ofta påpekas, därmed översättas med uppgift eller skyldighet. Norstedts synonymordbok<br />

(2004) anger t.ex. ”sköta om” och ”se till” som synonymer till ansvara. Akademiens ordbok<br />

ger också exempel på ansvar i denna betydelse. Men ansvar används också i en bakåtriktad<br />

betydelse. Det handlar om någon form av konsekvenser som kan följa om uppgiften inte utförts,<br />

att skyldigheten inte fullföljts. Synonymordboken ger här bl.a. alternativen ”bära följderna” och<br />

”stå till svars”. I diskussionen görs ofta en åtskillnad mellan dessa olika betydelser.<br />

Samtidigt är sambandet dock mycket tydligt. Det är först om det finns ett ansvar i den framåtriktade<br />

betydelsen som vi kan anse att någon skall stå till svars eller bära konsekvenserna när skyldigheten<br />

inte fullföljts eller att den som hade att genomföra den på något sätt felat. Om denna<br />

normativa utgångspunkt torde nog de flesta vara överens: En första förutsättning för att ansvar<br />

skall utkrävas är att den som vi utkräver ansvaret av för underlåtelser eller tillkortakommanden<br />

haft ett uppdrag eller skyldighet.<br />

I den andra riktningen tänker vi oss också att innebörden av att någon har en skyldighet är att<br />

den som inte fullföljt sin skyldighet kan drabbas av någon (negativ) konsekvens. Om den som<br />

fastställt skyldigheten och gett en viss order inte alls bryr sig om vad som händer eller struntar<br />

i att vidta någon åtgärd när han eller hon får veta att utföraren nonchalerat sin skyldighet så är<br />

det i längden svårt att tala om en skyldighet. Det sagda innebär att den som ger ett uppdrag<br />

också måste ha någon form av rätt att besluta om olika konsekvenser. Att P kan ställa krav på A<br />

BILAGA OM ANSVAR OCH ANSVARSUTKRÄVANDE 83


84 BILAGA OM ANSVAR OCH ANSVARSUTKRÄVANDE<br />

förutsätter alltså att P på något sätt kan fatta beslut som får negativa konsekvenser för A eller att<br />

besluta om att något positivt uteblir.<br />

Så här långt kan det verka ganska klart. Det finns dock en anledning till att den dubbla innebörden<br />

av ”ansvar” så ofta framhålls i diskussionen om ansvar. Det har att göra med att det ofta<br />

talas om ansvar i den framåtriktade meningen utan att det som sägs kopplas till tanken på att<br />

den som gör fel, eller underlåter att göra något, skall drabbas av konsekvenser.<br />

En företrädare för läkarkåren framhöll för ett par år sedan apropå en undersökning om allmänhetens<br />

uppfattning om lönerna i olika yrken: ”Vi fattar varje dag en rad beslut. Vi har ett stort<br />

ansvar som bör synas i lönesättningen.” I ett annat sammanhang talade en lärare om att lärarna<br />

påverkar de unga människornas hela framtid, ”läraren har ett stort ansvar” framhölls det. Ansvar<br />

handlar här om att olika grupper har ett stort ansvar i meningen fatta svåra beslut som kräver<br />

skicklighet och där själva besluten är allvarliga i den meningen att de kan påverka olika skeenden.<br />

Själva kopplingen till ansvar i betydelsen ”bära konsekvenserna” är åtminstone svag och/eller<br />

oklar i dessa exempel.<br />

Dessa exempel visar också att det framåtriktade ansvaret, som vi tänker oss handlar om en uppgift<br />

eller skyldighet i en mer specifik mening också kan få en mer allmän syftning. Det mer specifika<br />

ansvaret glider över till ett mer allmänt ansvar vi har såsom tillhöriga en grupp. Det handlar<br />

om ansvar i en tredje betydelse, som ”fullgörande av moralisk förpliktelse”. Vi talar ofta om<br />

ansvar i denna mer allmänna mening utan att, får det förmodas, ha någon klar föreställning om<br />

tänkbara konsekvenser i olika situationer. Den franska adelsfamilj som lär ha myntat, det senare<br />

bevingade, uttrycket noblesse oblige hade gissningsvis en föreställning om detta framåtriktade<br />

ansvar, men ansåg förmodligen inte att någon hade rätt att utkräva detta ansvar (åtminstone inte<br />

i en mer jordisk tillvaro). Det är en betydelse av ordet ansvar som kanske inte heller låg så långt<br />

från Chomskys föreställningar när han skrev sin 1960-talsskrift om de intellektuellas ansvar (The<br />

Responsibility of Intellectuals).<br />

Ibland och även i vardagliga sammanhang är dock båda betydelserna högst närvarande. Chefen<br />

som inte säger till sin underliggande att ”du får se till att promemorian är färdig på onsdag nästa<br />

vecka” utan säger ”det är verkligen ditt ansvar att promemorian skickas ut senast på onsdag<br />

nästa vecka” vill antagligen markera att det inte bara är en uppgift som han eller hon vänligen<br />

uppdrar åt den underlydande att utföra, utan också att konsekvenser kan tänkas följa om uppgiften<br />

inte utförs.<br />

Att ansvar används i flera betydelser är inte så mycket att diskutera. Det är ett språkligt faktum.<br />

Det finns dock vissa saker som kan hävdas normativt.<br />

Det gäller först och främst, vilket redan påpekats, att den av vilken ansvar utkrävs också skall ha<br />

haft ansvar i den framåtsyftande meningen. Ansvar kan alltså inte utkrävas av en person (eller


institution) för något mer allmänt missförhållande, även om detta missförhållande alldeles<br />

uppenbart står i strid mot olika förväntningar och med t.ex. uppdragsgivarens beslut. De konstaterade<br />

problemen måste gå att koppla ihop med agerandet hos någon person eller institution.<br />

Den som hålls ansvarig måste ha haft befogenhet att agera och det är detta agerande, eller bristen<br />

på agerande, som kan visas ha orsakat missförhållandet.<br />

Det är ett normativt påstående som både kan sägas innefatta ett slags befogenhets- eller kapacitetsprincip.<br />

Att utkräva ansvar för något av någon som inte haft någon möjlighet, inte ens potentiellt,<br />

att påverka det som skett skulle vi anse stötande. Men ansvarsutkrävande bygger också<br />

på det som ibland kallas kausalitetsprincipen, det måste gå att visa att det som har skett har<br />

samband med det som A gjort eller underlåtit att göra.<br />

Ansvarsutkrävande förutsätter också att uppdragstagaren har getts en bild om vad han eller hon<br />

förväntas göra, vilka krav som ställs på beteenden, verksamhet, prestationer, information som<br />

lämnas etc. En central aspekt är alltså att kraven – på någon nivå – skall ha existerat i förväg.<br />

För att något utveckla frågan om själva kravens karaktär så skall det sägas att påståendet att<br />

detta ”förvägskriterium” inte innebär att kraven måste vara uttryckta i detalj. I en diskussion<br />

om ansvar, revision, accountability och ansvarsutkrävande talas ibland om förväntningar (Flint,<br />

1988 och Behn, 2001 talar t.ex. om expectations). Vissa krav ligger i ett uppdrags natur. Det kan<br />

förutsättas att den som åtagit sig ett visst uppdrag också accepterat vissa krav även om de inte<br />

tydliggjorts. Det går också, för att låna en formulering från Katastrofkommissionen, att diskutera<br />

huruvida t.ex. politiker och tjänstemän levt upp till de krav som ”situationen ställt dem inför”<br />

(Katastrofkommissionen, 2005:104, sid. 65)<br />

Vi föreställer oss också att hur detaljerat kraven uttrycks till en del beror på vilken hierarkisk nivå<br />

det handlar om. Ju ”högre upp” desto fler optioner står till buds. Det som är en förutsättning<br />

på en lägre nivå kan den högre chefen undanröja. I sin klassiska bok Speaking Truth to Power<br />

illustrerar Wildavsky detta med att ett beslut på en högre nivå kan gälla fördelningen av resurser<br />

mellan ”national parks and urban recreation” medan de som har ansvaret för att ”run the parks”<br />

fattar beslut om fördelningen av resurser ”within parks” (Wildavsky,1979, sid. 217).<br />

Det är inte heller självklart att bedömningar av brister i uppdragstagarens agerande enbart skall<br />

baseras på kriterier som mer explicit följer av de beslut uppdragsgivaren har fattat om den specifika<br />

verksamheten och inte heller av beslut som fattats som gäller t.ex. alla myndigheter. Sådana<br />

krav måste kompletteras med professionella eller yrkesmässiga krav. Det kan också antas att<br />

regeringen förutsätter att statlig verksamhet inte skall underskrida vad som betraktas som normal<br />

standard, givet olika expertnormer, vad gäller de aktuella prestationerna. I vissa fall finns sådana<br />

professionella normer uttryckta som ett slags ”överkrav” i olika verksamheter, t.ex. när man i<br />

medicinska sammanhang talat om ”vetenskap och beprövad erfarenhet”.<br />

BILAGA OM ANSVAR OCH ANSVARSUTKRÄVANDE 85


86 BILAGA OM ANSVAR OCH ANSVARSUTKRÄVANDE<br />

En annan aspekt är att kraven kan tänkas avse företeelser som är mer eller mindre direkt kopplade<br />

till den verksamhet som bedrivs. Dessa delas in på olika sätt i olika sammanhang. En aspekt<br />

av detta fångas dock in om vi tänker oss skalan från olika former av finansiella krav, to ”account<br />

for the money” (Behn, 2001:7) till effekter av verksamheten. Rent principiellt kan ansvarsutkrävande<br />

kopplas till vad som helst på denna skala. Krav kan dock stå i konflikt med varandra. Ett<br />

starkt betonande av procedurer och hantering av pengar kan stå i konflikt med innovativitet och<br />

flexibilitet som – kanske – positivt kan befrämja verksamhetens resultat. Efterlevnaden och uppfyllandet<br />

av kraven kan också vara mer eller mindre svåra att kontrollera.<br />

Kontroll<br />

Kontroll kan kanske beskrivas som bryggan mellan det framåtsyftande och bakåtriktade ansvaret.<br />

För att utkräva ansvar måste det finnas en kontroll av om A levt upp till de krav som ställs.<br />

Kontrollen kan gälla både vad A faktiskt gör och A:s redovisning gällande t.ex. ekonomi och<br />

verksamhet.<br />

Det innebär också att det är svårt att tänka sig styrning utan kontroll. Om uppdragsgivaren helt<br />

lämnar uppdragstagaren åt sitt öde skulle vi knappast kunna tala om styrning. I realiteten skulle<br />

ju en sådan situation innebära att uppdragstagaren, åtminstone när uppdragstagaren inser att<br />

det inte förekommer kontroll, kan göra precis det han eller hon behagar. Alla effekter av styrningen<br />

skulle därmed ha bortfallit. Teoretiskt kan vi förstås tänka oss en styrning i form av en initial<br />

impuls – och inget mer – men sådana fall kan vi bortse från i detta sammanhang.<br />

Så styrning förutsätter kontroll. Men det är något mer problematiskt att hävda sambandet i motsatt<br />

riktning, att kontroll alltid syftar till styrning. Det kan hävdas att kontroll på något sätt syftar<br />

till att påverka. Men det kan samtidigt sägas att kontroll i en mer specifik situation kan ha ett värde<br />

utöver dess roll i den framåtriktade styrningen.<br />

Även om vi tänker oss en styrprocess som något avslutat, det som styrningen handlade om har<br />

så att säga fullföljts och kommer inte att upprepas, kan vi se ett värde i kontrollen därför att vi genom<br />

kontrollen kan hålla någon ansvarig. Även i den verksamhet som är avslutad, t.ex. genom att<br />

företaget har likviderats, har uppdragsgivaren – och ibland andra parter – ett berättigat intresse<br />

att få kontrollerat att inte deras intressen kränkts och att ansvar utkrävs om så skulle ha varit<br />

fallet. Denna centrala tanke har starkt betonats både i USA och Europa under de senaste åren.<br />

Styraspekten kan alltså vara mer allmän. Även om den inte har betydelse i den specifika situationen<br />

kan vi mena att kontroll är viktigt därför att andra i motsvarande situationer kommer att veta<br />

att de kontrolleras. Vi kan också tycka att det är viktigt att veta att ansvar skall utkrävas för vissa<br />

handlingar oavsett det institutionella sammanhanget.


Detta oaktat finns det skäl att i mer specifika situationer se styrning och kontroll som två olika<br />

saker. Även om båda processerna förutsätter information behöver det inte vara samma information.<br />

Kontroll och ansvarsutkrävande förutsätter information som gör att uppdragsgivaren kan<br />

bedöma om utföraren har levt upp till berättigade krav. Kraven kan vara explicit uttryckta i formella<br />

regler men kan också vara implicita i en visst uppdragsförhållande, det kan t.ex. finns normer<br />

inom en bransch eller i en profession som skall följas. Om kraven inte följs skall uppdragsgivaren<br />

kunna få information om det finns faktorer som ”ursäktar” detta.<br />

Den framåtriktade styrningen förutsätter ofta annan information. Den styrande kan t.ex. vilja<br />

överväga om den aktuella verksamheten över huvud taget skall fortsätta och i så fall om den skall<br />

ges en annan inriktning eller bedrivas i helt andra organisatoriska former. 30<br />

Diskussionen om accountability<br />

Något bör sägas om accountability i förhållande till ansvar och kontroll. Själva termen accountability<br />

har under de senaste tio åren blivit central i den internationella förvaltningsdiskussionen<br />

och inom organisationer som OECD och Världsbanken. Accountability-diskussionen har varit<br />

central inom NPM men ansluter också till andra traditioner. Själva begreppet har blivit en slags<br />

”semantisk magnet”.<br />

Precis som alla de ord vi pratat om i denna PM förs diskussionen om accountability på flera plan.<br />

Det finns inga enhetliga föreställningar om innebörden. Något kan dock mycket knapphändigt<br />

sägas.<br />

I sin mest grundläggande betydelse handlar accountability om att någon är ”required or expected<br />

to justify actions or decisions” som OED förklarar det. Andra ordböcker ger ungefär samma grund-<br />

betydelse. Accountability handlar alltså om det bakåtriktade ansvarsperspektivet. Leif Lewin<br />

utvecklar samma tankegång i sin bok Democratic Accountability (2007) när han skriver: ”In place<br />

of the term responsibility, we will use the more narrow and precise term accountability: this word<br />

refers to the duty of an agent to account for his actions to his principal, who in turn can punish<br />

him if he fails to perform according to expectation.”<br />

Det är viktigt att poängtera att accountability kan ses som snävare men också mera precist. Den<br />

som har makt skall inte bara ta sitt ansvar på något mera allmänt och diffust sätt. Accountability<br />

innebär att man har en skyldighet att redogöra för vad man gjort.<br />

30<br />

I det som här sagts om kontroll, ansvar och ansvarsutkrävande har flera centrala saker utelämnats. Det gäller<br />

bl.a. den centrala frågan om ansvarsutkrävande av kollektiva aktörer som t.ex. diskuteras i en särskild bilaga till<br />

Katastrofkommissionen (SOU 2005:104, sid. 489-508.<br />

BILAGA OM ANSVAR OCH ANSVARSUTKRÄVANDE 87


88 BILAGA OM ANSVAR OCH ANSVARSUTKRÄVANDE<br />

Den livliga diskussionen om accountability handlar om att närvaron av ett sådant perspektiv<br />

påverkar grundläggande förhållningssätt bland dem som fattar beslut eller utför verksamheter.<br />

Att vara accountable inför någon blir därmed en del av definitionen av den hierarkiska relationen.<br />

Mer historiska förklaringar av accountability försvinner också bland faraoner, kejsare och kungar.<br />

Att ”överheten” är accountable till folket blir därmed en del i föreställningar om vad demokrati<br />

är. Accountable-relationens riktning blir ett uttryck för att det är en ny tid. Det är inte enbart av<br />

kuriosaintresse vi kan notera att författaren i nummer 55 av the Federalist Papers talar om att<br />

legislaturen är ”…at the same time accountable to the society over which they are placed” (15<br />

februari 1788). 31 Året efter att Madison eller Hamilton skrev detta så kom deklarationen om de<br />

mänskliga rättigheterna. En av de 17 artiklarna betonar vikten av att alla som innehar ett offentligt<br />

uppdrag är skyldiga att redovisa för sitt uppdrag. 32<br />

Det handlar om en skyldighet att svara på frågor, att redovisa och därmed att underkasta sig<br />

kontroll. Att vara accountable skapar också förutsättningar för offentlig kritik och debatt, som går<br />

över eller vid sidan av mer formella former för ansvarsutkrävande. När vi talar om accountability,<br />

som alltså kan uppfattas ha en snäv innebörd rent språklig sett, så talar vi därför samtidigt ofta<br />

om något som är mer omfattande än en diskussion om ansvarsutkrävande i mer institutionella<br />

eller rättsliga former. Vi inkluderar det förhållandet att t.ex. statsråd har en faktisk skyldighet att<br />

svara på t.ex. mediernas frågor om både det ena och det andra och att deras villighet, förmåga<br />

eller dumhet i själva svarandet får en faktisk betydelse.<br />

Men samtidigt har en stor del av diskussionen om accountability blivit liktydigt med ansvar<br />

och ansvarsutkrävande i mer formell mening. Inom ramen för accountability-diskussionen ställs<br />

därmed frågor som är centrala för diskussioner som här rubricerats som gällande ansvar och<br />

ansvarsutkrävande.<br />

En sådan diskussion gäller t.ex. att de krav på information som följer av ett starkt betonande<br />

av accountability kan leda fram till att fokus sätts på det som är mätbart och lätt kontrollerbart.<br />

En särskild debatt har också förts om vad som händer när kontrollsystem och revisionssystem<br />

expanderar.<br />

31<br />

No 55 tillhör de Federalist Papers där forskarna inte är helt eniga om vem som är författare. Det anges att det<br />

antingen är Hamilton eller Madison. The Federalist Papers finns publicerade i en rad olika former på nätet,<br />

har här använt www.yale.edu/labweb/avalon.<br />

32<br />

La Société a le droit de demander compte à tout Agent public de son administration (artikel 15).


REFERENSER TILL HUVUDTEXTEN<br />

Alkin, M.C. & C.A. Christie (2004) ”An Evaluation Theory Tree” i Alkin, M.C. (ed.),<br />

Evaluation Roots, Tracing Theorists’ Views and Influences (pp.12–65), London: Sage.<br />

Bhatti, Y. H. Foss Hansen & O. Rieper (2006) Evidensbevægelsens udvikling,<br />

organisering og arbejdsform: En kortlægningsrapport, Köpenhamn: Akf forlaget.<br />

Barzelay, M. (1996) ”Performance Auditing and the New Public Management: Changing Roles<br />

and Strategies of Central Audit Institutions” i Performance Auditing and the Modernisation<br />

of Government. Paris: OECD.<br />

Behn, R. (2001) Rethinking democratic accountability. Washington, DC:<br />

Brookings Institution Press.<br />

Bouckaert, G. & J. Halligan (2008) Managing Performance: International Comparisons.<br />

London: Routledge.<br />

Chen, H.T. (2005) Practical Program Evaluation. Assessing and Improving Planning,<br />

Implementation and Effectiveness. Sage Publications.<br />

De Bruijin, H. (2007) Managing Performance in the Public Sector, andra upplagan.<br />

London: Routledge.<br />

Dahler-Larsen, P.D. (2004) Evaluering og magt, Magtutredningen.<br />

Århus: AarhusUniversitetsforlag.<br />

Dahler-Larsen, P.D. (2009). Context and Evaluation: African and European Perspectives.<br />

Plenarsession vid American Evaluation Associations konferens 2009.<br />

Donaldson, S.I., C.A. Christie & M.M. Mark (2009) What Counts as Credible Evidence in<br />

Applied Research and Evaluation Practice? Los Angeles, CA: Sage.<br />

Droitcour, J.A. & M.G. Covar (2008) ”Multipe Threats to the Validity of Randomized Studies”<br />

i N.L Smith, & P.R. Branden (eds.), Fundamental Issues in Evaluation.<br />

New York: The Guilford Press.<br />

Ekonomistyrningsverket (2003) Resultatanalys för nybörjare. Stockholm: ESV.<br />

REFERENSER 89


90 REFERENSER<br />

Eliadis, P., J.E.Furubo & Steve Jacob (eds.) (2011) Evaluation: Seeking Truth or Power.<br />

New Brtunswick, NJ: Transaction Publishers.<br />

Energisparkommittén (1983) Information som styrmedel. SOU 1983:34. Stockholm: Liber<br />

EUROSAI (2005) Public Audit in Europe. Achievements and Outlook.<br />

Moscow: Accounts Chamber of the Russian Federation.<br />

Flint, David (1988) Philosophy and Principles of Auditing – An Introduction, London: Macmillan.<br />

Finer, H. (1965) ”Administrative Responsibility in Democratic Government” i Rourke, F.E (ed.),<br />

Bureacratic Power in National Politics. Boston: Little Brown and Company.<br />

Friedrich, C. J. (1965) ”Public Policy and the Nature of Administrative Responsibility” i Rourke,<br />

F.E (ed.), Bureacratic Power in National Politics. Boston: Little Brown and Company.<br />

Furubo, J.E. (1994) Utvärderingar – till vad och hur mycket? Stockholm: RRV.<br />

Furubo, J.E. (1996) ”Why Evaluations Sometimes Can’t be Used – and why They Shouldn’t”<br />

in R.C.Rist & N. Stame (eds.) From Studies to Streams. New Brunswick,<br />

NJ: Transaction Publishers.<br />

Furubo, J.E. & Sandahl R. (2002) ”A Diffusion Perspective on Global Developments in<br />

Evaluation” in J.E Furubo, R.C. Rist & R. (eds.). International Atlas of Evaluation.<br />

New Brunswick, NJ: Transaction Publishers.<br />

Furubo, J.E. & O. Karlsson-Vestman (2011) ”Evaluation: For Public Good or Professional<br />

Power?” in P. Eliadis, J.E. Furubo & S. Jacobs (eds.) Evaluation: Seeking Truth or Power?<br />

New Brunswick, NJ: Transaction Publishers.<br />

Greene, J. C. (2006) ”Evaluation, Democracy and Social Change” in I.F Shaw, F. Shaw,<br />

J. C. Greene, and M.M. Mark, (eds.). The Sage Handbook of Evaluation (pp. 118–141).<br />

Sage: London.<br />

Grönlund, A. (2008) <strong>Riksrevisionen</strong> – effektivitetens, rättsäkerhetens och demokratins väktare.<br />

En studie av effektivitetsrevisionen 2003–2007. Akademirapport 2008:1, Företagsekonomiska<br />

institutionen i Stockholm, Akademin för ekonomistyrning i staten.<br />

Grönlund, A., F. Svärdsten & P. Öhman (2011) ”Value for Money and the Rule of Law:<br />

The (new) Performance audit in Sweden” i International Journal of Public Sector<br />

Management, Vol. 24 No 2.<br />

Guba, E.G. & Y.S. Lincoln (1981). Effective Evaluation. San Francisco, CA:<br />

Jossey Bass Publishers.


Hermerén, G. (1984) ”Varför kausalanalys” i Nilstun, T. & G. Hermerén (red),<br />

Utvärderingsforskning och rättsliga reformer. Analys av orsaker och effekter.<br />

Lund:Studentlitteratur.<br />

House, E.R. (1993) Professional Evaluation. London: Sage.<br />

House, E. & K. Howe (1999) Values in Evaluation and Social Research. London: Sage.<br />

INTOSAI. (2004) Implementation Guidelines for Performance Auditing.<br />

International Organisation of Supreme Audit Institutions.<br />

Katastrofkommissionen (2005) Sverige och tsunamin –granskning och förslag. SOU 2005:104.<br />

Stockholm: Fritzes.<br />

Kühlhorn, E. 1979 Frivård och rehabilitering. En empirisk utvärdering av ett experiment inom<br />

kriminalvården. BRÅ-rapport 1979:3. Stockholm: BRÅ.<br />

Lane, J.E. New Public Management. London:Routledge<br />

Leeuw, F.L. & J.E. Furubo (2008) ”Evaluation systems. What are they and why study them”<br />

in Evaluation, Vol. 5, No 4.<br />

Leeuw, F.L. (2009) ”Evaluation. A booming business but is it added value?” in<br />

Evaluation Journal of Australasia, Vol. 9, No.1, pp 3–9.<br />

Lewin, L. (2007) Democratic Accountability. Why Choice in Politicis is Both Possible and<br />

Necessary. Cambridge, MA: Harvard University Press.<br />

Lindgren, L. (2008) Utvärderingsmonstret. Kvalitets- och resultatmätning i den offentliga sektorn.<br />

Studentlitteratur.<br />

Lonsdale,J., P Wilkins & T.Ling (2011/under utgivning) Performance Audit: Contributing to<br />

Accountability in Democratic Government. Edward Elgar Publishing.<br />

Lukes, S. (2005) Power: A radical view. Second edition. Basingstoke, Hampshire:<br />

Palgrave Macmillan.<br />

Mayne, J. (2008) Contribution Analysis: An approach to exploring cause and effect. ILAC Brief 16.<br />

Merton, R.K. (1936) ”The unanticipated consequences of purposive social action” i<br />

American Sociological Review, Vol. 1, No. 6.<br />

Mohr, L.B. (1992) Impact Analysis for Program Evaluation. Newbury Park, CA: Sage Publications.<br />

REFERENSER 91


92 REFERENSER<br />

Myrdal, G (1934) Finanspolitikens ekonomiska verkningar, SOU 1934:1.<br />

Nilstun, T. (1985) ”Att identifiera mål i offentlig politik” i Statsvetenskaplig tidskrift, s. 321–330.<br />

Nilstun, T. (1984) ”Subsumtion, pragmatik och förklaring” i T. Nilstun & G. Hermerén (red.),<br />

Utvärderingsforskning och rättsliga reformer. Ananalys av orsaker och verkan.<br />

Lund: Studentlitteratur.<br />

Owen, J. M. (2007) Program Evaluation. Forms and Approaches. 3rd edition.<br />

New York: The Guilford Press.<br />

Patton, M (2007) ”The Roots of Utilization-Focused Evaluation” in M.C. Alkin (red.),<br />

Evaluation Roots, Tracing Theorists’ Views and Influences (pp.276–292), London: Sage.<br />

Patton, M.Q. (2008) Utilization Focused Evaluation. 4th Edition. Thousand Oaks, CA: Sage.<br />

Pollitt, C., X. Girre, J. Lonsdale, R. Mul, H. Summa & M. Waerness (1999) Performance or<br />

Compliance? Performance Audit and Public Management in Five Countries.<br />

Oxford: Oxford University Press.<br />

Pollitt, C. & G. Bouckaert (2004) Public Management Reform. A Comparative Analysis,<br />

second edition. Oxford: Oxford University Press.<br />

Power, M. (1997) The Audit Society: Rituals of Verification. Oxford: Oxford University Press.<br />

Rieper, O. & H.F. Hansen (2007) Metodedebatten om evidens. Kopenhavn: AKF Forlaget.<br />

<strong>Riksrevisionen</strong> (2007) Hur förbereds arbetsmarknadspolitiken? En granskning av regeringens<br />

underlag. Stockholm: <strong>Riksrevisionen</strong>.<br />

Riksrevisionsutredningen (2009) Uppföljning av Riksrevisionsreformen ll. Utredningar från<br />

riksdagsförvaltningen 2008/09:URF3.<br />

Riksrevisionsverket. (1976) Mål och program i verksamhetsplanering. Stockholm:RRV.<br />

Riksrevisionsverket. (1999) Handbook in Performance Auditing – Theory and Practice.<br />

Stockholm: RRV.<br />

Rist, R. C. & N. Stame (eds.), (2006) From studies to Streams. New Brunswick,<br />

NJ: Transaction Publishers.<br />

Rogers, Patricia (2008) ”Using Program Theory to Evaluate Complicated and<br />

Complex Aspects of Interventions” i Evaluation, vol 14, No 1.


Rossi, P.H., M. W. Lipsey & H.E. Freeman (1999) Evaluation – A Systematic Approach,<br />

Sixth Edition. Thousand Oaks. CA: Sage Publications.<br />

Rossi, P.H., M. W. Lipsey & H.E. Freeman (2004) Evaluation – A Systematic Approach,<br />

Seventh Edition. Thousand Oaks. CA: Sage Publications.<br />

Sandahl, R. (1991) Resultatanalys. Stockholm: RRV.<br />

Sandahl, R. (1996) Att mäta effekter. Stockholm: RRV.<br />

Schwandt, T.A. Key-note Key Note vid Svenska Utvärderingsföreningens konferens 2004.<br />

Svenska Utvärderingsföreningen 2004.<br />

Scriven, M. (1991) Evaluation Thesaurus. Newbury Park, CA: Sage.<br />

STEV (1984) Energihushållning programmets effekter. (Statens energiverk 1984:2). Stockholm<br />

Styrutredningen (2007) Att styra staten – regeringens styrning av sin förvaltning. SOU 2007:75.<br />

Stockholm: Fritzes<br />

Skolverket (2009) Vad påverkar resultaten i svenska grundskolor? Kunskapsöversikt om betydelsen<br />

av olika faktorer. Stockholm.<br />

Skolverket (2011) Utvärdering av metoder mot mobbing. Skolverket. Rapport 353.<br />

Speer, S. (2011 Under utgivning) ”Sectorial Evaluation Cultures. A Comparison of the<br />

Education and Labor Market Sectors in Germany” i Barbier, J.C. & P. Hawkins (red.)<br />

Evaluation Cultures. New Brunswick, NJ: Transaction Publishers.<br />

Vedung, Evert (2009) Utvärdering i politik och förvaltning, (3:e upplagan).<br />

Lund: Studentlitteratur AB.<br />

Weber, M. (1949) The Methodology of the Social Science, New York: The Free Press.<br />

Wickman, K. (1986) ”Utvärdering av ekonomiska styrmedel” i RRV Att utvärdera statlig styrning<br />

– tre uppsatser. Stockholm: RRV.<br />

Wildavsky, A. (1979) Speaking Truth to Power. Little Brown & Company.<br />

Wisler, Carl (ed.) (1996) ”Evaluation and Auditing: Prospects for Convergence” in<br />

New Directions for Evaluation, Number 71, San Francisco, CA: Jossey-Bass Publishers.<br />

REFERENSER 93


<strong>Riksrevisionen</strong> vill bidra till att skapa förutsättningar för en diskussion kring den offentliga<br />

revisionen. Diskussionen kan föras både på ett professionellt plan, bland dem som arbetar med<br />

revision, och bland andra som är intresserade av revisionsfrågor. I denna skrift analyseras vilken<br />

roll effektivitetsrevisionen kan ha i staten och i annan offentlig verksamhet samt revisionens<br />

möjligheter att besvara frågan om effekterna av den statliga verksamheten.<br />

Det är författaren, revisionsrådet Jan-Eric Furubo, som svarar för skriftens innehåll. De ståndpunkter<br />

som uttrycks i skriften behöver inte reflektera <strong>Riksrevisionen</strong>s hållning.<br />

ISSN 1652-6597<br />

ISBN 978 91 7086 268 7<br />

Beställning:<br />

<strong>Riksrevisionen</strong>s <strong>publikation</strong>sservice<br />

114 90 Stockholm<br />

Fax: 08-5171 41 00<br />

<strong>publikation</strong>sservice@riksrevisionen.se<br />

<strong>Riksrevisionen</strong> • 114 90 Stockholm • [Nybrogatan 55] • Tfn 08-5171 40 00 • www.riksrevisionen.se

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!