KONTROL OG LÆRING - Akademisk Opgavebank

KONTROL
OG LÆRING
Evaluering af dansk
mediebistand
i et diskursanalytisk perspektiv
Speciale i Medievidenskab, Aarhus Universitet
Af:
Line Thaudahl Jakobson, 19993271
Anna Bak Larsen, 19993490
Vejleder:
Poul Erik Nielsen
Februar 2005
1

1. Indledning................................................................................................................8
1.1. Indkredsning af problemfelt ...................................................................................8
1.2. Problemformulering .............................................................................................10
1.3. Læsevejledning....................................................................................................11
1.3.1. Specialets første del: teoretisk og metodisk afsæt.................................11
1.3.2. Specialets anden del: Analyse ...............................................................12
1.4. Begrebsafklaring..................................................................................................14
1.4.1. Mediebistand ..........................................................................................14
1.4.2. Evaluering...............................................................................................16
2. Teoretisk afsæt .....................................................................................................19
2.1. Evaluering af mediebistand i et diskursperspektiv...............................................19
2.1.1. Diskurs, magt og viden...........................................................................20
2.1.2. Evaluering som diskursiv praktik ............................................................21
2.2. Udviklings- og evalueringsdiskurser ....................................................................21
2.3. Symbolsk interaktionisme ....................................................................................22
2.3.1. Translation..............................................................................................22
2.3.2. Praksisfællesskaber ...............................................................................23
2.3.3. Grænseobjekter......................................................................................23
2.4. Evaluering og dens genstand ..............................................................................25
2.4.1. Indhold og tidsorientering .......................................................................25
2.4.2. Identiteter og relationer...........................................................................27
3. Udviklingsteoretiske diskurser ...........................................................................29
3.1. Moderniseringsdiskursen.....................................................................................30
3.1.1. Moderniseringsdiskursen og forholdet mellem donor og modtager .......31
3.1.2. Kritik af moderniseringsdiskursen ..........................................................31
3.2. Den kritiske udviklingsdiskurs..............................................................................32
3.2.1. Den kritiske udviklingsdiskurs og forholdet mellem donor og modtager 33
3.2.2. Kritik af den kritiske udviklingsdiskurs....................................................33
3.3. Partnerskabets paradoks.....................................................................................34
4. Evalueringsteoretiske diskurser .........................................................................36
4.1. Distinktionen mellem kontrol- og læringsevalueringer.........................................36
4.2. Evaluering som et redskab til kontrol...................................................................38
4.2.1. Kontrolevalueringernes demokratiske legitimeringsgrundlag.................39
4.2.2. Kravet om objektiv information ...............................................................39
4.2.3. Fokus på resultater.................................................................................40
4.2.4. Kritik af kontrolevalueringer....................................................................41
4.3. Evaluering som et redskab til læring ...................................................................42
4.3.1. Konsensusbaseret læring.......................................................................44
4.3.2. Den participatoriske læringsdiskurs .......................................................46
4.3.3. Opsummering: to forskellige læringsforståelser.....................................50
4.4. Forskelle og ligheder mellem de to evalueringsteoretiske diskurser...................50
4.4.1. En note om fremstillingen.......................................................................51
4.4.2. Forskelle .................................................................................................51
4.4.3. Ligheder..................................................................................................52
2

5. Udviklings- og evalueringsteoretisk opsummering..........................................54
5.1. Slægtskab mellem diskurser på tværs af felter ...................................................54
5.2. En note om normativitet.......................................................................................55
6. Metode ...................................................................................................................56
6.1. Udvælgelse og behandling af empiri ...................................................................56
6.1.1. Udvælgelse og databehandling af dokumenter......................................56
6.1.2. Interviews ...............................................................................................61
6.1.3. Fremstilling af empiri ..............................................................................64
6.2. Undersøgelsens videnskabelighed......................................................................65
6.2.1. Validitet...................................................................................................65
6.2.2. Reliabilitet ...............................................................................................66
6.2.3. Generaliserbarhed..................................................................................66
6.3. Metodisk refleksion ..............................................................................................66
7. Danidas evalueringspraksis ................................................................................69
7.1. Evalueringer og reviews ......................................................................................69
7.1.1. Offentliggørelse ......................................................................................69
7.1.2. Organisatorisk forankring .......................................................................71
7.1.3. Initiering ..................................................................................................74
7.1.4. Design ....................................................................................................75
7.1.5. Udførelse ................................................................................................76
7.1.6. Opfølgning ..............................................................................................78
7.1.7. Forskelle og ligheder mellem reviews og evalueringer ..........................79
7.2. Danida, konsulenter og partnere – tre praksisfællesskaber ................................80
7.2.1. Opdragsgiveren: Danida ........................................................................81
7.2.2. Evaluatorerne: Eksterne konsulenter .....................................................82
7.2.3. De evaluerede aktører: Danidas partnere..............................................83
8. Forskellige forståelser af læring og kontrol ......................................................86
8.1. Kontrol..................................................................................................................87
8.1.1. Legitim kontrol ........................................................................................87
8.1.2. Inspektion ...............................................................................................88
8.2. Læring..................................................................................................................90
8.2.1. Konsensusbaseret læring.......................................................................90
8.2.2. Participatorisk læring..............................................................................92
8.3. Kontrol og/eller læring?........................................................................................95
8.3.1. Danida: Både-og.....................................................................................95
8.3.2. Partnere og konsulenter: Enten-eller......................................................96
8.4. Forskellige forståelser – forskellige interesser ....................................................97
9. Evalueringer og reviews som grænseobjekter..................................................99
9.1. Kontrol og læring i otte evaluerings- og reviewforløb ..........................................99
9.1.1. Kontrol- og læringskomponenter i rapporterne ....................................100
9.1.2. Oversigt over de analyserede rapporter...............................................105
9.2. Præsentation af evaluerings- og reviewforløb ...................................................106
9.2.1. To ’kontrolreviews’: Bangladesh og NSJ 03.........................................107
9.2.2. Den generelle medieevaluering og Zambia 02: Både/og eller hverkeneller?...............................................................................................................108
9.2.3. Evaluering og review af MISA – eksempler på læringsprocesser........111
3

9.3. Opsamling..........................................................................................................113
10. Konsulenten som stødpude mellem donor og modtager.............................114
10.1. Den uafhængige, upartiske konsulent .............................................................114
10.2. To fortællinger om utryghed og uafhængighed ...............................................115
10.2.1. ”… sådan en nørd der, jamen altså, det skal han sgu da ikke have lov
til” ....................................................................................................................115
10.2.2. Høflighedssammensværgelsen..........................................................116
10.3. Kunden har altid ret…......................................................................................119
10.3.1. Viden er magt .....................................................................................119
10.3.2. Økonomisk afhængighed ...................................................................121
10.3.3. Uafhængighed avler afhængighed.....................................................122
10.3.4. Partnernes syn på konsulenterne.......................................................123
10.4. Konsulenten som modtagerens advokat .........................................................125
10.4.1. Evnen til at stille de rigtige krav..........................................................126
10.5. Splittelsen ........................................................................................................126
10.5.1. De mange afsenderidentiteter ............................................................127
10.5.2. Den vurderende konsulent .................................................................128
10.5.3. At antaste fra et uantasteligt grundlag................................................129
10.6. Den afhængige, partiske konsulent .................................................................130
11. Den gode mediebistandsindsats ....................................................................132
11.1. Kriterier og indikatorer .....................................................................................132
11.1.1. Danidas projektevalueringsmodel ......................................................132
11.2. Analyse: Fokus på output, outcome og/eller impact i kommissorier og rapporter
..................................................................................................................................135
11.2.1. Måling af output: Efficiens ..................................................................136
11.2.2. Måling af outcome: Effektivitet ...........................................................137
11.2.3. Måling af outcome: Bæredygtighed....................................................139
11.2.4. Måling af impact: Virkning ..................................................................140
11.2.5. Måling af impact: Relevans ................................................................141
11.2.6. Konklusion ..........................................................................................142
11.3. Den gode mediebistandsindsats......................................................................143
11.3.1. Diskussion ..........................................................................................144
11.3.2. Indikatorfiksering? ..............................................................................145
11.3.3. En tvetydig anledning til identitetsartikulation ....................................146
11.4. Hvorfor fokus på output? .................................................................................148
11.4.1. Fraværet af et indikatorværktøj ..........................................................148
11.4.2. Urealistiske kommissorier ..................................................................151
11.4.3. Manglende tid under feltstudier ..........................................................154
11.4.4. Opsummering .....................................................................................158
12. Kontrol, læring og magt ...................................................................................160
12.1. Partnernes opfølgning på reviews og evalueringer .........................................160
12.1.1. Inddragelse og ejerskab som motivationsfaktor.................................161
12.1.2. Frygten for sanktioner ........................................................................162
12.1.3. Egenkontrol og konsensus .................................................................162
12.1.4. Partnerskab og bekendelse................................................................167
12.2. Danida som lærende organisation...................................................................168
12.2.1. Ansvarliggørelsesfunktionen som motivationsfaktor ..........................168
12.2.2. Rotationsordningen som barriere for organisatorisk læring ...............169
12.2.3. Danidas identitet til forhandling? ........................................................172
12.3. Delkonklusion...................................................................................................172
4

13. Fremtidens evaluering af mediebistand.........................................................174
13.1. Læring og/eller kontrol? ...................................................................................174
13.1.1. Klarhed og konkretisering...................................................................175
13.1.2. Prioritering ..........................................................................................175
13.2. Vurdering af mediebistandens effekter på outcomeniveau .............................176
13.3. Inddragelse af partnerne..................................................................................176
13.4. Imødegå utrygheden........................................................................................178
13.4.1. Reel uafhængighed? ..........................................................................178
13.4.2. Nationalitet..........................................................................................178
13.5. En styrket opfølgningspraksis..........................................................................180
13.6. Opsummering ..................................................................................................181
14. Konklusion ........................................................................................................182
14.1. Resumé............................................................................................................182
14.2. Besvarelse af specialets problemformulering..................................................184
14.2.1. Læring og kontrol................................................................................184
14.2.2. Samspillet mellem diskurs og diskursiv praktik ..................................185
14.2.3. Fremtidens mediebistandsevaluering.................................................187
14.3. Perspektivering ................................................................................................188
Litteratur ..................................................................................................................190
Bilagsoversigt .........................................................................................................197
Abstract ...................................................................................................................199
5

Figurer
4a Kontrol- og læringsevalueringer
4b Den lærende organisation
4c Den evalueringsteoretiske kontroldiskurs
4d Konsensusbaseret og participatorisk læringsevaluering
4e Kontroldiskursen og den participatoriske læringsdiskurs
6a Oversigt over analyserede dokumenter
6b Oversigt over interviewpersoner
6c Oversigt over evaluerings- og reviewforløb
7a Organigram for Udenrigsministeriets Sydgruppe/Danida
7b Oversigt over ansvarshavere i udførelse af reviews og evalueringer
7c Projektcyklussens dokumenter
7d Praksisfællesskabernes roller i forbondelse med review og
evalueringer
9a Tekstanalytiske parametre
9b Kontrolevaluringens kommunikationsveje
9c Den participatoriske evaluerings kommunikationsveje
9d Kontrol- og læringskomponenter i review- og evalueringsrapporter
9e Kontinuum over fordeling af lærings- og kontrolkomponenter
11a Effektniveauer og evalueringskriterier i Danida
11b Efficiensindikatorer
11c Effektivitetsindikatorer
11d Bæredygtighedsindikatorer
11e Virkningsindikatorer
11f Relevansindikatorer
6

Forkortelser
BFT Bistandsfaglig Tjeneste, Danida
DAC Development Assistance Committee, OECD
Danida Danish International Development Assistance
EK Kontoret for Evaluering af udviklingsbistand (Evalueringskontoret),
Danida
Hivos Humanistisch Instituut voor Ontwikkelingssamenwerking (Hollandsk
NGO)
IMS International Media Support, dansk NGO
IO Implementerende organisation
KS Konsulent
KVA Kontoret for kvalitetssikring af udviklingsbistanden, Danida
LFA Logical Framework Approach
MISA Media Institute of Southern Africa
Norad Norwegian Agency for Development Cooperation
NSJ Nordic SADC School of Journalism
OECD Organisation for Economic Co-operation and Development
OG Opdragsgiver
PCR Project Completion Report
PO Partnerorganisation
SADC Southern African Development Community
Sida Swedish International Development Cooperation Agency
ToR Terms of Reference
USAID US Agency for International Development
Formalia
Specialet har et samlet omfang på 203,3 normalsider og er skrevet i et tæt
samarbejde. Formelt hæfter Line Thaudahl Jakobson for kapitlerne 3, 6-8, og Anna
Bak Larsen for kapitlerne 2, 4, 9-11.
For at sikre de deltagende interviewpersoner anonymitet og samtidig give vejleder og
censor mulighed for at kigge os metodisk i kortene, er der udarbejdet to versioner af
specialet: En klausuleret, udelukkende til vejleder og censor, og en offentlig, hvor
transskriptioner, præsentation af interviewpersoner og andre passager, som kan
bidrage til at identificere konkrete personer, er udeladt. Dette er den offentlige
version.
7

1. Indledning
Ordet ’evaluering’ er i løbet af de seneste år blevet en integreret del af det danske
sprog. Børnehavebørns kompetenceudvikling evalueres, og det samme gør alt fra
erhvervsindsatser over tandplejeordninger til udviklingsbistand. Blandt andet gennem
lovgivning og oprettelse af evalueringscentre udbredes fænomenet til stadig flere
områder. Evalueringsaktiviteterne i den offentlige sektor herhjemme har nået et
omfang, så forskere taler om en ”evalueringsbølge” (Rieper 2001), hvor evalueringer
ofte udføres per automatik uden tanke for resultaternes brugbarhed og relevans
(Dahler-Larsen 1998b:57). Det er imidlertid ikke ensbetydende med, at evalueringer
er neutrale begivenheder. Tværtimod er de med til at forme den måde, mennesker og
organisationer forstår sig selv og deres omgivelser på. En god skole er eksempelvis
den, hvis elever får gode resultater i læseprøven, og en god hjemmehjælper er hende,
der kan overholde tidsplanen. Over alt, hvor der evalueres, har de anvendte
måleredskaber indflydelse på vores opfattelse af, hvad der er godt, og hvad der er
skidt, og i sidste ende kan man argumentere for, at de er med til at konstruere vores
billede af verden.
Når flere og flere områder gøres til genstand for evaluering, er det derfor en
overvejelse værd, hvad konsekvenserne er. For hvilke identiteter får de evaluerede
aktører tildelt, og hvilke relationer etableres mellem mennesker og institutioner, når
de evalueres? Hvilken viden genereres, og hvilken magt er det, der udøves i en
evaluering? Man kan også sætte problematikken på spidsen og spørge, hvilket
samfund evalueringerne i grunden er med til at skabe?
Vil man besvare disse spørgsmål, er det oplagt at tage udgangspunkt i, hvad det er for
et samfund, der har skabt fodfæste for evalueringerne – hvorfor den megen
evaluering? Her viser det sig, at evalueringerne i den offentlige sektor foretages med
henblik på at kontrollere, hvordan de offentlige midler bliver brugt, og samtidig skal
de bidrage til at forbedre den evaluerede aktivitet ved at sikre en organisatorisk
læreproces (Hansen 2001:114). Med andre ord er der et tvedelt formål med at
evaluere: Kontrol og læring. Begge begreber er nært forbundne med et spørgsmål om
magtudøvelse – for hvem er det, der kontrollerer hvem, og hvem definerer, hvad vi
skal lære af evalueringerne?
1.1. Indkredsning af problemfelt
For at belyse denne problemstilling retter vi fokus mod evaluering af udviklings-
bistand, og herunder beskæftiger vi os særligt med evaluering af støtten til fremme af
frie medier – også kaldet mediebistand.
8

At udviklingsbistand er interessant i et evalueringsperspektiv, skyldes først og
fremmest, at det er den del af den statslige administration, som i længst tid har været
genstand for evaluering, og at det desuden er et af de områder, der evalueres
allermest set i forhold til dets samlede budget og aktivitetsniveau 1 . Således har man
evalueret udviklingsbistand siden 1960’erne, mens andre sektorer først har fået faste
evalueringsprocedurer fra midten af 1980’erne (Rieper 2001). I vores optik er
udviklingsbistanden dog især interessant på grund af den ofte store fysiske og
kulturelle afstand mellem de involverede aktører. At der er langt fra de politiske
beslutningstagere i København og dem, der i sidste ende omsætter beslutninger og
økonomiske midler til aktiviteter, øger på den ene side behovet for kontrol af,
hvorvidt midlerne bruges ansvarligt. På den anden side skaber afstanden et behov for
læring om relationer mellem årsag og virkning i udviklingsbistanden. Endvidere er
der ofte et asymmetrisk magtforhold mellem på den ene side dem, der bestiller
evalueringen, det vil sige donorerne af udviklingsbistand, og på den anden side dem,
som er afhængige af en positiv vurdering for fortsat at modtage støtte. Disse faktorer
betyder, at der er betydelige personlige og organisatoriske interesser forbundet med
evalueringsresultater.
At vi stiller skarpt på netop mediebistand skyldes to egenskaber ved feltet, der gør det
særligt interessant at undersøge i et evalueringsperspektiv. Den ene egenskab er, at
medierne i ethvert samfund er genstand for stor politisk opmærksomhed, fordi de er
betydningsfulde samarbejdspartnere for både stat, marked og civilsamfund. Som
følge heraf er mediebistand et yderst politiseret område, idet de danske målsætninger
om at yde støtte til ytringsfrihed og uddannelse af journalister ikke nødvendigvis
stemmer overens med modtagerstatens interesser. Mediebistand afspejler en relativt
ny tendens til, at donorer anvender udviklingsbistand som redskab til at påvirke den
politiske og demokratiske udvikling i modtagerlandene (Degnbol-Martinussen &
Engberg-Pedersen 1999:78ff). Denne strategi bidrager imidlertid til at komplicere et i
forvejen komplekst forhold mellem donor og modtager, fordi den fører til
spørgsmålet om, hvem der har ret til at definere mål og midler for udviklings-
bistanden. Af den grund skærpes evalueringers rolle som forhandlingsknudepunkter
mellem donor og modtager på mediebistandsfeltet.
Den anden egenskab, der gør mediebistand særligt interessant, er, at den er et af de
områder, som det ofte viser sig svært at måle resultatet af. Det skyldes dels, at
mediebistand ofte opererer efter en lang tidshorisont, og dels det faktum, at frie
medier blot er en ud af mange nødvendige forudsætninger for en demokratisk
udvikling. Mediebistand er derfor karakteriseret ved en forholdsvis høj grad af
1 Niels Dabelstein, sekretariatschef i Danidas kontor for evaluering af udviklingsbistand, foredrag i
Ibis/Århus 17. marts 2004.
9

usikkerhed – en usikkerhed, som udvikling af mere velegnede måleredskaber vil
kunne mindske.
Det er netop i den forbindelse, specialets undersøgelse bliver relevant. For vil Danida
blive bedre til at evaluere, er det afgørende, at der udvikles mere hensigtsmæssige
vurderingsparametre end dem, der anvendes i dag. Ikke mindst inden for medie-
bistanden viser det sig svært at formulere operationaliserbare og – frem for alt –
relevante mål. Uanset hvilken kvalitet vurderingsparametrene har, så er de med til at
identificere og definere ’det gode projekt’ og ’den gode partnerorganisation’, og de
bidrager derved til at definere, hvordan Danidas fremtidige indsats på medieområdet
skal tilrettelægges. Ved at belyse styrker og svagheder i den gældende praksis håber
vi, at denne undersøgelse kan bidrage til en debat om, hvordan Danidas evaluering af
mediebistand kan forbedres.
1.2. Problemformulering
Oven for har vi opridset nogle af de spørgsmål og problemstillinger, som bliver
stadig mere aktuelle i forbindelse med evalueringernes udbredelse, og vi har rettet
fokus ind mod de udfordringer, der rejser sig, når der evalueres på mediebistands-
området. Vores ærinde med specialet er at besvare følgende spørgsmål:
A) Hvilket samspil er der mellem dominerende evaluerings- og udviklingsteoretiske
diskurser og Danidas evalueringspraksis? Hvilken viden og hvilke handlings-
muligheder stiller diskurserne til rådighed for aktørerne? Og hvordan påvirker
evalueringsprocessen relationen mellem donor og modtager?
B) Hvordan forstår de involverede aktører begreberne læring og kontrol i forbindelse
med evaluering, hvilke forhandlinger er disse begreber genstand for og årsag til, og
hvordan afspejles læring og kontrol i evalueringsrapporterne?
C) Hvilke barrierer er aktuelle ved evaluering af Danidastøttede mediebistands-
aktiviteter, og hvilke udfordringer er forbundet med at udvikle og operationalisere
andre evalueringsmetoder og -indikatorer? Som underspørgsmål hertil vil vi
undersøge,
• hvordan evalueringerne bidrager til at konstruere ’den gode mediebistands-
indsats’, ’den gode partnerorganisation’ og den rollefordeling, som knytter
sig til mediebistanden
• hvordan Danida kan forbedre sin evalueringspraksis
10

1.3. Læsevejledning
I dette afsnit præsenterer vi specialets struktur samt de teoretikere og temaer, der
bringes i spil undervejs i specialet. Læsevejledningen efterfølges af en begrebs-
afklaring, hvor vi kort definerer nogle af de centrale og hyppigst anvendte termer.
Specialet er, udover nærværende indledning, struktureret i to overordnede dele – en
teoretisk og en analytisk. Kapitlerne 2 til 6 omhandler det teoretiske og metodiske
afsæt for analysen, som præsenteres i kapitlerne 7 til 14.
1.3.1. Specialets første del: teoretisk og metodisk afsæt
I kapitel 2 redegør vi for den teoretiske ramme, ud fra hvilken vi forstår og
analyserer evaluering af udviklingsbistand. Vi tager udgangspunkt i to antropologer,
David Mosse (2001) og James Ferguson (1994), som analyserer udviklingsbistand ud
fra et diskursperspektiv. Mosse og Ferguson er begge inspireret af Michel Foucault
(Foucault 1978, 1991), hvis diskursbegreb vi redegør for i afsnit 2.1. I afsnit 2.2.
behandler vi den udfordring, det er at identificere og afgrænse evaluerings- og
udviklingsteoretiske diskurser, i hvilken forbindelse vi introducerer Foucaults
genealogiske metode. I afsnit 2.3. udbygger vi det teoretiske afsæt med den
symbolske interaktionisme, en sociologisk retning, der supplerer Foucaults genealogi
i analysen af evalueringsforløb som forhandlingsprocesser. Afslutningsvist redegør vi
i afsnit 2.4. for, hvorledes evalueringer påvirker deres genstand, med særlig henblik
på relationen mellem evaluering af mediebistand. Dette sker med udgangspunkt i
Foucault og Peter Dahler-Larsen, dansk politolog og evalueringsforsker (Dahler-
Larsen 1998, 2004).
Kapitel 3 retter fokus mod mediebistanden og introducerer i afsnittene 3.1. og 3.2. to
dominerende udviklingsdiskurser inden for feltet: Moderniseringsdiskursen og den
kritiske diskurs. Mens moderniseringsdiskursen kort fortalt repræsenterer en
opfattelse af udviklingsprocessen som et fastlagt, lineært forløb præget af en klar
rollefordeling mellem donor og modtager af bistand, så opponerer den kritiske
diskurs mod disse antagelser og anskuer udvikling som en uforudsigelig proces, hvor
en væsentlig forudsætning for succes er ligeværdighed mellem de involverede
aktører. I afsnit 3.3. argumenterer vi for, at begge udviklingsdiskurser gør sig
gældende inden for Danidas mediebistandspraksis i dag. Dette kommer blandt andet
til udtryk gennem partnerskabs-begrebet og de idealer om rollefordeling mellem
donor og modtager, som er indbefattet heri. Vores pointe er imidlertid, at
partnerskabstankegangen er udtryk for et paradoks, der præger såvel mediebistand
specifikt som udviklingsbistand generelt.
Fremstillingen baserer sig især på Degnbol-Martinussen & Engberg-Pedersen (1999),
Degnbol-Martinussen (1994), men inddrager i øvrigt en række andre værker og
artikler fra internationale udviklingstidsskrifter.
11

I forlængelse af udviklingsdiskurserne ser vi i kapitel 4 nærmere på dominerende
diskurser på evalueringsfeltet. Indledningsvist foretager vi i afsnit 4.1. en distinktion
mellem henholdsvis en evalueringsteoretisk kontroldiskurs og en participatorisk
læringsdiskurs. Det viser sig, at mens man inden for kontroldiskursen hylder
evalueringer som redskab til demokratisk kontrol, objektive vurderinger og
resultatorientering, så fokuserer den participatoriske læringsdiskurs på evaluering
som en participatorisk proces, hvor de evaluerede aktørers udbytte af processen
vægtes højt. De to diskursers karakteristika gennemgås i afsnittene 4.2. og 4.3., og
parallelt hermed præsenteres kort tre forskellige evalueringstyper, som knytter sig til
diskurserne på forskellig vis. I afsnit 4.4. sammenstiller vi forskelle og ligheder
mellem evalueringstyperne, og vi argumenterer for, at de er præget af vidt forskellige
ontologiske, epistemologiske og metodologiske antagelser. Analysen er foretaget på
basis af en række hovedværker inden for evalueringslitteraturen, som præsenteres
nærmere i kapitlets indledning.
Kapitel 5 opsummerer de to foregående kapitler ved at gennemgå paralleller mellem
de gennemgåede udviklings- og evalueringsteoretiske diskurser. Afslutningsvist i
kapitlet behandler vi spørgsmålet om normativitet i analysen.
I kapitel 6 redegør vi for den anvendte metode og de overvejelser, som ligger bag.
Først præsenteres de otte rapporter og tretten kvalitative interviews, som den
empiriske analyse baserer sig på, og dernæst beskrives de analytiske værktøjer, vi har
anvendt i behandlingen af data. Endvidere rejses spørgsmålet om videnskabelighed
under inddragelse af metodeteoretikere som Alasuutari (1995) og Silverman (1993,
2000). Kapitlet afsluttes med en metodisk refleksion, hvor vi diskuterer fordele og
ulemper ved den anvendte fremgangsmåde.
1.3.2. Specialets anden del: Analyse
I specialets anden del præsenterer vi vores analyse af Danidas evalueringspraksis på
mediebistandsfeltet. Analysen er inddelt i otte kapitler (7 til og med 14), som
tilsammen sigter mod at besvare specialets problemformulering.
Analysen indledes med kapitel 7, der i høj grad fungerer som afsæt for de øvrige
analysedele, idet vi her præsenterer de formelle strukturer omkring Danidas
evalueringspraksis. Vi inddeler et evalueringsforløb i fire trin: initiering, design,
udførelse og opfølgning, og beskriver de aktører og processer, som gør sig gældende
på hvert af disse trin. Desuden redegør vi for Danidas skelnen mellem to
evalueringsformer: evaluering og review. Kapitlet bygger dels på Danidas
12

etningslinier for projektledelse og evaluering (Danida 2003 og 1999) samt på
interviews med ansatte i Danida.
I kapitel 8 søger vi at besvare spørgsmålet om, hvordan de involverede aktører
forstår begreberne læring og kontrol ved at beskrive, hvordan henholdsvis de
interviewede Danidamedarbejdere, Danidas partnere og de eksterne konsulenter
forstår de to begreber. Vi undersøger endvidere, hvordan disse forståelser trækker på
de evaluerings- og udviklingsteoretiske diskurser, vi præsenterer i kapitel 4 og 5. Det
viser sig, at Danidas partnere og de eksterne konsulenter primært oplever kontrol som
ubehagelig inspektion og læring som en kritisk, participatorisk proces. Danida forstår
kontrol som et spørgsmål om ansvarliggørelse og demokratisk legitimitet, mens
læringsforståelsen baserer sig på en antagelse om konsensus både internt i Danida og
mellem organisationen og dens omverden.
Kapitel 9 tager bolden op fra konklusionerne i kapitel 8, og drejer sig om, hvordan
de forskellige lærings- og kontrolforståelser kommer til udtryk i
evalueringsrapporterne. I kapitlet præsenteres de enkelte evaluerings- og
reviewforløb nærmere på baggrund af dokumenter og interviews med involverede
aktører. Denne case-præsentation danner afsæt for inddragelse af empirien i de
følgende kapitler.
I kapitel 10 tager vi fat på besvarelsen af problemformuleringens første spørgsmål
ved at undersøge, hvordan interaktionen mellem Danida og Danidas partnere i
evalueringsprocessen afspejler og påvirker rammerne omkring mediebistanden. Da
Danida og partnerne ikke interagerer direkte i forbindelse med udførelse af
evalueringer, manifesterer interessemodsætningerne og forhandlingerne mellem de to
praksisfællesskaber sig i konsulenternes identitet, der af alle parter opleves som
kompleks og modsætningsfyldt. Konsulenterne forsøger at håndtere deres splittelse
mellem donor og modtager ved at indtage rollen som en neutral og uafhængig aktør i
lighed med forskrifterne inden for den evalueringsteoretiske kontroldiskurs, til trods
for en række problemer som knytter sig til netop uafhængighedskriteriet.
Fra at have fokuseret på konsulentidentiteten undersøger vi i kapitel 11, hvordan de
anvendte evalueringskriterier og -indikatorer bidrager til at konstruere ’det gode
mediebistandsprojekt’. Analysen leder frem til en konklusion af, at Danidas
evalueringer i høj grad fokuserer på de kortsigtede effekter af mediebistanden ud fra
en implementeringsvinkel, trods hensigter om at ville undersøge langsigtede effekter
fra et samfunds- og et målgruppeperspektiv. Vi redegør for årsager til og
konsekvenser af dette fokus, hvilket danner afsæt for opstilling af anbefalinger til en
fremtidig styrkelse af Danidas evalueringspraksis på mediebistandsfeltet.
13

Hvor kapitel 10 behandler forhandlingerne mellem de tre praksisfællesskaber i
forbindelse med udførelse af evaluering, og kapitel 11 belyser fremstillingen af
mediebistand i evalueringsrapporterne, drejer kapitel 12 sig om de forhandlinger,
som følger efter endt afrapportering. Her fokuserer vi på de forskellige faktorer, der
motiverer partnerne og Danida til at drage konsekvenser af evalueringer, samt hvilke
donor-modtager-relationer disse motivationsfaktorer afspejler og indebærer. Kapitlet
afsluttes med en diskussion af Danidas identitet som en lærende organisation.
På baggrund af analysen af Danidas evalueringspraksis i de foregående kapitler,
identificerer vi i kapitel 13 en række problemer i Danidas gældende praksis i forhold
til evaluering af mediebistand og stiller forslag til, hvordan disse kan overkommes.
Analysens resultater opsummeres og perspektiveres i kapitel 14.
1.4. Begrebsafklaring
Vi vil i dette afsnit give en kort, indledende redegørelse for vores forståelse af
specialets to væsentligste begreber: mediebistand og evaluering. Begge begreber
uddybes yderligere senere i specialet.
1.4.1. Mediebistand
Undersøgelsen omhandler evaluering 2 af Danidastøttede projekter og programmer,
som har til formål at fremme udviklingen af frie medier. Denne del af
udviklingsbistanden – udvikling af frie medier – vil vi fremover betegne
mediebistand 3 . Siden slutningen af 1980’erne har Danida støttet ”en række presse-
relaterede projekter og aktiviteter” (Danida 1994C:1), og i 1994 udviklede
organisationen en egentlig strategi på området, som kom til at indgå som element i
den overordnede danske udviklingspolitik (Udenrigsministeriet 1994A). Formålet
med Danidas mediebistand beskrives således i den aktuelle danske udviklingspolitik
Partnerskab 2000:
Retten til information og til at ytre sig frit er væsentlige faktorer i den folkelige
deltagelse og i demokratiseringsprocessen. Menneskers mulighed for at
udtrykke deres behov og deltage i en demokratisk proces skal understøttes
gennem udvikling af frie og demokratiske medier og sikring af pressens vilkår.
(Udenrigsministeriet 2000B:53)
På et mere specificeret niveau fremgår det af Danidas policy papir Støtte til fremme
af en fri presse i udviklingslandene fra 1994, at man ønsker ”at støtte en pluralistisk
2 Danida skelner mellem ’evaluering’ og ’review’ – en skelnen vi vender tilbage til senere i opgaven.
Begge bedømmelsesaktiviteter falder imidlertid ind under vores definition af evalueringer (se afsnit
1.4.2.), hvorfor vi i første del af specialet anvender denne term om begge aktiviteter.
3 Vi afgrænser os hermed fra udviklingskommunikation, som udgør en anden ’søjle’ i den medie- og
kommunikationsorienterede bistand (Larsen 2002). Udviklingskommunikation retter sig mod
implementering af kommunikationskomponenter i udviklingsindsatser generelt – eksempelvis i
forbindelse med sundheds- eller miljøprogrammer.
14

presse, styrke en kvalitativ udvikling af mediesektoren, samt medvirke til at forbedre
de organisatoriske forhold i mediebranchen” (Udenrigsministeriet 1994C:15).
Mediebistanden retter sig mod udvikling af mediesektoren på lokalt, nationalt
og/eller regionalt niveau gennem indsatser på følgende fire områder
(Udenrigsministeriet 2000A:23ff.):
Institutionsopbygning: støtte til oprettelse og drift af medievirksomheder,
fortrinsvis radiostationer og trykte medier
Kapacitetsopbygning i form af uddannelse af journalister, teknikere og
administratorer
Netværksopbygning via støtte til nationale/regionale medie- og pressecentre
Støtte til og rådgivning om medielovgivning 4
Mediebistanden udgør blot en lille andel af den samlede, danske udviklingsbistand.
De nyeste præcise tal for andelens samlede omfang, vi har kunnet fremskaffe,
vedrører årene 1990-1999. Her lå det gennemsnitlige årlige bidrag til mediebistand
på godt 36 mio. kr. (Udenrigsministeriet 2000A:130). Der findes ikke isolerede data
om mediebistandens størrelse fra 1999 og frem 5 , men der er tale om et område, der
samlet set fylder mindre end 1 % af Danidas bilaterale bistand 6 .
1.4.1.1. Mediebistandens struktur og aktører
Den danske udviklingsbistand bevilges og udføres i form af projekter eller
programmer. Hvor projekter er enkeltstående, afgrænsede indsatser, som er forankret
i en projektorganisation, varetages programmerne i et samarbejde mellem donorerne
og modtagerlandets regering og retter sig mod en sammenhængende indsats inden for
en bestemt sektor. Danidas mediebistand er hovedsageligt struktureret omkring
mindre projekter – dels på grund af de politiske vanskeligheder ved at etablere et
samarbejde omkring ytringsfrihed på statsniveau, og dels fordi der er tale om et lille
bistandsområde præget af små, kortsigtede bevillinger.
4 I en evaluering af Danidas støtte til fremme af en fri presse (Udenrigsministeriet 2000A:23ff) skønnes
det, at mere end 80 % af støtten til fremme af en fri presse går til tre typer af projekter: en tredjedel til
radioprojekter, en fjerdedel til uddannelse og træning, mens en femtedel kanaliseres til medie- og
pressecentre. Disse projekter er fordelt over Danidas programsamarbejdslande i Asien, Afrika,
Mellemøsten og Sydamerika. Det fremgår dog også, at det er ”a very complex task to produce a
complete picture of all the components making up the Danish assistance to the media,” hvilket skyldes,
at størstedelen af aktiviteterne på området rummer flere komponenter og dermed er svære at kategorisere
entydigt.
5 Uddrag af mail fra Johanne Hjort, studentermedhjælp i Udviklingspolitisk Kontor, Udenrigsministeriet,
modtaget 17/11/04: ”Vi har ikke isolerede tal på de oplysninger, I søger, og da jeres spørgsmål derfor vil
blive meget tidskrævende at besvare, ser vi os desværre ikke i stand til at hjælpe jer i med netop denne
anmodning.”
6 Detaljerne i denne beregning fremgår af bilag 2. De anvendte tal er fundet i Udenrigsministeriet
2000A:130 og et udvalg af Danidas årsberetninger fra 1993-2003. Bemærk at vi udelukkende
beskæftiger os med den del af Danidas mediebistand, som kanaliseres bilateralt – den multilaterale støtte
ligger uden for dette speciales fokus.
15

Overordnet er to typer aktører involveret i et bistandsprojekt: en donor og en
modtager. Der imidlertid behov for at nuancere disse to aktørkategorier, hvis man vil
forstå samspillet mellem de aktører, som spiller en rolle i forhold til evaluering af
mediebistand.
Modtagerkategorien kan inddeles i tre: en projektorganisation, en eller flere
målgrupper for bistandsindsatsen samt modtagerlandets offentlighed.
Projektorganisationen har ansvaret for den daglige drift af projektet og samarbejder
tæt med donorerne omkring bevillinger, implementering og afrapportering.
Modtagerlandets offentlighed er en sammensat størrelse, idet et udsnit af denne, den
almindelige befolkning, ofte vil være identisk med målgruppen for et
mediebistandsprojekt, mens modtagerlandets regering og statsadministration i nogle
tilfælde spiller rollen som modstandere af ytringsfrihed. Inden for mediebistand er
samspillet mellem donor og modtager således komplekst og politiseret.
På donorsiden kan man skelne mellem et donoragentur, der varetager bevilling,
implementering og opfølgning af udviklingsbistanden, samt donorlandets
offentlighed, det vil sige de skatteborgere, som i sidste ende afgør om der skal ydes
udviklingsbistand, og i så fald hvor meget. Donoragenturet i Danmark hedder som
bekendt Danida og er en del af Udenrigsministeriet. Administrationen af
udviklingsbistanden varetages dels fra Danidas hovedkvarter i København og dels fra
de danske ambassader – afhængig af bevillingens størrelse 7 .
I visse tilfælde varetages implementeringen af projektet af en ekstern
implementerende organisation (IO). Med en samlet betegnelse benævner vi fremover
projektorganisationer og eksterne IO’er Danidas partnere.
1.4.2. Evaluering
Vi definerer evaluering som en systematisk retrospektiv bedømmelse af organisering,
gennemførsel, præstationer og udfald af en given indsats, som tiltænkes at spille en
rolle i praktiske beslutningssituationer 8 .
Den ’givne indsats’, vi fokuserer på, er som nævnt Danidastøttede
mediebistandsprojekter, og med termen ’retrospektiv’ omfatter ovenstående
7
Se afsnit 7.1.2. for en nærmere præsentation af Danidas forskellige enheder og deres rolle i forbindelse
med udførelse af evalueringer.
8
Denne definition er inspireret af den svenske politolog Evert Vedungs definition (Vedung 1998:20),
som er gængs i dansk evalueringsforskning og blandt andet er gengivet i Dahler-Larsen 1998, Dahler-
Larsen & Krogstrup (red.) 2001, Dahler-Larsen 2004. I en dansk oversættelse lyder Vedungs definition:
”[Evaluering er] en systematisk retrospektiv bedømmelse af organisering, gennemførsel, præstationer og
udfald af offentlig politik, som tiltænkes at spille en rolle i praktiske beslutningssituationer” (Dahler-
Larsen & Krogstrup 2001:14). Vi har valgt at erstatte ”offentlig politik” med ”en given indsats”, da
evaluering også finder sted i private sammenhænge.
16

definition kun bedømmelsesaktiviteter med fokus på afsluttede projekter eller
afviklede aktiviteter i et igangværende projekt. Dermed afgrænser vi os eksempelvis
fra at se på analyser af fremtidsperspektiverne for et givet mediebistandsprojekt,
skønt disse i struktur, systematik og fokus kan minde meget om en evaluering. Med
’systematisk’ sigter vi til, at bedømmelsesaktiviteten følger standarder og strukturer,
som på forhånd er aftalt mellem evalueringsprocessens aktører, og vi definerer
endvidere evalueringer ved at de tiltænkes ’en rolle i praktiske
beslutningssituationer’. Det er i sidstnævnte forbindelse væsentligt at bemærke, at
den tilsigtede anvendelse af evalueringerne ikke nødvendigvis er lig den
aktualiserede (Dahler-Larsen 2004:14). I det kommende kapitel præsenterer vi den
teoretiske forståelsesramme, ovenstående definition skal ses i lyset af, men først vil
vi udbygge definitionen ved at karakterisere de aktører og roller, som indgår i en
evalueringsproces.
En evalueringsproces rummer fire roller: en evalueringsgenstand, en opdragsgiver,
som bestiller evalueringen, samt en eller flere evaluatorer, som udfører evalueringen.
Dertil kommer en eller flere målgrupper for evalueringen, der ikke nødvendigvis er
identiske med de førnævnte målgrupper for mediebistandsindsatsen.
Evalueringsgenstanden: I kraft af specialets fokus er vores evalueringsgenstand
konstant: Danidastøttede mediebistandsprojekter. Til evalueringsgenstanden
knytter der sig en række aktører, som har et ansvar for og en identitet i forhold til
denne. Det drejer sig typisk om en projektorganisation og i nogle tilfælde også en
ekstern IO. Disse aktører fungerer i evalueringssammenhæng dels som
informanter i forbindelse med dataindsamlingen, og dels kan de betragtes som en
del af genstanden, det vil sige, at de bliver evalueret, hvorfor vi betegner dem
evaluerede aktører.
Opdragsgiveren: Den danske udviklingsbistand evalueres på forskellig vis af
forskellige opdragsgivere. Eksempelvis kontrollerer Rigsrevisionen med jævne
mellemrum Danidas anvendelse af midler, og i særlige tilfælde kan
Udenrigsministeriet vælge at nedsætte undersøgelser af bestemte forhold
omkring udviklingsbistanden 9 . Danidas ledelse iværksætter desuden løbende
forskellige former for evaluering af organisationens programmer og projekter, og
det er disse, vi vil fokusere på. Den mere eksakte opgavefordeling mellem
forskellige enheder i Danida i forbindelse med forskellige typer evaluering af
mediebistand behandler vi i kapitel 7.
9 Et eksempel herpå er en udredning af Danidas evalueringsfunktion fra 2003 (Lundgren, Haven North
& Rist 2003), som vurderer Evalueringskontorets uafhængighed og organisatoriske placering i Danida.
Udredningen blev iværksat på opfordring af Udenrigsministeren i forbindelse med offentlig kritik af
evalueringernes troværdighed.
17

Evaluatorer: Samme aktør kan indtage forskellige roller i en evalueringsproces
(Scriven 1997:481f.), og evaluator kan således både være identisk med
evalueringsgenstanden og med opdragsgiveren. I førstnævnte tilfælde vil der
være tale om en selvevaluering, hvor projektorganisationen vurderer sig selv, og i
sidstnævnte tilfælde bruger man betegnelsen intern evaluering. En evaluator kan
dog også være en ekstern konsulent, som købes af opdragsgiveren til at udføre
den konkrete evalueringsopgave. For evaluering af mediebistand gælder det, at
Danida overvejende benytter sig af eksterne evaluatorer.
Målgrupper: Målgrupperne for Danidas evalueringer af medieprojekter omfatter
både opdragsgiveren (Danida), de evaluerede aktører (Danidas partnere) og andre
interessenter (eksempelvis den danske offentlighed, andre
mediebistandsprojekter, modtagerlandets regering, med flere). Vi diskuterer
evalueringsmålgrupperne nærmere i specialets analysedel.
Ovenstående tjener til en foreløbig afklaring af begreberne mediebistand og
evaluering og introducerer en række af de termer, vi anvender til at betegne de
forskellige aktører i et Danidastøttet mediebistandsprojekt og de dertil knyttede
evalueringsprocesser. Vi vil i det kommende kapitel redegøre for det teoretiske afsæt
for analysen af evaluering af mediebistand, og derefter identificerer vi dominerende
udviklings- og evalueringsteoretiske diskurser. Begreberne mediebistand og
evaluering bliver derved uddybet og belyst yderligere.
18

2. Teoretisk afsæt
Formålet med dette kapitel er at redegøre for den teoretiske ramme, ud fra hvilken vi
forstår og analyserer evaluering af udviklingsbistand. Vores udgangspunkt er to
antropologer Mosse (2001) og Ferguson (1994), som analyserer bistandsprojekter
ved hjælp af Foucaults diskursbegreb (Foucault 1978, 1991). Afsnit 2.1. omhandler
diskursbegrebet og konsekvenserne af at analysere evaluering af udviklingsbistand i
et diskursperspektiv. I afsnit 2.2. beskriver vi de metodeteoretiske overvejelser vi har
gjort os i forbindelse med at identificere og afgrænse evaluerings- og udviklings-
teoretiske diskurser – en problemstilling vi nærmer os ved hjælp af Foucaults
genealogiske metode. Dernæst præsenterer vi i afsnit 2.3. den sociologiske retning
symbolsk interaktionisme, en teoretisk ressource ved hjælp af hvilken vi analyserer
evalueringsforløb som forhandlingsprocesser. Med udgangspunkt i Foucault og
Dahler-Larsen (Dahler-Larsen 1998, 2004), redegør vi i afsnit 2.4. for, hvordan
evaluering påvirker sin genstand: mediebistand.
2.1. Evaluering af mediebistand i et diskursperspektiv
I bogen The Anti-Politics Machine fra 1994 kritiserer Ferguson dominerende
diskurser inden for feltet udviklingsbistand for at betragte udvikling som et moralsk
projekt. Han påpeger, at et sådant normativt syn på udvikling indebærer en antagelse
om overensstemmelse mellem de officielle målsætninger om eksempelvis demokrati-
sering eller fattigdomsbekæmpelse og så de faktiske handlinger i udviklingsprocessen
(Ferguson 1994:15). På baggrund af en analyse af udviklingsprojekter i Lesotho viser
Ferguson, at der typisk er meget langt fra donorernes gode intentioner til de reelle
resultater af indsatsen, og i forlængelse heraf argumenterer han for, at man som
analytiker må frigøre sig fra normative perspektiver, hvis man vil tegne et dækkende
billede af udviklingsbistand. I stedet foreslår Ferguson en forståelse af udvikling som
en historisk situeret praksis, der ikke kan forklares ud fra aktørernes hensigter, men
må anskues teoretisk som ”a riddle, a problem to be solved, an anthropological
puzzle” (ibid.:17).
Fergusons perspektiv gør op med et traditionelt syn på udviklingsprojekter som
løsninger på foruddefinerede behov og problemer. Synspunktet bakkes op af antro-
pologen Mosse, der mener, at de lokale behov først konstrueres under projektforløbet
på baggrund af de muligheder, som udviklingsbistanden åbner op for, idet ”needs are
socially constructed” (Mosse 2001:21). Denne sociale konstruktion af behov, løsnin-
ger og ’udvikling’ finder sted i forhandlinger mellem de involverede aktører, disses
forståelseshorisonter samt de institutionelle, politiske og økonomiske rammer
omkring udviklingspraksissen, og man kan på den baggrund betragte udvikling som
”a system of representations” (ibid.:27).
19

2.1.1. Diskurs, magt og viden
Ferguson baserer sin analyse af udviklingsbistand på Foucaults diskursbegreb
(Foucault 1978 og 1991). Foucault definerer diskurser som kulturelt og historisk
givne videnssystemer, der på en gang påvirker og påvirkes af praksis (Foucault
1978:112). Begrebet favner således både et lokalt praktisk og et samfundsmæssigt
strukturelt niveau, som betinger hinanden. Det interessante for Foucault er netop at
undersøge samspillet mellem disse to niveauer, idet hans metodiske målsætning er:
”To relate discourse not to a thought, mind or subject which engendered it, but to the
practical field in which it is deployed” (Foucault 1991:61).
Vi opererer i dette speciale med en analytisk skelnen mellem diskursiv praktik –
Foucaults betegnelse for den specifikke fremgangsmåde, hvorpå aktører inden for et
bestemt socialt domæne genskaber og forandrer viden om dette domæne (eksempel-
vis mediebistand), og begrebet diskurs, der beskriver de overordnede betydnings-
mønstre, som den diskursive praktik er den del af (ibid.:68, Lindgren 1996:241).
Tæt knyttet til Foucaults diskursbegreb er hans magtbegreb, som defineres negativt i
forhold til en gængs juridisk-politisk forestilling om magt som en makrofysisk,
statisk og repressiv størrelse: ”magt er ikke en institution, og det er ikke en struktur,
det er heller ikke en bestemt kraft som visse udvalgte skulle være begavet med: det er
det navn, man giver en kompliceret strategisk situation i et givet samfund” (Foucault
1978:105). For Foucault er magt således en allestedsnærværende, socialt produktiv
ressource, der ikke kan besiddes eller ophobes men udøves i social interaktion og
kommer til udtryk som en ”mangfoldighed af styrkeforhold som er immanente i det
område hvor de udøves og hvis organisation de konstituerer” (ibid.:104). Magt
implicerer viden og vice versa, og i enhver diskursiv praktik vil man genfinde en
dynamisk relation mellem disse to aspekter (ibid.:113, Lindgren 1996:336). Ferguson
giver dette eksempel på sammenføjningen af magt og viden i et udviklingsprojekt:
…discourse is a practice, it is structured, and it has real effects (….) The
thoughts and actions of “development” bureaucrats are powerfully shaped by
the world of acceptable statements and utterances within which they live: and
what nations, classes, or international agencies, but also, and at the same time,
of a working out of this complex structure of knowledge. (Ferguson 1994:18)
Citatet anskueliggør, at udviklingsaktørers handlinger, tanker og udsagn informeres
af de magtrelationer, der gør sig gældende på de institutionelle, politiske og
økonomiske arenaer, de pågældende aktører agerer i. Magtrelationerne definerer
hvilken viden og hvilke normer, der opfattes som acceptable og sætter dermed
rammerne for, hvad der kan tænkes og gøres i et konkret udviklingsprojekt. Dog er
aktørerne ikke determinerede af disse rammer – de bearbejder dem løbende og
bidrager derved til at rekonstruere og udvikle diskurserne (Ferguson 1994:67, Mosse
2001:29f). Med Mosses ord er et udviklingsprojekt ud fra ovenstående
20

diskursperspektiv at betragte som ”a complex of micro-politics of knowledge
production and use” (Mosse 2001:19).
2.1.2. Evaluering som diskursiv praktik
Inspireret af Mosse og Ferguson betragter vi mediebistand ved hjælp af Foucaults
diskursbegreb og anskuer følgelig et Danidastøttet mediebistandsprojekt som en
praksis, der opstår og udvikles i komplekse forhandlinger mellem aktører med
forskellige interesser og forståelseshorisonter. Aktørernes handlinger og udsagn i den
lokale mediebistandspraksis bidrager til at vedligeholde og reartikulere bestemte
opfattelser af, hvad ’mediebistand’ er – jævnfør synet på udvikling som et system af
repræsentationer. Et væsentligt element i denne diskursive konstruktion af
mediebistand er evalueringsprocessen, idet forhandlingerne om værdier, viden og
interesser skærpes, når projekterne skal vurderes. Evalueringer er således at betragte
som forhandlingsknudepunkter (”negotiating points”, Marsden, Oakley & Pratt
1994:1) og anledninger til at eksplicitere og dermed reetablere antagelser om
udviklingsindsatsens mål og midler (Mosse 2001:31):
…evaluations themselves provided important moments in the lives of all
development projects, when opportunities for the ’negotiation of values’ might
be centrally addressed. (Marsden, Oakley & Pratt 1994:1)
Evaluering er således en signifikant diskursiv praktik, som det er interessant at
analysere nærmere med henblik på at afdække dominerende diskurser om medie-
bistand og disses praktiske konsekvenser (Ferguson 1994:71). I afsnit 2.3.
præsenterer vi en teoretisk ramme for analysen af evalueringer af Danidastøttede
mediebistandsprojekter som en diskursiv praktik.
2.2. Udviklings- og evalueringsdiskurser
Det første trin i vores analyse af samspillet mellem diskurser og de diskursive
praktikker bliver en undersøgelse af fremtrædende udviklings- og evaluerings-
teoretiske diskurser. En sådan undersøgelse rejser spørgsmålet om, hvordan man
afgrænser en diskurs. Foucaults bud på denne problemstilling er, at man ikke kan
identificere diskurser som stabile, velafgrænsede enheder, idet alle diskurser undergår
konstante forandringer som følge af forskydninger i selve den diskursive formation, i
relationerne mellem diskurser samt i de politiske, økonomiske og sociale betingelser
for diskursen (Foucault 1991:56ff.). Det er i disse forskydninger, at en diskurs
defineres – den er med andre ord afgrænset ved sin forskel fra andre diskurser,
hvorfor man må undersøge ”the divergence, the distances, the oppositions, the
differences, the relations of various scientific discourses” (ibid.:55).
På denne baggrund har vi i analysen af videnskabelige diskurser på udviklings- og
evalueringsområdet taget udgangspunkt i de måder, hvorpå teoretiske tekster
kritiserer og distancerer sig fra hinanden. Denne grænsedragning mellem diskurserne
21

har vi løbende sammenholdt med den empiriske analyse af Danidas evaluerings-
praksis. Derved har vi søgt at skabe en synergi mellem teori og empiri, hvor teorien
på den ene side bidrager til at belyse og kvalificere de empiriske iagttagelser, mens
den empiriske kortlægning af, hvordan diskurserne manifesterer sig, på den anden
side udfordrer og raffinerer identifikationen af videnskabelige diskurser. Denne
tilgang er inspireret af den diskursanalytiske metode, som Foucault betegner
genealogi. Genealogien sigter mod at beskrive diskurser dels ’indefra’ gennem
tolkning af tekster og udsagn, og dels ’udefra’ ved at karakterisere de historiske
mulighedsbetingelser for produktionen af udsagn (Lindgren 1996:339). Metoden har
i kraft af dette dobbelte perspektiv en vis lighed med hermeneutikken, men dog med
den vigtige forskel, at diskursanalysen ikke søger efter en dybere sandhed og dermed
ikke interesserer sig for skjulte betydninger og psykologiske motiver.
Efter nu at have beskrevet vores metodologiske overvejelser i forbindelse med at
analysere evaluerings- og udviklingsdiskurser, præsenterer vi i det følgende det
teoretiske apparat, hvormed vi belyser evaluering af dansk mediebistand som
diskursiv praktik:
2.3. Symbolsk interaktionisme
Med udgangspunkt i Mosse beskrev vi ovenfor et udviklingsprojekt som et mikro-
politisk kompleks af vidensproduktion og –anvendelse, det vil sige en diskursiv
praktik, i hvilken evalueringsprocessen spiller en særlig rolle som knudepunkt for
forhandlinger om de antagelser, projektet bygger på (Mosse 2001:19). Til belysning
af disse forhandlingsprocesser har vi fundet det frugtbart at inddrage et teoretisk
perspektiv, som bygger på Foucaults magtbegreb og giver konkrete redskaber til
empirisk mikrosociologisk analyse heraf. Det drejer sig om traditionen symbolsk
interaktionisme, der beskæftiger sig med interaktion mellem individer, sociale
grupperinger og artefakter (symboler, fænomener, fysiske genstande, begreber).
Vores fremstilling af symbolsk interaktionisme bygger primært på Susan Leigh Stars
begreber grænseobjekt og praksisfællesskab, der er beskrevet i Bowker & Star (1999)
og Star & Griesemer (1989). Desuden inddrager vi to teoretikere, som Star trækker
på og forholder sig til. Det drejer sig om den franske sociolog Bruno Latour og hans
translationsbegreb (Latour 1986), samt Anselm Strauss (1978), som er en af den
symbolske interaktionismes grundlæggere.
2.3.1. Translation
Fergusons modsvar til den normative udviklingsdebat var, som nævnt, at definere
udvikling som en situeret praksis, der er til løbende forhandling mellem de
involverede aktører, disses forståelseshorisonter og interesser. Dette syn på udvikling
kan beskrives teoretisk ved hjælp af begrebet translation, som er introduceret af
22

Latour (Latour 1986). Anlægger man Foucaults pluralistiske og dynamiske magt-
perspektiv er det ifølge Latour umuligt at forestille sig, at nye artefakter kan udbredes
ved egen kraft i overensstemmelse med de intentioner, de blev skabt på baggrund af.
Udbredelsen af et artefakt forudsætter derimod, at aktører løbende overtager eller
oversætter dette i henhold til deres egne ønsker og interesser. Translation refererer til
denne oversættelsesproces, og Latours introduktion af begrebet indebærer et opgør
med forestillingen om, at udvikling, evaluering eller andre fænomener besidder en
bestemt essens, som passerer uændret gennem de oversættende led. En evaluering
eksisterer dermed ikke ’i sig selv’ – den bryder frem gennem en kompleks
forhandlings- og fortolkningsproces. Konsekvenserne heraf diskuterer vi indgående i
analyseafsnittet.
2.3.2. Praksisfællesskaber
Star bygger videre på Latours translationsbegreb og forsøger med begreberne
praksisfællesskab og grænseobjekt at beskrive den sociale infrastruktur, som
translationsprocesser er en del af (Bowker og Star 1999:285). Star benytter begrebet
praksisfællesskab (community of practice) 10 om relationer mellem aktører, som er
fælles om et bestemt sæt aktiviteter, arbejdsmetoder samt interaktions- og
kommunikationsformer. Et praksisfællesskab er en analytisk enhed, der går på tværs
af formelle organisationer og institutioner, hvilket betyder, at begrebet kan appliceres
på mange forskellige niveauer (ibid.:283).
Vi interesserer os for interaktionen mellem de tre praksisfællesskaber: evaluatorer/
konsulenter, opdragsgiver/Danida og evaluerede aktører/partnere. Men vi betragter
samtidig også disse som henholdsvis underinddelt i mindre fællesskaber og dele af
større, overordnede fællesskaber. Eksempelvis består Danida af en række mindre
praksisfællesskaber såsom ’Ambassaden i Dhaka’ og ’Evalueringskontoret’ og indgår
samtidig i større praksisfællesskaber såsom ’statsadministrationen’ og ’donor-
samfundet’.
2.3.3. Grænseobjekter
I teksten ”Institutional Ecology, ’Translation’, and Boundary Objects – Amateurs and
Professionals in Berkeley’s Museum of Vertebrate Zoology, 1907-1939” undersøger
Star og Griesemer, hvordan samarbejde mellem forskellige praksisfællesskaber er
muligt. Star og Griesemer introducerer begrebet grænseobjekt (”boundary object”,
Star & Griesemer 1989:390) som et analytisk værktøj til at forstå samarbejdet
mellem ledelse, sponsorer og zoologiske samlere i forbindelse med dannelsen af et
10 Bowker & Star 1999:294-7. Star er elev af en af den symbolske interaktionismes grundlæggere,
Strauss, som i artiklen ”A Social World Perspective” fra 1978 foreslår social verden som en sociologisk
kategori. En social verden opstår i samkonstruktion mellem følgende syv aspekter: (1) kommunikation,
(2) kultur, (3) interaktion, (4) fysiske rammer, (5) aktiviteter, (6) organisationsstrukturer, (7)
teknologier/arbejdsmetoder. Stars definition af praksisfællesskaber trækker på Strauss 1978.
23

naturhistorisk museum i Californien. Et grænseobjekt defineres som en konkret
genstand eller et abstrakt begreb, der medierer mellem forskellige interesser og
praksisformer. Eksempelvis fungerer begrebet Californien som et grænseobjekt i
samarbejdet omkring museet, idet alle involverede praksisfællesskaber er
interesserede i at bevare naturen i netop dette geografiske område. Fælles
arbejdsformer og idealtyper – i form af kort, kategoriseringsformer, diagrammer – er
eksempler på mere konkrete grænseobjekter, hvis udvikling og opretholdelse er en
forudsætning for kohærens mellem samlere og forskere (ibid.:407). Der kan således
være mange grænseobjekter i spil mellem de samme grupper på samme tid. Når vi i
det følgende vælger at analysere en evaluering som et grænseobjekt, er det værd at
huske på, at den blot er én blandt flere, som bidrager til at binde Danida, Danidas
partnere og de eksterne konsulenter sammen.
Vi har nu defineret et grænseobjekt som en enten abstrakt eller konkret genstand, der
som et resultat af aktørernes translations- og forhandlingsarbejde medvirker til at
knytte forskellige praksisfællesskaber sammen:
Boundary objects are those objects that both inhabit several communities of
practice and satisfy the informational requirements of each of them. Boundary
objects are thus both plastic enough to adapt to local needs and constraints of
the several parties employing them, yet robust enough to maintain a common
identity across sites. (Bowker & Star 1999:297)
Grænseobjekter bygger bro mellem forskellige praksisfællesskabers antagelser og
praksisformer ved på den ene side at være så plastiske og ’tomme’, at de kan tilpasse
sig forskellige informationsbehov og på den anden side at være så robuste og
indholdsrige, at de bevarer en fælles mening på tværs af praksisfællesskaber. Der er
altså tale om objekter ”which lives in multiple social worlds and which have different
identities in each” (Star & Griesemer 1989:409). Dannelsen og vedligeholdelsen af
grænseobjekter er i sig selv et resultat af interaktion og forhandlinger mellem aktører
inden for og på tværs af praksisfællesskaber. Et grænseobjekt afspejler således
styrkeforholdet og de politiske spændinger mellem de aktører, som har deltaget i
forhandlingerne (Bowker & Star 1999:305).
Ved at betragte evalueringer som grænseobjekter bliver det tydeligt, at det samme
evalueringsforløb kan translateres forskelligt af henholdsvis opdragsgiveren,
evaluatoren og de evaluerede aktører. Det står samtidig klart, at et praksisfællesskab
ikke kan translatere en evaluering fuldstændig frit og efter eget forgodtbefindende,
idet fortolkningen hele tiden er til forhandling med de øvrige praksisfællesskaber og
grænseobjektets robusthed. På trods af translationer, forhandlinger og trans-
formationer bevarer den sociale verden altså en tilstrækkelig stabilitet til, at vi
genkende den, agere i den og sommetider føle os dominerede af den.
24

I dette afsnit har vi nu beskrevet de teoretiske ressourcer, vi senere vil trække på i
analysen dels af fremtrædende diskurser på felterne evaluering og udviklingsbistand,
dels af evalueringsprocessen som en diskursiv praktik, der opstår og forhandles i
interaktionen mellem aktører med forskellige forståelseshorisonter og interesser.
Dermed har vi præsenteret en ramme for forståelsen af, hvordan Danidas
evalueringspraksis trækker på og genskaber overordnede diskurser. De ovenfor
nævnte perspektiver har fokus på, hvordan strukturer, normer og diskurser på
mediebistandsfeltet former en evaluering. I det følgende vil vi redegøre for en
teoretisk ramme til belysning af den påvirkning, som evalueringerne øver på deres
genstand, mediebistand. Den samlede teoretiske platform vil dermed give os
mulighed for at analysere samspillet mellem evaluering og mediebistand.
2.4. Evaluering og dens genstand
Den danske politolog Dahler-Larsen (1998, 2004) forsker i evaluering som kulturelt
og organisatorisk fænomen og interesserer sig blandt andet for, hvordan en
evaluerings sprog bidrager til at konstituere den virkelighed, evalueringen
undersøger:
[E]valueringer kan påvirke, hvad der tages som efterstræbelsesværdige mål i en
organisation; de kan styrke eller svække bestemte former for solidaritet og
samarbejde; de kan gøre bestemte typer af aktører tavse eller talende (…). Det
er det, der menes med, at evalueringer kan være konstitutive. De er med til at
konstruere virkelighed. (Dahler-Larsen 1998:163)
Disse ”konstitutive virkninger” (Dahler-Larsen 2004:31) hviler på evalueringers rolle
som knudepunkter for forhandlinger og meningskonstruktion i et udviklingsprojekt. I
en evaluering udpeges en aktivitet til genstand og bliver derved problematiseret: det
skal undersøges, om aktiviteten er ’god nok’. Hvad der regnes for ’godt nok’ kommer
til udtryk i de evalueringskriterier som genstanden vurderes på baggrund af.
Evalueringskriterierne udtrykker dermed, hvad der er væsentligt og uvæsentligt,
problematisk og uproblematisk, normalt og unormalt ved genstanden, hvilket
potentielt smitter af på de evaluerede aktørers selvforståelse og handlingsorientering.
Dahler-Larsen skelner mellem tre aspekter ved genstanden, som på denne måde
påvirkes af en evaluering: et indholdsmæssigt aspekt, et tidsligt aspekt samt de
relationer og identiteter, som knytter sig til genstanden (2004:32f., 1998:97f.). Vi vil i
det følgende se nærmere på disse tre aspekter.
2.4.1. Indhold og tidsorientering
2.4.1.1. Kriterier og indikatorer
En evaluering er en bedømmelseshandling, som baserer sig på en række mere eller
mindre udtalte evalueringskriterier defineret som ”målepunkter, der bruges til at
afgøre, om et resultat er godt eller dårligt” (Dansk Evaluerings Selskab 2004:7).
Evalueringskriteriernes skelnen mellem godt og dårligt fortolker de politisk-
25

administrative målsætninger og værdier, som ligger bag den evaluerede indsats og
udtrykker således, hvad opdragsgiveren finder væsentligt og acceptabelt. Med
henblik på at kunne vurdere om et evalueringskriterium er opfyldt eller ej, anvender
evaluatoren en række indikatorer, der beskrives som ”kvalitative eller kvantitative
mål, der kan anvendes som enkle og pålidelige redskaber til at måle et opnået resultat
eller til at afspejle ændringerne, som er fundet med en indsats.” (ibid.:11). Indikatorer
omsætter de værdier, som kommer til udtryk i kriterierne, til empirisk målbare
spørgsmål.
Relationen mellem kriterier og indikatorer vil vi illustrere ved hjælp af to eksempler,
som begge er hentet uden for vores kontekst. Det ene eksempel er evaluering af
Arbejdsformidlingens (AF) indsats, hvor et væsentligt kriterium er, at der er effektivt
samarbejde mellem AF og erhvervslivet. Den kvantitative indikator, som anvendes
med henblik på at vurdere, om dette kriterium opfyldes, er antallet af virksomheds-
besøg, som den enkelte AF-medarbejder aflægger årligt (Dahler-Larsen 1998:95).
Det andet eksempel er den polske møbelindustri, som før jerntæppets fald blev
belønnet af staten ud fra et kriterium om, at de mest effektive virksomheder skulle
have flest penge. Indikatoren, som blev anvendt til at måle effektivitet, var vægt –
altså antal producerede tons møbler per år (Dahler-Larsen 2004:32).
2.4.1.2. Indikatorfiksering
De anvendte evalueringskriterier og indikatorer måler ikke blot indsatsen neutralt –
de styrer også de evaluerede aktørers handlinger og bidrager dermed til at definere
evalueringsgenstanden. Dette fænomen kaldes indikatorfiksering (Dahler-Larsen
2004:31ff.) og kan komme til udtryk på forskellig vis. Eksempelvis oplevede et
indkøbscenter at blive besøgt mere end 30 gange den sidste uge før nytår af en AF-
konsulent (Dahler-Larsen 1998:95). Tilsvarende havde den polske stats belønnings-
system utilsigtede konsekvenser, idet det resulterede i, at det polske møblement blev
verdens tungeste (Dahler-Larsen 2004:32). Begge eksempler illustrerer, at den
anvendte indikator er blevet mere vigtig end selve indsatsen, hvorved evalueringen
’koloniserer’ evalueringsgenstanden (Power 1997, Dahler-Larsen 1998:79).
AF-medarbejderen, som pludselig fik travlt med at aflægge virksomhedsbesøg, er et
eksempel på, at de anvendte indikatorer påvirker de evaluerede aktørers
tidsorientering:
Evalueringernes konstitutive effekt langs den tidsmæssige dimension består i,
at man kan komme til at indrette en indsats efter, at (erkendelsen af) dens
evaluerbare effekter skal vise sig på det tidspunkt, hvor en given evaluering
finder sted. (Dahler-Larsen 2004:34-35)
En evaluering må nødvendigvis vurdere sin genstand på et bestemt tidspunkt. Vi har
tidligere defineret evaluering som en retrospektiv bedømmelse, hvilket vil sige, at
26

kun de aktiviteter, som afsluttes inden evalueringstidspunktet, tæller med i
vurderingen. Det er på den baggrund, at anvendelsen af indikatorer kan tilskynde de
evaluerede aktører til at indrette indsatsen i et forsøg på at få resultaterne synlige til
evalueringens deadline. Mediebistand er en metodisk vanskelig evalueringsgenstand
at have med at gøre, idet projekternes effekt på demokratisering og udvikling har et
langt tidsperspektiv. Der er derfor et misforhold mellem evalueringsmetodens og
evalueringsgenstandens tidsorientering. Hvordan dette tackles i de enkelte
evalueringer, og hvad det betyder for projektaktørernes indsats, vil vi undersøge
nærmere i analysen.
Det tunge polske møblement illustrerer, hvordan en indikator kan sætte sig
definitorisk på evalueringsgenstanden og indstifte en opfattelse af, at ’gode møbler er
tunge møbler’. På samme måde opstiller de anvendte indikatorer i mediebistands-
evalueringer retningslinier for, hvad opdragsgiveren anser for en god mediebistands-
indsats:
Evaluation has the potential to influence aid performance. The foci chosen, the
direction of attention, the questions asked, all signal to the aid agencies’
operative units what really matters at the end of the day. (Stokke 1991:1)
Såvel den tidsmæssige som den indholdsmæssige indikatorfikserings omfang
afhænger i høj grad af, hvilke konsekvenser det har ikke at leve op til evaluerings-
kriterierne (Dahler-Larsen 1998:94f). Opdragsgiverens anvendelse af evalueringen
har således en væsentlig betydning for samspillet mellem en evaluering og dens
genstand. Hvis et mediebistandsprojekt risikerer lukning som følge af en kritisk
evaluering, er tilskyndelsen til at undgå en sådan alt andet lige større, end hvis ingen i
Danida læser og følger op på rapporten. På den baggrund spiller de forskellige
aktørers forventninger og relationer til hinanden i evalueringsprocessen en rolle for
deres handlinger både før, under og efter gennemførelsen af en evaluering. Vi vil i
det følgende se nærmere på, hvordan evalueringer bidrager til at konstruere
identiteter og relationer.
2.4.2. Identiteter og relationer
Samtidig med at evalueringen kommunikerer om evalueringsgenstandens indhold og
tidsperspektiv, metakommunikerer den også om de involverede aktørers identiteter
og relationer. En evaluering af et mediebistandsprojekt beskriver således forholdet
mellem donor og modtager, ligesom den implicit definerer, hvem der har ret til at
sætte spørgsmålstegn ved hvad, hvem ansvaret for projektets (manglende) resultater
skal tilskrives, og om de evaluerede aktører skal have lov til fortsat at modtage penge
fra Danida. Der er altså væsentlige emner på spil i evalueringsprocessens forhandling
af identiteter og relationer – så store, at Dahler-Larsen omtaler evalueringer som
”identitetsdramaer” (ibid.:164).
27

Dahler-Larsens gennemgang af evalueringers konstitutive virkninger uddyber Mosses
påstand om, at et udviklingsprojekts virkelighed er socialt konstrueret, og at
evalueringer spiller en vigtig rolle i denne virkelighedskonstruktion. Dette forhold
belyses teoretisk af Foucault.
Ifølge Foucault eksisterer der ikke subjekter uden for diskursen, hvilket med andre
ord vil sige, at han ikke anerkender eksistensen af en identitetsmæssig ’essens’.
Individets personlighed, opfattelser og handlinger defineres derimod i interaktionen
med andre mennesker, strukturer og objekter (Foucault 1978:339). Dette synspunkt
er ligeledes en grundpille i den symbolsk interaktionistiske tankegang, hvilket
afspejler sig traditionens navn. Alle diskurser rummer en række subjektpositioner,
som aktørerne kan indtage, og ud fra hvilke aktørernes indbyrdes relationer og
magtstrukturer defineres:
What is important to me is to show that there are not on the one hand inert
discourses, which are already more than half dead, and on the other hand, an
all-powerful subject, which manipulates them, overturns them, renews them;
but that discoursing subjects form a part of the discursive field (…) Discourse
is not a place onto which the subjectivity irrupts – it is a space of differentiated
subject-positions and subject-functions. (Foucault 1991:58)
Det følger heraf, at den måde, hvorpå den enkelte evaluering indskriver sig i en
bredere diskursmæssig sammenhæng, har betydning for det udvalg af
subjektpositioner, som er tilgængeligt for den konkrete donor, partner og konsulent.
Hermed former evalueringens sprog de identiteter og relationer, som knytter sig til et
helt projekt.
Med afsæt i Foucaults diskursbegreb, den symbolske interaktionisme og antropo-
logerne Mosse og Fergusons anvendelse af Foucault i en udviklingssammenhæng har
vi i dette kapitel præsenteret de teoretiske ressourcer, vi anvender til at belyse sam-
spillet mellem Danidas evalueringspraksis, feltet mediebistand samt evaluerings- og
udviklingsteoretiske diskurser. I de tre følgende kapitler forbliver vi på et teoretisk
niveau og identificerer dominerende diskurser inden for felterne udvikling og
evaluering med henblik på en senere analyse og diskussion af, hvordan disse
diskurser manifesterer sig i Danidas evalueringspraksis.
28

3. Udviklingsteoretiske diskurser
I dette kapitel vil vi identificere to dominerende diskurser, som former praksis og
antagelser på feltet udviklingsbistand. De to diskurser trækker på vidt forskellige
ideologiske grundlag men eksisterer ikke desto mindre side om side i dag og kommer
begge til udtryk i Danidas mediebistand. Afsnit 3.1. omhandler moderniserings-
diskursen, og afsnit 3.2. dens modstykke, som vi benævner den kritiske udviklings-
diskurs. Vi afrunder kapitlet med en diskussion af, hvordan de to diskurser på
paradoksal vis påvirker forholdet mellem donor og modtager i Danidas medie-
bistandsprojekter. Det sker i afsnit 3.3.
Det første eksempel på en egentlig udviklingsindsats var rettet mod vores egen
verdensdel: Med The European Recovery Programme, bedre kendt som Marshall-
hjælpen, valgte USA i årene efter Anden Verdenskrig at give det dengang krigs-
hærgede Europa en finansiel indsprøjtning for at hjælpe de enkelte landes økonomier
på fode igen efter krigens afslutning. 11 De positive erfaringer med denne model var
anledningen til, at man kort efter, det vil sige i slutningen af 1940’erne, påbegyndte
endnu en hjælpeindsats i den såkaldt tredje verden.
I dag har donorlandene været engageret i den tredje verdens udvikling gennem mere
end et halvt århundrede, og mange strategier er afprøvet – nogle med held, andre
uden. Såvel teoretiske og ideologiske strømninger som realpolitiske målsætninger har
spillet ind på valget af disse strategier, og således har man gennem udviklings-
bistandens historie kunnet iagttage forskellige udviklingsdiskurser afspejle skiftende
politiske tendenser og skillelinier. Et åbenlyst eksempel herpå er, at Øst- og
Vestmagterne med henholdsvis Sovjetunionen og USA i spidsen under den kolde
krig valgte at gribe udviklingsproblematikken i den tredje verden an på forskellige
måder. Mens man fra toneangivende vestlige landes side 12 forfulgte et kapitalistisk
præget ideal og gennem strukturtilpasningsprogrammer blandt andet ydede u-landene
lån til gengæld for liberalisering af deres markedsforhold (Degnbol-Martinussen &
Engberg-Pedersen 1999:76f), så anvendte Sovjetunionen udviklingsbistand til at
støtte socialistiske kræfter i modtagerlandene (ibid:35f.). Efter murens fald i 1989
oplevede man blandt de vestlige lande en styrket selvbevidsthed, der blandt andet
kommer til udtryk gennem mere eksplicitte krav overfor modtagerlandene om blandt
andet demokratisering og overholdelse af menneskerettigheder (ibid:78f.). Disse krav
omtales i udviklingsterminologien som politiske konditionaliteter, det vil sige
betingelser, som NGO’er og/eller regeringer i modtagerlandet må indgå på for at
11 80 % af den samlede Marshall-hjælp gik til Europa, 20 % blev fordelt til Mellemøsten, Syd- og
Østasien (Degnbol-Martinussen & Engberg-Pedersen 1999:122).
12 Det vil ifølge Degnbol-Martinussen & Engberg-Pedersen sige USA, Storbritannien og Tyskland
(Degnbol-Martinussen & Engberg-Pedersen 1999:76).
29

kunne modtage udviklingsbistand. Fremme af frie medier er et eksempel på en sådan
politisk konditionalitet og dermed – som vi også beskrev i indledningen – et
eksempel på en politisering af et i forvejen komplekst forhold mellem donor og
modtager. Dette forhold vil vi belyse nærmere i nærværende afsnit.
Pointen med ovenstående korte, historiske vue er at understrege udviklings-
diskursernes nære forbindelse til den samtid og det politiske klima, de aktualiseres i.
Selvom vores fremstilling i det følgende er relativt enkel, idet vi ikke har vurderet en
høj detaljeringsgrad relevant i lyset af den valgte problemstilling, så er det væsentligt
at være opmærksom på relationen mellem politiske strømninger og udviklings-
diskurser.
Vi foretager i det følgende en overordnet inddeling i to diskurser, en moderniserings-
diskurs og en kritisk udviklingsdiskurs. Denne inddeling baserer sig på en række
kilder, hvoraf de primære er Degnbol-Martinussen (1994): Globalisering og
udvikling: Teorier og perspektiver for u-landene, Chambers (1983): Rural
Development. Putting the Last First og Degnbol-Martinussen og Engberg-Pedersen
(1999): Bistand – udvikling eller afvikling? 13 Endvidere inddrages en række
publikationer fra Udenrigsministeriet/Danida.
3.1. Moderniseringsdiskursen
Moderniseringsdiskursen er kendetegnet ved, at udvikling betragtes som en stræben
efter en samfundsform, der i videst mulig udstrækning minder om den vestlige
verdens ditto (Degnbol-Martinussen 1999:78f). Denne idé om udviklingsprocessens
endemål har været aktuel siden Marshall-hjælpen, og den er funderet i en forestilling
om kausal sammenhæng mellem økonomisk vækst og udvikling af det samfund,
hvori væksten foregår (Degnbol-Martinussen & Engberg-Pedersen 1999:48ff, Brett
2000:2). I forlængelse heraf opfattes udviklingsprocessen som et tilnærmelsesvist
lineært forløb, der foregår efter stort set samme forskrift, uanset hvilken nation eller
13 Disse teoretikere anvender ikke begrebet udviklingsdiskurs, men taler derimod om henholdsvis
forskellige ”udviklingsmål” og ”bistandsstrategier” (Degnbol-Martinussen & Engberg-Pedersen
1999:48ff) samt om nye eller gamle ”udviklingsparadigmer” (Chambers 1993:2ff).
Gennemgangen i Degnbol-Martinussen & Engberg-Pedersen 1999:72 tager afsæt i, at forskellige årtier
har været præget af forskellige bistandsstrategier. På side 84 fremgår det dog, at strategierne – på trods
af tilknytning til et særligt årti – anvendes parallelt med hinanden, også i dag.
Paradigmebegrebet defineres således af Chambers: ”[A] coherent and mutually supporting pattern of
concepts, values, methods and action, amenable to wide application” (Chambers 1993). Citatet afspejler,
at et teoretisk paradigme, såvel som en diskurs, både omfatter et bestemt videnssystem (concepts), et
normativt, ideologisk standpunkt (values) samt en bestemt metodologisk tilgang, som er i
overensstemmelse med paradigmets forståelseshorisont (methods and action). Teoretikerne drager
forskellige skel mellem paradigmerne, men vores overordnede inddeling i en moderniserings- og en
kritisk diskurs baserer sig på dels en bearbejdning og forsimpling af de metodiske, teoretiske og
strategiske skillelinier i Degnbol-Martinussen 1994, dels et foredrag af Morten Sodeman holdt på
Annual Development Symposium: Poverty and Development, Centre for Tropical Ecosystems Research,
Aarhus Universitet, 10. september 2004, og dels på Kattenhøj, Christensen og Gram (2004):
Udviklingskommunikation – en synergi af metoder, Institut for Informations- og Medievidenskab, januar
2004. Opgave afleveret i faget ”Medier i overgangs- og 3. verdenslande” v. Poul Erik Nielsen.
30

hvilket samfund, man befinder sig i (Servaes 1996:84). Diskursen har traditionelt
været nært knyttet til økonomisk teori, og denne tilknytning afspejler sig i en
positivistisk verdensopfattelse, som blandt andet kommer til udtryk i antagelsen om,
at et samfunds eller en enkelt sektors udviklingsstadie til enhver tid kan indtegnes på
en skala fra underudviklet til udviklet, idet der i højere grad er tale om forskellige
grader af udvikling end om forskellige typer af udvikling (Degnbol-Martinussen
1999:78ff.).
Uanset hvor på denne skala, en udviklingsgenstand befinder sig, så er selve
udviklingsprocessen i en moderniseringstankegang kendetegnet af ’interventioner’,
igennem hvilke der sker en opgradering eller udskiftning af traditionelle eller
umoderne systemer, sektorer og infrastrukturer, eksempelvis også på medieområdet.
Målet med disse interventioner er at bidrage til, at modtagerlandet eller
organisationen opnår standarder, der i vid udstrækning er præget af vestlige idealer.
3.1.1. Moderniseringsdiskursen og forholdet mellem donor og
modtager
På grund af moderniseringsdiskursens vægtning af vestlige idealer spiller donor – der
typisk repræsenterer et vestligt land – en vigtig rolle i forhold til at vurdere, hvad der
er ’bedst’ for den pågældende modtager, det vil sige i forhold til at afgøre hvilken
intervention, der skal foretages. Heraf følger, at den praksis, som ligger i forlængelse
af en moderniseringstankegang, tager sit udgangspunkt i donorens analyser og
arbejdsmetoder, og den er dermed karakteriseret ved en såkaldt top-down tilgang
(Degnbol-Martinussen & Engberg-Pedersen 1999:75).
Interventionstankegangen, sigtet efter vestlige standarder og top-down-orienteringen
er medvirkende til, at moderniseringsdiskursen præges af et donor-modtagerforhold,
hvor donor indtager en fremtrædende rolle. Idet det overordnede mål kort sagt er at
indføre tilstande lig dem, donorlandet/-organisationen selv befinder sig i, så vil donor
– der repræsenterer endemålet for udviklingsindsatsen – i en relativ betragtning
befinde sig højere i hierarkiet end modtageren (Chambers 1997). Man kan på denne
baggrund tale om, at de donor-modtager subjektpositioner, som er indeholdt i
moderniseringsdiskursen, i udgangspunktet står i et asymmetrisk styrkeforhold til
hinanden.
3.1.2. Kritik af moderniseringsdiskursen
Moderniseringsdiskursens grundantagelser og metoder har til alle tider været
omdiskuterede, men alligevel har de ”overlevet de sidste 40 års debatter og empiriske
analyser” (Degnbol-Martinussen 1994:58). Den første eksplicitte kritik af tanke-
gangen blev rejst i 1970’erne, og den rettede sig først og fremmest mod grund-
læggende moderniseringsantagelser, såsom at en massiv eksport af vestlige systemer
31

og teknologi til samfundenes centrale niveauer automatisk ville have en effekt for de
mere perifere dele af et samfund. Eller at udviklingsprocessen kunne betragtes som et
lineært forløb, uafhængigt af eksempelvis et lands kulturelle og historiske kontekst
(Degnbol-Martinussen 2002:30). Endvidere blev det anført, at diskursen har rødder i
kolonitidens dominansforhold, hvilket blandt andet indebærer en grov diskriminering
af de lokales ønsker og viden (Chambers 1983).
Denne kritik af den tidlige moderniseringsdiskurs har ført til, at centrale aktører i
donorverdenen er begyndt at sætte spørgsmålstegn ved dens politiske korrekthed og
har fremsat mere moderate udlægninger af den tankegang, der ligger bag. Sand-
synligvis har denne moderation været medvirkende til, at en lang række af
moderniseringsdiskursens synspunkter stadig er aktuelle blandt mange aktører
indenfor udviklingsbistanden i vore dage. Ifølge Poul Grosen, direktør for UNDP’s
nordiske kontor, er de grundlæggende elementer i moderniseringsdiskursen nemlig
stadig aktuelle for både udviklingsorganisationer i FN-regi og blandt regeringer
verden over 14 . At betragte udvikling som modernisering kan således betegnes som en
’gammel’ og omdiskuteret tankegang, der dog stadig må anses som ganske aktuel og
havende en ikke ubetydelig indflydelse på udviklingsindsatsen på såvel det multi-
som det bilaterale plan. I afsnit 3.3. vender vi tilbage til, hvilke implikationer dette
har for udviklingsindsatsen i dag.
3.2. Den kritiske udviklingsdiskurs
Til trods for, at den kritiske udviklingsdiskurs ofte opfattes som en ny eller i hvert
fald nyere forståelsesramme, kan dens fremkomst spores helt tilbage til 1960’erne,
hvor forskellige afarter af den såkaldte afhængighedsteori 15 begyndte opgøret med
moderniseringstankegangen som den eneste måde at opfatte udviklingsprocessen på
(Degnbol-Martinussen 1994:58). Den kritiske diskurs kan karakteriseres som en
reaktion mod idealet om modernisering og vækst – i stedet bør opmærksomheden ret-
tes mod selve udviklingsprocessen og de metoder, man benytter i den forbindelse.
Robert Chambers m.fl. 16 blev i begyndelsen af 1980’erne talsmænd for den
tankegang, der også i dag udgør fundamentet for den kritiske udviklingsdiskurs:
’Putting the last first’ var undertitlen på hans første større udgivelse (Chambers
1983), hvilket indikerer en markant anderledes opfattelse af udviklingsarbejde end
den, moderniseringsdiskursen repræsenterer. Chambers plæderer for reel inddragelse
af den allerfattigste del af målgruppen for udviklingsindsatsen og opfordrer til, at de
udefrakommende udviklingsarbejdere ”step down off their pedestals, and sit down,
14 Foredrag ved Poul Grosen, Annual Development Symposium, 10. september 2004. Aarhus
Universitet, Søauditoriet. Arrangør: Centre for Tropical Ecosystems Research (cenTER).
15 I et afhængighedsteoretisk perspektiv er årsagen til underudvikling, at de fattige tredjeverdens-lande
er afhængige af den, vestlige økonomiske, militære og politiske magt. (Degnbol-Martinussen 1994:
112ff.)
16 Bl.a. den amerikanske samfundsforsker Guy Gran og den ligeledes amerikanske økonom og
organisationsteoretiker David Korten.
32

listen and learn” (ibid.:101). Han og andre antastede således den hidtidigt
dominerende orientering efter økonomi, statsinstitutioner og topstyring af
udviklingen og erstattede den med begreber som blandt andre participation og
myndiggørelse 17 , hvor participationen dikterede et fokus på aktiv inddragelse af mål-
gruppen, mens myndiggørelse udtrykte et af de primære formål med selve indsatsen:
at målgruppen styrkes til at kunne og ville handle på eget initiativ (Servaes 1996:85).
Den kritiske diskurs rummer således en bottom-up-praksis, hvor enhver beslutning
træffes i samarbejde mellem alle involverede parter (UN 1999:9).
Ud fra en kritisk udviklingsforståelse bliver participation på denne vis et mål i sig
selv, da ligeværd mellem donor og modtager koblet med selvudvikling og frihed til
selv at vælge for det samfund og de mennesker, der er i fokus, er afgørende succes-
kriterier. I forlængelse heraf retter en ’kritisk’ udviklingsindsats sig mod civil-
samfundet og dets individer, hvilket yderligere adskiller den kritiske diskurs fra
moderniseringsdiskursen, hvor reformer primært sker via markedet og staten.
3.2.1. Den kritiske udviklingsdiskurs og forholdet mellem donor
og modtager
Som tidligere nævnt er den kritiske diskurs i høj grad opstået som reaktion på
moderniseringsdiskursen, og ikke mindst i forhold til synet på donor-modtager-
relationen udgør de på det nærmeste hinandens modsætninger. Hvor moderniserings-
diskursen indebærer et asymmetrisk styrkeforhold mellem donor og modtager,
rummer subjektpositionerne i den kritiske udviklingsdiskurs et ideal om et
ligeværdigt forhold, hvor donor solidariserer sig med modtager og også selv er
indstillet på at forandre sig – frem for blot at understøtte modtagerens forandring.
3.2.2. Kritik af den kritiske udviklingsdiskurs
Selvom den kritiske tilgang til udviklingsbistand i mange sammenhænge anses for at
være et bedre alternativ, ikke mindst i forhold til en moderniseringstankegang, så
godtages det ikke ukritisk af hverken udviklingspraktikere eller –teoretikere (Brett
2003). For det første er det en udbredt opfattelse, at de idealer, som kommer til
udtryk i den kritiske diskurs er sympatiske, men at participations- og myndig-
gørelsesorienterede metoder ikke er velegnede til alt (Mosse 2002). Eksempelvis kan
det i visse tilfælde koste uforholdsmæssigt mange ressourcer at sikre en partici-
patorisk proces omkring udformningen af et projekt, set i forhold til det endelige
udbytte deraf (Mosse 1993, Brett 2003).
Som vi beskrev i kapitel 2 kritiserer Mosse forestillingen om, at udviklingsbistand
imødekommer foruddefinerede lokale behov, som kan klarlægges ved brug af den
rigtige bottom-up metode. Behov konstrueres ifølge Mosse i processen, og det vil til
17 Denne danske term erstatter det engelske begreb ’empowerment’.
33

enhver tid vil være donor, der opsætter præmisserne for inddragelsen (Mosse
1993:21). Han peger på, at målgruppens udtrykte ønsker kan være underlagt ”a
conspiracy of courtesy” (ibid.:20), i vores oversættelse en høflighedssammen-
sværgelse, der indebærer, at den inddragne målgruppe slører visse aspekter af deres
sociale virkelighed, eller at de formulerer deres behov ud fra, hvad de forventer,
projektet kan give dem (Mosse 1993:20).
Pointen er, at den kritiske diskurs – på trods af idealer om ligeværdighed og
symmetrisk magtrelation mellem donor og modtager – stadig oplever store
udfordringer på netop denne front. De oprindelige slagord, som blandt andre Robert
Chambers bidrog til at sætte i verden i begyndelsen af 1980’erne om, at man ’bare
skal spørge de lokale, de ved en masse, og de er dine venner’ (Mosse 1993:21), bliver
således ofte kritiseret for at udtrykke en naiv opfattelse af udviklingsprocessen, der
langt fra overkommer de problemer i bistandssamarbejdet, som man oprindeligt
antog, de ville.
Et sidste kritikpunkt, som skal nævnes her, retter sig mod den kritiske diskurs’
anvendelse af termen participation. Ifølge Jules Pretty, britisk professor i miljø- og
samfundsforhold, er participation et udvandet begreb, som bruges i flæng og med et
væld af forskellige betydninger. Pretty opstiller en participationstypologi, der
illustrerer hvorledes participation bruges som betegnelse for alt lige fra manipulation
af bistandsmodtagerne – hvor participationen begrænser sig til flotte ord – til at være
en metode til selv-mobilisering af målgruppen, der efter Prettys opfattelse må
betragtes som den mest reelle form for participation (Pretty 1995:1252).
3.3. Partnerskabets paradoks
Både moderniseringsdiskursen og den kritiske udviklingsdiskurs’ fremkomst kan
hver især forklares ud fra samfundsforhold og politiske vinde, som har været
dominerende i bestemte historiske perioder. Relationen mellem udviklings-
diskurserne og den politiske og samfundsmæssige kontekst, de oprindeligt er
etableret i, er en af årsagerne til, at de begge i høj grad kan siges at være bærere af
normative opfattelser af, hvad udvikling består i, og hvordan den bør finde sted.
Disse normative opfattelser er lige så aktuelle i dag som for tyve år siden, hvorfor
diskurserne ikke kan siges at være særligt knyttede til bestemte tidspunkter i
historien. I dag synes de to diskurser da også i vid udstrækning at eksistere side om
side, hvilket kommer til udtryk i den udviklingsopfattelse og -retorik, som for tiden
gør sig gældende i både FN, Verdensbanken og de nationale donoragenturer –
herunder Danida (Ellis & Biggs 2001).
Et eksempel på mødet mellem de to udviklingsdiskurser er målet om ’vækst med et
menneskeligt ansigt’, som blandt andet er formuleret af økonomen Amartya Sen (Sen
34

1999) og af Verdensbanken (Dollar & Kraay 2002) 18 . I Danida kommer koblingen
mellem diskurserne til udtryk ved, at man frem for at bruge betegnelserne ’donor’ og
’modtager’, som har en asymmetrisk moderniseringsklang, anvender det mere
egalitære begreb ’partnere’. Partnerskabsbegrebet har de senere år vundet indpas,
ikke blot i Danida, hvor den seneste udviklingsstrategis titel er Partnerskab 2000
(Danida 2000B), men også i andre bilaterale og multilaterale donoragenturer.
Årsagerne til partnerskabsbegrebets udbredelse er dels normativt og dels praktisk
funderet. Praktisk har en højere grad af modtagerinddragelse i udviklingsbistanden
vist sig at højne projekternes bæredygtighed og effektivitet. Normativt indeholder
begrebet en betragtelig dosis retorik fra det kritiske paradigme, idet man ved brug af
partnertermen eksplicit vedkender sig idealet om ligeværdighed mellem donor og
modtager. Men partnerskabsretorikken er ikke et udtryk for en generel tilslutning til
den kritiske udviklingsdiskurs, idet moderniseringsdiskursens metoder stadig gør sig
gældende i praksis.
Partnerskabet rummer således et paradoks: På den ene side står visionen om
symmetrisk styrkeforhold mellem donor og modtager og en lige grad af inddragelse
og indflydelse på udviklingsbistandens mål og midler. På den anden side står de
økonomiske realiteter: donor har penge og dermed magt til at opsætte krav og
betingelser. Det er således givet, at der er forskel på partnernes status: uanset fælles
målsætninger om ligeværd og participation er præmissen nemlig, at den ene partner
skal forandre sig, og at det sker på den anden partners foranledning – og efter dennes
målestok. Denne paradoksale partnerrelation kompliceres yderligere af fremkomsten
af politiske konditionaliteter. Karikeret stilles modtagerne i en mediebistands-
sammenhæng over for dette (ikke)valg: ’Danida stiller som en betingelse, at I
indvilger i at fremme demokrati og ytringsfrihed gennem støtte til frie medier. Det er
imidlertid ikke nok, at I indgår på vores krav – I skal selv formulere dem, ønske dem
og gøre dem til jeres. Vi kan nemlig kun forsvare at støtte jer, hvis vi kan pege på, at
vi opfylder lokale ønsker og derved indgår i et ligeværdigt partnerskab.’
Koblingen af moderniseringsdiskursen og den kritiske udviklingsdiskurs er således
ikke uproblematisk, hverken på et teoretisk eller et praktisk plan. I analysen vil vi
vende tilbage til de spørgsmål, problematikken rejser i et evalueringsperspektiv, og vi
vil undervejs eksemplificere hvordan Danidas mediebistandspraksis trækker på begge
diskurser.
18 Økonomen og nobelpristageren Sen argumenterer i bogen Development as Freedom for, at lighed,
demokrati og menneskerettigheder er forudsætninger for økonomisk vækst (Sen 1999). I artiklen
”Growth is Good for the Poor” fremfører Dollar og Kraay fra Verdensbankens ’Policy Research
Department’ en lignende argument men med omvendt fortegn – nemlig at vækst er forudsætningen for
lighed og demokrati (Dollar & Kraay 2002). Begge tekster har fået nærmest kanonisk status i
udviklingsverdenen.
35

4. Evalueringsteoretiske diskurser
Fra udviklingsbistand vender vi nu blikket mod evalueringsfænomenet og vil i dette
afsnit redegøre for to dominerende teoretiske opfattelser af evaluerings rolle –
evaluering som et redskab til henholdsvis kontrol og organisatorisk læring. Disse to
anskuelser er gennemgående i såvel den metodeanvisende evalueringslitteratur som i
evalueringspraktikeres selvforståelse (Hansen 2001), og de er derfor væsentlige at
introducere med henblik på at kunne forstå de forskellige synspunkter, handlinger og
diskurser, som kommer til udtryk i Danidas evalueringspraksis. Analysen af
antagelser, metoder og legitimeringsgrundlag inden for lærings- og kontroltraditionen
leder frem mod en identifikation af to evalueringsteoretiske diskurser – en kontrol-
diskurs og en participatorisk læringsdiskurs.
Det evalueringsteoretiske felt bærer præg af, at evaluering først og fremmest er en
praktisk disciplin, som kun har en 30-40 år på bagen i en amerikansk sammenhæng
og endnu færre i Danmark, hvorfor størstedelen af litteraturen på området er metode-
anvisende og forfattet af amerikanske evaluatorer. Værkerne fordeler sig som nævnt
overordnet på to tilgange til evaluering: En tilgang ser evalueringer som et redskab til
tilvejebringelse af objektiv information, som kan anvendes til demokratisk og
administrativ kontrol af offentlige ydelser. Denne evalueringstradition betegner vi
kontrolevaluering, og vores gennemgang bygger på hovedværker inden for
traditionen. Det drejer sig primært om Michael Scriven (1967, 1991, 1996, 1997) og
Rossi, Lipsey & Freeman (1985/2004). Kontroltilgangens modstykke betragter
evaluering som et redskab til organisatorisk læring og betegnes derfor lærings-
evaluering. Under denne tradition skelner vi mellem henholdsvis en konsensus- og en
konfliktbaseret læringsforståelse, hvor fremstillingen af førstnævnte primært bygger
på Scriven, mens den konfliktbaserede læringsforståelse beskrives ud fra tekster af to
toneangivende evaluatorer, Michael Quinn Patton (1986, 1994, 1996) og Hallie
Preskill (Torres, Preskill, & Piontek 1997, Preskill & Torres 1999).
Vi supplerer analysen af den amerikanske evalueringslitteratur med nyere
skandinavisk forskning i evaluering som et kulturelt, politisk og institutionelt
fænomen. Politologerne Dahler-Larsen (1998, 2001, 2004), Hansen (2001, 2003),
Krogstrup (2001) samt svenske Vedung (1998, 2000) har inspireret vores fremstilling
af baggrunden for og udbredelsen af evaluering i Skandinavien.
4.1. Distinktionen mellem kontrol- og læringsevalueringer
Evaluering kom fra USA til Europa som begreb og disciplin i 1970’erne via
udviklingsbistanden, som var under indflydelse dels af det amerikanske donoragentur
36

USAID, og dels af OECD’s Development Assistance Committee (DAC). Danida var
i 1982 den første offentlige enhed herhjemme, som institutionaliserede evaluerings-
funktionen, og samme år nedsatte DAC en permanent ekspertgruppe inden for
evaluering af udviklingsbistand (Kjekshus 1991:64, Dabelstein 1998). Evaluerings-
fænomenet blev udbredt til andre enheder i den offentlige administration i løbet af
1980’erne og 90’erne, og i dag har evalueringers udbredelse nået et omfang i
Danmark, så evalueringsforskere hævder, at ”vi lever i evalueringernes tidsalder”
(Dahler-Larsen 1998:7). Vil man finde forklaringer på fænomenets udbredelse samt
på de antagelser, som ligger til grund for den hjemlige evalueringspraksis, kan det
betale sig at vende blikket mod evalueringsdisciplinens udvikling i USA.
Evaluering opstod som en selvstændig disciplin i USA i 1960’erne og 1970’erne ud
fra et ønske i den amerikanske statsadministration om at udfærdige velfærdsreformer
på baggrund af videnskabelige, objektive vurderinger af succeser og fiaskoer i den
tidligere indsats. Evalueringshistorikere beskriver denne fase i disciplinens udvikling
som præget af et positivistisk inspireret sandhedsideal. I 1970’erne og 80’erne opstod
der kritik af den positivistiske tilgang, fordi de forventede erfaringer med
evalueringer som et redskab til entydig indsatsforbedring og objektiv vurdering
udeblev. I stedet opstod en ny tradition, som fokuserede på brugerinddragelse i
evalueringsprocessen ud fra en antagelse om, at inddragelse ville styrke brugernes
ejerskab til og engagement i indsatsen. Der skete dermed en forskydning fra kontrol-
og resultatorientering til lærings- og procesorientering i evalueringsdisciplinens
anden udviklingsfase (Shadish, Cook & Leviton 1991:69-71 og 171-7, Rossi, Lipsey
& Freeman 1985/2004:9f.). I dag eksisterer de to evalueringstraditioner side om side.
Første gang man i evalueringslitteraturen blev opmærksom på eksistensen af de to
tilgange til evaluering var i 1967, da evalueringsteoretikeren Scriven i artiklen “The
Methodology of Evaluation” introducerede en skelnen mellem formativ og summativ
evaluering – en skelnen som siden har dannet udgangspunkt for stort set al teori-
dannelse og diskussion inden for feltet 19 . Summative evalueringer designes og
anvendes med henblik på at bedømme opnåede resultater, mens formativ evaluering
har til hensigt at forbedre evalueringsgenstanden (Scriven 1967:40f., Shadish, Cook
& Leviton 1991:73). Formativ/summativ er blot et ud af mange dikotome betegnelser
for forskellene mellem kontrol- og læringsevalueringer 20 . Vi vil i det følgende
19 Scriven 1967:43ff. I 1991 udgav Scriven artiklen: ”Beyond Formative and Summative Evaluation”,
hvor han udfordrede distinktionen mellem formativ og summativ evaluering ved at opridse 10 punkter,
som forvirrede distinktionen. Denne artikel udløste stor debat, som varede ved gennem det meste af
1990’erne omkring tidsskriftet Evaluation Practice. Debatindlæggene herfra danner i høj grad
udgangspunkt for vores fremstilling af kontrol- og læringsdiskurserne.
20 Ved siden af distinktionen formativ/summativ eksisterer der en række andre evalueringsdikotomier,
som ikke udelukker hinanden indbyrdes. Eksempelvis kan en summativ evaluering fokusere både på
processen og på resultatet, ligesom den kan benytte sig af både kvalitative og kvantitative metoder
(Scriven 1996:50). Tendensen er dog, at summative evalueringer fortrinsvis ser på resultatet ved hjælp
37

eskrive de to tilgange ud fra en række af de mest gængse begrebspar i evaluerings-
litteraturen. En foreløbig model ser således ud:
Kontrolevaluering Læringsevaluering
Anvendelse og sigte Summativ Formativ
Fokus Resultat Proces
Kvalitetsparameter Upartiskhed Relevans
Metode Kvantitativ Kvalitativ
Relation mellem evalueringsaktørerne Distanceret/ Evaluatorstyret Interaktiv/ Samarbejdsstyret
Figur 4a
Vi lægger ud med en gennemgang af, hvad der kendetegner den såkaldte kontrol-
evaluering.
4.2. Evaluering som et redskab til kontrol
I løbet af 1990’erne har ledelsesstrukturen og -kulturen i den danske offentlige sektor
været under kraftig inspiration fra ledelsesfilosofier som ’Resultatbaseret ledelse’,
’New Public Management’ og ’Total Quality Management’. Alle er betegnelser for
ledelsesfilosofier, som sigter mod øget resultatorientering og målrettethed i den
offentlige administration. Indførelsen af denne nye ledelseskultur er et svar på
økonomisk, socialt og politisk pres i form af budgetnedskæringer, aftagende tillid til
’systemet’, strukturelle problemer samt øget markedsgørelse af offentlige ydelser
(Binnendijk 2001:3). Dette politiske pres har i særlig grad været rettet mod Danida,
der – i lighed med andre donoragenturer i OECD-landene – har været genstand for
besparelser og en generel ’bistandstræthed’ i befolkningen (OECD 2001,
Schaumburg-Müller & Wad 1998). En bagvedliggende årsag til det politiske pres har
givetvis været vanskelighederne ved entydigt at bevise og styre effekterne af
udviklingsbistanden, og netop dette forhold er evaluering ifølge ovenstående
ledelsesteorier et velegnet redskab til at rette op på. Tankegangen er, at en øget
effektmålingsindsats højner organisationens troværdighed i offentlighedens øjne, idet
skatteydere og beslutningstagere får lejlighed til at kontrollere, om pengene bruges
fornuftigt (Scriven 1997:481). Det er på den baggrund, at der er sket en nærmest
eksplosiv vækst i udbredelsen af evalueringer med kontrolformål i donorverdenen,
herunder i Danida.
Vi definerer kontrolevaluering som en summativ vurdering af en given aktivitets
resultater og nytteværdi, hvis primære målgruppe er beslutningstagere og
observatører (Patton 1996:131).
af kvantitative metoder (Patton 1996 og Dahler-Larsen 2001 og 2004), og derfor mener vi det er
frugtbart at beskrive de to evalueringstilgange ud fra den skitserede model.
38

4.2.1. Kontrolevalueringernes demokratiske
legitimeringsgrundlag
I USA har resultatorienteringen nået et sådant omfang, at der ifølge en fremtrædende
amerikansk evaluator, Leonard Bickman, er tale om en ”outcome mania” (Bickman
1997:10), sociologen Michael Power advarer mod ”revisionssamfundet” (Power
1997), og i Danmark beskriver Dahler-Larsen den rutinemæssige anvendelse af
evalueringer som ”en slags kollektiv, mental besættelse” (Dahler-Larsen 1998:10).
Disse udtalelser illustrerer de negative konnotationer som kontrolbegrebet ofte
forbindes med. Men kontrol har også en række positive og legitime funktioner at
spille i samfundet, og mange evaluatorer ser ligefrem kontrolevalueringer som en
demokratisk nødvendighed:
[Evaluation] is so important to any democratic society. Evaluation benefits
public policy, it benefits those who make decisions about that policy, and it
benefits the citizens who have to live with those decisions, once made.
(Chelimsky 1995:216, tidl. præsident for det amerikanske evalueringsselskab)
Den evalueringsteoretiske kontroldiskurs henter sin berettigelse i en demokrati-
opfattelse, som kan betegnes konkurrencedemokratiet (Hansen 2004). I et
konkurrencedemokratisk perspektiv er valghandlingen kernen i demokratiet – her
uddelegerer borgerne deres ansvar til repræsentanter, som i en bestemt periode får
beføjelser til at træffe de politiske beslutninger og lede den offentlige administration.
Administrationen står altså til ansvar overfor politikerne, som igen står til ansvar
overfor vælgerne. Det er i denne styringskæde, at evalueringer har en demokratisk
legitim kontrolfunktion (Vedung 1998). De mange aktiviteter, som finansieres af
offentlige midler i Danmark, nødvendiggør ud fra en konkurrencedemokratisk
opfattelse, at disse aktiviteter evalueres for at give politikere og deres embedsmænd
indsigt i, hvordan de offentlige tilskud bliver anvendt, sådan at ansvaret kan placeres.
Ansvarliggørelse og ansvarsplacering er således centrale begreber, når man vil forstå
kontrolevalueringernes forankring i demokratiet (Rossi, Lipsey & Freeman
1985/2004:36, Binnendijk 2001:18) 21 .
Efter nu at have beskrevet hvorledes kontroldiskursen argumenterer for sin egen
samfundsmæssige berettigelse, vil vi i det kommende afsnit behandle de centrale
kvalitetskriterier og metodeanvisninger inden for diskursen.
4.2.2. Kravet om objektiv information
Et stykke hen ad vejen har evaluering ”surfet” på moderniseringsprocessens
bølge. Evaluering er barn af rationalismen. (Dahler-Larsen 1998:61)
21 ’Ansvarliggørelse’ er den danske betegnelse vi anvender for begrebet accountability, som beskriver
gennemsigtighedsprincippet inden for god regeringsførelse. ’Ansvarsplacering’ er vores oversættelse af
begrebet attributing (Binnendijk 2001:18).
39

Vedung (Vedung 2000) betragter evaluering som et trin på stigen i modernitetens
projekt om at ’affortrylle verden’ gennem videnskabeliggørelse og rationelle
forklaringer. Ifølge Vedung var politik indtil for nylig en af de sidste emotionelle
bastioner i en ellers gennemrationaliseret moderne verden, men blandt andet via
evalueringer er det politiske forsøgt gjort mindre impulsivt og mere resultatorienteret
(ibid.:9f.). Midlet til at opnå en sådan rationalisering af det politiske er tilveje-
bringelse af objektive data om virkeligheden, og kontroldiskursen baserer sig således
på en positivistisk forståelse af, at der eksisterer en universel, objektiv virkelighed,
som kan analyseres og formidles samt påvirkes kausalt (Guba & Lincoln 1984:32ff.,
Kapoor 2004:159). Forudsætningen for, at kontrolevalueringerne kan leve op til
målsætningen om at tilvejebringe objektiv information er, at de udføres af
evaluatorer, som er uafhængige af de interesser, der er knyttet til den evaluerede
genstand. Objektivitet og uafhængighed er således nøglebegreber inden for kontrol-
diskursen, og disse to faktorer ses som nødvendige forudsætninger for troværdige,
anvendelige evalueringer (Rossi, Lipsey & Freeman 1985/2004:26).
At idealet om den uafhængige, objektive evaluator er særdeles levende i praktiker-
kredse fremgår af nedenstående citat fra en kongrestale i amerikanske evaluerings-
selskab. Her beskrives evaluatoren som en rationelt køligt og oplyst tekniker i en
følelsesladet og uvidende politisk verden:
So it is up to us to make objective information available, especially in a hostile
political environment, and also when the relevant public groups are unaware of
the facts. (…) Why is it up to us? Because we know the data, because we
believe in the value of knowledge, and because we are non-euphoric by
training. (Chelimsky 1995:218)
Idet uafhængighed er et helt centralt kvalitetskriterium, anbefales det af den metode-
anvisende evalueringslitteratur, at kontrolevalueringer udføres af eksterne
evaluatorer, som bevarer styringen med evalueringsprocessen og kun inddrager de
evaluerede aktører i begrænset omfang (Scriven 1996:156-8, Rossi, Lipsey &
Freeman 1985:38f.). Anbefalingen om at holde en vis distance mellem evaluator og
de evaluerede aktører begrundes med risikoen for, at de evaluerede aktører kan
påvirke indsamling og fortolkning af data, hvorved evalueringens validitet bringes i
fare (Scriven 1996:158).
4.2.3. Fokus på resultater
Af definitionen af en kontrolevaluering fremgik det, at dens primære målgrupper er
’beslutningstagere og observatører’, det vil sige aktører som ikke har daglig berøring
med det evaluerede projekt. Disse målgruppers interesse i evalueringen er at
kontrollere projektet i henhold til ansvarliggørelsesprincippet, og de ønsker derfor
ikke at læse lange, kontekstnære redegørelser. ”At beskrive noget komplekst ved
hjælp af noget komplekst er sjældent ressourcemæssigt fornuftigt” påpeger Dahler-
40

Larsen (Dahler-Larsen 2004:24), og dette forklarer, hvorfor kontrolevalueringer
bestræber sig på at beskrive relativt komplicerede aktiviteter og udfald ved hjælp af
simple, kortfattede – og gerne kvantitative – kriterier. Det er så evaluatorens rolle at
sikre, at kriterierne lever op til krav om validitet, reliabilitet, utvetydighed og
operationaliserbarhed (Rossi, Lipsey & Freeman 1985:74). Som nævnt i begrebs-
afklaringen vender vi tilbage til emnet evalueringskriterier i analysen.
Vi har nu på baggrund af klassikere inden for den metodeanvisende evaluerings-
litteratur defineret kontrolevalueringer som summative vurderinger med observatører
og beslutningstagere som primær målgruppe. De vigtigste kvalitetsparametre inden
for den evalueringsteoretiske kontroldiskurs er upartiskhed og objektivitet, hvorfor
evalueringsprocessen bør styres af en ekstern, uafhængig evaluator. Evaluatoren
vurderer projektet på baggrund af simple, gerne kvantitative kriterier med henblik på
at fremdrage resultaterne af indsatsen.
4.2.4. Kritik af kontrolevalueringer
I dette underafsnit vil vi skitsere de væsentligste punkter i kritikken af kontrol-
diskursen. En kritik, som samtidig har dannet afsæt for fremkomsten af den
participatoriske læringsdiskurs, der vil blive behandlet i afsnit 4.3.
På et ontologisk og epistemologisk niveau kritiseres kontroldiskursen for dens
positivistisk inspirerede antagelse om, at verden er statisk nok til at kunne beskrives
objektivt og standardiseret i en evaluering. I stedet hævder fortalerne for lærings-
evalueringer, at virkeligheden er dynamisk og kompleks, og at evalueringer derfor
kun kan give et forhandlet øjebliksbillede af dens karakter (Kapoor 2004:160).
Begreber som kausalitet, fakta og objektivitet anses af læringstraditionen for at være
normative størrelser, der anvendes mere eller mindre bevidst af opdragsgiverne til at
pådutte evaluanderne udefrakommende og ofte irrelevante kriterier. Fortalere for
læringstilgangen mener, at objektivitetskriteriet er farligt og forkert – virkeligheden
findes ikke derude, den skabes i evalueringsprocessen (Guba & Lincoln 1987:211,
Kapoor 2004:159).
En anden hyppig indvending mod kontrolevaluering går på diskursens manglende
magtperspektiv. Litteraturen om kontrolevalueringer har tendens til at fokusere på
kontrollens legitime og positive sider og ser evalueringens tilvejebringelse af viden
som en magtneutral proces. Fortalere for læringsevalueringer hævder i stedet, at:
”Evaluation produces information, and information is power” (Guba & Lincoln
1987:212). En kritiker af de resultatbaserede ledelsesfilosofier, Power, skriver
bekymret om den tendens mod ”revisionssamfundet” som kontrolevalueringer efter
hans mening er udtryk for. Power ser evaluering som inspektion, der sigter mod
41

angordning gennemført på basis af usikre kvantitative målinger, og han tolker
udviklingen som udtryk for forøgelse af distanceret kontroludøvelse, og som fravær
af tillid til dem, der er ansvarlige for projekterne (Power 1997). I forlængelse af dette
synspunkt påpeger Dahler-Larsen (1998:53 & 102), at kontrolevalueringens fokus på
ansvarliggørelse og ansvarsplacering betyder, at de evaluerede aktører oplever
evalueringen som en utryg proces. Han henviser til Foucaults beskrivelse af
”Panoptikon”, der bygger på den af Bentham designede fængselsmodel bestående af
celler placeret omkring et centralt beliggende tårn (Foucault 1994:179f.). Fra tårnet
kan man overvåge samtlige celler uden selv at blive betragtet. Betragterens motiv er
således ligegyldigt for den indsatte, idet alene bevidstheden om at man måske bliver
overvåget med et disciplinerende sigte gør, at man disciplinerer sig selv. På samme
måde er det for den evaluerede aktør underordnet, om evalueringen faktisk anvendes
af opdragsgiveren i et kritisk overvågningsøjemed – det vigtige er, at muligheden
foreligger, og derfor indretter den evaluerede aktør sin adfærd herefter. Dette er en
pointe, vi behandler mere dybtgående senere i specialet.
4.3. Evaluering som et redskab til læring
Vi har tidligere beskrevet evaluering som en rationel, moderne tendens. Men
evaluering er i høj grad også udtryk for den refleksive modernitet, en samtidsdiagnose
stillet af Beck, Giddens og Lash, som peger på, at traditioner og de store fortællinger
har mistet deres forklaringskraft, hvorfor individer og organisationer hele tiden må
stille spørgsmålstegn ved og reflektere over sig selv (Beck, Giddens & Lash 1994).
Tankefiguren i evaluering afspejler på mange måder den refleksive modernitets
grundlæggende kulturelle figur. Vi har ikke at gøre med central planlægning
udført prospektivt. Vi har at gøre med mange, iterative og relativt
ukoordinerede feed-back-loops på mange niveauer, udført retrospektivt.
Evalueringsbølgen er et tegn på, at man ikke er sikker på, tingene lykkes på
forhånd. (Dahler-Larsen 1998:71)
Sideløbende med de resultatorienterede ledelsestanker, vi tidligere har præsenteret, er
der også sket en opblomstring i teorier om den lærende organisation. Hovedstand-
punktet inden for teorierne om den lærende organisation er, at organisationer er nødt
til at udvikle evnen til at reflektere og forandre sig, hvis de vil overleve i dynamiske
og ustabile omgivelser. Læring er således ikke alene blevet en mulighed – det er
blevet et must, hvis man vil klare sig som individ eller organisation i den refleksive
modernitet (Argyris 1995:1). Læring er et spørgsmål om, hvordan organisationer,
individer og grupper reagerer på den feedback, de registrerer som følge af deres
handlinger. Man kan afbilde organisatoriske læreprocesser i form af en læringscyklus
(Morgan 1986:87, Dahler-Larsen 1998:39):
42

Organisationen korrigerer evt.
misforhold mellem realitet og normer.
Figur 4b
Organisationen registrerer ændringer i
omverdenen – fx via evalueringer
Ændringerne sammenlignes med
organisationens egne normer og standarder
Alle tre momenter i cyklussen er konstituerende for læringsbegrebet, så læring er
ikke alene et spørgsmål om feedback 22 og viden – man kan først tale om læring i det
øjeblik, den nye viden omsættes (Argyris 1995:7, Christensen 1997:18). Læring kan
foregå på flere niveauer. Foretager en organisation løbende justeringer af sine
handlinger ud fra den eksisterende handlingsnormer, taler man om enkeltsløjfet
læring, men i det tilfælde organisationen begynder at ændre disse handlingsnormer,
er der tale om dobbeltsløjfet læring (Argyris 1995:8, Dahler-Larsen 1998:39f.). Et
eksempel fra vores kontekst er, at der er tale om enkeltsløjfet læring, når Danida
korrigerer udførelsen af et medieprojekt på baggrund af en kritisk evaluering, mens
Danida går ind i en dobbeltsløjfet læringsproces, hvis organisationen revurderer om
mediebistandsaktiviteter overhovedet har relevans i forhold til at nå de overordnede
udviklingsmål.
Læringsevalueringer er kendetegnet ved at have til formål at justere og forbedre en
aktivitet, og målgruppen for evalueringen er aktivitetens deltagere og ledelse (Patton
1996:131). Der findes imidlertid forskellige opfattelser af læringsbegrebet inden for
læringsevalueringstraditionen. Den slagordsagtige status som læringsbegrebet har
fået, betyder at termen optræder ofte – men i forskellige betydninger – i evaluerings-
litteraturen. Det kan give anledning til nogen forvirring (som vi også skal se
eksemplificeret i analysen), og vi vil derfor bruge lidt plads på at klarlægge de to
hovedbetydninger, som læringsbegrebet har i evalueringssammenhæng. Inspireret af
Nymark 1997 og Krogstrup 2001 skelner vi mellem to former for læring: (1)
konsensusbaseret læring, som antager at organisationer er harmoniske enheder og (2)
konfliktbaseret læring, der betragter organisationer som arenaer for interesse-
konflikter 23 . Som vi vil uddybe i det følgende, placerer førstnævnte læringsforståelse
sig inden for den evalueringsteoretiske kontroldiskurs, mens sidstnævnte
repræsenterer en selvstændig diskurs, som vi behandler under betegnelsen partici-
patorisk læringsdiskurs.
22 Feedback defineres som ”Tilbagemelding om resultatet af en indsats og vurderingen heraf med
henblik på læring” (Dansk Evaluerings Selskab 2004:10).
23 Der findes adskillige bestræbelser i evalueringslitteraturen på at skelne mellem de to
læringsopfattelser (Chen 1996, Fetterman 1996, Guba & Lincoln 1987, Patton 1994). Vores
gennemgang baserer sig primært på Nymark 1997, af hvem vi låner termerne ’konsensusbaseret’ og
’konfliktbaseret’ læring, samt på Krogstrup 2001 (top-down vs. bottom-up læring).
43

4.3.1. Konsensusbaseret læring
Den konsensusbaserede læringsopfattelse kan illustreres ved hjælp af en hologram-
metafor (Morgan 1986:100f.). I et hologram afspejler hver enkelt del hele billedet, og
samme princip gør sig gældende, når en organisation søges opbygget således, at hver
enkelt medarbejder repræsenterer den samlede virksomheds værdier og visioner –
”the corporate DNA” (ibid.:103). At betragte organisatoriske læreprocesser ud fra en
hologrammetafor indebærer således en forestilling om ”en fælles vision”
(Christensen 1997:25) ledelse og medarbejdere imellem.
Hvor evaluatoren i kontrolevalueringer alene skulle sørge for at tilvejebringe data om
evalueringsgenstanden, har vedkommende i en læringsevaluering også til opgave at
tilse, at den fundne viden omsættes til nye handlingsformer. Det er derfor nødvendigt
at inddrage både opdragsgiveren og de evaluerede aktører i processen med henblik på
at sikre sig, at de føler ejerskab overfor evalueringsresultaterne (Scriven 1967:45).
Ifølge Scriven må inddragelsen af de øvrige evalueringsaktører dog på intet tidspunkt
blive så radikal, at evaluatoren mister styringen med processen, sådan at resultaternes
validitet kan drages i tvivl. Sker dette, er der nemlig ikke længere tale om en
evaluering, mener Scriven, som hævder, at kontroldiskursens formkrav er
konstituerende for selve evalueringsdefinitionen. Han betragter ikke en
bedømmelsesaktivitet som en evaluering, hvis den ikke forholder sig til nytteværdien
af en given aktivitet og lever op til kravene om objektivitet, systematisk
metodeanvendelse, samt en afrapportering, som indeholder en klar konklusion
formuleret af evaluator (Scriven 1996:154).
I Scrivens formulering er der således en række ligheder mellem den konsensus-
baserede evalueringstilgang og kontrolevalueringer, idet begge typer er orienteret
mod resultatforbedring, har fokus på ledelsens/opdragsgiverens værdier og betragter
virkeligheden som besiddende en vis grad af stabilitet og harmoni. At der derfor ikke
er tale om en ny evalueringsteoretisk diskurs, underbygges af, at Scriven betragter
formativ evaluering som et delelement i en summativ evaluering 24 :
Formative evaluation is, to a large extent, best designed as summative
evaluation of an early version. (Scriven 1997:498-499)
På baggrund af ovenstående kan vi slå fast, at konsensusbaserede læringsevalueringer
nok repræsenterer en anden metode og tilgang til evaluering, men ikke en
selvstændig evalueringsdiskurs, idet de grundlæggende ontologiske, epistemologiske
og metodologiske antagelser svarer til kontroldiskursens. En model over relationen
24 For Scriven er forskellen mellem kontrol- og læringsevalueringer et spørgsmål om variation
i metoden og forskellig anvendelse: ”There are many cases (…) where both formative and
summative purposes can be served by a single evaluation” (Scriven 1996:154).
44

mellem kontrolevalueringer og konsensusbaserede læringsevalueringer ser således
ud:
Evalueringsteoretisk diskurs Kontroldiskurs
Evaluerings rolle Redskab til kontrol Redskab til læring
Evalueringstype Kontrolevaluering Konsensusbaseret
læringsevaluering
Figur 4c
4.3.1.1. Kritik af konsensusbaserede læringsevalueringer
Vi vil her redegøre for to væsentlige kritikpunkter af den konsensusbaserede lærings-
opfattelse, som har dannet udgangspunkt for formuleringen af et konfliktbaseret
alternativ.
Først og fremmest kritiseres konsensusforståelsen for sin antagelse om organisatorisk
harmoni. Spørgsmålet om, hvem der lærer hvad til hvem, det vil sige spørgsmålet om
magtrelationer i evalueringsprocessen, er ikke relevant i den konsensusbaserede
læringsforståelse, idet organisationen betragtes som en harmonisk enhed, som både er
ophav til og genstand for læringen. Målgruppen for læringen er således hele
organisationen – læring er ”for alle” (Laursen 1997:52). Kritikere af den konsensus-
baserede evalueringstilgang hævder, at den vage målgruppebetegnelse dækker over,
at ledelsens holdning i virkeligheden er facit – den ’rigtige’ læring er den, der kan
skabes konsensus med opdragsgiverens/ledelsen om (Preskill & Torres 1999:14).
Den inddragelse af opdragsgiver og de evaluerede aktører, som finder sted i en
konsensusbaseret læringsevaluering, mener fortalerne for den konfliktbaserede
tilgang derfor er en ”pseudo-inddragelse” (Krogstrup 2001:199), hvor de evaluerede
aktører foregøgles en reel indflydelse, mens de i virkeligheden påduttes ledelsens/
opdragsgiverens værdier under dække af konsensus (Torres, Preskill & Piontek
1997).
Derved udøver den konsensusbaserede læringsevaluering magt på en subtil vis, en
magtudøvelse, der af Foucault betegnes som bekendelse (Foucault 1980:191).
Bekendelsen bygger ligesom den panoptiske overvågning på, at individet
disciplinerer sig selv ud fra en forventning om omverdenens blik og normer. Hvor
panoptisk overvågning indebærer uvisheden om det kontrollerende blik, er
bekendelsen som magtform baseret på de normalitetsstandarder, som håndhæves i en
given kontekst. Hvis normen i en evaluering eksempelvis er, at ’vi skal diskutere,
hvordan projektledelsen kan forbedre sin indsats’ og en af deltagerne i stedet foreslår,
at hele ledelsen fyres, så bryder vedkommende med den gældende norm for, hvad der
er acceptabelt at foreslå og vil opleve at normen sanktioneres af enten evaluatoren
eller en anden evalueringsaktør (Preskill & Torres 1999:54).
45

Dette leder over i et beslægtet kritikpunkt mod konsensusbaserede lærings-
evalueringer, nemlig at de kun sætter organisationen i stand til at foretage enkelt-
sløjfede læringsprocesser. De diskussioner og forslag, som kommer frem i
evalueringen, vil nemlig holde sig inden for de handlingsnormer og rammer, som
ledelsen/opdragsgiveren har opstillet på forhånd. Derved kommer evalueringer af
denne type ifølge Krogstrup til at virke som en legitimering og styrkelse af ledelsens
kurs snarere end som en udfordring. Vil man anvende en evaluering som en
anledning til at stille spørgsmålstegn ved organisationens grundlæggende antagelser
og værdier, skal man altså fjerne sig fra det konsensusbaserede læringsperspektiv og i
stedet bedrive det, Krogstrup kalder ’bottom-up inddragelse’, som baserer sig på en
konfliktbaseret læringsforståelse (Krogstrup 2001:205).
4.3.2. Den participatoriske læringsdiskurs
Konfliktbaseret læring er den mest gængse læringsforståelse inden for evaluerings-
teori, og traditionen tager afsæt i kritikken af kontrolevalueringer og den konsensus-
baserede læringsforståelse 25 . Som modsvar til disse evalueringsforståelser er der
formuleret en lang række alternative tilgange, såsom ”fjerdegenerationsevaluering”
(Guba & Lincoln 1987), ”participatory evaluation” (Preskill & Torres 1999),
”developmental evaluation” (Patton 1996), ”empowerment evaluation” (Fetterman
1996) og den danske variant ”BIKVA-modellen” (Krogstrup 2001) 26 . Fælles for disse
evalueringsmetoder er, at de plæderer for en høj grad af inddragelse af de evaluerede
aktører i alle evalueringsprocessens trin. Som vi vil redegøre for i det følgende, er der
tale om en evalueringsforståelse, der repræsenterer en selvstændig evaluerings-
teoretisk diskurs, en participatorisk læringsdiskurs. Denne deler i vid udstrækning
tankegods med den kritiske udviklingsdiskurs, i gennemgangen af hvilken vi
introducerede begreberne participation og myndiggørelse.
4.3.2.1. Den participatoriske læringsdiskurs’ demokratiske
legitimeringsgrundlag
Den participatoriske læringsdiskurs argumenterer for sin berettigelse på to fronter:
dels fremføres et vidensargument om, at de evaluerede aktører har større indsigt i
evalueringsgenstanden end både opdragsgiver og evaluator, og at en høj grad af
inddragelse derfor er central for evalueringens validitet og anvendelighed (Patton
1986:20f.). Derudover henter diskursen sin legitimitet i et værdiargument, som
baserer sig på et demokratisyn, som kan betegnes deltagelsesdemokratiet (Hansen
2004). I deltagelsesdemokratiet står den demokratiske samtale og dialog i centrum,
25 Nymark 1997:59 bemærker, at den konsensusbaserede læringsopfattelse er dominerende inden for
ledelsesteorien, mens den konfliktbaserede er langt den mest udbredte inden for evalueringsteorien.
Forklaringen herpå skal givetvis findes i det forhold, at organisations- og managementteori ofte er
skrevet ud fra et ledelsessynspunkt, mens evalueringsteorien er skrevet af konsulenter, der gerne ser sig
selv som forandringsagenter.
26 BIKVA står for ”Brugerinddragelse i kvalitetsvurdering”. Modellen er udviklet af Hanne-Kathrine
Krogstrup.
46

og borgerne tager via deres deltagelse selv ansvar for en effektiv udnyttelse af
ressourcerne, modsat den konkurrencedemokratiske opfattelse, hvor den valgte elite
er garant. Fortalere for participatoriske læringsevalueringer fremfører det værdi-
mæssige standpunkt, at evaluering som indflydelsesrig dimension bør medvirke til at
støtte realiseringen af et demokratisk samfund gennem folkelig inddragelse, hvilket
stiller krav til evalueringen om at fungere som ramme omkring dialog mellem alle
interessenter i en evalueringsproces (Patton 1996:137).
This [evaluation] process is fundamentally democratic. It invites (if not
demands) participation, examining issues of concern to the entire community
in an open forum. (Fetterman 1996:5)
Participationsdiskursen anerkender eksistensen af menings- og interesseforskelle,
men søger samtidig – i overensstemmelse med demokratiidealet – at tilstræbe
symmetri og lydhørhed i evalueringsprocessen. Den lærer-elev-asymmetri, som
ifølge kritikerne gør sig gældende i den konsensusbaserede læringsforståelse,
forsøger det konfliktorienterede alternativ at gøre op med ved at stille krav til
evaluatorens metode. Evaluatoren bør se sig selv som en facilitator, der er åben og
parat til at lære noget af de evaluerede aktører, da disse kender konteksten bedre end
evaluatoren gør. Det kræver, at evaluatoren solidariserer sig med de evaluerede
aktører og ikke først og fremmest ser sig selv som en repræsentant for et sæt
’objektive’ kriterier, der er forhandlet på plads mellem evaluator og opdragsgiver.
Hvor den konsensusbaserede opfattelse betragtede organisationen som et harmonisk
hele, træder den participatorisk orienterede evaluator ind som en forandringsagent i
en antaget konflikt mellem organisationens top og bund, og søger at styrke ’bunden’
gennem inddragelse og myndiggørelse (Preskill & Torres 1999:55, Guba & Lincoln
1987:215, Fetterman 1996:11, Patton 1996:136, Kapoor 2004:160).
4.3.2.2. Fokus på processen
Jævnfør demokratiidealet er det væsentligt inden for den participatoriske lærings-
diskurs, at forandringer sker på baggrund af de evaluerede aktørers motivation og
viden – frem for med udgangspunkt i opdragsgiverens interesser (Kapoor 2004:160).
Forandringerne finder sted løbende i evalueringsprocessen, efterhånden som
deltagerne opnår nye indsigter, og det giver derfor ikke mening i denne diskurs at
betragte evaluering som et neutralt måleværktøj, der vurderer en upåvirket
evalueringsgenstand fra en vis distance. Evalueringen er en læreproces, i hvilken
genstanden forandres og påvirkes aktivt af alle medvirkende aktører, hvorfor fortalere
for tilgangen hævder, at: ”The process is the outcome” (Patton 1996:135).
Hermed bryder den participatoriske læringsdiskurs med kontroldiskursens
uafhængigheds- og objektivitetsnorm. Det vigtigste kvalitetskriterium for en
evaluering er relevans, og det har betydning både for valg af evalueringsmetode og
evaluatorens rolle.
47

Hvad angår evalueringsmetoden betragter fortalerne for participatoriske lærings-
evalueringer kontroldiskursens positivistisk orienterede måleredskaber for
begrænsende og irrelevante. ”Clarity, specificity and measurability are limiting”,
hævder Patton (1996:135) og gør sig i stedet til talsmand for anvendelsen af
kvalitative, kontekstnære metoder, som ikke tilstræber entydighed. I henhold til en
konfliktbaseret læringsforståelse betragtes verden som flertydig, og derfor er det en
betingelse for en evaluerings anvendelighed og validitet, at den indfanger denne
flertydighed, har et eksplorativt design, lader kriterier opstå undervejs i processen og
afspejler de forskellige synspunkter i afrapporteringen (Guba & Lincoln 1987:208,
Patton 1996:135, Kapoor 2004:160).
4.3.2.3. Relevans og tillid
Evaluatorens rolle adskiller sig inden for denne evalueringsteoretiske diskurs markant
fra den uafhængige og distancerede rolle, som kontroldiskursen foreskriver. Den
participatoriske evalueringslitteratur fremhæver, at evaluator bør have et tæt
tillidsforhold til de evaluerede aktører, da dette er en forudsætning for, at de indgår i
læringsprocessen med den fornødne åbenhed og ærlighed (Guba & Lincoln
1987:222, Snyder & Doan 1995:146, Preskill & Torres 1999:156). Patton beskriver
sin evaluatorrolle således:
I become part of the team, not apart from the team. I participate in decisionmaking
about the program and facilitate discussion about how to evaluate
whatever happens. (Patton 1996:136)
Den metodeanvisende litteratur argumenterer således mod kontroltilgangens
distancerede og dømmende evaluatorfigur og for en participatorisk metode ud fra en
holdning om, at ”evaluation is too important to be left to evaluators” (ibid.:139).
På baggrund af ovenstående kan vi definere participatoriske læringsevalueringer som
procesorienterede evalueringer, der har til formål at forandre og forbedre evaluerings-
genstanden gennem løbende dialog og gensidig læring de involverede aktører
imellem. Evaluatorens rolle er faciliterende, og vedkommendes fornemste opgave er
at sikre, at de evaluerede aktører får nye indsigter, tager ejerskab og bliver myndig-
gjort i løbet af en samarbejdsstyret proces. Den participatoriske evalueringsdiskurs’
væsentligste kvalitetskriterium er relevans, og tilgangen har en forkærlighed for
kvalitative, eksplorative evalueringsmetoder.
4.3.2.4. Kritik af den participatoriske læringsdiskurs
En kritik, som rettes mod læringsevalueringer generelt – både konsensusbaserede og
participatoriske – er læringsbegrebets bias: ”Formative evaluation carries a bias about
making something better” (Patton 1996:135). Den konsensusbaserede lærings-
forståelse kritiseres for at anvende læringsbegrebet som en trylleformular: Jo mere
læring, desto bedre, og jo flere barrierer mod læring, desto værre:
48

Forestillingen om den lærende organisation er I dag blevet til et slogan og en
populær organisationsopskrift (…). Med til at sælge den er sandsynligvis, at
den virker optimistisk og uden modhager (hvem er imod læring?) (Dahler-
Larsen 1998:33).
Men selvom den participatoriske læringsdiskurs søger at gøre op med den konsensus-
baserede læringsforståelse og i stedet ser læringsprocessen som en interesse- og
værdikamp, så kan diskursen stadig ikke sige sig fri for normativitet. Kritikere peger
på, at den participatoriske evalueringslitteratur har klar tendens til at foreskrive en
solidaritet mellem evaluatoren og de evaluerede aktører, hvilket ofte indebærer en
afstandtagen fra opdragsgiveren 27 . Det betyder på den ene side, at evaluatoren vil
være tilbøjelig til at betragte den læring og de værdier, som formuleres af de
evaluerede aktører, for værende mere sande end ledelsens synspunkter – og dermed
gør diskursen reelt ikke op med forestillingen om en objektiv sandhed og en rigtig/
forkert læring (Preskill & Torres 1999:13-14). På den anden side vil evaluatorerne
efter kritikernes mening være tilbøjelige til at tage parti for enhver forandring, der
udgår fra de evaluerede aktører, alene fordi det er en forandring, som udfordrer
organisationens magtbalance (Høgsbro & Rieper 2001:183).
Et andet kritikpunkt går på den participatoriske evalueringsmetodes utilstrækkelighed
til at garantere reel participation. Participationsdiskursen har øje for, at
evalueringernes kontekst er modsætnings- og konfliktfyldt, men betragter dialogen i
evalueringsprocessen som herredømmefri i overensstemmelse med demokratiidealet
(Hansen 2003:35). Kritikere peger dog på, at begreber som dialog, deliberation og
inklusion er så svagt formulerede, at evaluator får et stort råderum til at definere sin
egen indflydelse. Dermed tilslører den deltagelsesdemokratiske retorik omkring
evalueringsprocessen evaluatorens reelle magt (Krogstrup 2001:204).
Sidst, men bestemt ikke mindst, skal kontroldiskursens kritik af participatoriske
læringsevalueringer nævnes. Vi har tidligere beskrevet, at fremtrædende evaluerings-
forskere som Scriven slet ikke betragter participatorisk evaluering som evaluering.
Han kritiserer metoden for manglende klarhed og systematik omkring kriterier,
udførelse og afrapportering og advarer mod at sammenblande evalueringsopgaven
med proceskonsulentbistand (Scriven 1997:481f.). De participatoriske lærings-
evalueringer er ifølge kritikere alt for følsomme overfor særstandpunkter og har et for
snævert perspektiv, hvorfor deres validitet og dermed deres anvendelighed i det hele
taget kan drages i tvivl (Scriven 1996:158). Fra et værdimæssigt synspunkt angribes
de participatoriske læringsevalueringer for at negligere den demokratiske styrings-
27 Se Guba & Lincoln 1987:208, Kapoor 2004:161 for eksempler på implicitte solidaritetserklæringer
med ’the people’/’the participants’. Preskill og Torres 1999 afbilder endvidere den organisatoriske
læringsproces som en fremad- og opadgående linie med læringsevalueringer markeret som små
refleksive løkker, og indikerer dermed, at participatoriske læringsevalueringer fører organisationer mod
fremskridt og forbedringer (Preskill & Torres 1999:185).
49

kæde og ikke tage højde for den offentlige administrations behov for ansvarliggørelse
og kontrol (Krogstrup 2001:204).
4.3.3. Opsummering: to forskellige læringsforståelser
Vi har nu indført et skel mellem konsensusbaserede og participatoriske lærings-
evalueringer og argumenteret for, at de hører hjemme under hver deres evaluerings-
diskurs, som vi har benævnt hhv. kontrol- og participationsdiskursen. Der er altså stor
forskel på, hvad man taler om, når man taler om læring i evalueringsøjemed, og
grænserne er bestemt ikke altid klare – hverken i evalueringslitteraturen eller i
praksis. På skemaform kan forskellene mellem de to læringsforståelser skitseres
således:
Evalueringsteoretisk
diskurs
Konsensusbaseret
læringsevaluering
Participatorisk læringsevaluering
Kontroldiskurs Participatorisk læringsdiskurs
Læringsbegreb Konsensusbaseret læring Konfliktbaseret læring
Evalueringens
kontekst
Kilde til organisatorisk
forandring
Inddragelse af
evalueringsaktører
Figur 4d
Organisatorisk harmoni Interessekonflikt mellem organisationens
top og bund
Ledelsen/opdragsgiveren Medarbejderne/de evaluerede aktører
Top-down inddragelse med formålet
at øge ejerskabet til evalueringsresultaterne
Bottom-up inddragelse med formålet at
styrke de evaluerede aktørers myndiggørelse.
4.4. Forskelle og ligheder mellem de to evalueringsteoretiske
diskurser
Med udgangspunkt dels i hovedværker inden for den amerikanske, metodeanvisende
evalueringslitteratur og dels i nyere skandinavisk samfundsvidenskabelig
evalueringsforskning har vi arbejdet os frem til følgende klassificering af
evalueringsdiskurser, -tilgange og -typer.
Evalueringsteoretisk
diskurs
Evalueringstype Kontrolevaluering Konsensusbaseret
læringsevaluering
Kontroldiskurs Participatorisk læringsdiskurs
Participatorisk læringsevaluering
50

Evaluerings rolle Redskab til kontrol Redskab til læring
Figur 4e
Først og fremmest har vi forsøgt at udrede nogle af de teoretiske uklarheder om,
hvilke forståelser af begrebet læring, der florerer i evalueringssammenhæng. I den
forbindelse er vi kommet frem til en skelnen mellem evalueringstyperne konsensus-
baseret og participatorisk læringsevaluering. Vi har argumenteret for, at de to
opfattelser hører til hver sin diskurs, der er præget af vidt forskellige ontologiske,
epistemologiske og metodologiske antagelser. Disse to diskurser har vi betegnet
kontroldiskursen og den participatoriske læringsdiskurs.
4.4.1. En note om fremstillingen
Det er vigtigt for os at understrege, at de teoretiske distinktioner, som ligger til grund
for modellen er foretaget på baggrund af vores indsamlede empiri i overens-
stemmelse med Foucaults genealogiske metodeanvisninger. Prisen for en klar,
akademisk fremstilling med teoriafsnittet først, metodeafsnittet i midten og analysen
til sidst er, at det tætte samspil mellem vores eksplorative analyseproces og arbejdet
med teorien ikke fremstår så tydeligt for læseren, som vi kunne ønske os – derfor
dette lille mellemspil. I specialeprocessens begyndelse arbejdede vi ud fra et ønske
om at undersøge, hvorfor man i evalueringsteorien skelner så skarpt mellem lærings-
og kontrolevalueringer, mens Danida – i lighed med andre offentlige opdragsgivere
herhjemme – bestiller evalueringer med et dobbelt formål. Med Hansens ord fandt vi
det paradoksalt, at mens evalueringslitteraturen lægger op til heterogenitet og
differentiering i konstruktionen af standarder afhængigt af om formålet er kontrol
eller læring, er praksis kendetegnet ved forsøg på at homogenisere standarderne
(Hansen 2001:117). En del af svaret har vi allerede givet nu: læring er ikke bare
læring – der er stor forskel på, hvad praktikere og teoretikere forstår ved begrebet
’læringsevaluering’. Vi har på den baggrund bragt undersøgelsesspørgsmålet et skridt
videre, så vi nu fokuserer på, hvilke konsekvenser begrebsforvirringen og tilstede-
værelsen af flere evalueringsdiskurser i en og samme evalueringspraksis afføder.
4.4.2. Forskelle
I gennemgangen af den konsensusbaserede læringsforståelse tog vi hul på
diskussionen om, hvorvidt lærings- og kontrolevalueringer kan gå hånd i hånd eller er
i modstrid med hinanden. Vi præsenterede Scrivens synspunkt om, at en konsensus-
baseret læringsevaluering med fordel kan betragtes som et led i en kontrolevaluering,
mens han tager så stor afstand fra participatoriske læringsevalueringer, at han slet
ikke betragter denne praksis som evaluering. Scrivens holdninger illustrerer tydeligt,
51

at diskussionen om kontrol overfor læring afhænger af, hvilken læringsopfattelse,
man taler ud fra. Fortalere for participationsdiskursen vender sig mod Scrivens og
andres påstand om at kontroldiskursens formkrav er konstituerende for evaluerings-
definitionen: ”Summative evaluation is not the apex or Holy grail” 28 . Patton, Preskill
og andre participationsorienterede evaluatorer argumenterer i stedet for, at
participatorisk læringsevaluering er en selvstændig tradition med sin egen
berettigelse, metode, erkendelsesinteresse og målgruppe, der adskiller sig markant fra
kontrolevalueringens. De to evalueringsdiskursers repræsentation og påvirkning af
genstandens indholdsmæssige og tidslige aspekt, samt af de identiteter og relationer,
som knytter sig til genstanden, er med andre ord så forskellige fra hinanden, at de
ikke kan kombineres (Preskill & Torres 1999:11, Patton 1994, Perry & Backus 1995,
Kapoor 2004:164, Fetterman 1996).
Uanset hvorvidt evalueringsteoretikerne betragter participatoriske lærings-
evalueringer som en evalueringsform eller ej, kan alle således enes om, at uoverens-
stemmelserne mellem diskurserne er for store til at forestille sig de to evaluerings-
formål tilgodeset i samme proces. Kontroldiskursens objektivitetskrav vil modarbejde
participationsdiskursens relevanskrav og omvendt, resultat- og procesorienteringen
vil føre evalueringens fokus i modstridende retninger, og evaluatoren kan ikke på
samme tid være distanceret og interagere åbent med de evaluerede aktører.
Forskellene og diskussionerne mellem de to diskurser er således mange og store, men
der er dog også en række lighedspunkter.
4.4.3. Ligheder
Både kontrol- og participationsdiskursen forudsætter organisatorisk rationalitet. Hvor
kontroldiskursen baserer sig på bureaukratiet som den gennemgående organisations-
teoretiske metafor og antager, at der går en lige linie mellem organisationens
præferencer og handlinger, opererer participationsdiskursen med et ideal om en
lærende organisation, der gennem refleksion og forhandling når en stadig højere grad
af indsigt og tilpasningsevne (Albæk 2001:33f.). Denne rationalitetsforudsætning
smitter af på perspektivernes syn på evaluering som en grundlæggende lineær og
rationel foreteelse. Begge diskurser arbejder med antagelsen om, at evalueringer kan
anvendes som instrument til at nå et på forhånd fastsat mål, og at dette mål er
bestemmende for evalueringens design, udførelse og anvendelse. Med andre ord
antages forholdet mellem formål og funktion at være 1:1, og netop derfor anses det
for så vigtigt at afklare evalueringens formål på forhånd (Dahler-Larsen 2004:26).
Med vores teoretiske perspektiv på evaluering som forhandlingsknudepunkt,
diskursiv praktik og grænseobjekt, tager vi afstand fra antagelsen om evalueringers
grundlæggende rationalitet. Denne antagelse implicerer nemlig en forestilling om, at
28 Patton citeret i Chen 1996:142.
52

en evaluering har en særlig ’essens’, som sørger for, at den forløber i overens-
stemmelse med dens oprindelige mål. Med introduktionen af translationsbegrebet har
vi søgt at anskueliggøre, at en evaluering kun iværksættes, udføres og anvendes, fordi
aktører konstant interagerer med den i overensstemmelse med deres egne interesser.
Vi kan i denne forståelsesramme også forklare, hvorfor en evaluering sjældent vil
kunne karakteriseres som enten en læringsevaluering eller en kontrolevaluering –
forskellige aktører kan opfatte samme evalueringsforløb forskelligt, hvorfor der
snarere vil være tale om et både-og.
I kapitlerne 7-11 præsenterer vi en analyse af, hvordan forskellene og lighederne
mellem de to evalueringsdiskurser manifesterer sig i Danidas evalueringspraksis. Det
følgende kapitel diskuterer de i alt fire udviklings- og evalueringsteoretiske diskurser
i forhold til hinanden og indeholder desuden vores overvejelser om normativitet i
diskursanalysen.
53

5. Udviklings- og evalueringsteoretisk
opsummering
I afsnit 2.2. rejste vi spørgsmålet om, hvordan man afgrænser en diskurs. Det gøres
ifølge Foucault (Foucault 1991) ved at se på dens forskel fra andre diskurser, hvorfor
vi i gennemgangen af udviklings- og evalueringsteoretiske diskurser har taget afsæt i
de uenigheder, som kommer til udtryk i litteraturen. Som det især fremgår af kapitel
4 om evalueringsdiskurser, har vi, i overensstemmelse med Foucaults genealogiske
metode desuden løbende forholdt den teoretiske skelnen til resultaterne af vores
empiriske undersøgelse af Danidas evalueringspraksis, og derigennem søgt at
kvalificere begge dele. Endelig har vi afgrænset diskurserne i forhold til, hvilket felt
de manifesterer sig på – og har på den baggrund adskilt evaluerings- fra udviklings-
diskurser.
5.1. Slægtskab mellem diskurser på tværs af felter
Det står imidlertid klart, at der er et vist slægtskab mellem diskurserne på tværs af
felter: Den udviklingsteoretiske moderniseringsdiskurs og den evalueringsteoretiske
kontroldiskurs bygger begge på en positivistisk grundopfattelse, som medfører, at
diskurserne indfører tydelige skel mellem henholdsvis rigtig/forkert og sandt/falsk.
Dette betyder, at relationerne mellem de subjektpositioner, som diskurserne stiller til
rådighed, defineres i forhold til en objektivitetsstandard. Med andre ord er den
stærkeste aktør til enhver tid den, som kender ’virkeligheden’ bedst: Det være sig
eksempelvis donor i moderniseringsdiskursen eller den objektive, uafhængige
konsulent i kontroldiskursen. Anvendelsen af top-down metoder anses inden for
begge diskurser at være til alles bedste, idet alle aktører har en fælles interesse i, at
evalueringen/udviklingsprojektet er i overensstemmelse med den objektive sandhed.
Både den kritiske udviklingsdiskurs og den participatoriske læringsdiskurs er
formuleret i opposition til forestillingen om fælles interesser og objektivitet. Disse to
diskurser deles om en kritisk, samfundsforandrende ambition og foreskriver
solidaritet med de aktørgrupper, som de anser for undertrykte inden for henholdsvis
moderniserings- og kontroldiskurserne: bistandsmodtagerne og de evaluerede
aktører. Som følge heraf foreskriver de to diskurser anvendelse af bottom-up
metoder, ligesom de har fælles idealer om participation og myndiggørelse af de
svageste.
54

5.2. En note om normativitet
Både den udviklingsteoretiske moderniseringsdiskurs og den evalueringsteoretiske
kontroldiskurs har været udsat for megen kritik, og der er således en høj grad af
bevidsthed i litteraturen om disse diskursers normativitet. Dette gælder ikke i samme
grad for den kritiske udviklingsdiskurs og den participatoriske læringsdiskurs, som –
blandt andet fordi de er af nyere dato – ikke har undergået samme kritiske
granskning 29 .
Det teoretiske afsæt, vi redegjorde for i kapitel 2, har i kraft af dets fokus på brud,
forhandlinger, interesser og processer flere lighedspunkter med den kritiske
udviklingsdiskurs og den participatoriske læringsdiskurs end med det andet ’diskurs-
par’ bestående af moderniserings- og kontroldiskursen. I forlængelse heraf er der en
tendens til, at kritisk humanistisk og sociologisk evaluerings- og udviklingslitteratur
betragter henholdsvis den kritiske diskurs og den participatoriske læringsdiskurs som
mindre normative og mere politisk korrekte alternativer til deres ’undertrykkende’,
normative modstykker. Eksempelvis munder Fergusons analyse af udviklings-
projekter i Lesotho ud i en skarp kritik af moderniseringsdiskursen og en formulering
af et kritisk alternativ – trods hans målsætning om ikke at ville analysere udvikling
ud fra et normativt standpunkt.
Vi ønsker ikke at forfalde til en sådan stillingtagen og betragter samtlige fire
præsenterede udviklings- og evalueringsdiskurser som stærkt normative. Når vi ikke
ønsker at forholde os til de værdier og den praksis, som kommer til udtryk i
diskurserne, skyldes det, at det efter vores mening ville give sig udslag i et
uinteressant analyseprojekt. Efter vores opfattelse er det ’for nemt’ at kritisere en
relativt magtfuld og veletableret aktør som Danida for at basere sin praksis på
forkerte, undertrykkende antagelser uden at tage Danidas virkelighed og interesser i
betragtning. I stedet finder vi det mere interessant at undersøge diskursernes
praktiske konsekvenser for styrkeforholdet på mediebistandsfeltet og diskutere dette
under hensyntagen til aktørernes forståelseshorisonter, interesser og handlemønstre.
Vi vender tilbage til slægtskaberne mellem de evaluerings- og udviklingsteoretiske
diskurser i specialets analysedel, hvor vi også tager normativitetsdiskussionen op
igen i forbindelse med vores målsætning om at vurdere, hvordan Danida kan styrke
sin evalueringspraksis. Inden vi når så langt, vil vi i det følgende præsentere den
analysemetode, vi har anvendt, og diskutere denne i forhold til det teoretiske afsæt.
29 En undtagelse er antologien Participation – The New Tyranny? fra hvilken David Mosses artikel:
“‘People’s Knowledge’, Participation and Patronage: Operations and Representations in Rural
Development” fra 1991 stammer. Denne bog er et af de indtil videre eneste kritiske opgør med den
kritiske udviklingsdiskurs.
55

6. Metode
Fra de foregående kapitlers fokus på teoridannelser inden for undersøgelsens
genstandsfelt vil vi nu rette blikket mod en analyse af samspillet mellem
dominerende evaluerings- og udviklingsteoretiske diskurser og evaluering af dansk
mediebistand som en diskursiv praktik. Analysen baserer sig på otte rapporter og
tretten interviews med ansatte i Danida, eksterne konsulenter og repræsentanter for
Danidas partnere på mediebistandsområdet. I dette kapitel redegør vi for vores
overvejelser i forbindelse med design og udførelse af undersøgelsen. Kapitlet tager
udgangspunkt i den metodeteoretiske redegørelse, som er beskrevet i afsnit 2.1. og
2.2.. Her blev den diskursanalytiske forståelsesramme, som udgør fundamentet for
selve undersøgelsen, defineret, og i det følgende vil vi konkretisere, hvorledes
Foucaults genealogiske metode operationaliseres. Indledningsvist redegøres i 6.1. og
for den metodiske fremgangsmåde, hvorefter denne i afsnit 6.2. diskuteres i forhold
til videnskabelighedsparametrene validitet, reliabilitet og generaliserbarhed. Afsnit
6.3. indeholder en metodisk refleksion, hvor vi diskuterer fordele og ulemper ved den
anvendte metode.
6.1. Udvælgelse og behandling af empiri
Vi har tidligere præsenteret de tre forskellige praksisfællesskaber, som er involveret i
evaluering af dansk mediebistand: Opdragsgiver (Danida), evaluatorer (konsulenter)
og de evaluerede aktører (Danidas partnere). Den ene del af undersøgelsens empiri
består af tretten interviews med repræsentanter for disse tre praksisfællesskaber,
mens den anden del udgøres af otte rapporter. Der redegøres først for udvælgelse og
databehandling af dokumenter og dernæst rettes samme fokus mod interviewene.
6.1.1. Udvælgelse og databehandling af dokumenter
Danida opererer med fire forskellige typer af evalueringer og evalueringsdokumenter:
(1) evalueringer, (2) reviews, (3) mål- og resultatstyring samt (4) projektrapportering.
Af årsager som fremgår af følgende, beskæftiger vi os alene med evalueringer og
reviews.
Ad 1) Danida definerer ’evaluering’ som en bedømmelsesaktivitet, der varetages af
Kontoret for Evaluering af udviklingsbistand (EK) og udføres af eksterne,
uafhængige konsulenter. De nærmere detaljer i definitionen behandles i kapitel 7.
Danidas operationelle definition er langt smallere end den teoretiske, som hidtil er
anvendt i specialet. Evalueringer er typisk omfattende og bredt orienterede
undersøgelser, som beskæftiger sig med enten et udvalgt tema (eksempelvis
ligestilling i bistanden), en bestemt bistandsform (bistand gennem NGO’er eller
nødhjælp), landeprogrammer (den samlede danske bistand til et enkelt land) eller den
kan stille skarpt på udviklingsbistanden inden for en udvalgt sektor (sundhed eller
56

undervisning) (Udenrigsministeriet 2004:2). Fremover – og med mindre andet er
nævnt – lader vi i forlængelse heraf betegnelsen ’evaluering’ referere til Danidas
operationelle definition og ikke til den teoretiske definition, som er blevet anvendt
indtil nu.
Ad 2) Et review er en undersøgelse, som foretages enten midtvejs eller ved
slutningen af en bevillingsfase med henblik på at vurdere resultaterne af og fremtiden
for en specifik indsats. I kraft af reviewenes retrospektive og systematiske karakter
omfattes de af den teoretiske evalueringsdefinition, om end Danida skelner skarpt
mellem et review og en evaluering. Vi redegør nærmere for forskelle og ligheder
mellem reviews og evalueringer i kapitel 7.
Ad 3) Mål- og resultatstyring varetages af Kontoret for kvalitetssikring af udviklings-
bistanden (KVA) og har til hensigt at monitorere Danidas samlede indsats på
årsbasis. Denne evalueringstype omhandler kun indirekte de konkrete bistands-
aktiviteter, hvorfor vi ikke inddrager den i den aktuelle undersøgelse.
Ad 4) Projektrapportering er en samlet betegnelse for den løbende dokumentation af
projekters forløb. Rapporteringen udarbejdes i samarbejde mellem projekt-
organisationen, en eventuel ekstern IO og Danida. I bilag 5 og afsnit 7.1.5.1. findes
der oversigter over de obligatoriske typer projektdokumenter. Hovedparten af
projektrapporteringen falder uden for vores evalueringsdefinition (jf. afsnit 1.4.2.),
enten fordi dokumenterne ikke er retrospektive, eller fordi de ikke er gennemført
systematisk. Projektrapportering indgår derfor kun indirekte i analysen af Danidas
evalueringspraksis.
6.1.1.1. Udvælgelse af review- og evalueringsrapporter
Evaluerings- og reviewrapporterne er udvalgt efter en såkaldt ”maksimum variation”-
strategi (Flyvbjerg 1991:150), som i nærværende kontekst indebærer, at vi på to
områder har tilstræbt størst mulig variation i det samlede case-materiale: Dels har vi
stilet efter en nogenlunde lige fordeling mellem evalueringer og reviews, dels har vi
ønsket at undgå overrepræsentation af bestemte evaluatorer (konsulentfirmaer) og
genstande (mediebistandsprojekter). Dette skyldes en bestræbelse på at opnå en vis
grad af repræsentativitet i undersøgelsen. Genealogien foreskriver nemlig, at
forskeren både skal have ”a knowledge of details” og ”a vast accumulation of
material” (Foucault citeret i Flyvbjerg 1991:93), hvilket vi fortolker som et krav om
både at have blik for så mange forskellige detaljer som muligt og samtidig kunne
sikre, at analysen deraf vedrører mere end blot en enkelt case – eller måde at evaluere
på.
57

Arbejdet med udvælgelse af varierede cases har dog været begrænset af to forhold:
For det første genbruger Danida i høj grad de samme konsulentfirmaer til at udføre
reviews af mediebistandsprojekter, og for det andet er der stor forskel på, med
hvilken frekvens de enkelte projekter udsættes for evalueringer og reviews. Begge
dele medfører, at visse konsulenter og projekter indgår flere gange. Dette gælder to af
konsulentfirmaerne, og desuden er der en overvægt af reviews og evalueringer af de
to flagskibsprojekter inden for dansk mediebistand: Nordic-SADC School of
Journalism (NSJ) og Media Institute of Southern Africa (MISA).
Følgende review- og evalueringsrapporter indgår i analysen:
Doku-
menttype
År:
udført/
udgivet
Titel
Forkortet titel
Rapporthenvisning, registranthenvisning
Evaluering 1999/00 Dansk støtte til fremme af MR & D: Medier
Den generelle medieevaluering og Danida 2000A
Evaluering 2002 Evaluering af NSJ: Nordic-SADC School of Journalism
NSJ 02
Evaluering 2002 Evaluering af Media Institute of Southern Africa
Review
(eval.) 30
MISA 02
2001/02 Evaluering/review af the Media Institute of Southern Africa
MISA 01/02
Review 2002 Review af dansk støtte til den lokale presse i Bangladesh
Bangladesh 02
Review 2002 Review af dansk støtte til fremme af en fri presse i Zambia
Zambia 02
Review 2003 Review af Nordic-SADC School of Journalism
NSJ 03
Review 2004 Review af Media Institute of Southern Africa
Figur 6a
MISA 04
Evaluatorer/
nationalitet
Oxford
Research/DK
ECORYS/Holland
& Imani Develop-
ment/Zambia
ECORYS/Holland
& Imani Develop-
ment/Zambia
Media Consult&
COWI/DK
T&B Consult/DK
Danicom/DK
Danicom/DK
Chigudu & Ass/
Zimbabwe & kon-
sulent fra
Som skemaet viser, beror vores analyse på tre evalueringer og fem reviews af
Danidas bilaterale mediebistand, som alle er udgivet efter 2000.
BFT/Danida
30 Når der kan være tale om en hybrid mellem en evaluering og et review skyldes det, at dokumentet er
resultat af et donorsamarbejde mellem Danida, Hivos og Sida. De svenske og hollandske donoragenturer
klassificerer bedømmelsesaktiviteten som en evaluering, mens det i Danida-regi har review-status.
Grundet vores fokus på Danida betragter vi det fremover som et review.
58

6.1.1.2. Databehandling af dokumenter: Tekstanalytiske værktøjer
Analysen af evaluerings- og reviewrapporterne sker med henblik på at belyse det, vi
tidligere med Dahler-Larsens betegnelse har kaldt evalueringers konstitutive
virkninger. Det vil sige de måder, hvorpå teksterne (re)konstruerer ’det gode
mediebistandsprojekt’ og de aktør-identiteter og relationer, der knytter sig
mediebistanden. Til dette formål inddrager vi en metodisk værktøjskasse, som
præsenteres af den britiske lingvist Norman Fairclough.
Som det er tilfældet med Foucault, sættes Faircloughs navn i forbindelse med
diskursanalyse. I Faircloughs forståelse er diskursbegrebet imidlertid væsens-
forskelligt fra Foucaults udlægning. Mens Foucault betragter diskurs som udtryk for
de historiske mulighedsbetingelser for produktionen af udsagn, er Faircloughs
’kritiske diskursanalyse’ (Fairclough 1992) langt mere lingvistisk og tekstanalytisk
orienteret, idet diskurs betragtes som sproglig medieret praksis (Fairclough
1995A:135). Dette fundament i en mere tekstnær tradition betyder, at Faircloughs
diskursanalytiske redskaber bedre lader sig operationalisere sammenlignet med
Foucaults mere uklare metodeanvisninger. I analysen inddrager vi således nogle af
Faircloughs værktøjer, som vi mener, kan bidrage til at afdække de diskursive
rekonstruktioner af sociale identiteter, relationer og repræsentationen af verden, som
kommer til udtryk i en given tekst. Det sker vel at mærke uden at abonnere på hans
diskursbegreb og teoretiske fundament i øvrigt: her fastholder vi afsættet i Foucaults
diskursbegreb 31 .
Repræsentation og afdækning af ’det gode mediebistandsprojekt’
En diskurs repræsenterer et bestemt videnssystem og sætter dermed rammer for,
hvordan vi kan forstå og agere i verden. I dette speciale fokuseres på hvordan
evalueringsrapporterne trækker på evaluerings- og udviklingsteoretiske diskurser i
deres konstruktion af mediebistand, fordi det har betydning for, hvordan Danida og
de øvrige involverede aktører kan handle på mediebistandsfeltet fremover. Specifikt
undersøger vi teksternes valg af ord og argumentationsformer (Fairclough
1992:75ff.) og ser desuden på fænomenet tilslutning (’affinitet’, ibid.:152ff.). Med
tilslutning mener Fairclough den overbevisning, hvormed en påstand fremsættes,
hvilket eksempelvis kan udtrykkes ved brug af værdiladede tillægsord, modalverber
og understregende biord. I nedenstående sætning anvendes værdiladede tillægsord og
modalverbet ”need” som en indikator på forfatternes tilslutning til udsagnet:
31 Fairclough modererer den Foucault-inspirerede traditions socialkonstruktivistiske antagelse om, at den
sociale virkelighed konstrueres gennem sproglig handlen ved at hævde, at der findes en virkelighed uden
for diskursen (Fairclough 1992:64ff.). Diskurs er ifølge Fairclough både konstituerende for og
konstitueret af social praksis. Han søger dermed at kombinere Foucaults magtbegreb med en marxistisk
forståelse af socioøkonomiske strukturer som konstituerende for kulturel og sproglig praksis (Fairclough
1992:56f., Jørgensen og Phillips 1999:27).
59

This is an important issue, linking media with gender and poverty reduction,
which needs to be included in the strategic planning document. (MISA
01/02:45, vores understregning)
Graden af tilslutning giver et fingerpeg om, hvad der tages for givet, og hvad der
stilles spørgsmålstegn ved: Hvor nogle forhold ved genstanden præsenteres som
indiskutable og uantastelige sandheder, gøres andre til genstand for diskussion. Det
bidrager til konstruktionen af ’det gode mediebistandsprojekt’, som i dette citat er
kendetegnet ved at tage højde for Danidas målsætninger om at bidrage til
fattigdomsbekæmpelse og ligestilling mellem kønnene (Danida 2000B).
Identiteter og relationer
Enhver diskurs rummer et afgrænset antal subjektpositioner, som sprogbrugerne kan
indtage, og derved former en evaluerings eller et review’s sprog de interagerende
aktørers identiteter og relationer (Foucault 1991:58). Et indblik i de identiteter og
relationer, som kommer til udtryk i en evalueringsrapport, fås ved at undersøge
tekstens forfatter- og læseridentiteter samt ved at se på, hvilke aktører teksten
fremstiller, og hvad relationen mellem dem er. Grammatisk kan en sådan analyse
gribes an ved at fokusere på fænomenet transitivitet, det vil sige de måder, hvorpå en
begivenhed forbindes med et subjekt og et objekt (Fairclough 1992:158ff.). Konkret
ser vi i tekstanalysen nærmere på verbernes form (aktiv eller passiv), idet
anvendelsen af passivkonstruktioner tilslører agens og fjerner ansvaret. Af denne
sætning fremgår det eksempelvis ikke, hvem ophavsmanden til vurderingen er – er
det donor, konsulenten eller de evaluerede aktører selv, som mener, at indsatsen ikke
står mål med bistandens størrelse?
The training, however, is not regarded as being impressive in comparison with
the amount of funding they have received. (Danida 2000A:35, vores
understregning)
Et andet redskab til analyse af transitivitet er nominalisering, det vil sige en analyse
af, hvem der gøres til subjekt og objekt for hvilke handlinger (Fairclough
1992:169ff.). Dette har betydning for tekstens konstruktion af magtrelationer. Vælger
man at lægge vægt på effekterne i stedet for handlingerne, fremstår det skete som et
naturfænomen, og de ansvarlige aktører fratages ansvar, hvilket eksempelvis kommer
til udtryk i denne formulering: ”der har været mange problemer”. Ved at erstatte
sætningens subjekt med ”der” bliver det uklart, hvem og hvilke faktorer ansvaret for
de nævnte problemer kan tilskrives. En analyse af sætningernes transitivitet giver
således et fingerpeg om, hvordan rollerne kontrolleret-kontrollant og lærer-elev
besættes i teksterne, samt om hvorledes rapporterne placerer ansvar i henhold til
evalueringernes ansvarliggørelsesfunktion.
60

6.1.2. Interviews
6.1.2.1. Udvælgelse af interviewpersoner
Udvælgelsen af interviewpersoner er foretaget under fastholdelse af den genealogiske
grundforståelse af subjektet som værende på én og samme tid både frit af og fast-
bundet til allerede eksisterende diskurser. På den baggrund betragter vi med
genealogien som redskab interviewpersoner som repræsentanter for de praksis-
fællesskaber, de er medlem af. Som tidligere nævnt har vi tilstræbt en vis repræsen-
tativitet i udvælgelsen af empiri, og af den grund har vi interviewet repræsentanter
for de tre forskellige praksisfællesskaber, der er involveret i Danidas review- og
evalueringspraksis: Opdragsgiver, evaluatorer og partnerorganisationer. Vi har talt
med:
o Fire ansatte i Danida, som repræsenterer opdragsgiveren (OG)
o Syv eksterne konsulenter (KS), hvoraf fire samtidig har erfaringer som
repræsentanter for en evalueret partnerorganisation
o Seks repræsentanter for evaluerede partnerorganisationer (PO) (hvoraf fire
også har erfaringer med reviews og evalueringer som eksterne konsulenter).
I alt har vi gennemført interviews med 13 individer. Hvad de fire ’gengangere’ angår,
så skelner vi i fremstillingen mellem hvornår en af disse ’gengangere’ udtaler sig som
enten partner eller konsulent, ganske enkelt ved at præsentere dem særskilt som
partnerrepræsentant og konsulent. Det skyldes primært vores syn på interview-
personerne som repræsentanter for praksisfællesskaber snarere end som individer,
sekundært er det et greb, hvormed vi tilstræber anonymisering af interview-
personerne.
6.1.2.2. Gennemførelse af interviews
Indledningsvist kontaktede vi de ønskede interviewpersoner per telefon eller mail.
For personer med base i Danmark lagde vi op til et personligt interview, mens vi i
forhold til partnerorganisationerne i Syd foreslog to interviewformer, enten via mail,
hvor de besvarede spørgsmål, vi stillede på forhånd, eller et telefoninterview. I alt har
vi foretaget to mailinterviews, tre telefoninterviews og otte personlige interviews, og
vi vil her kort redegøre for vores overvejelser omkring brugen af disse metoder.
Spørgeguides
Som afsæt for udformning af hver spørgeguide læste vi den eller de rapporter, som
vedkommende havde været involveret i og researchede på den enkeltes baggrund og
erfaringer 32 . Spørgsmålene var formuleret på forhånd, men vi foretog reelt halv-
strukturerede interviews (Kvale 1997:129), idet vi forfulgte tråde og temaer, der
32 Se bilag 3A for eksempel på spørgeguide.
61

dukkede op undervejs. Mailinterviews blev foretaget ved, at interviewpersonerne
besvarede et individuelt udformet spørgsmålsark.
Interviewsituationen
De personlige interviews blev i alle tilfælde foretaget på den interviewedes arbejds-
plads, og under hvert interview medvirkede vi begge: Én som interviewer og én som
observatør og opsamler til sidst. Da der i alle tilfælde var tale om fagfolk med megen
erfaring, vurderede vi, at det ikke ville influere på udbyttet af interviewet, at vi var
’to over for én’, og denne vurdering har vi ikke fundet grund til at revidere efter-
følgende.
Hvert interview blev indledt med en kort introduktion, hvor vi forklarede
interviewets formål og garanterede interviewpersonens anonymitet. Herefter lagde vi
ud med erfaringsbaserede spørgsmål, hvor interviewpersonen fik lejlighed til at
bringe egne termer og kategorier i spil frem for at bruge vores. Afslutningsvist
spurgte vi ind til personernes holdning til specifikke forhold, og derved blev der i
slutningen af hvert interview tale om en mere diskuterende og reflekterende svar-
form. Interviewene varede mellem en og to timer.
Telefoninterviewene var indbyrdes forskellige på den måde, at det ene var med en
engelsktalende repræsentant for en afrikansk partnerorganisation, mens de to andre
var med dansktalende personer, henholdsvis en opdragsgiver og en repræsentant for
en partnerorganisation. Spørgeguides havde vi i de to sidstnævnte tilfælde udformet,
som var der tale om et personligt interview, hvilket fungerede fint – svarene fra disse
interviews adskiller sig for så vidt ikke fra de svar, vi har fået gennem personlige
interviews, og interviewene havde samme varighed (en til to timer). I det engelsk-
sprogede interview var vi på forhånd mindre ambitiøse i forhold til, hvad vi skulle nå
omkring og hvor stor fortrolighed, man kunne nå at skabe basis for i løbet af relativt
kort tid og uden mulighed for at ’se hinanden an’. Desuden forventede vi, at sproget
ville være en udfordring, hvilket viste sig at holde stik. Det var svært at forstå
hinanden, hvilket både skyldtes forskellige accenter, og telefonforbindelse af mindre
god kvalitet. Interviewet var således ikke så udbytterigt, som vi havde håbet, men det
gav os nogle mere impulsive svar end dem, vi har fået ved at interviewe over mail.
Mens de dansksprogede interviews har forløbet problemfrit og med stort udbytte, så
viste det ene, engelsksprogede interview os med al tydelighed de problemer, som
opstår, når kommunikationen i et interview besværliggøres af en eller flere grunde.
Vi mener imidlertid ikke kun, det skyldes sproget og den dårlige forbindelse, men
også det faktum, at den interviewede part bliver usikker og dermed mindre åben, når
vedkommende ikke ved, hvem eller hvad der er i den anden ende. Forud for
interviewet havde vi forsøgt at imødegå dette ved at maile sammen, og vi havde fra
vores side redegjort for hensigten bag interviewet. Hvorvidt interviewpersonen ville
62

have været mere åben, hvis vedkommende havde kunnet se os og tale uden filtre
imellem, kan vi af gode grunde kun gisne om. Vi har dog valgt at tage højde for, at de
repræsentanter fra partnerorganisationer i Syd, som har bidraget til datamaterialet,
muligvis er i tvivl om, præcis hvem vi er, og hvorvidt vi samarbejder med Danida på
en eller anden vis eller ej. At dette kan have influeret på deres svar, bekræftes i den
forestående analyse, hvor de evaluerende konsulenter tilkendegiver at opleve en
lignende problematik i evaluerings- og reviewsammenhænge.
Afslutningsvist skal det nævnes, at alle interviews med interviewpersonernes
tilladelse blev optaget på bånd.
6.1.2.4. Transskription
Båndoptagelserne fra interviewene er efterfølgende skrevet ud, og det er på baggrund
af disse transskriptioner, databehandlingen er foretaget. Det særlige ved et
transskriberet datamateriale er, at de ikke er vore grunddata, men derimod ”kunstige
konstruktioner fra en mundtlig til en skriftlig kommunikationsform” (Kvale
1996:163). Ved denne konstruktion foretages der – uanset intentioner om at overføre
data så præcist som muligt – en række vurderinger og omformninger, der påvirker
data, ligesom der i tabet af selve lyden går en mængde data tabt. Vi har forsøgt at
imødekomme denne problematik ved fra starten at udarbejde et sæt retningslinier for
transskribering, som fremgår af afsnit 6.1.3. I bestræbelserne på en så høj grad af
tilnærmelse til det optagne interview som muligt har vi medtaget fejlstarter, pauser,
ikke-leksikalske udtryk, ufuldstændige sætninger og lignende. Afslutningsvist har vi
kontrolleret og præciseret hinandens transskriptioner.
6.2.2.3. Fra rå interviews til koder og kategorier
Som et undersøgelsesteknisk værktøj til databehandling af interviewmaterialet har vi
valgt at tage udgangspunkt i traditionen Grounded Theory. Den metodiske frem-
gangsmåde, som knytter sig til Grounded Theory, foreskriver en systematisk, empiri-
nær databehandling, hvor man ved kodning af hvert lille element af datamaterialet
langsomt, men grundigt bevæger sig fra rå, transskriberede interviews til at uddrage
en række overordnede temaer (Alvesson & Sköldberg 1994:78ff.). Kodnings-
processen kan inddeles i tre trin: 1) Åben kodning, 2) opstilling af kodningskategorier
og 3) selektiv kodning 33 .
1. Åben kodning
Indledningsvist læste vi de 13 interviews igennem, afgrænsede naturlige betydnings-
enheder og udtrykte temaet for hver enhed i et sprog, der lå så tæt på respondentens
som muligt – en kode. I tråd med forskrifterne for den åbne kodning var der tale om
33 Et eksempel på, hvordan metoden er omsat til praksis, er at finde i bilag 3B.
63

en detailorienteret gennemgang, der medtog alle betydningselementer, som vi
vurderede havde relevans for specialets fokus (Alvesson & Sköldberg 1994:78ff.,
Kvale 1996:194).
2. Opstilling af kodningskategorier
Efterfølgende blev koderne samlet i et mindre antal kategorier, stadig med den
hensigt at viderebringe så mange detaljer fra hvert af interviewene som muligt. På
dette stadie var det målet at sikre en så udtømmende beskrivelse af kategorierne som
muligt, at ’mætte dem’. Dette er ifølge GT sket, når man ikke længere finder nye
aspekter af dem ved gennemlæsning af datamaterialet (Lindlof & Taylor 2002:222).
3. Selektiv kodning
I den tredje og sidste fase, den selektive kodning, var afsættet samtlige kategorier,
som den enkeltvise gennemgang af interviewene havde resulteret i. Med henblik på at
foretage en første sammenfatning markerede vi nu røde tråde mellem kategorierne og
etablerede dermed datamaterialets ’storyline’ (Alvesson & Sköldberg 1994:78ff.).
Konkret udpegede vi nogle kernekategorier (Lindlof & Taylor 2002:214ff.),
hvoromkring de øvrige, nu underordnede kategorier, blev placeret. Under denne
proces skete der samtidig en udvælgelse af nogle emner på bekostning af andre, idet
vi vurderede, at de enten manglede mætning og underbygning eller omhandlede
temaer, som ikke var relevante i forhold til den aktuelle undersøgelsesoptik. På
baggrund af de kategorier, som var tilbage efter det tredje trin i kodningsprocessen,
udarbejdede vi en første disposition for analysen, der byggede på den storyline, som
var udviklet.
6.1.3. Fremstilling af empiri
I analysen inddrages uddrag af både dokumenter og interviews. Dette har til formål at
gøre vore konklusioner og argumenter så velunderbyggede og gennemskuelige som
muligt. For at imødegå de spørgsmål, der måtte opstå i forbindelse med gengivelse af
citater præsenteres her de konventioner, som er anvendt.
Pauseangivelse
… Kort ophold
(P1) Pause af 1-2 sekunders varighed
(P2) Pause af 2-5 sekunders varighed
(P3) Pause af mere end 5 sekunders varighed
Diverse transskriptionskonventioner
(tekst) Angiver latter, vrængen eller andre former for udtryk, som ikke er
gengivet i den transskriberede tekst.
(tekst) Utydelig tale, eventuelt vores gæt.
64

tekst/ Afbrudt tale
Ændring eller tilføjelse i citater
[tekst] Tilføjede bemærkninger som letter forståelsen af citater
[[tekst]] Anonymisering. Indikerer, at der er fjernet et navn på en person eller
organisation.
(…) Markerer en udeladt passage i et citat eller et rapportuddrag.
Anførselstegn
”tekst” Direkte citat fra interview, rapport eller teoretisk tekst. Efterfølges af
henvisning til den pågældende kilde med angivelse af sidetal.
Eksempelvis (PO) eller (Bangladesh 02:19)
’tekst’ Anvendes dels kreativt i teksten og dels i forbindelse med inddragelse
Understregning
af et citats indhold i ændret form. Efterfølges i sidstnævnte tilfælde af
henvisning.
Tekst Angiver enten interviewpersonens intonation (trykstærke stavelser
eller ord) eller vores fremhævning af bestemte passager eller ord. Når
det er tilfældet, har vi til sidst i kildehenvisningen tilføjet ’vus’ – en
forkortelse for ’vores understregning’.
6.2. Undersøgelsens videnskabelighed
Vi har nu redegjort for vores overvejelser i forbindelse med udvælgelse og
behandling af empiri. På den baggrund vil vi i det følgende gennemgå og diskutere
undersøgelsens videnskabelighed med henblik på at hævde dens gyldighed og
troværdighed. Det sker med afsæt i de tre gængse videnskabelighedskriterier,
validitet, reliabilitet og generaliserbarhed. Disse begreber er oprindeligt formuleret
inden for en kvantitativ metodisk tradition, men har med tiden fået en anden
betydning – eller rettere: en række andre betydninger – inden for den kvalitative
metode. Vi anvender imidlertid de definitioner, som gives af Silverman (Silverman
1993 & 2000) samt Alasuutari (Alasuutari 1995).
6.2.1. Validitet
Begrebet validitet henviser til spørgsmålet om, i hvor høj grad en undersøgelse
repræsenterer virkeligheden: Har man undersøgt det, man siger, man undersøger?
(Silverman 2000:178ff.). Inspireret af Silverman har vi valgt en trestrenget
valideringsstrategi, der består af følgende elementer: Først og fremmest har vi
praktiseret en omfattende databehandlingsmetode, hvilket både henviser til
datamaterialets omfang samt til måden, hvorpå det er bearbejdet. Her skal det
nævnes, at vi, som supplement til den oven for beskrevne databehandling af den
65

interviewbaserede empiri, har gennemgået samtlige interviews på ny, for at sikre at
relevante elementer, der ved første øjekast virkede uvæsentlige, ikke skulle gå tabt.
Valideringsstrategiens anden del består i, at vi løbende har foretaget sammen-
ligninger af de cases, som indgik i datamaterialet, hvorved vi har testet forskellige
hypoteser, som opstod undervejs. Det tredje element i valideringsstrategien har været
at rette opmærksomheden mod de afvigende cases, forstået som et særligt fokus på de
kategorier, der skiller sig ud. De har måske ikke umiddelbart passet ind i de mønstre,
som fremkom i det øvrige materiale, men efter devisen at de indeholder værdifuld
information og viser nye sider af undersøgelsesgenstanden, har vi ladet dem indgå
som en del af empirien frem for at afvise dem som værende unormale og irrelevante.
6.2.2. Reliabilitet
Begrebet reliabilitet betyder i Silverman’s forståelse, at forskeren gør rede for sin
metode med henblik på at give læseren mulighed for at vurdere, hvorvidt den kan
siges at være troværdig og veludført (Silverman 2000:185ff.). Silverman taler for, at
man som kvalitativ forsker bør gøre sit rå datamateriale tilgængeligt, idet der hermed
sikres adgang til respondenternes egne ord og kategorier. En anden dimension af
reliabilitetskriteriet er ifølge Davies (Davies 1999) videnskabelig refleksivitet. Som
forsker skal man således sikre, at man konstant er bevidst om sin rolle, og blandt
andet om den påvirkning, der er mellem forskeren og undersøgelsesobjektet. Vi vil
løbende lade vores refleksioner og overvejelser i forbindelse med valg af metode og
analysestrategier komme til udtryk i specialet.
6.2.3. Generaliserbarhed
Generaliserbarhed i en kvalitativ sammenhæng mange er et spørgsmål om at relatere,
ekstrapolere eller redegøre for emnets relevans (Alasuutari 1995:156f). Vi vil
undervejs i analysen og især i specialets perspektivering relatere vore pointer og
konklusioner til andre praksisser eller sektorer, hvor der er interessante og relevante
paralleller til evaluering af mediebistand. Det sker med afsæt i den i indledningen
skitserede nysgerrighed over for evaluering som samfundsfænomen.
6.3. Metodisk refleksion
I specialeprocessen har vi søgt at balancere mellem på den ene side at leve op til den
diskursanalytiske metodes krav om grundighed og omfang, og på den anden side at
designe en undersøgelse, som vi havde realistisk mulighed for at gennemføre på et
semester. Af praktiske hensyn vurderer vi ikke, at vores empiriske materiale kunne
have været meget mere omfattende, men med de selvkritiske briller på vil vi påpege
tre svagheder ved vores undersøgelsesdesign.
For det første vurderer vi, at det ville have styrket undersøgelsen, hvis den også
omfattede observationer af et eller flere evaluerings- og reviewforløb. Dermed ville
66

vi få adgang til andre og mere ufortolkede data om, hvordan interaktionen mellem
konsulenter, Danida og de evaluerede aktører foregår. På et tidligt stadie overvejede
vi denne mulighed, men valgte den af såvel metodiske som praktiske årsager fra:
Dels ud fra den betragtning, at vores problemformulering fordrede en analyse baseret
på en række forskellige evalueringsforløb – ikke blot på et eller to, som er det antal,
vi realistisk set havde råd og tid til at observere. Dels fordi vi ved at følge et hold
konsulenter ikke ville kunne undersøge de evaluerede aktørers oplevelse af
magtudøvelsen i forbindelse med kontrol- og læringsformålet, da disse sandsynligvis
ville opleve os som en del af evalueringsholdet. Vi vurderer altså, at vi ville påvirke
vores analysegenstand på en uhensigtsmæssig måde, som både ville efterlade os med
et mangelfuldt datamateriale og kunne virke obstruerende på evalueringsprocessen.
Som det tredje argument gjorde der sig også et rent praktisk forhold gældende,
nemlig at vores indsamling af empiri fandt sted i en periode, hvor Danida ikke stod
for at skulle foretage en bedømmelse af deres mediebistandsprojekter. Disse
forklaringer ændrer dog imidlertid ikke ved, at feltobservationer ville have været
yderst interessante at supplere den aktuelle undersøgelse med.
En anden svaghed ved undersøgelsen er, at empirien udelukkende omfatter reviews
og evalueringer, som Danida har været opdragsgiver til. Det har for det første den
implikation, at dataindsamlingen i vid udstrækning er sket med afsæt i de forslag og
kontakter, vores kontaktperson i Danida har bidraget med – fordi vi ikke har haft
mulighed for at danne os et overblik over samtlige dokumenter eller personer, der
kunne være relevante at inddrage i undersøgelsens perspektiv, da oplysningerne ikke
er offentligt tilgængelige. Dette har vi – som det fremgik af afsnit 6.2.2.1. – forsøgt at
tage metodisk højde for ved selv at opsøge interviewpersoner ud over de forslag, vi
fik fra Danida.
Endvidere betyder vort koncentrerede fokus, at vi har afskrevet muligheden for at
undersøge andre, relevante organisationer. Et interessant sammenligningsgrundlag
kunne have været bedømmelsesaktiviteter iværksat af NGO’er, da vi har en
formodning om, at relationen mellem NGO’erne og de evaluerede aktører i højere
grad er præget af jævnbyrdighed og participation – eller i hvert fald af idealer herom.
Hvilken betydning det har for samspillet mellem læring og kontrol i forbindelse med
evalueringer og reviews, er et interessant spørgsmål, som vi desværre må lade en
anden undersøgelse forfølge.
Sidst, men ikke mindst, ville vi gerne have haft muligheden for at konfrontere
interviewpersonerne med analysens konklusioner i form af opfølgende, diskuterende
interviews – eventuelt en fokusgruppe. Dette skyldes, at vi i bearbejdningen og
fremstillingen af analysen har erfaret, at interviewpersonerne giver udtryk for
modstridende, ofte selvmodsigende og uklare forståelser af begreberne kontrol og
67

læring. En konfrontation ville sandsynligvis kunne bidrage til både at udfordre og
forfine såvel vores som deres fortolkning af disse begreber.
Til trods for disse svagheder kan det dog fastslås, at specialet er det første forsøg på
systematisk at undersøge evaluering af dansk mediebistand. På den baggrund
vurderer vi, at det indsamlede datamateriale giver god basis for at fremdrage
væsentlige problemstillinger og spørgsmål.
68

7. Danidas evalueringspraksis
Vi tager nu hul på selve analysen og indleder med at præsentere analysens genstand:
Danidas evalueringspraksis. Som vi redegjorde for i den teoretiske gennemgang i
kapitel 2, betragter vi evalueringer som grænseobjekter, gennem hvilke de tre
praksisfællesskaber Danida, Danidas partnere og de eksterne konsulenter interagerer.
I nærværende kapitel vil vi præsentere både grænseobjekter og praksisfællesskaber
ved at gennemgå de formelle strukturer, som kendetegner disse. Gennemgangen
danner afsæt for en efterfølgende analyse af de forhandlinger og forståelser, som
præger evaluering af Danidastøttet mediebistand. Indledningsvist i afsnit 7.1. redegør
vi for forskelle og ligheder mellem evalueringer og reviews. Det efterfølgende afsnit
7.2. behandler de tre praksisfællesskaber enkeltvist.
7.1. Evalueringer og reviews
I det foregående kapitel om metode beskrev vi de fire former for bedømmelses-
aktiviteter, som gennemføres i Danida: evalueringer, reviews, projektrapportering og
mål- og resultatstyring. Her uddybes ligheder og forskelle mellem de to bedøm-
melsesformer, som vi fokuserer på, det vil sige reviews og evalueringer.
Gennemgangen bygger på dokumenterne Evaluation Guidelines (Danida 1999) og
Guidelines for Project Management (Danida 2003B) og inddrager interview-
materiale, hvor det er relevant.
Danida skelner skarpt mellem reviews og evalueringer:
... vi holder sådan en meget skarp skillelinie. Hvis der er nogen, der bruger
ordet ’evaluering’ her i huset, så skal den lande [i Evalueringskontoret]. Der
laves mange studier, som ligner evalueringer, også reviews, der er meget
omfattende og tilbundsgående og så videre. Men de er ikke evalueringer – de
bliver ikke udsat for den samme kvalitetssikring og den samme uafhængighed,
som vi lægger i evalueringer, og de bliver heller ikke offentliggjort. Det gør
alle vores evalueringer. (OG)
Her opridser den citerede Danidamedarbejder kort, på hvilke punkter evalueringer og
reviews adskiller sig fra hinanden i Danidas terminologi. Det drejer sig dels om
offentliggørelse og dels om bedømmelsesaktiviteternes forskellige organisatoriske
forankring i Danida. Disse faktorer handler de kommende to underafsnit om.
7.1.1. Offentliggørelse
Af Danidas retningslinier for evalueringer fremgår det, at forskellen mellem
“evaluation” og “review” består i, at ”[T]he former is an inquiry that will be available
to the public, while the latter is an internal, periodic assessment” (Danida 1999:2). En
vigtig forskel mellem reviews og evalueringer er således, at førstnævnte er interne
arbejdsdokumenter, mens evalueringer er offentligt tilgængelige og som følge heraf
underlagt skrappere krav til uafhængighed og kvalitet. Den primære målgruppe for
69

eviews er aktører, som er involverede i et givent projekt eller program, idet reviews
betragtes som ”key management tools allowing national partners, Danish authorities
and any other donors involved in the project to assess progress and adjust the support
in light of changes in project context, sector development, and achievement of
objectives” (Danida 2003B:8). Hvor reviews retter sig mod organisationsinterne
målgrupper, er evalueringer henvendt til såvel interne som eksterne målgrupper. De
eksterne målgrupper for evalueringerne omfatter både ’offentligheden’ i Danmark og
i modtagerlandet (nærmere bestemt medier, borgere og beslutningstagere, Danida
1999:100ff.) samt NGO’er, andre donoragenturer og interessenter generelt. At
målgruppen for evalueringerne er bred og noget diffus illustreres tydeligt i disse
udsagn, hvor en af de interviewede Danidamedarbejdere forklarer os, at målgruppen
for evalueringer er ”nogen helt andre aktører i…i…i kredsen” (OG), mens en anden
ansat i Danida mener, at målgrupperne er ”dem ude i byen” og ”samarbejds-
partnerne” (OG). For at nå disse mange og heterogene målgrupper udgiver Danida
forskellige versioner af evalueringsrapporten: Dels den fulde rapport på engelsk, dels
en læsevenlig populærversion på dansk. Ved udgivelse af en evaluering udsendes
altid en pressemeddelelse, blandt andet for at imødekomme den del af evalueringer-
nes formål, som handler om at gøre offentligheden bekendt med udviklingsbistandens
aktiviteter og resultater. Interessen fra medierne er dog svingende:
Vi har i mange år holdt presseseminarer eller pressekonference, når vi har
offentliggjort en evaluering. Og der er det vores erfaring, at når vi sender
invitationen ud og ligesom giver et lille pip om, hvad evalueringen drejer sig
om – hvis den er kritisk, så kommer der syv journalister, hvis den positiv, så
kommer der ikke et øje. (OG).
Det er begrænset, hvor megen omtale en evaluering opnår i medierne, og dermed
hvor stort et kendskab befolkningen får til den. Dette underbygges af, at vores
søgning på avisdækningen i forbindelse med udgivelsen af den eneste større
evaluering af Danidas mediebistand (Danida 2000A) ikke gav noget resultat.
7.1.1.1. Offentliggørelse og symbolsk funktion
Vurderet i forhold til medieomtale og offentlighedens kendskab til
udviklingsbistandens resultater er der således ingen vægtig forskel mellem reviews
og evalueringer. Når offentliggørelse alligevel er et interessant parameter, skyldes
det, at evalueringer som offentlige dokumenter er en del af Danidas måde at varetage
kontakt til organisationens omverden på. Evalueringer besidder dermed en
”symbolsk” dimension (Dahler-Larsen 2004:31). Dermed menes, at evaluering ikke
kun udføres med henblik på at anvende resultaterne instrumentelt til at forbedre en
indsats, men også for at ”hjælpe en organisation med at genkende sig selv via en ydre
anerkendelse af, at der er tale om en acceptabel aktør, der anvender tidens
accepterede procedurer og tankefigurer til at løse accepterede problemer på
70

accepterede måder” (Dahler-Larsen 1998:131). Selve det at evaluere sender således
et signal til omverdenen og til Danida selv om, at Danida er en seriøs og omstillings-
parat organisation, der står inde for udviklingsbistandens kvalitet og er villig til at
”tage kontingens på sig” (Dahler-Larsen 2004:28). I kraft af offentliggørelsen spiller
evalueringer en vigtig rolle i forhold til at argumentere for udviklingsbistandens
legitimitet i forlængelse af kontroldiskursens krav om ansvarliggørelse 34 .
Det er årsagen til, at evalueringer er underlagt en skrappere kvalitetskontrol, samt at
retningslinierne for evalueringer er langt mere udbyggede end retningslinierne for
reviews. Danidas evalueringsretningslinier fylder således over hundrede sider
(Danida 1999), mens retningslinierne for reviews begrænser sig til fire sider (Danida
2003B:40-43).
7.1.2. Organisatorisk forankring
Reviews og evalueringer adskiller sig desuden ved at være forankret i forskellige
organisatoriske enheder i Danida. Dette kræver en nærmere forklaring, som bedst
gives ved at illustrere Danidas organisationsstruktur 35 :
Udenrigsministeren Udviklingsministeren
Direktøren
Ministersekretariat Ministersekretariat
Bistandsfaglig
tjeneste (BFT)
Evaluering af
udviklingsbistand
(EK)
Figur 7a
Kvalitetssikring af
udviklingsbistand
(KVA)
Udenrigsråd for
Sydgruppen
Ambassade Ambassade
Multilateral bistand:
(1) FN og Verdensbanken,
(2) FN’s
udviklingsbistand
Humanitær bistand
og NGO-samarbejde
Naboskabsprogrammet
Udviklingspolitik
Landekontorer:
(1) Afrika, (2) Asien,
(3) Mellemøsten,
Nordafrika, Latinamerika
Erhvervsinstrumenter
i
udviklingsbistanden
Miljø og
bæredygtighed
34 Begrebet ansvarliggørelse (accountability) definerer Danida som: ”An obligation for an organisation
or person who manages resources to answer or report to others – whether higher level authorities, a
donor or the public – about the intended and effective use of the resources and on the achievement of
results.” (Danida 1999:110).
35 Kilde: Organigram fremsendt 13. august 2004 af Ulla Braager, Kommunikationsenheden,
Udenrigsministeriet.
71

I organigrammet er de fire enheder fremhævet, som er særligt interessante i
forbindelse med bestilling, udførelse og anvendelse af evalueringer og reviews af
mediebistand. Betragter man evalueringer isoleret, er det EK, som bestiller, designer
og har ansvaret for opfølgning på evalueringer. Anderledes forholder det sig med
reviews, idet opdragsgiverfunktionen her er fordelt på flere hænder: dels på den
bevilgende enhed (en ambassade eller et landekontor), som er ansvarlig for bestilling
af og opfølgning på reviews, og dels på Bistandsfaglig Tjeneste (BFT), som varetager
reviewdesignet og i enkelte tilfælde også deltager i udførelsen. Vi uddyber de enkelte
enheders roller i det følgende.
7.1.2.1. Evalueringskontoret
Som det fremgår af organigrammet, er EK organiseret som en specialenhed med
direkte reference til Udenrigsråden for Sydgruppen. Denne organisatoriske placering
betyder, at EK på én gang er uafhængig af og samtidig tæt på de ansatte i Danida, der
arbejder med udviklingsbistand på et strategisk og operationelt plan. Netop EK’s
placering har flere gange været genstand for offentlig debat, idet der jævnligt er
blevet sået tvivl om, hvorvidt evalueringerne kan betragtes som troværdige og
upartiske, når EK er en del af den organisation, som evalueres (Danida 2003A:2).
7.1.2.2. Bevilgende enheder
Den opdragsgiverfunktion, som EK varetager i forbindelse med evaluering, er for
reviews’ vedkommende placeret i den enhed, som har ansvaret for bevillingen til det
reviewede projekt/program. Bevillingerne til mediebistandsprojekter varetages i dag
af ambassaderne, idet forvaltningen af projekter med en samlet årlig bevilling under
30 mio. kr. blev pr. 1. september 2003 decentraliseret fra tidligere at have hørt under
Danidas lande- og policykontorer i København. Eftersom vores indsamling af empiri
går tilbage til 2000, indgår der også eksempler på reviews, som er iværksat af
Danidas landekontorer, hvorfor vi taler om ’bevilgende enheder’ frem for blot
’ambassader’. En bevilgende enhed varetager løbende kontakt til projekt-
organisationen og sikrer monitorering af de støttede aktiviteter.
7.1.2.3. Bistandsfaglig tjeneste
Den bistandsfaglige tjeneste (BFT) er en selvstændig enhed i Danida, hvis
medarbejdere er fagpersoner med en specifik, faglig viden om bistandsrelevante
emner, eksempelvis sundhed, miljø eller god regeringsførelse. I BFT er der ansat en
medarbejder med mediebistand som en del af sit ansvarsområde. BFT har en
rådgivende funktion i forhold til Danidas beslutningstagende og bevilgende enheder
og vejleder blandt andet om planlægning, implementering, reviews og evaluering af
bistandsaktiviteter.
72

7.1.2.4. Ansvar og roller
EK’s, BFT’s og de bevilgende enheders ansvar og roller i forbindelse med
evalueringer og reviews fremgår af nedenstående skema, hvor vi skelner mellem fire
trin i processen:
Initiering refererer til den proces, hvor det vedtages, at en evaluering eller et
reviews skal sættes i gang, samt hvad bedømmelsen skal fokusere på.
Design: I designfasen præciseres formål og emne, og der træffes valg om
konsulentholdets sammensætning, kommissorium, metode, svarpersoner,
evalueringskriterier og tidsramme.
Udførelse omfatter dataindsamling og -analyse i forbindelse med dokument- og
feltstudier samt afrapportering.
Opfølgning beskriver tre trin: distribution af rapporten, gyldiggørelse forstået
som den proces, hvor aktørerne vurderer resultaternes validitet og relevans samt
konsekvensdragelse: legitimering og iværksættelse af handlinger på baggrund af
den indsamlede viden.
Inddelingen er inspireret af Dahler-Larsen (2004:41ff.) 36 og Andersen Management
International A/S (AMI 2003:9) 37 .
Initiering
Design
Udførelse
Opfølgning
Figur 7b
EK
Evalueringer
EK (i samråd med BFT, den bevilgende
enhed og de evaluerede aktører)
Eksterne konsulenter
EK (i samråd med BFT, den bevilgende
enhed og de evaluerede aktører)
Reviews
Den bevilgende enhed
Den bevilgende enhed (i samråd med BFT
og de evaluerede aktører)
Eksterne konsulenter (undtagelsesvist
interne konsulenter)
Den bevilgende enhed (i samråd med BFT
og de evaluerede aktører)
I det følgende gennemgår vi fællestræk og forskelle mellem de strukturer og
retningslinier, som gælder for henholdsvis reviews og evalueringer på de fire trin.
36 Dahler-Larsen inddeler en evalueringsproces i otte trin: (1) Initiering, (2) Dagsorden (fastsættelse af
evalueringens overordnede fokus), (3) Vidensforvaltning og –organisering, (4) Design, (5)
Dataindsamling, (6) Analyse og sammenfatning, (7) Gyldiggørelse, (8) Konsekvensdragelse. Fordelen
ved Dahler-Larsens model er, at han ikke forstår trinnene som kronologisk skarpt adskilte faser, men
snarere som momenter, der kan overlappe og påvirke hinanden. Da vi ikke analyserer de enkelte
evalueringsforløb med samme detaljeringsgrad som Dahler-Larsen kondenserer vi for overblikkets skyld
hans otte trin til fire.
37 Analyseinstituttet AMI opererer i deres gennemgang af Danidas evalueringsstruktur med syv faser i et
evalueringsforløb: (1) Evalueringskommissorium og struktur, (2) Valg af konsulenter, (3) Indledende
undersøgelser, (4) Evalueringsplan, (5) Feltarbejde, (6) Rapportudkast, (7) Opfølgning og udgivelse. Vi
supplerer Dahler-Larsens otte trin med AMI’s fasemodel, da disse forholder sig specifikt til Danidas
evalueringsstruktur.
73

7.1.3. Initiering
7.1.3.1. Evalueringer
EK varetager såvel igangsættelse som afslutning af alle evalueringer, der foretages i
Danida. Evalueringernes antal og tidsmæssige placering besluttes i en rullende
treårsplan, der opdateres hvert år under inddragelse af relevante departementer i
Udenrigsministeriet, ambassaderne, Danidas Styrelse og Folketingets Udenrigs-
udvalg (Danida 1999:36). Første trin i en evalueringsproces består i briefing af de
involverede parter. Ved større evalueringer foregår dette ved, at EK udarbejder et
såkaldt ”approach paper” 38 . Heri foreslås et overordnet formål med den pågældende
evaluering, hvilke temaer der skal dækkes, samt hvilken tids- og handlingsplan
evalueringsprocessen kan foregå efter. Formålet med evalueringer er ifølge evalue-
ringsretningslinierne dobbelt, idet de både skal bidrage til erfaringsopsamling
(læring) og dokumentation af bistandens effekter (kontrol) (Danida 1999:7).
7.1.3.2. Reviews
Hvornår et projekt skal gennemgå et review er fastlagt fra projektets start og fremgår
af projektplanen 39 . Man skelner i Danida mellem midtvejsreviews, hvis primære
formål det er at foreslå justeringer for resten af den indeværende projektfase, og
slutreviews, som sigter mod en vurdering af, om bevillingen skal forlænges med
endnu en fase. Vægtningen af formålene erfaringsopsamling/læring og
dokumentation/kontrol afhænger således af, hvornår i en projektfase reviewet er
placeret. En Danida-medarbejder beskriver formålet således: ”Review er den der
stock taking på basis af, hvad der er lavet, og så med et fremadrettet perspektiv”
(OG). At reviews har en orientering mod en fremtidig indsats betyder, at de ofte
foretages i sammenhæng med udarbejdelsen af fremadrettede projektdokumenter og
handlingsplaner.
7.1.3.3. Forskelle og fællestræk
For både reviews og evalueringer gælder det, at Danida stort set er enerådende i
forhold til at beslutte, hvorvidt og hvornår en vurdering af et mediebistandsprojekt
skal sættes i gang. Principielt har interessenter i både modtagerlandet og Danmark
mulighed for at komme med ønsker til den treårige evalueringsplan. EK har i et
enkelt tilfælde været ude for, at Folketingets Udenrigsudvalg er fremkommet med et
sådant ønske, men ellers er EK’s udkast til evalueringsprogrammer blevet godkendt
uden ændringer. For reviews gælder det, at partnerne i princippet har indflydelse på
38 Approach-papiret udsendes til information og kommentering hos de involverede regionskontorer i
Danida, relevante ambassader samt modtagerorganisationer (Danida 1999:38). For særligt komplekse
områder med mange involverede aktører kan der afholdes en workshop om de emner, approach-papiret
omfatter, og der kan desuden nedsættes en referencegruppe bestående af interne eller eksterne
ressourcepersoner, der følger evalueringsforløbet fra start til slut.
39 Reviews kan dog også foretages på direkte foranledning af den bevilgende enhed eller et projekts
styregruppe, hvis det vurderes hensigtsmæssigt (Danida 2003:40).
74

projektplanerne og dermed på fastsættelsen af tidspunkter for reviews, ligesom der
også foreligger en teoretisk mulighed for, at de beder om at få fremskyndet et review,
hvis særlige forhold gør sig gældende. Vi er dog ikke bekendt med eksempler på, at
en partner på denne måde har søgt indflydelse på initieringen af et review. Til
gengæld har vi hørt om flere tilfælde, hvor partnerne har bedt om at få udskudt et
review begrundet i et ønske om arbejdsro, uden at Danida dog har imødekommet
dette ønske. Vi finder det derfor rimeligt at hævde, at Danida i realiteten er den
eneste aktør, som har noget at skulle have sagt i initieringsfasen. Dette er en
væsentlig pointe i forhold til diskussionen om kontrol versus læring, da der i
initieringsfasen grundlægges et ejerskab til den pågældende bedømmelsesaktivitet,
ligesom det signaleres, at det er Danida, der vurderer partnerne – ikke omvendt.
7.1.4. Design
Designfasen omfatter to trin: udarbejdelse af et kommissorium 40 samt udvælgelse af
konsulenthold.
7.1.4.1. Evalueringer
EK er ansvarlig for at formulere et forslag til et kommissorium, der fungerer som
oplæg til forhandling og diskussion mellem de involverede parter, det vil for
eksempel sige bevilgende enheder, BFT, relevante partnerorganisationer,
interessenter og eksterne konsulenter (Danida 1999:39). Målet er at give de berørte
aktører mulighed for indflydelse i denne fase. Parallelt med udarbejdelsen af
kommissoriet sammensættes evalueringsholdet, hvilket ligeledes sker i samarbejde
med de involverede dele af Danida og de evaluerede aktører. Kriterier for udvælgelse
af konsulenter til holdet er ”professional competence, impartiality, and experience in
relation to the task” (Danida 1999:41) 41 . Man prioriterer således på baggrund af
erfaring og faglighed, men også uafhængighed er afgørende, idet evaluatorerne ikke
må have tilknytning til de undersøgte udviklingsaktiviteter (Danida 1999:8).
7.1.4.2. Reviews
I forbindelse med reviews står den bevilgende enhed for udvælgelsen af konsulenter.
Som oftest sker dette i tæt samråd med BFT, da den ansvarlige medarbejder i den
bevilgende enhed typisk har et begrænset kendskab til mediebistandsområdet som
følge af Danidas rotationsordning. Denne ordning redegør vi for senere. Retnings-
linierne for reviews stiller – som for evalueringer – krav om, at reviews skal foretages
40 Både konsulenter, partnere og medarbejderne i Danida anvender den engelske term: ”Terms of
Reference” eller i daglig tale blot ”terms”.
41 Af en udredning af Danidas evalueringsfunktion, som er foretaget i 2003, fremgår det, at 95 % af
Danidas evalueringsopgaver udbydes i licitation, og at 40 % af opgaverne udføres af udenlandske
konsulentfirmaer (Danida 2003A:11).
75

af eksterne konsulenter 42 . Imidlertid er der eksempler på, at Danidas egne ansatte
udfører reviews 43 . Den bevilgende enhed udarbejder endvidere et udkast til
kommissorium, som runder BFT, hvorefter den bevilgende enhed godkender de
eventuelle ændringer, BFT måtte foreslå. Dernæst får det udpegede konsulenthold og
de evaluerede aktører mulighed for at kommentere på indholdet, og på baggrund
heraf foretages eventuelle justeringer.
7.1.4.3. Forskelle og fællestræk
Et fællestræk mellem evalueringer og reviews er, at Danida i designfasen arbejder ud
fra et ideal om, at flest mulige interessenter skal inddrages i forløbet. Man kan sige,
at Danida dermed søger at rette op på den ejerskabsskævhed, som grundlægges i
initieringsfasen. Hvorvidt og under hvilke omstændigheder, det lykkes Danida at
inddrage og engagere Danidas partnere og andre aktører, behandler vi i afsnit
12.1.3.1.
7.1.5. Udførelse
Udførelsen af reviews og evalueringer varetages af de valgte konsulenter og består
typisk af tre dele: (A) et dokumentstudium, og (B) et feltstudium, hvor konsulent-
teamet besøger det pågældende projekt eller program 44 . Afslutningsvist foregår der
(C) en afrapportering, der omfatter en såkaldt debriefing til de involverede aktører
samt udfærdigelse af den endelige rapport. Retningslinierne for henholdsvis reviews
og evalueringer udspecificerer ikke, hvordan dokumentstudium, feltstudium og
afrapportering skal foregå. Det varierer fra undersøgelse til undersøgelse og afhænger
i nogen grad af kommissoriet samt i høj grad af de konsulenter, som udfører evalue-
ringen. Vores dokumentanalyse viser, at Danida kun i ganske få tilfælde opstiller
krav til metode i kommissorierne. Af de otte analyserede kommissorier indeholder
kun ét deciderede metodiske anvisninger (MISA 01/02), tre kommissorier angiver
ingen krav til metode (NSJ 02, MISA 02 & Zambia 02), mens metodeanvisningerne i
de resterende fire kommissorier må betegnes som uspecifikke. Et eksempel på en
sådan uspecifik metodeanvisning er denne formulering: “It consists of a desk study
and possibly a field study.” (Danida 2000A:52, vus). Årsagen til de manglende eller
vage metodeanvisninger er et bevidst valg fra Danidas side:
Vi gør i vores Terms of Reference ikke ret meget ud af metodeovervejelser.
(…) Andre donorer går meget langt med at eksplicitere metoderne, og så er det
42 Internationale trends tyder på, at kravet om anvendelse af eksterne konsulenter i forbindelse med
reviews bliver mere dominerende. I hvert fald er det for nylig besluttet, at alle reviews udført under FNorganisationer
som eksempelvis UNDP og UNESCO skal varetages af eksterne konsulenter.
43 I tre ud af de i alt fem reviewrapporter, som indgår i vores empiri, deltager en Danidaansat på
reviewmissionen. I reviewet af MISA i 2004 varetog den Danida-ansatte konsulent funktionen som
reviewer (evaluator) i samarbejde med en ekstern konsulent. I reviewene af mediestøtten til Bangladesh
i 2002 og til støtten til NSJ 2003 deltog den deltagende Danida-ansatte ikke i selve den retrospektive
vurderingsdel af reviewarbejdet, men i en tilknyttet fremadrettet formulering af fremtidige
støttemuligheder (en såkaldt ”formulation” eller ”appraisal”).
44 Feltstudiet kan udelades, hvilket evalueringen af MISA fra 2002 er et eksempel på (bilag 7).
76

i sidste ende i et spørgsmål om at finde kvalificerede folk. Vi vil godt have
deres inputs til, hvordan kan de løse opgaven. Vi giver nogle gange vejledning
til metodevalg, hvad vi gerne ser, men ikke i detaljer. (OG)
Konsekvensen er, at anvendelsen af metoder i høj grad afhænger af de enkelte
konsulenter og disses fagligheder og præferencer, samt at der er stor variation mellem
de enkelte reviews og evalueringer. Vi vil derfor ikke som i de foregående
underafsnit skelne mellem evalueringer og reviews, men i stedet beskrive typiske
forhold, som gør sig gældende i forbindelse med de tre dele af udførelsen.
7.1.5.1. Dokumentstudier
I dokumentstudiet sætter konsulenterne sig ind i den eksisterende projekt-
rapportering. Der er ofte tale om ganske mange typer dokumenter, som vi kort vil
beskrive her. Vi henviser til bilag 5 for en uddybning. Danida stiller i sine retnings-
linier for projektledelse krav til omfang, antal og karakter af den dokumentation, som
skal udarbejdes i en projektcyklus. Danida inddeler projektcyklussen i tre faser:
forberedelse, implementering og afslutning (Danida 2003B:11), og de obligatoriske
dokumenter, som skal udarbejdes i hver fase af enten projektorganisationen, ambas-
saden eller EK fremgår af denne model 45 :
Forberedelse
Identification/Preparation
report
Vurdering af muligheder
Implementering
Arbejdsplan/budget
Afrapportering fra projekt
til ambassade
Afslutning
Project Completion
Report
D. bev. enheds rapport
Figur 7c
Appraisal
Teknisk-faglig
vurdering
Project Progress
Report
Opfyldelse af mål
Evaluering
(ikke obligatorisk)
Project Document
Mål, strategier,
metoder
Review
Den bevilgende enhed har det overordnede dokumentationsansvar i forbindelse med
mediebistandsprojekter, idet denne skal tilse udarbejdelsen af alle tre forberedelses-
dokumenter, reviewet og den afsluttende Project Completion Report, som opsamles
og arkiveres centralt i Danida hos EK. Den løbende projektrapportering, hvilket vil
sige arbejdsplaner/budgetter, Project Progress Reports og Process Action Plans skal
udarbejdes af projektorganisationen på baggrund af formater fastlagt i Danidas ret-
45 Figuren illustrerer udelukkende de obligatoriske dokumenter i en projektcyklus - plus evalueringer.
Dertil kommer en række andre dokumenter, som kan udarbejdes afhængig af projektets størrelse eller
hvis særlige omstændigheder gør sig gældende (Danida 2003B:11f.).
Process Action Plan
Opfølgningsdokument
77

ningslinier for projektledelse (Danida 200B3:35ff.). Figuren illustrerer, at der i de
dokumentstudier, der foretages som en del af et review, indgår minimum fem
dokumenttyper. I evalueringers dokumentstudiedel skal der som et minimum
inddrages hele otte dokumenttyper, hvilket udgør en del af forklaringen på, at denne
del af review-/evalueringsudførelsen ofte kræver mere tid end planlagt. Denne pointe
vender vi tilbage til i kapitel 11.
7.1.5.2. Feltstudier
Den praktiske koordinering af feltstudiet og kontakt til interviewpersoner sker i et
samarbejde mellem konsulentholdet og den projektansvarlige ambassade, der forud
for konsulenternes ankomst indgår interviewaftaler og sørger for indlogering og
transport. Et feltstudieprogram kan eksempelvis omfatte enkeltinterviews,
observationer, besøg på projekter, workshops og møder med målgruppen og andre
interessenter. I kapitel 10 behandler vi indgående de forhandlinger, som finder sted
under feltstudierne mellem konsulenter, de evaluerede aktører og ambassa-
den/Danida.
7.1.5.3. Afrapportering
Afrapportering består af tre trin: Inden konsulenternes afrejse fra felten afholdes en
debriefing. En sådan debriefing kan foregå mundtligt som en diskussion mellem
konsulenterne, de evaluerede aktører og repræsentanter for ambassaden. Den kan
også foregå skriftligt – det vil sige, ved at konsulenterne sender en foreløbig oversigt
over konklusioner til de implicerede parter. Konsulenterne udarbejder dernæst udkast
til rapporten, som igen bliver distribueret til de involverede aktører, der har mulighed
for at kommentere for sidste gang. Herefter udarbejdes den endelige rapport, som
distribueres af den bevilgende enhed eller af EK til interne og/eller eksterne målgrup-
per, afhængigt af om der er tale om et review eller en evaluering.
7.1.6. Opfølgning
7.1.6.1. Evalueringer
EK har ansvaret for, at Danida følger op på de gennemførte evalueringer. Det sker
ved, at EK tilser, at de involverede enheder i Danida samt Danidas partnere
udarbejder et opfølgningspapir, der opstiller de konkrete tiltag, Danida vil tage for at
følge op på rapportens konklusioner og anbefalinger (Danida 1999:46). EK under-
søger herefter løbende, om planen følges, og at evalueringen dermed bidrager til
kvalitetssikring af Danidas bistandsaktiviteter. Det er ligeledes EK, som formidler
evalueringsresultaterne til interne og eksterne målgrupper.
7.1.6.2. Reviews
For reviews gælder det, at den bevilgende enhed er ansvarlig for distribution af
rapporten til de evaluerede aktører og til BFT, og endvidere bliver den via det interne
78

netværk gjort tilgængelig for alle medarbejdere i Danida. Den bevilgende enhed har
ligeledes ansvaret for, at der bliver lavet et opfølgningsnotat (Process Action Plan, jf.
figur 7c), hvor man forholder sig til rapporten, samt til hvorledes anbefalingerne kan
imødekommes.
7.1.6.3. Forskelle og fællestræk
Den vigtigste forskel mellem procedurerne i forbindelse med opfølgning på reviews
og evalueringer er, at evalueringsopfølgningen er forankret i EK, som er en
organisatorisk enhed uden for rotationsordningen. Det vil sige, at medarbejderstaben
er relativt stabil og har mulighed for at følge evalueringen og opfølgningen over
længere tid. Modsat er ansvaret for opfølgning af reviews placeret i de bevilgende
enheder, hvor medarbejderne er under rotation. Vi beskriver rotationsordningen og
dens konsekvenser i redegørelsen for Danida som praksisfællesskab i afsnit 7.2.
7.1.7. Forskelle og ligheder mellem reviews og evalueringer
Vi har nu redegjort for de organisatoriske rammer og formelle procedurer, som
gælder for reviews og evalueringer i Danida, og har i den forbindelse peget på en
række forskelle og ligheder, hvoraf nogle synes væsentligere end andre. Først og
fremmest adskiller evalueringer sig fra reviews ved at være offentlige dokumenter
med en symbolsk funktion i forhold til at varetage forholdet mellem Danida og
organisationens omverden. Desuden spiller det en vigtig rolle, at reviews er forankret
i bevilgende enheder, som er underlagt rotationsordningen, mens ansvaret for
evalueringer er placeret i EK. En sidste forskel er, at retningslinierne for evalueringer
er langt mere udbyggede og præcise end for reviews. Dette betyder i praksis, at
evalueringsretningslinierne – eksempelvis i forhold til anvendelse af bestemte
evalueringskriterier, håndhævelse af uafhængighedskriteriet i udvælgelsen af
konsulenter med mere – forplanter sig nedad i dokumenthierarkiet og således også
anvendes i forbindelse med reviews. Derfor minder reviews ofte om evalueringer,
både hvad angår anvendte metoder, form og indhold:
... en gang i mellem så er det sådan lidt semantik, altså et godt og grundigt
reviewstudie kan være lige så værdifuldt som en evaluering. Så man skal ikke
sådan sige, at det ene er bedre end det andet, men de opfylder forskellige
målsætninger. (OG)
Præcis hvilke ”forskellige målsætninger”, der er tale om, fremgår dog ikke klart –
hverken af Danidas retningslinier eller af de interviewede Danidamedarbejderes
udsagn. Eksempelvis har flere medarbejdere udtrykt, at det læringsformål,
henholdsvis reviews og evalueringer har, ikke er det samme – eksempelvis sigter
evalueringernes læringsdimension primært mod Danidas organisation, og reviews’
ditto mod projektorganisationerne, mener en medarbejder. En anden mener
imidlertid, at forskellen består i, at det læringsmæssige udbytte af evalueringer er
forholdsvist begrænset, de tjener i højere grad til en bagudrettet kontrol af Danidas
79

indsats i en region eller sektor, mens reviews har læring som det fremmeste mål, og
kontrollen er sekundær. Vi vil tillade os at se den interne uenighed, der er skitseret
her, som udtryk for, at der ikke eksisterer en fælles holdning til, hvori den eksakte
forskel mellem formålene med reviews og evalueringer består, samt at forskellene er
så små, at man ikke kan argumentere for at opretholde et så skarpt analytisk skel
mellem reviews og evalueringer, sådan som Danidas medarbejdere ellers har
opfordret os til. I vores udredning af samspillet mellem læring og kontrol vil vi derfor
– med ovenstående forskelle in mente – behandle reviews og evalueringer under et,
hvor intet andet er nævnt.
7.2. Danida, konsulenter og partnere – tre
praksisfællesskaber
Fra at have karakteriseret grænseobjekterne, evalueringer og reviews, vender vi nu
blikket mod de praksisfællesskaber, som interagerer igennem grænseobjekterne. Det
drejer sig om Danida, de eksterne konsulenter og Danidas partnerorganisationer. Vi
har tidligere skelnet mellem fire roller, der indgår i en evaluerings-/reviewproces (se
afsnit 1.4.2.). Af skemaet neden for fremgår det, hvilke roller de tre nævnte
praksisfællesskaber indtager i løbet af processen:
Opdragsgiver
Evaluator/reviewer
Evalueret aktør
Målgruppe
Figur 7d
Danida Eksterne konsulenter Danidas partnere
X
(X)
X
X
Danidas rolle i evaluerings- og reviewsammenhæng er – som det fremgår af figuren –
kompleks og sammensat, idet organisationen, eller rettere forskellige dele af
organisationen, indtager alle funktioner undervejs i processen. I afsnit 7.1.
underinddelte vi praksisfællesskabet Danida i en række mindre enheder – herunder
EK, BFT og de bevilgende enheder. EK og de bevilgende enheder har rollen som
opdragsgivere, og i visse tilfælde agerer BFT reviewere (interne konsulenter). De
bevilgende enheders arbejde er desuden genstand for evaluering og review, hvorfor
Danida også i mange tilfælde kan karakteriseres som en evalueret aktør. Endelig
udgør Danida en af de interne målgrupper for både reviews og evalueringer. Det er
imidlertid i rollen som opdragsgiver, Danida er mest interessant i forhold til den
aktuelle problemstilling. I vores ordvalg tillader vi os derfor at reducere
kompleksiteten ved at anvende betegnelsen opdragsgiver synonymt med Danida.
De eksterne konsulenter agerer som evaluatorer/reviewere, og om disse aktører
anvender vi betegnelserne: konsulent, evalueringshold og reviewhold.
X
(X)
X
X
80

Danidas partnere er først og fremmest evaluerede aktører, hvorfor vi anvender de to
betegnelser – partnere og evaluerede aktører – synonymt. Ydermere er de en del af
målgruppen for både reviews og evalueringer, og i tilfælde, hvor man kan tale om
’selvevaluering’, indtager partnerne også i rollen som evaluatorer/reviewere.
På de følgende sider karakteriseres de tre aktørgrupper som praksisfællesskaber med
hver deres arbejdsmetoder, fysiske rammer, organisationsstrukturer, aktiviteter samt
interaktions- og kommunikationsformer. Fokus er lagt på særlige forhold, som har
betydning for analysen af forhandlingerne i forbindelse med evalueringer og reviews.
7.2.1. Opdragsgiveren: Danida
7.2.1.1. Rotation
Danida er først og fremmest præget af den såkaldte rotationsordning, som vi allerede
har nævnt et par gange. Den består i, at Danidas medarbejdere hvert, hvert andet eller
hvert tredje år skifter kontor og arbejdsområde. Eftersom en stor del af Udenrigsmini-
steriets opgaver løses på repræsentationer i udlandet, så betyder rotationen, at
medarbejderne med nogle års mellemrum bliver udstationeret for en periode. Når
man i Udenrigsministeriet organiserer sig på denne måde, skyldes det frem for alt, at
det er en nødvendighed for at kunne holde på de ansatte, fordi det af hensyn til
familie og karriere ikke lader sig gøre for en stor del af medarbejderne at blive
udstationeret i en længere årrække. Konsekvenserne af rotationen er imidlertid
mange, og ikke mindst for et lille område som mediebistanden har det betydning, at
der med en relativt høj frekvens er udskiftning blandt de ansvarlige medarbejdere.
Rotationsordningen betyder, at de ansatte i de bevilgende enheder som hovedregel
ikke har et forhåndskendskab til mediebistand, samt at de ikke når at oparbejde en
grundig viden i løbet af deres relativt korte udstationering. BFT er et forsøg på at
kompensere for rotationsordningens konsekvenser og sikre en faglig specialviden og
kontinuitet:
… grunden til, at, at det er BFT, som fagteknikere, der ved mest om
programmerne, det er fordi de har normalt haft en større kontinuitet i huset.
Hvor resten af huset har jo cirkuleret med rimelig høj hastighed, og det gør jo
så, at folk, måske i Afrika-kontoret, der har siddet med NSJ eller MISA, har
siddet med det i et halvt eller et helt år, måske op til to år, hvis de har været
rigtig, rigtig heldige. Og det er altså sjældent set.
Den faglige viden og det store overblik befinder sig således i København, mens det er
medarbejderen på ambassaden, der har kendskab til projekternes fremdrift, aktuelle
problemer og samfundsmæssige kontekst. Rotationsordningen udgør en stor
udfordring i forhold til at realisere Danida som ’en lærende organisation’ (jf. afsnit
4.3), idet der er risiko for, at mange pointer og erfaringer går tabt. Vi vender i
81

analysen tilbage til denne problematik, når vi i afsnit 12.2.2. ser nærmere på de
konkrete konsekvenser af rotationsordningen.
7.2.1.2. Travlhed
Et andet kendetegn ved Danidas organisation er den travlhed, der præger de fleste
medarbejderes hverdag, og som er blevet skærpet i forbindelse med en række
nedskæringer i medarbejderstaben, der har fundet sted i løbet af de seneste tre til fire
år. Travlheden giver sig udslag i, at der ikke er én medarbejder i Danida, som blot
beskæftiger sig med mediebistand. Området varetages af en person i BFT, som
desuden er ansvarlig for aktiviteter, der vedrører køns- og ligestillingsaspekter samt
oprindelige folks rettigheder.
7.2.2. Evaluatorerne: Eksterne konsulenter
Blandt andet for at kompensere for travlheden og den manglende fagspecifikke viden
i Danida, benytter organisationen sig i vidt omfang af ekstern konsulentbistand.
Samlet set køber Danida sig således årligt til eksterne konsulentydelser for lidt over
600 mio. kr. (Katîc 2004). På medieområdet er der primært tale om to former for
konsulentydelser: dels såkaldte ’rådgivningsopgaver’, hvor en ekstern konsulent
hyres til at rådgive et bestemt mediebistandsprojekt eller -program i kortere eller
længere tid, dels opgaver i forbindelse med udarbejdelse af reviews, evalueringer
eller en af de andre dokumentationsopgaver, vi redegjorde for i afsnit 7.1.5.1.
7.2.2.1. Økonomisk afhængighed af Danida
Mediebistand er et lille felt. For det første fylder det ikke meget på Danidas budget,
for det andet er der ikke mange donorer/opdragsgivere på feltet, og for det tredje er
der ganske få konsulenter, som er specialiserede inden for netop medier, demokrati
og udvikling. Det betyder, at der er mange gengangere blandt de eksterne
konsulenter, som Danida benytter sig af, og at disse gengangere følgelig er
økonomisk afhængige af at få opgaver fra Danida. Graden af økonomisk
afhængighed varierer, alt efter om der er tale om fuldtidskonsulenter eller om
eksempelvis forskere og undervisere ved højere læreanstalter, som har en anden
primærindkomst. Den samlede gruppe af mediekyndige konsulenter, som anvendes af
Danida, betegnes i daglig tale ’ressourcebasen’.
7.2.2.2. Engagement
Et vigtigt kendetegn ved de eksterne konsulenter, som Danida gør brug af på
medieområdet, er, at de typisk har et stort fagligt og idealistisk engagement i
mediebistand. Det kommer til udtryk i tilstedeværelsen af subjektive
holdningstilkendegivelser i rapporterne. Nedenstående citat er et eksempel på en
tilkendegivelse, idet forfatteren ved brug af modalverbet ”should” markerer sine
personlige normer for både køns- og mediepolitik:
82

Media workers should also be intellectual activists, political thinkers and
knowledgeable commentators on art and culture, science and philosophy, on
history (her story) governance and human rights. (MISA 04:25)
Desuden udtrykkes engagementet i de interviews, vi har gennemført, hvor der tegner
sig et billede af, at konsulenterne nærer et stort ønske om at kunne bidrage til
videreudvikling og forbedring af mediebistanden. Dette ønske udmønter sig blandt
andet i en frustration over ikke at kunne følge et review eller en evaluering til dørs,
idet man som ekstern konsulent slipper processen, når den endelige rapport
godkendes af Danida. Konsulenterne har derfor ingen indflydelse på evalueringens/
reviewets videre skæbne eller på, hvilke konsekvenser partnerne og Danida drager af
konklusionerne. Dette oplever samtlige af de interviewede konsulenter som
frustrerende:
Det synes jeg nemlig er et meget stort problem: at man afleverer sin rapport, og
så er man ude af det projekt. Og så har man ikke nogen… altså så skal man
jo… (P1). Man har ikke nogen ret til ligesom… at få at vide, hvad det er, der
sket. Så skal du altså rende rundt selv og skaffe de der oplysninger, ikke, og
irritere folk med at spørge og spørge, ikke? Altså, det synes jeg er et stort
problem, det er den manglende kontinuitet. Det er… det er det værste ved at
arbejde som konsulent, synes jeg. At du… Du arbejder og er totalt engageret i
et projekt i øh… altså sådan en reviewproces tager jo over en måned, ikke, når
du tager forbehold… nok seks uger… seks uger til to måneder, ikke? (…)
Totalt engageret i det der, ikke? Og så øh... afleverer du en rapport, og så…
hører du ikke mere. (P3). (KS)
Som denne konsulent forklarer, skyldes frustrationen det bratte skift fra at have det
fulde ansvar og være ”totalt engageret” til ikke alene at miste berøringen med
processen, men også at miste retten til ”at få at vide, hvad det er, der er sket”. Vi
behandler konsulenternes engagement i mediebistanden og deres økonomiske
afhængighed af Danida mere indgående i kapitel 10.
7.2.3. De evaluerede aktører: Danidas partnere
Som det fremgik af begrebsafklaringen i afsnit 1.4.1. anvender vi betegnelsen
’Danidas partnere’ om projektorganisationer og eksterne implementerende
organisationer (IO).
7.2.3.1. Projektorganisationer
Projektorganisationer er ansvarlige for driften af et medieprojekt, eksempelvis en
journalistisk efteruddannelsesinstitution, et medieinstitut, en lokalradio eller
lignende, og har i udgangspunktet hjemsted i Danidas programsamarbejdslande i
Afrika, Asien og Latinamerika. Dog er der inden for mediebistanden enkelte
eksempler på projektorganisationer med base i Danmark. Fælles for dem alle er, at de
opererer med usikre fremtidshorisonter, idet støtten fra Danida typisk bevilges i faser
af to til tre års varighed. Hvorvidt støtten forlænges, afhænger blandt andet af
konklusionerne på reviews og/eller evalueringer, men også andre faktorer som for
83

eksempel skiftende danske regeringers forskellige politiske prioriteringer kan være
udslaggivende herfor.
Den kompetente projektorganisation
En anseelig del af kommunikationen mellem Danida og projektorganisationerne sker
i form af dokumentation og løbende rapportering, hvoraf de periodiske reviews samt
eventuelle evalueringer udgør en mindre del. Som nævnt er der en række formelle
krav og procedurer, der gør sig gældende i forbindelse med udarbejdelsen af
projektrapportering – krav og procedurer, som er fastsat af Danida. Således foregår
kommunikationen mellem projekterne og donoren i vidt omfang på sidstnævntes
præmisser, hvorfor det er væsentligt for en projektorganisation at besidde en række
kompetencer i form af et bestemt sæt arbejdsmetoder og en bestemt sprogbrug, som
er gængse inden for donorverdenen. Hvorvidt en projektorganisation besidder disse
kompetencer afhænger af tre faktorer. Først og fremmest spiller det en rolle, hvor
længe organisationen har indgået i partnerskabet med Danida, idet den med tiden vil
tilegne sig erfaringer og viden om de vilkår, praksisfællesskabet fungerer under
(Bowker & Star 1999:299). For det andet har medarbejdernes uddannelsesniveau
betydning, idet projektrapportering og andre bedømmelsesaktiviteter i høj grad
kræver tekniske og akademiske forudsætninger. Endelig spiller geografien ind. Jo
længere væk – både fysisk og kulturelt – en projektorganisation befinder sig fra
Asiatisk Plads i København, desto vanskeligere kan det være at forstå Danidas
struktur og kultur. Med henblik på at øge en projektorganisations kompetencer kan
det derfor være en fordel for organisationen (og Danida) at have tilknyttet en
rådgiver.
Rådgiverrollen
En rådgiver kan enten være en fuldtidsansat, udstationeret person, der fungerer som
daglig leder af et mediebistandsprojekt, eller en deltidsansat rådgiver, som jævnligt
besøger et projekt, men ellers er bosat i Danmark. Det er projektets karakter og
størrelse, der afgør hvilken rådgivertype, man ansætter: Jo større projektet er, jo
større vurderes behovet for at ansætte en udstationeret rådgiver.
7.2.3.2. Eksterne implementerende organisationer
En IO er mellemled mellem Danida og projektorganisationen, og den er således
forpligtet over for begge parter. Over for donor er IO ansvarlig for at implementere
og dokumentere projektet og skal desuden foretage opfølgning på reviews og
evalueringer. Sideløbende med disse forpligtelser over for donor indgår IO som en
uadskillelig del af projektorganisationen og er ofte involveret i den daglige drift. En
IO varetager således i mange tilfælde udarbejdelse af arbejdsplaner og budgetter,
ansættelse af medarbejdere samt sparring med projektorganisationens ledelse. Når et
84

projekt evalueres eller reviewes, er en IO’s indsats også under lup, hvorfor vi
betragter IO’erne som en del af gruppen evaluerede aktører.
I forhold til besvarelse af vores problemstilling er projektorganisationerne den mest
interessante gruppe blandt de evaluerede aktører, da de er mest afhængige af
bistandsmidlerne og derfor mest følsomme i forhold til evalueringers og reviews
kontrolaspekt. Når både rådgivere og IO har fået relativt megen omtale i dette afsnit,
skyldes det, at disse indgår i specialets empiri som repræsentanter for de evaluerede
aktører. Grunden er som nævnt, at det af metodiske årsager ikke har været muligt for
os at gennemføre interviews med projektaktører i et større omfang.
Vi har valgt at udelade en opsummering efter dette redegørende kapitel, idet de
fremstillede pointer enten taler for sig selv eller fungerer som et oplæg til en senere
analyse. Vi vil derfor straks bevæge os videre til en analyse af de tre
praksisfællesskabers forskellige forståelser af kontrol og læring.
85

8. Forskellige forståelser af læring og kontrol
Af Danidas retningslinier fremgår det, at organisationen gennemfører evaluering med
et dobbelt formål: erfaringsopsamling og dokumentation.
(1) Accumulation of Experience. Evaluations shall contribute to the
improvement of aid by the collation, analysis and dissemination of experience
from current and completed aid activities. Evaluations shall seek the causes and
explanations as to why activities succeed or fail to succeed and produce
information that helps make future activities more relevant and effective.
(2) Documentation. Evaluations shall provide political decision makers and
the general public with professional documentation as to the use and results of
aid resources and also contribute to a better understanding of development aid,
its potential and limitations as an instrument for economic and social change.
(Danida 1999:7)
Danida taler altså ikke om kontrol og læring, men anvender de mere neutrale
betegnelser ”dokumentation” og ”erfaringsopsamling”. De evaluerede aktører
forbinder imidlertid kontrolformålet med en negativ oplevelse af at skulle ”tjekkes”.
Samtidig ønsker de en større grad af ”nytteværdi” og ”deltagelse”. Blandt de eksterne
konsulenter behæftes evalueringers og reviews’ kontrolfunktion med associationer
som ”straf”, ’eksamen’ og ’dom’, mens læringsformålet omtales i mere positive
vendinger såsom ”dialog”, ”participation” og ”fælles proces”.
Disse forskellige ordvalg indikerer, at de tre praksisfællesskaber – Danida, Danidas
partnere og de eksterne konsulenter – har forskellige forståelser af, hvad de to formål
betyder i praksis, samt hvordan de bidrager til at forme Danidas evalueringspraksis.
Det er disse forskellige forståelser, vi stiller skarpt på i nærværende kapitel. Den
teoretiske ramme omkring analysen er Foucaults diskursbegreb (Foucault 1978 &
1991). Vi beskrev i kapitel 2 evalueringer og reviews som diskursive praktikker, i
udførelsen af hvilke de involverede aktører trækker på de videnshorisonter og
subjektpositioner, som stilles til rådighed inden for bestemte diskurser. Aktørernes
handlinger og forståelser er ikke udtryk for individuelle, intentionelle valg, men
afspejler de strukturer og styrkeforhold, som manifesterer sig i den konkrete
diskursive praktik. En analyse af Danidas, partnernes og konsulenternes ordvalg og
forståelser af kontrol og læring er således en nøgle til analyse af de magtrelationer,
som præger evaluering og review af dansk mediebistand.
Kapitlet er inddelt i fire afsnit. Indledningsvist undersøges i afsnit 8.1. de to
kontrolforståelser, som kommer til udtryk i vores interviewmateriale: Henholdsvis
legitim kontrol og inspektion. Afsnit 8.2. omhandler de to læringsforståelser:
Konsensusbaseret læring og participatorisk læring. Hvorvidt de tre
praksisfællesskaber anser lærings- og kontrolformålene for at være gensidigt
86

understøttende eller i modstrid med hinanden behandler vi i afsnit 8.3., mens 8.4.
opsamler kapitlets hovedpointer.
8.1. Kontrol
I den korte præsentation af Danidas, partnernes og konsulenternes ordvalg blev det
antydet, at der er to overordnede opfattelser af kontrol på spil i Danidas review- og
evalueringspraksis. Den ene er positivt ladet og trækker på den evalueringsteoretiske
kontroldiskurs’ perspektiv på kontrol som en demokratisk legitim foranstaltning.
Denne forståelse, som vi benævner legitim kontrol, fremføres hovedsageligt af
Danida og bliver præsenteret nærmere i afsnit 8.1.1. Den anden opfattelse hæfter
negative konnotationer på kontrolbegrebet og trækker dermed på den kritik af
evalueringer som kontrolredskab, der fremføres af fortalere for den participatoriske
læringsmodel. Den negative oplevelse af kontrol som en ubehagelig inspektion
kommer særligt til udtryk i interviews med partnere og konsulenter og introduceres i
afsnit 8.1.2.
8.1.1. Legitim kontrol
Under fremstillingen af den evalueringsteoretiske kontroldiskurs i kapitel 4
præsenterede vi begrebet ansvarliggørelse – et krav til den offentlige forvaltning om
at fremvise resultater og stå til regnskab overfor politikerne og vælgerne. Kravet, som
de Danidaansatte har oplevet i stigende grad gennem de seneste 10-15 år, giver sig
blandt andet udslag i indførelsen af resultatbaseret ledelse og et større fokus på
evalueringer og reviews:
… når der er kommet mere politisk fokus på evaluering, så er det nok et
spørgsmål om resultatorientering, målbare resultater. Kravet fra politisk hold
om, at vi skal vise, hvad der kommer ud af pengene (...). Det er kommet op
gennem 90’erne. Value for money. Hvad får vi ud af det? (OG)
I Danida er medarbejderne på den ene side irriterede over tendensen til resultat-
orientering: ”Alt skal sgu måles og rapporteres. Og det synes jeg, at det er en… det er
ved at gå for vidt” (OG), som en af dem udtrykker det. På den anden side opleves det
som positivt, at man i organisationen får lejlighed til at dokumentere pengenes
anvendelse, da det giver håndfaste modargumenter, eksempelvis når der i medierne
berettes om, hvordan statskassen yder støtte til mislykkede projekter:
... vi bliver nødt til at blive bedre til at dokumentere det fantastiske arbejde
(griner), vi synes, vi laver. Jamen, det er møgirriterende, at en eller enkelt
artikel i en dansk avis om misbrug for to millioner skal gå ind og ligesom ryste
hele systemet, fordi vi har… altså om året bruger vi 10 milliarder, så det er jo
også… (OG)
At kontrolelementet indgår i både reviews og evalueringer kan således ses som følge
af både et eksternt pres for dokumentation af bistandens resultater og en intern
motivation for at bevise nytten af organisationens aktiviteter og imødegå tendensen
87

til bistandstræthed i befolkningen. I og med at evalueringer offentliggøres, mens
reviews er interne arbejdsdokumenter, sker kommunikationen til offentligheden mest
direkte igennem evalueringerne. Men skønt reviews er internt rettet, vurderer vi, at
denne bedømmelsesaktivitet tillige har en betydelig symbolsk funktion (Dahler-
Larsen 2004:31), som hviler – ikke på resultaterne deraf – men på selve udførelsen:
Ved at gennemføre reviews signalerer Danida nemlig, at organisationen løbende
monitorerer sig selv. Både reviews og evalueringer bidrager således til, at Danida
over for offentligheden kan hævde at have fokus rettet mod kvalitetssikring og
opnåelse af resultater.
I Danidas dokumenter og i interviews med organisationens ansatte refereres der til
offentligheden, medierne og politikerne både som målgruppe for og årsag til
evalueringernes og reviewenes kontrolfunktion. Relationen mellem Danida som
kontrollant og partnerne som de kontrollerede tematiseres ikke. Den væsentlige
relation i forståelsen af kontrollen som demokratisk legitim er således offentligheden
versus udviklingsbistanden, hvor sidstnævnte omfatter både Danida og Danidas
partnere, der antages at have en fælles interesse i at ’dokumentere’ og ’kvalitetssikre’
deres fælles arbejde (Danida 1999:7).
8.1.2. Inspektion
Dette positive fællesskab, som ifølge Danida eksisterer mellem organisationens
partnere og den selv, opleves ikke på samme måde af partnerne og konsulenterne,
som i højere grad problematiserer det ulige styrkeforhold mellem Danida og Danidas
partnere i kontrolsituationen. Både konsulenter og partnere udtrykker ganske vist
forståelse for Danidas behov for at legitimere sig og leve op til kravet om
ansvarliggørelse:
… vor herre bevares, de systemer har også brug for deres dokumentation for, at
det de gør, er rigtigt. (PO)
Men som det fremgår, så føler den citerede partner sig ikke som en del af ”de
systemer”, der har en andel og interesse i kontrollen – tværtimod oplever både
partnere og konsulenter, at de bliver taget som gidsler i Danidas dokumentations-
bestræbelser. Denne påstand vil vi uddybe i det følgende ved først at se på den
betydning, som de økonomiske rammer omkring mediebistanden spiller for
partnernes oplevelse af at blive udsat for inspektion, og dernæst ved at undersøge
samspillet mellem konsulenter og evaluerede aktører i løbet af review- og
evalueringsprocessen.
8.1.2.1. Utryghed
Partnerne betragter reviews og evalueringer som en obligatorisk forudsætning for
fortsat støtte, og i den forstand er der i partnernes kontrolforståelse – samt ikke
mindst i deres motivation for at deltage i kontrollen – et underliggende spørgsmål om
88

økonomi. Med andre ord er det et uomtvisteligt vilkår, eller rettere: et nødvendigt
onde, for projektet at udsætte sig for kontrol. I kraft af fasestrukturen lever Danidas
partnere en økonomisk usikker tilværelse, og denne usikkerhed skærpes i forbindelse
med gennemførelsen af reviews og evalueringer:
… vi har ikke kunnet få at vide, hvad der skulle ske, og vores projekter, vores
institutter, lider under det, fordi der er jo for så vidt aftaler om… altså der er toårs
kontrakter, hvor man kun ved, hvad der skal ske to år frem. (…) Og
[reviewet] bekymrer os selvfølgelig lidt, fordi det betyder, at der kommer
mindst et års forsinkelse. Så vi søger bridging til nogle af de her, for at holde
institutterne kørende. Øh… men altså, vi er selvfølgelig også lidt bekymrede
over kontinuiteten i det, fordi gad vide hvem der bliver hyret som konsulenter
til at sige, hvad de mener, der er behov for dernede. (PO)
At partnerne er særdeles bevidste om sammenhængen mellem en positiv bedømmelse
og fortsat støtte fra Danida, underbygges af de to følgende citater, hvor forskellige
partnere udtaler sig om deres oplevelse af at blive henholdsvis reviewet og evalueret:
It can therefore be stated that if the conclusion was that the success criteria had
been achieved, this would be evidence to support the fact that Danish foreign
aid was being used effectively and usefully. Such a conclusion was
furthermore, necessary to guarantee further support from Denmark (PO, vus.)
... det var blandt andet derfor [pga. en positiv evaluering] vi også fik penge
igen. At vi så gerne ville have haft nogle flere (…) – det er så en anden ting.
Men… Så på den måde var det jo dejligt. (PO:14)
Magten til at bedømme mediebistandsprojekterne, og dermed magten til – i hvert fald
i nogen udstrækning – at afgøre deres fremtid, er delegeret til de eksterne
konsulenter. Denne kontrollantrolle opfattes som ubehagelig af samtlige af de
konsulenter, vi har talt med, hvilket de blandt andet giver udtryk for ved at beskrive
kontrolprocessen med ord som ’dom’, ’straf’ og her ’eksamen’:
… man kommer ud og behandler projektet eller programmet eller
samarbejdsorganisationen, kan du sige, som objektet, ikke. Så at nu skal vi ud
og eksaminere jer. (KS)
8.1.2.2. Manglende indflydelse
Et andet forhold, der bidrager til partnernes negative oplevelse af kontrol som
inspektion, er deres manglende mulighed for at påvirke bedømmelsesprocessen. Som
beskrevet i det foregående kapitel, er det reelt kun Danida, der har indflydelse på
initieringen af evalueringer og reviews, og vi vil senere argumentere for, at
partnernes muligheder for at påvirke designet af undersøgelserne i praksis er
begrænset, trods Danidas gode intentioner. Tilbage står partnernes mulighed for at
påvirke udførelsen af og opfølgningen på evalueringer og reviews. Hvorvidt en
partnerorganisation er i stand til at udnytte denne mulighed afhænger imidlertid dels
af dens grad af ’kompetence’, det vil sige dens evner til at interagere med donor på
dennes præmisser, og dels har det betydning, hvilken metodisk tilgang konsulenterne
har valgt.
89

I kapitel 9 og 10 redegør vi nærmere for de anvendte metoder i de analyserede
review- og evalueringsforløb og for partnernes forskellige oplevelser heraf, men her
bør det nævnes, at partnerne generelt giver udtryk for frustration over, at de er
overladt til ukendte konsulenters nåde. Partnerne må finde sig i at blive
dobbelttjekket, når der eksempelvis er: “obvious and clear instances of occasions
when the team needed to verify certain statements” (PO), eller når konsulenterne ”...
var mere optaget af… af, det de hørte fra dem, vi arbejder med, end vores egen
forståelse af, hvad det var vi gjorde” (PO). Konsulenternes distance, som vokser ud
af den evalueringsteoretiske kontroldiskurs’ forskrifter om objektivitet, opleves af
partnerne som et udtryk for mistillid og manglende respekt:
Fordi man må også respektere ligesom, at man arbejder med en organisation,
som selvom den er støttet af Danida, så er den en enhed, der har sin egen
vision, og sine egne visioner om, hvad man vil, ikke. Ledelsen og
medarbejderne har deres egne idéer om, hvad de, hvorfor de er der, og hvad de
gerne vil. Og det kan man jo ikke bare sådan… lege med som legoklodser og
sige, jamen nu har I lavet det, og nu skal I lave det. Og det er den der respekt i
det, den manglede noget, syntes jeg. (PO)
Partnerens fremstilling af reviewprocessen som en ’leg med legoklodser’ under-
streger, i hvor høj grad vedkommende har følt sig behandlet som en genstand for
inspektion. I stedet efterspørger partnerne respekt – en efterspørgsel, der blandt andet
udmønter sig i ønsket om at blive inddraget og få medindflydelse på evaluerings- og
reviewprocessen.
8.2. Læring
Hvor de tre praksisfællesskabers kontrolopfattelser let lader sig placere på en positiv-
negativ-akse, er deres læringsforståelser mindre håndgribelige. Dette skyldes givetvis
læringsbegrebets slagordsagtige status, der blev beskrevet i afsnit 4.3., for ”hvem er
imod læring?”, som Dahler-Larsen retorisk spørger (Dahler-Larsen 1998:33). Dét er
hverken Danida, de eksterne konsulenter eller Danidas partnere. Men ved nærmere
eftersyn adskiller aktørgruppernes forståelse af og krav til en god læringsproces sig
fra hinanden. Mens partnerne og konsulenterne stiller krav om inddragelse, indflydel-
se og myndiggørelse og dermed trækker på en participatorisk læringsdiskurs, er den
forståelse, som kommer til udtryk i Danidas dokumenter og interviews med organisa-
tionens medarbejdere, mere ukonkret.
8.2.1. Konsensusbaseret læring
Når vi beskriver Danidas læringsbegreb som ukonkret, skyldes det, at det af såvel
Danidamedarbejdernes udtalelser som i organisationens publikationer fremgår, at det
vigtigste formål med evalueringer og reviews er at opsamle erfaringer. Men præcis
hvilke erfaringer, der skal opsamles, hvordan de skal formidles til hvem, og hvem der
har det konkrete ansvar for, at erfaringerne omsættes til en forbedring af indsatsen,
har vi ikke kunnet få klare bud på. Det citat om evalueringers læringsmålsætning,
90

som indledte kapitlet, er netop et eksempel på de ukonkrete og entusiastiske
formuleringer, som omgærder Danidas læringsforståelse:
Evaluations shall contribute to the improvement of aid by the collation,
analysis and dissemination of experience from current and completed aid
activities. (Danida 1999:7, vus.)
Heraf fremgår det tydeligt, at Danida sætter lighedstegn mellem erfaringsopsamling
og forbedring af udviklingsbistanden. Læring er altså per definition en god ting.
8.2.1.1. Hologrammetaforen
At Danidas læringsforståelse ligger i umiddelbar forlængelse af organisationens
kontrolforståelse kommer til udtryk ved, at de i mediebistanden involverede aktører
beskrives som en enhed med fælles interesse i at opsamle erfaringer. De interviewede
Danidamedarbejdere skelner således ikke mellem, om det er projektorganisationerne,
IO’erne eller Danida selv, som har læringsudbytte af evalueringer og reviews. I stedet
anvender de betegnelser som ”man” og ”vi”, hvilket nedenstående uddrag er et
eksempel på:
... reviewene er jo netop, i og med at de er fremadrettede og er med som
justerende elementer i processen, de er jo også med til at tillade, at man kan
tage nogen chancer, at man kan prøve noget af, og sådan noget. Og så kan man
så take stock efter et år eller halvandet år, og så sige, jamen, giver det her
bonus eller giver det ikke bonus? Jamen, det gør det åbenbart ikke alligevel,
jamen så justerer vi på en anden måde. (OG, vus)
Den erfaringsopsamling, som reviews og evalueringer danner rammen omkring,
anses således for at være til gavn for den samlede mediebistand.
I interviewene beskrives den enkelte Danidamedarbejders udvikling og læring som
en integreret del af den organisatoriske læringsproces, hvilket indikerer, at
medarbejderne trækker på det læringsbegreb, vi tidligere har beskrevet ved hjælp af
Morgans hologrammetafor (jf. afsnit 4.3.1). Ligesom den enkelte del af hologrammet
afspejler helheden, antages hver enkelt medarbejder at afspejle den fælles
organisatoriske vision om kvalitetssikring og læring.
... det er så fedt at have besøg af et, et rigtig godt, engageret review-team. Øh,
både fordi man bliver begejstret igen, men også fordi at man så, hvis man…
Det er legitimt, at man bruger tre fjerdedele af sin tid på det her i en hel uge.
(...) Fordi man så også får gjort den der selvrefleksion, ikke. (OG)
Når medarbejderne udspørges om, hvori læringen i forbindelse med reviews og
evalueringer består, giver de som denne medarbejder udtryk for, at bedømmelses-
aktiviteterne udgør velkomne anledninger til ”selvrefleksion” i en travl hverdag.
Netop forestillingen om en direkte kausal sammenhæng mellem den enkelte
medarbejders læring og forbedringen af mediebistanden gør ifølge Dahler-Larsen
opskriften på den lærende organisation attraktiv for både individer og organisationer:
91

Opskriften sælges nemlig med løfte om, at den individuelle medarbejders
faglige og personlige udvikling er en forudsætning for og en integreret del af
de organisatoriske transformationsprocesser, som en lærende organisation
gennemløber. På den måde kommer ”den lærende organisation” til at lyde
tiltalende for både individ og organisation. (Dahler-Larsen 2000:33-34)
8.2.1.2. Danida har styringen
For at sikre at den erfaringsopsamling og ”selvrefleksion”, som evalueringer og
reviews skal facilitere, er i overensstemmelse med Danidas relevanskriterier og
værdier, ønsker EK og de bevilgende enheder at bevare en vis styring med
processerne. I nedenstående citat udtaler en Danidamedarbejder sig om de
overvejelser, der gøres i forbindelse med inddragelse af partnerne i design og
udførelse af evalueringer. På den ene side ønsker Danida en høj grad af inddragelse,
men samtidig vil man ikke indføre deciderede participatoriske læringsevalueringer,
da man dermed ville miste styringen med, hvad partnerne lærer:
Så det er ikke en participatory evaluering – det er ikke det ord, jeg vil bruge –
men de, der skal bruge evalueringen er involveret i processen fra start til slut.
For at få stillet de spørgsmål, som de har behov for at få svar på. Men så sidder
vi jo så her i Danida og siger: ’Jamen øh, der er altså også nogle spørgsmål her,
som I ikke stiller, som vi føler, er væsentlige’, som vi så tager med ind. (OG)
Citatet illustrerer, at læringen i sidste ende foregår på Danidas præmisser. Så længe
der er konsensus mellem opdragsgiver og de evaluerede aktører om, hvad der er
relevant, bliver sidstnævnte inddraget og hørt. Men i det øjeblik, konsensus ophører,
sætter Danida den endelige dagsorden.
Den læringsforståelse, som primært kommer til syne i Danidas publikationer og i
interviews med medarbejderne, trækker således i høj grad på det læringsbegreb, vi i
afsnit 4.3.1. omtalte som konsensusbaseret læring.
8.2.2. Participatorisk læring
De interviewede konsulenter og partnerrepræsentanter giver den ovenfor citerede
Danidamedarbejder ret i, at inddragelse af partnerne i evaluerings- og review-
processerne er en forudsætning for partnerorganisationens læringsudbytte heraf. Et af
de ønsker, partnerne har til processen, er at kunne bruge den som en ”anledning til at
reflektere”:
... vi har jo for lidt refleksion over, hvad vi egentlig går og gør. Altså, vi har for
travlt med at lave tingene, men vi kunne garanteret få meget mere ud af de
erfaringer, vi har, hvis vi blev tvunget til og fik anledning til at reflektere over:
’Jamen, hvorfor fungerer det, det du gør? Og hvad er det egentlig, du gør?’
ikke også. (PO)
Når man befinder sig i projektets faste stab bliver man ”meget opfanget af praksis,”
beretter en partner, og ”logikken [bliver] helt anderledes”, end når man står uden for.
92

Derfor har man ”brug for hjælp til at eksplicitere tingene” gennem en participatorisk
og ’interaktiv proces’, hvor der er plads til samtale og diskussion medarbejderne
imellem. Læringen skal altså komme fra partnerne selv: De besidder selv den viden,
som kan bringe dem videre, men skal blot hjælpes til at bruge den.
Tager man personsammenfaldet mellem de to grupper i betragtning, er det ikke
overraskende, at konsulenterne deler partnernes opfattelse af og ønsker til review- og
evalueringsprocessen. I forlængelse heraf er deres mål at agere som facilitatorer for
en participatorisk læringsproces frem for at spille rollen som eksperter og
kontrollanter:
’Jamen, det er jo ikke mig, der ved noget om jeres verden. Det er jer, der ved
det. Men jeg kan lave en ramme, der gør, at I finder ud af med hinanden, hvad
det er, I egentlig laver, og hvad der virker og hvad der ikke virker.’ (KS)
Konsulenterne og partnerne er således enige med Danida om, at inddragelse er en
god ting, men de lægger op til en langt mere omfattende inddragelse i tråd med
forskrifterne inden for den participatoriske læringsdiskurs. De ønsker at gennemføre
reviews og evalueringer som participatoriske processer, hvor kontrolaspektet helt
udelades eller lades så meget i baggrunden, at kontroldiskursens krav om eksempel-
vis uafhængighed og objektivitet bliver irrelevante:
Ideelt set synes jeg, en review skal foregå i et meget, meget tæt samarbejde
med den organisation, som du reviewer. Og dybest set så bør de også være med
i alle interviewene, fordi det er ikke en kontrol; det er et stykke… hvad skal jeg
sige… arbejde, som man laver for at komme videre i projektet. Og al den
information vi får, som vi ofte får uden at der er nogen af organisationen til
stede… eller fra organisationen til stede, den sidder jo inde i vores hjerner, for
det er jo ikke alt vi kan skrive ned på papir, og det bør vi jo heller ikke. Altså,
vi skriver jo kun konklusionerne ned. Og det vil være enormt givtigt for dem at
være med i sådan en proces hele vejen rundt. (KS)
Efter konsulenternes opfattelse begrænser Danidas hensigter med et review eller en
evaluering sig stort set til produktet: en rapport med klare konklusioner og
anbefalinger. Selv anser konsulenterne imidlertid den færdige rapport som et
biprodukt af selve processen, som i deres øjne er det absolut væsentligste: Her finder
den reelle læring nemlig sted, mener de, og for at sikre at den evaluerede organisation
tager del heri, bør dens medarbejdere tildeles en rolle, hvor de indgår i styringen af
reviewforløbet og derigennem bliver i stand til at tage ejerskab for dens konklusioner
og anbefalinger. Sker det, vil reviewet være præget af langt større åbenhed, og
dermed kan det fungere som ”eye-opener” og en konfliktløsende instans for
organisationen (KS). Dette underbygges af en repræsentant for en af Danidas
partnerorganisationer, som har oplevet at blive reviewet og evalueret efter både en
kontrolmodel og en participatorisk læringsmodel. Vedkommende beskriver sin
oplevelse af forskellene således:
93

Over the years, we have had many evaluations and many reviews. Some
external, some internal. I must say, that most of them were reviews where the
consultants would come in and look at what we are doing, interview some
people and write the report. The last one, the one that we just done, was not the
same, where we had two consultants, come together with us and went through
the review in terms of other indicators, how, why, and other questions like that.
(…) I think it was, as I said, it was different from the ones we had before
(utydeligt), so it was a very good process. (PO)
Her skildrer interviewpersonen sin oplevelse af de forskellige roller, som potentielt
tildeles partnerorganisationen afhængig af hvilken metode, konsulenterne anvender.
Tidligere reviews og evalueringer af denne organisation er foregået ved, at
konsulenterne har studeret de ansattes eller aktives gøren og laden, interviewet et par
mennesker og afslutningsvist skrevet en rapport. Anderledes forholdt det sig med det
seneste review, hvor konsulenterne lod partnerne vurdere deres egen indsats ved at
stille åbne spørgsmål som ’hvordan’ og ’hvorfor’. Dette oplevede den citerede
partner som ’en rigtig god proces’.
8.2.2.1. Et spørgsmål om myndiggørelse
I ovenstående citat slås endnu et tema an i forhandlingerne mellem Danida og
partnere/konsulenter om, hvordan læringsmålsætningen skal forstås og omsættes i
praksis. Det drejer sig om magtrelationerne i bedømmelsesprocessen, om partnernes
myndiggørelse. At omfanget af inddragelse har særdeles stor betydning for
partnernes oplevelse af processen, kommer indirekte til udtryk ved, at de reagerer
med vrede mod de eksterne konsulenter, når de føler sig behandlet som ’legoklodser’.
Eksempelvis blev en interviewet partner efter eget udsagn ”stiktosset” på de
evaluatorer, som stod bag en ikke-participatorisk vurdering af vedkommendes
organisation. Ikke fordi evalueringen var negativ – tværtimod – men fordi interview-
personen ikke følte, at partnerorganisationen kunne bruge evalueringen ”til en skid
(...) fordi det vokser ikke ud af den... vores egen forståelse af det vi gør”. Det skarpe
ordvalg er ét ud af flere eksempler på, at distancerede evalueringer og reviews
afføder en følelse af afmagt og frustration hos partnerne.
I vore interviews med konsulenter og partnere kommer der således to vægtige
argumenter for participatorisk og mod konsensusbaseret læring frem: For det første
bidrager den participatoriske læring positivt til partnernes fornemmelse af, at
processen har nytteværdi, og for det andet indebærer denne læringsform myndig-
gørelse af partnerne, bringer dem på lige fod med Danida og understøtter derved det
ligeværdige donor-modtagerforhold, som foreskrives inden for den kritiske
udviklingsdiskurs. Således ser konsulenter og partnerorganisationer participatoriske
læringsevalueringer som en mulighed for at genforhandle og forandre relationen
mellem Danida og partnerne.
94

8.3. Kontrol og/eller læring?
Vi har nu redegjort for de forskellige forståelser af læring og kontrol, som Danida,
partnere og konsulenter giver udtryk for. Det har vist sig, at Danida betragter kontrol
som en demokratisk legitim foranstaltning, mens læring anskues som en samlende,
konsensusbaseret proces. Disse forståelser falder i tråd med den evalueringsteoretiske
kontroldiskurs. Anderledes forholder det sig med konsulenter og partnere, der begge
trækker på den participatoriske læringsdiskurs. Vi finder her forklaringen på de
forskellige praksisfællesskabers påstande om, hvorvidt læring og kontrol kan gå hånd
i hånd eller nødvendigvis må adskilles.
8.3.1. Danida: Både-og
De to formål de hænger sammen, de kan ikke skilles ad. Det er kunstigt at gøre
det. (OG)
Altså kontrollen er, eller dokumentationen, det synes jeg er bedre måske, end
kontrollen, øh er jo, synes jeg er en forudsætning for det andet. For hvordan
fanden kan du lave erfaringsopsamling uden det andet? Det forstår jeg ikke.
(OG)
Så derfor så synes jeg, det er sådan en lidt underlig... Altså, der er jeg i hvert
fald ikke sådan lige, i den praksis, jeg kender, synes jeg ikke lige, at man kan
lave den der øh, den der skelnen, ligesom. (…) Altså på den måde, så er det
noget, noget, undskyld, noget akademisk øh, kunstigt at skille dem op på den
måde, tror jeg. (OG)
Hvor partnere og konsulenter i deres skarpe skelnen mellem læring og kontrol er på
linie med de gængse anbefalinger inden for evalueringsteorien, så ser Danida ikke
nogen uoverensstemmelse mellem de to formål. Det giver de ovenfor citerede
Danidamedarbejdere tydeligt udtryk for, og deres holdninger underbygges af
formuleringerne i Danidas evalueringsretningslinier 46 samt af EK’s særlige organisa-
toriske placering. Det organigram, som blev gengivet i kapitel 7, beskriver EK som
en intern specialenhed, der på den ene side er uafhængig af de bevilgende,
rådgivende og besluttende enheder i Danida, og som på den anden side er en
organisationsintern instans. Dermed forsøger EK at imødekomme både kontrol-
diskursens krav om uafhængighed og distance, og den participatoriske lærings-
diskurs’ forskrifter om relevans og nærhed mellem evaluatorer og evaluerede aktører
(Danida 2003A:18).
Danidas sammenkobling af læring og kontrol afspejler praksis i de fleste andre
offentlige institutioner i Danmark, og man kan ifølge den danske evalueringsforsker
46 I Danidas evalueringsretningslinier skelnes der skarpere mellem erfaringsopsamling og
dokumentation, end tilfældet er i praksis (Udenrigsministeriet 1999). Det forklarer en ansat i Danida
således: ”Vi begik nok en fejl, da vi lavede vores evalueringspolitik i 1997, som så resulterede i vores
guidelines i 1999, at vi forsøgte at skille de to ting sådan rimeligt skarp ad (...). [D]et viste sig jo
lynhurtigt, at det var en kunstig skelnen - du kan ikke gøre det ene uden det andet. Du kan ikke begynde
at uddrage erfaringer, uden at du forsøger at måle resultaterne.”
95

Hanne Foss Hansen betegner forholdet mellem udviklingen inden for henholdsvis
evalueringsteori og -praksis som paradoksalt:
I litteraturen lægges således op til heterogenitet og differentiering i
konstruerede standarder over opgave og tid. Modsat synes en del politikområder
karakteriseret ved stærke pres for homogenisering af standarder. (Hansen
2001:117)
Forklaringen på paradokset mener vi skal findes i de to forskellige evaluerings-
diskurser, som er på banen i både teori og praksis. Forståelsen af læring som en
konsensusbaseret proces stemmer overens med opfattelsen af kontrol som en
demokratisk legitim foranstaltning. Begge disse fortolkninger af evalueringers rolle
har vi betegnet som hørende inden for en evalueringsteoretisk kontroldiskurs, der i
kraft af sin tendens til topstyring og sit positivistisk inspirerede objektivitetsideal
trækker på samme hammel som den udviklingsteoretiske moderniseringsdiskurs. Ved
at definere kontrol og læring som gensidigt understøttende aspekter baseret på
konsensus og legitimitet nedtoner og retfærdiggør Danida på en og samme tid den
dominerende position, som organisationen indtager overfor partnere og konsulenter i
kraft af sin status som opdragsgiver og donor. Danida kan derfor siges at have en
væsentlig interesse i at genetablere den evalueringsteoretiske kontroldiskurs.
8.3.2. Partnere og konsulenter: Enten-eller
Det modsatte gælder for partnerne, som ønsker at udfordre Danidas dominans ved at
tilkæmpe sig en så høj grad af medbestemmelse som muligt. De plæderer derfor
sammen med konsulenterne for participation og myndiggørelse og ser
kontrolformålet som værende en barriere herfor:
… man skal skille de der ting ad, altså. Du kan ikke komme ud den ene dag
med kontrollantkasketten på, og så næste dag være den faglige
sparringspartner, det kan man ikke. Det kan den menneskelige hjerne
simpelthen ikke skille ad. (KS)
... altså du kan ikke begge dele. Enten må du sætte dig på den ene stol, eller
også må du sætte dig på den anden stol. Og den kontrolfaktor synes jeg godt,
andre kan overtage. (KS)
Hvem der skal overtage ’kontrolfaktoren’ er der imidlertid ingen enighed om.
Interessant nok viser det sig nemlig, at mens der blandt de konsulenter, som primært
udfører reviews, kan identificeres en holdning om, at kontrollen skal varetages af
evalueringer, så mener en konsulent, som har været inddraget i evalueringsopgaver,
at det må være reviews, der løfter kontrolfunktionen:
… når man har noget der hedder et review, som er et spørgsmål om at justere
på… altså, det er dybest set et spørgsmål om at justere på projektet, ikke? Øh…
videre fremover. Så bør man holde sig til det, og så forbeholde øh… så lave
evalueringerne, hvis man ønsker en kontrolfunktion. (P2). Altså, man kan ikke
sammenblande det efter min mening. Det… det er jeg helt, helt overbevist om,
at man ikke kan. (konsulent på reviews)
96

Ja, altså det var tydeligt at… hvad man kan sige… for hele
[evaluerings]opgaven, for alle de ni teams i virkeligheden, der var det tydeligt,
at det gjaldt om at finde læringspunkter og erfaringsopsamling. ( konsulent på
evaluering)
Partneres og konsulenters modvilje mod Danidas krav om kontrol kommer også til
udtryk ved, at de i de konkrete review- og evalueringsprocesser forsøger at påvirke
både designet og udførelsen sådan, at læringsformålet træder i forgrunden. Vort
empiriske materiale rummer således eksempler på, at konsulenterne forsøger at
omdefinere kommissorier, der efter deres mening lægger for stor vægt på kontrol.
Dette gør de ved at trække på deres status som fagligt dygtigere og mere erfarne end
’skrivebordspersonerne’ i Danida:
Så der, hvor hele opgaven bliver defineret, det er, sådan er min erfaring i hvert
fald for det, at det er enormt vigtigt at tage mange af de der diskussioner
allerede deroppe. Og også, ikke nødvendigvis bare æde et eller andet sæt terms,
du får inde fra Danida. Stukket ud af en eller anden deskperson (KS)
I citatet udtrykker konsulenten en manglende faglig respekt for Danidas
kommissorieudkast, der beskrives som tilfældige dokumenter udarbejdet af en
tilfældig, uvidende person: ”et eller andet sæt terms (…) Stukket ud af en eller anden
deskperson”. I modsætning hertil betragter konsulenterne sig som ”faglige folk”, der
griber evaluerings- eller reviewopgaven an som et ”fagligt job”. Forsøgene på at
påvirke kommissorierne er dog ikke altid succesfulde, idet de Danidaansatte i nogle
tilfælde afviser konsulenternes indblanding som utidig og ukvalificeret:
Ja, (P2) jo, men det er det der med… at det der med at i den første fase så gå
ind og sige, jamen jeg vil gerne bruge den tilgang og den metode, for at få det
ud af det, det opleves nogen gange som truende, overfor de programme
officers, der sidder med det. (...) Øh, det har jeg ofte, altså det har jeg oplevet
flere gange, at det oplever de som øh… altså at det så i virkeligheden ikke
bliver en forhandling om en faglig tilgang, men at det bliver en forhandling om
øh, at det bliver et magtspil ikke? Nu er det mig, der er boss, det er mig, der har
defineret det, så skal du ikke komme og sige, at du vil, og sådan noget, ikke.
Og øh, der synes jeg tit, at der har manglet den der forståelse for, ja for læring,
for processer, ikke. I forskellige måder at bruge konsulenthold på, altså, den er
måske lidt begrænset eller lidt stiv, og det er måske så måske ministeriets
kultur, i det hele taget, ikke. Altså forståelse for læreprocesser, hvordan man
bedst designer det, eller hvordan man bedst får… altså skille den der
kontrolfunktion ad fra læringsfunktionen. (KS)
I nogle tilfælde, hvor det ikke er lykkedes for konsulenter eller partnere at overbevise
opdragsgiveren om at fokusere på læring frem for kontrol, ses der eksempler på, at de
to praksisfællesskaber sammen omdefinerer kommissoriet, efter at dette er lagt fast.
8.4. Forskellige forståelser – forskellige interesser
Vi har nu set, hvordan Danidas forståelse af kontrol og læring understøtter
organisationens position som det af de tre praksisfællesskaber med den stærkeste
97

position i forbindelse med evaluering og review af mediebistand. Som donor kan
Danida insistere på, at modtagerne af mediebistanden indvilger i at blive vurderet, og
som opdragsgiver har Danida magt til definere formål og fokus for bedømmel-
sesaktiviteterne. Groft sagt er det ingen sag at hævde konsensus og legitimitet, når
man er den stærkeste.
Omvendt trækker partnerne i deres fortolkning af kontrol- og læringsbegreberne på
den participatoriske læringsdiskurs, som med værdier om myndiggørelse og
magtkritik har mange lighedspunkter med den kritiske udviklingsdiskurs. For
partnerne er der betydelige økonomiske interesser forbundet med at insistere på at få
indflydelse på evalueringer og reviews – både i forhold til at præge den konkrete
vurdering og i forhold til at anvende bedømmelsesaktiviteterne som anledninger til at
styrke deres medindflydelse på mediebistanden generelt. Umiddelbart har Danidas
partnere ikke samme mulighed som Danida for at definere forhandlingerne i
evaluerings- og reviewsammenhæng, men de har til gengæld en vigtig allieret –
konsulenterne – som deler deres forståelser af kontrol og læring.
Med analysen af de tre praksisfællesskabers forskellige forståelser og interesser er
udgangspunktet for interaktionen mellem dem ridset op. Hvordan den konkret
udspiller sig, og hvordan evalueringsdiskurserne manifesterer sig i rapporter og
forløb, fokuserer de kommende kapitler på.
98

9. Evalueringer og reviews som grænseobjekter
Vi har i det foregående kapitel set, at de praksisfællesskaber, som er involveret i
Danidas reviews og evalueringer af mediebistandsprojekter, har forskellige
forståelser af, hvad kontrol og læring er og bør være. Disse forståelser er knyttet til de
positioner og interesser, de pågældende aktører har i forhold til evalueringer og
reviews. I præsentationen af specialets teoretiske afsæt beskrev vi Stars påstand om,
at et praksisfællesskab translaterer et grænseobjekt – og dermed sin interaktion med
andre aktører – i overensstemmelse med fællesskabets forståelsesrammer og måder at
gøre ting på. Praksisfællesskaberne fortolker altså grænseobjektet, det vil sige et
review eller en evaluering, på egne præmisser i det omfang, objektets robusthed til-
lader det. Konsekvensen af disse translationsprocesser er, at de enkelte review- og
evalueringsforløb opfattes forskelligt af de involverede aktører, samt at processerne
forløber uforudsigeligt og sjældent ender med at opfylde de målsætninger, som er
fastlagt i kommissorierne.
Ved at anskue evalueringer og reviews som grænseobjekter mister evaluerings-
teoriens skarpe skelnen mellem lærings- og kontrolevalueringer sin berettigelse.
Denne skelnen baserer sig nemlig på en antagelse om, at evalueringer er som
”legetøjstog”, der følger ”de skinner, der på forhånd er lagt ud” (Dahler-Larsen
2004:11). I modsætning hertil mener vi, der er empirisk belæg for at hævde, at
evaluerings- og reviewforløb minder ”mere om en tur i radiobilerne end en tur med et
legetøjstog (…). Når evalueringer minder om kørsel i radiobiler, kører de forskellige
deltagere ikke på en fælles rute, som tilfældet var i skinnetoget. Nogen vil blive kørt
mere ned end andre. De forskellige deltagere vil opleve turen forskelligt” (Dahler-
Larsen 2004:13).
Når vi tilslutter os dette perspektiv, kan vi ikke meningsfuldt karakterisere en
evaluering eller et review som enten en læringsproces eller en kontrolforanstaltning.
For de eksempler på review- og evalueringsforløb, vi i dette kapitel vil redegøre for,
gælder det da også, at de alle rummer elementer af begge dele. Dette dog i forskellig
udstrækning, hvorfor vi vil placere de cases, som indgår i vores empiri, på et
kontinuum, hvor kontrol udgør den ene yderpol og læring den anden.
9.1. Kontrol og læring i otte evaluerings- og reviewforløb
Vores empiri omfatter i alt fem reviewrapporter og tre evalueringsrapporter (se afsnit
6.1.1.). Disse dokumenter har vi analyseret blandt andet med henblik på at undersøge,
hvordan formålene kontrol og læring manifesterer sig i den endelige rapport.
Metodisk har vi grebet analysen an ved i første omgang at vurdere rapporterne på
fem parametre, der hver især indikerer, hvorvidt en given rapport er orienteret mod
99

henholdsvis et kontrol- eller læringsformål eller begge dele. Dette uddyber vi i afsnit
9.1.1. Derefter følger i afsnit 9.1.2. en præsentation af den analyse af de otte
rapporter, som vi har foretaget på baggrund af de opstillede parametre, og denne
præsentation leder over i afsnit 9.2., der rummer en fremstilling af udvalgte
evaluerings- og reviewforløb.
9.1.1. Kontrol- og læringskomponenter i rapporterne
Inden for hvert af de fem parametre skelner vi mellem tekstkomponenter, som peger i
retning af enten kontrol eller læring. De i alt ti lærings- og kontrolkomponenter, som
vi har identificeret på baggrund af dokumentanalyserne, og som danner afsæt for
vores kategorisering af projekterne, ser på skemaform således ud:
Kontrolkomponenter
Målopfyldelse, effektvurdering
Konsulentens/(donors)
vurdering
Bevillingen er eksplicit til
genovervejelse
Enkeltinterviews, observation og
dokumentanalyse
Skriftlig
Figur 9a
Fem parametre Læringskomponenter
Hvordan vurderes
genstanden?
Hvis værdier ligger til grund
for vurderingen?
Er bevillingen til
genovervejelse?
Anvendte metoder
Debriefing
Erfaringsopsamling, anbefalinger
Partnerens vurdering
Partnerne gives en eksplicit
’tryghedsgaranti’
Participatoriske metoder:
workshops, debatter, mm.
Mundtlig
I det følgende vil vi uddybe komponenterne parvist, det vil sige med afsæt i de fem
parametre, i den hensigt at synliggøre forskellen mellem de enkelte lærings- og
kontrolkomponenter.
9.1.1.1. Målopfyldelse og erfaringsopsamling
Vi skelner i ovenstående figur mellem målopfyldelse og effektmåling på den ene side
og opsamling af erfaringer og anbefalinger på den anden. Der er tale om
målopfyldelse og effektvurdering i det øjeblik, en evalueringsrapport vurderer sin
genstand retrospektivt ud fra på forhånd fastsatte kriterier. I Danida opererer man
med fem evalueringskriterier, som bliver præsenteret nærmere i kapitel 11. Disse
kriterier danner afsæt for en vurdering af, hvorvidt de aktualiserede resultater af
indsatsen står mål med hensigterne bag mediebistanden, og man kan derfor betragte
forekomsten af effektmåling i en rapport som et kontrolelement. Når projektet
vurderes med henblik på at opsamle generelle erfaringer, som kan overføres til andre
100

lignende projekter, eller konsulenterne fremkommer med anbefalinger til en
fremtidig justering af indsatsen, kan man tale om, at rapporten indeholder et
læringselement. Samme rapport kan rumme såvel målopfyldelse/effektmåling som
erfaringsopsamling/anbefalinger.
9.1.1.2. Konsulentens eller partnerens vurdering?
Enhver bedømmelse finder sted på baggrund af et sæt im- eller eksplicitte værdier,
som evalueringsgenstanden vurderes i forhold til (Dahler-Larsen 1998:86f). Disse
værdier kommer konkret til udtryk i de kriterier, som anvendes i det pågældende
review/evaluering. I forhold til vægtningen af kontrol og læring i reviews og
evalueringer er det interessant at undersøge, hvorvidt det er donor, konsulentholdet
eller de evaluerede aktører selv, der definerer de kriterier og dermed de værdier, som
ligger til grund for vurderingen. I og med at Danida opererer med et sæt forud-
definerede evalueringskriterier, vil der i alle tilfælde være tale om, at opdragsgiverens
værdier er grundlæggende for bedømmelsen. Men i evaluerings-/reviewforløb, hvor
partneren får mulighed for selv at vurdere sin egen indsats og definere succes-
kriterier, rummer forløbet et element af selvrefleksion. Vi betragter det derfor som en
læringskomponent, når partneren kommer indirekte eller direkte til orde i rapporten.
Derimod gøres Danidas partnere til genstand for kontrol, når konsulenten vurderer
genstanden enten på baggrund af de af donor opstillede mål for indsatsen eller på
baggrund af ’objektive’ fakta, som udspringer af analysen.
Vi har søgt at omsætte denne problemstilling til et tekstanalytisk værktøj ved at
undersøge de afsenderidentiteter, som kommer til udtryk i rapporterne. Her har vi
identificeret syv forskellige afsenderidentiteter, hvoraf fire er særligt interessante i
nærværende sammenhæng. Disse er:
Den nøgterne konsulentrolle
Denne afsenderidentitet kommer til udtryk, når konsulenterne benytter sig af et
konstaterende sprog til at beskrive genstanden så neutralt og ’objektivt’ som muligt.
Det vil sige uden brug af værdiladede tillægsord, understregende biord, konjunktive/
imperative verber eller andre tekstelementer, som angiver forfatterens tilslutning og
holdning. Den nøgterne konsulentrolle anvendes eksempelvis i denne sætning:
… it is a fact that over the 10 years of the NSJ’s existence, the media
environment in the Southern part of Africa has improved. (NSJ 03:7, vus.)
Anvendelse af den nøgterne afsenderidentitet indikerer, at forfatteren mener at have
kendskab til en objektiv virkelighed, som vedkommende kan vurdere det reviewede/
evaluerede projekt i forhold til.
Den opsummerende konsulentrolle
Den opsummerende konsulentrolle kommer til udtryk i disse to eksempler, hvor
forfatterne underbygger deres konklusioner ved at referere til den indsamlede empiri:
101

It is quite evident from a number of interviews conducted for this review…
(NSJ 03:4, vus.)
From these scenarios it is clear that the development of the media cannot be
left to governments alone. (NSJ 02:40, vus.)
Ved at referere til datamaterialet tilfører konsulenterne deres konklusioner en vægt,
der gør, at de i højere grad fremstår som indiskutable sandheder, end hvis de var
fremsat uden dokumentation. Som tilfældet er i forbindelse med den nøgterne
konsulentrolle, signalerer konsulenten ved brug af en opsummerende forfatterrolle, at
vedkommende kender ’virkeligheden’ – på baggrund af data.
Den faciliterende konsulent
Denne rolle kommer til udtryk, når konsulenterne lader de evaluerede aktører komme
indirekte til orde ved at gengive deres holdninger og oplevelser:
The participants in the review/evaluation process considered these… (MISA
01/02:3, vus.)
During the email-debate it emerged that most participants felt… (MISA
01/02:51, vus.)
Vi betragter anvendelsen af en faciliterende afsenderidentitet som et udtryk for, at
rapporten indeholder et element af participatorisk læring, idet grundlaget for
bedømmelsen i nogen grad er defineret af de evaluerede aktører selv.
De evaluerede aktører som afsendere
I forbindelse med anvendelsen af den faciliterende konsulentrolle kommer de
evaluerede aktører kun indirekte til orde i rapporten – gennem konsulentens
fortolkning. I vores analyse er der to eksempler på, at de evaluerede aktører også
kommer direkte til orde og dermed har rollen som medforfattere af rapporten (NSJ
03:55-56 & MISA 04:appendix). Vi betragter denne og den foregående afsender-
identitet som indikatorer på, at rapporterne tilstræber at bidrage til læring.
Til disse fire afsenderidentiteter kommer tre øvrige, som vil blive behandlet senere i
analysen. Disse tre har vi kaldt den uafhængige konsulent, den vurderende konsulent
samt den forretningsdrivende konsulent. I samtlige rapporter varieres der mellem
forskellige afsenderidentiteter. I de otte undersøgte rapporter skriver forfatteren
således ud fra i alt tre til fem forskellige roller. Den nøgterne og den opsummerende
konsulentrolle anvendes i seks af de i alt otte rapporter, mens den faciliterende
konsulentrolle anvendes i tre. Endelig optræder de evaluerede aktører som afsendere i
to rapporter (se bilag 4I og figur 9d).
102

9.1.1.3. En bevilling på spil
En af evalueringernes og reviewenes vigtigste kontrolfunktioner er at fungere som
grundlag for donors beslutning om at forlænge bevillingen til de evaluerede
projekter. Der er dog forskel på, i hvilket omfang de enkelte reviews og evalueringer
gennemføres specifikt med formålet at genoverveje bevillingen. Det afhænger såvel
af donors prioriteringer som af tidspunktet for bedømmelsesaktiviteten. I to af de
analyserede rapporter har vi set eksempler på, at bevillingen eksplicit er til
genovervejelse, hvilket nedenstående uddrag fra reviewet af Zambia i 2002
illustrerer:
A Phase III is contingent, however, upon a positive outcome of the review. A
positive outcome of the review involves that the review sees a continued basis
for Danish support to the media sector in Zambia. (Zambia 03:45)
I to andre rapporter gives der allerede i kommissorierne eksplicitte ’trygheds-
garantier’ til projekterne, idet det erklæres, at bevillingen ikke står på spil. Formålet
med bedømmelsen er således mere lærings- end kontrolorienteret. Af kommissoriet
til reviewet af MISA i 2004 fremgår det eksempelvis, at den næste fase ikke står til
diskussion, og at dialogen mellem MISA og donorerne antages at fortsætte – uanset
udfaldet af vurderingen:
Further to this, it is viewed as an important mechanism for dialogue within
MISA and between MISA and its strategic partners. This review will form the
basis of MISA’s next phase of its operations. (MISA 04:45)
Af de resterende fire rapporter fremgår det ikke eksplicit, hvorvidt de forholder sig til
bevillingen.
9.1.1.4. Anvendte metoder
Det fjerde parameter, som indgår i vurderingen af lærings- og kontrolkomponenterne
i de undersøgte rapporter, er de anvendte undersøgelsesmetoder under dokument- og
feltstudierne. I de tilfælde, hvor konsulenterne kun anvender enkeltinterviews og
dokumentanalyse, betragter vi dette som et udtryk for, at kontrolelementet er
fremherskende. Modsat anser vi det for et læringselement, når konsulenterne
supplerer dokumentanalyse og enkeltinterviews med anvendelse af participatoriske
metoder som eksempelvis workshops, emaildebatter og lignende. Forklaringen herpå
findes i de to forskellige evaluatorroller, som realiseres under brug af henholdsvis
participatoriske og såkaldte ’distancerede metoder’ (Patton 1986:102). Patton
illustrerer den vidensudveksling som finder sted i kontrolevaluering og i
participatorisk læringsevaluering således:
103

Participant Participant
Evaluator
Participant Participant
Pilene betegner det ”knowledge flow” (Patton 1986:156), som finder sted i en
evalueringsproces, og med den sammenkædning af begreberne viden og magt, som
Foucault foretager, kan pilene også ses som et forsøg på at skitsere magtpositionerne
mellem evaluator og evaluerede aktører. I figur 9b illustreres det, hvordan
evaluatoren i en kontrolevaluering opsamler og vurderer informationer fra de
evaluerede aktører. Evaluator bliver i dette tilfælde centrum for den indsamlede
evalueringsviden og har derved magten til at vurdere genstanden egenhændigt. Figur
9b illustrerer en participatorisk læringsevaluering, hvor den primære videns-
udveksling finder sted mellem de evaluerede aktører og den sekundære mellem
evaluator og de evaluerede aktører. I denne model distribueres informationerne
mellem alle involverede aktører, og man kan derfor ikke i samme grad betegne
evaluator som videns- og magtcentrum.
9.1.1.5. Afrapportering
Et femte og sidste parameter, vi har analyseret rapporterne ud fra, er måden, hvorpå
debriefingen er foregået. Hvor debriefingen finder sted som en mundtlig diskussion
mellem konsulenterne og de evaluerede aktører, gives sidstnævnte mulighed for at
påvirke og kommentere evalueringsresultatet. En mundtlig debriefing ser vi som et
forsøg på at inddrage partneren aktivt i opfølgningen af evalueringen/reviewet og
dermed søge at omsætte den indsamlede viden til egentlig organisatorisk læring.
Aflægges debriefingen derimod som en skriftlig rapport, betragter vi dette som en
mere passiv feedback, hvor konsulenterne orienterer de evaluerede aktører om,
hvordan vurderingen er faldet ud – uden at give dem samme mulighed for at
diskutere og forholde sig til konklusionerne.
Participant Participant
Evaluator
Participant Participant
Figur 9b: Kontrolevaluering Figur 9c: Participatorisk evaluering
Vi har nu gennemgået de i alt fem parametre, som vi har anvendt i vores analyse af
vægtningen af kontrol og læring i evaluerings- og reviewrapporterne. Parametrene
skal på ingen måde betragtes som udtømmende, idet man også kan pege på
forekomster af andre elementer i rapporterne, som peger på enten kontrol eller
læring. For ikke at komplicere analysen unødigt har vi udvalgt de fem spørgsmål,
som vi finder mest væsentlige, og vi foretager en forsimpling ved at sideordne de fem
parametre. Man kunne eksempelvis argumentere for, at det er mere væsentligt for en
104

edømmelses kontrolsigte, om der står en bevilling på spil eller ej, end om
debriefingen er foregået skriftligt eller mundtligt. Denne diskussion går vi med vilje
ikke nærmere ind i, da formålet med analysen alene er at danne et overblik over
forekomsten af lærings- og kontrolkomponenter i rapporterne og dermed empirisk
underbygge påstanden om, at ingen evaluering / intet review har enten et lærings-
eller et kontrolsigte, men at alle forløb rummer begge komponenter.
9.1.2. Oversigt over de analyserede rapporter
På skemaform ser en oversigt over forekomsten af lærings- og kontrolkomponenter i
de otte rapporter således ud:
Målopfyldelse,
effektvurdering
Kontrolkomponenter
Afsender: nøgtern/
opsummerende kons.
Bevillingen er eksplicit til
genovervejelse
Metoder: Interviews,
dokumenter, observation
Skriftlig debriefing
Erfaringsopsamling,
anbefalinger
Læringskomponenter
Afsender: Faciliterende
kons./evaluerede aktører
Partnerne gives en eksplicit
’tryghedsgaranti’
Participatoriske metoder:
workshops, debat, mm.
X X X X NSJ 02 X
X X X X MISA 02
Generel
X
X X
X
medieeval. 99/00 X
X
X MISA 01/02 X X X X X
X X X X Bangladesh 01/02 X
X X X X Zambia 02 X X X
X X X X X NSJ 03 X
X MISA 04 X X X X X
Figur 9d 47
Figuren viser, at alle rapporter både rummer kontrol- og læringskomponenter.
Eksempelvis er der i samtlige otte rapporter både en målopfyldelses-/effektvurdering
og erfaringsopsamlinger/anbefalinger. Samtidig illustrerer figuren også, at
rapporterne vægter kontrol- og læringskomponenterne forskelligt. Dette har vi søgt at
uddybe yderligere ved at placere de otte rapporter på et kontinuum, hvor kontrol
udgør det ene yderpunkt og læring det andet. Den metode, vi har anvendt hertil, er at
opgøre antallet af kontrolkomponenter, som er repræsenteret i den enkelte rapport, og
fratrække antallet af læringskomponenter – jo højere en værdi dette regnestykke
giver, desto højere grad af kontrol. Eksempelvis rummer evalueringen af NSJ fra
2002 i alt fire kontrolkomponenter og en læringskomponent. Når læringskomponen-
terne trækkes fra antallet af kontrolkomponenter, får evalueringen værdien +3.
47 I bilag 4 findes samtlige registranter udarbejdet under analysen: NSJ 02 i bilag 4A; MISA 02 i bilag
4B; Den generelle medieevaluering i bilag 4C; MISA 01/02 i bilag 4D; Bangladesh 01/02 i bilag 4E;
Zambia 02 i bilag 4F; NSJ 03 i bilag 4G og MISA 04 i bilag 4H.
Mundtlig debriefing
105

Maksimalt kan en rapport opnå en værdi på +5/-5, hvorfor nedenstående skala spæn-
der over netop disse værdier:
Læring
-5
Figur 9e
-4
MISA 01/02
MISA 04
-3
-2
-1
0
Generel
medieevaluering
99/00
+1
Zambia 02
+2
+3
NSJ 02
MISA 02
Bangladesh 02
+4
NSJ 03
På baggrund af de otte rapporters fordeling på kontrol-lærings-kontinuumet inddeler
vi dem i tre hovedgrupper:
Længst til højre på kontinuumet med værdier på +3 og +4 befinder der sig fire
rapporter: evalueringerne af NSJ og MISA fra 2002 samt reviewene af
Bangladesh 01/02 og NSJ fra 2003, som alle vægter kontrolaspektet højere end
læring. I afsnit 9.2.1. præsenterer vi de to reviewforløb af NSJ og mediestøtten til
Bangladesh som eksempler på, hvordan kontrolformålet opleves af de
involverede parter og kommer til udtryk i rapporterne.
Længst til venstre på skalaen med værdien -4 er de to reviews af MISA 01/02 og
MISA 04. I begge disse rapporter vægtes læringsaspektet højere end kontrol, og
vi vil gennemgå de to forløb i 9.2.2. som afsæt for en senere diskussion af
muligheden for at gennemføre participatoriske læringsevalueringer i Danidaregi.
I midten af kontinuumet ses to evalueringer med værdier på hhv. +1 og -1. Det
drejer sig om den generelle medieevaluering 99/00 (Danida 2000A) samt et
review af mediestøtten til Zambia foretaget i 2002. Begge disse rapporter vægter
kontrol- og læringsaspekterne nogenlunde lige højt – dog med den væsentlige
forskel, som ikke fremgår tydeligt af ovenstående opgørelse, at hvor reviewet af
Zambia kan karakteriseres som en kombination af kontrol og læring, har den
generelle medieevaluering snarere karakter af et hverken-eller. Dette forhold
gennemgår vi i afsnit 9.3.1., hvor de to forløb præsenteres nærmere.
9.2. Præsentation af evaluerings- og reviewforløb
I dette afsnit præsenteres de seks evaluerings- og reviewforløb, som vi har viden om
fra rapporter samt fra interviews med evaluerede aktører, konsulenter og opdrags-
giverrepræsentanter. Præsentationen vil blive ganske kort, idet den blot danner
grundlaget for en videre diskussion af de temaer og problemstillinger, som rejser sig i
de enkelte cases. Formålet med præsentationen her er således at introducere læseren
for den viden, vi har om evaluerings- og reviewforløb og dermed give denne
mulighed for at kigge os i kortene og løbende vurdere analyseresultaternes gyldighed.
+5
106
Kontrol

9.2.1. To ’kontrolreviews’: Bangladesh og NSJ 03
9.2.1.1. Review af Nordic-SADC School of Journalism (NSJ) i 2003 48
Danida har siden 1993 støttet NSJ – en journalistisk efteruddannelsesinstitution, som
servicerer hele det sydlige Afrika. Støtten til NSJ er blevet doneret i faser, og det
review, der blev foretaget i foråret 2003, var et slutreview, som dels havde til formål
at opsamle erfaringer fra støttefasen 2000-2003: ”The review will, in addition, focus
on the lessons learnt and main problems encountered during the implementation.”
(NSJ 03:32). Dels skulle reviewet vurdere basis for at forlænge bevillingen: ”based
on a positive review…” (NSJ 03:31), og endelig lægges der i kommissoriet op til, at
reviewholdet kommer med anbefalinger til en eventuel ny fase (ibid.). Fra opdrags-
givers side var der således lagt op til, at reviewet både skulle bidrage til kontrol og
læring – dog med vægt på kontrol.
Reviewholdet bestod af en dansk og en sydafrikansk konsulent 49 , som hver blev
aflønnet for fire arbejdsuger, det vil sige tyve dage. Feltstudiet varede i sig selv tyve
dage, og heraf bestod de fjorten af tæt pakkede dagsprogrammer på op til tolv timer
dagligt, hvor reviewholdet indsamlede datamateriale. Blandt andet gennemførte de
interviews med i alt 52 personer. De resterende seks dage var afsat til rapport-
skrivning og interne diskussioner konsulenterne imellem. Rapporten fokuserer på
organisatoriske og implementeringsmæssige vanskeligheder i NSJ og forholder sig
meget kritisk – særligt i forhold til NSJ’s ledelse. Kritikken kommer til udtryk blandt
andet i form af bagudrettede reprimander og en eksplicit placering af ansvar – både
hos projektorganisationen og de implementerende enheder:
The review team finds that this process should have deserved much more
ongoing and systematic attention and intervention from all involved parties –
RDE, Advisors, and in particular the NSJ Board and Executive Director. (NSJ
03:23, vus.)
Trods kommissoriets eksplicitte kontrolsigte, hvor det fremhæves, at bevillingen er til
genovervejelse, munder kritikken ikke ud i en anbefaling om nedlæggelse af
projektet, men konsulenterne tilkendegiver med brug af understregende biord og
modalverbet ’will’, at kritikken bør få konsekvenser: “it will be necessary for the NSJ
to carefully consider its future” (NSJ 03:5, vus.). Vi inddrager casen NSJ 03 i kapitel
13 som afsæt for en diskussion af, hvorvidt Danida reelt genovervejer bevillinger
som en følge af kritiske reviews og evalueringer.
48 Registrant: bilag 4G, rapport: bilag 11.
49 På missionen deltog endvidere en medarbejder fra Danida, hvis opgave var at undersøge basis for et
styrket donorsamarbejde i forbindelse med en ny bevillingsstruktur. Danidamedarbejderen deltog
således ikke i selve reviewarbejdet.
107

9.2.1.2. Review af mediebistanden til Bangladesh 01/02 50
Danida har støttet den lokale mediesektor i Bangladesh siden 1999 som en del af et
større program til fremme af menneskerettigheder og god regeringsførelse i landet.
Fase to af bevillingen løb fra 2000 til 2003 og undergik et midtvejsreview i vinteren
2001/2002. Kommissoriet for reviewet er det mest omfattende (ti sider) i vores
empiri og stiller krav om en særdeles grundig effektmåling samt en vurdering af
muligheder for en kommende støttefase. Hvor bredt og ambitiøst formuleret
kommissoriet er, illustreres i dette eksempel, som angiver et lille udpluk af de temaer,
reviewholdet forventes at forholde sig til:
…assess the relevance and, if applicable, formulate proposals on support for:
legal assistance and health insurance for journalists, law reform work, the Press
Council, media monitoring, the relationship between the media sector and the
civic society, environmental journalism, journalist associations, editor/owners’
associations, press clubs, regional networks and initiatives. (Bangladesh 02:31)
De fem eksterne konsulenter, som indgik på holdet, fik samlet løn for 25 ugers
arbejde, hvilket gør Bangladesh-reviewet til det ressourcemæssigt mest omfangsrige
studie, som indgår i vores empiri. Holdet havde således flere ressourcer til rådighed
end eksempelvis den generelle medieevaluering (Danida 2000A). Dokumentstudiet
omfattede i alt 183 dokumenter herunder projektdokumentation, avisartikler og
tekstanalyse af projekternes publikationer. I løbet af deres forstudier i Danmark og
det tolv dage lange feltstudium mødtes konsulenterne med i alt 193 personer og
foretog blandt andet observationer af kurser, lavede en lille receptionsanalyse og
besøgte en række af de støttede projekter. På baggrund af dette særdeles omfattende
datamateriale udarbejdede reviewholdet en rapport, som adskiller sig fra de øvrige
syv rapporter, på den måde at det er lykkedes holdet at leve op til det meget
ambitiøse kommissorium og rent faktisk levere en vurdering af mediebistandens
effekter på alle ønskede niveauer. At rapporten er kogt ned til 25 sider betyder, at der
ikke er en indgående vurdering af de enkelte projekter, hvorfor rapporten – trods dens
kontrolkarakter i form af et kraftigt fokus på effektmåling – ikke kontrollerer de
evaluerede aktører i form af ansvarsplacering og revurdering af de enkelte projekters
bevilling. Alligevel gav reviewprocessen anledning til en stærk oplevelse af utryghed
og utilfredshed blandt de evaluerede aktører, som vi vil beskæftige os mere
indgående med senere i analysedelen, hvor vi inddrager denne case som et eksempel
på, at partnernes oplevelse af forløbet afhænger af andre faktorer end den skrevne
rapport.
9.2.2. Den generelle medieevaluering og Zambia 02: Både/og eller
hverken-eller?
De to rapporter, der har værdien -1 og +1 på skalaen i figur 9e, er som nævnt meget
forskellige. Hvor den generelle medieevaluering hverken kan karakteriseres som en
50 Registrant: bilag 4E, rapport: bilag 9.
108

lærings- eller en kontrolevaluering, rummer reviewet af mediestøtten til Zambia
elementer af begge dimensioner.
9.2.2.1. Den generelle medieevaluering 51
Læser man kommissoriet, fremgår det, at formålet med evalueringen af Danidas
mediebistand i årene 1990-1998 er ikke bare læring, men ’selvkritisk læring’:
As this is a ”lessons learnt” evaluation, the emphasis is on accumulation of
experience and self-critical learning, rather than on accountability. (Danida
2000A:54)
Kommissoriet opstiller en lang række emner, som evalueringsholdet skal forholde sig
til – lige fra graden af kontekstfølsomhed i indsatsen over donorkoordination til
mediebistandens effekter på demokrati og menneskerettigheder. Af hensyn til kravet
om uafhængighed var konsulentholdet sammensat således, at ingen af deltagerne
tidligere havde været involveret i dansk mediebistand. I kombination med det
forhold, at Danida savnede et overblik over aktiviteterne på området, betød
konsulenternes manglende forhåndskendskab, at holdet brugte stort set al tiden på at
danne sig et indtryk af problemstillingerne på mediefeltet samt et overblik over
Danidas mediebistandsaktiviteter. Resultatet blev, at rapporten kun i ringe omfang
fremdrager læringspunkter og i stedet fokuserer på opgørelser over aktiviteter og en
fremstilling af normative teorier om mediernes rolle i demokratiet. Man kan således
ikke tale om, at evalueringsrapporten i sig selv rummer væsentlige kontrol- eller
læringselementer.
Dette affødte skuffelse hos både konsulenterne, opdragsgiveren og de evaluerede
aktører, som alle havde forventet en ’selvkritisk’ læringsproces. En ansat i Danida
omtaler evalueringen således:
Man kan sige at den der generelle [evaluering], der blev lavet på
menneskerettigheder og demokratisering, hvor medier var en del af det, da
syntes jeg jo, at de var meget venlige, vil jeg sige. Der synes jeg jo nok, at hvis
jeg selv skulle have lavet den, så kunne jeg være kommet med nogle flere
kritiske kommentarer, for når man sidder med det selv, så kan man jo som
regel se flere nuancer, end hvis man kommer fuldstændigt udefra og skal sætte
dig ind i sådan et nyt område og sådan tænker, ’nå, men det går da nok meget
godt det hele’. (OG)
Den citerede Danidaansatte kæder manglen på kritik og læring sammen med
konsulenternes manglende forhåndskendskab til mediebistandsfeltet. Omvendt giver
en af konsulenterne Danidas ”system” skylden for det skuffende resultat:
Der ligger altså et eller andet i det der system (griner), som gør, at man skal
noget bestemt. Jeg synes, at vi endte med at skrive en enormt kedelig rapport,
som ikke endte med at sige noget som helst. Og det… Jeg syntes, det var meget
frustrerende. Jeg ærgrer mig. (KS)
51 Registrant: bilag 4C, rapport: Danida 2000A.
109

Vi inddrager den generelle medieevaluering (Danida 2000A) til at belyse de forhold
ved ’systemet’ og ved konsulenterne, som udgør barrierer for gennemførelsen af
kritiske evalueringer i Danida – herunder konsulenternes uafhængighed og Danidas
tendens til at udarbejde meget ambitiøse evalueringskommissorier (se kapitel 11).
9.1.2.2. Zambia 02 52
I modsætning til den generelle medieevaluerings kommissorium lægger
kommissoriet for reviewet af Danidas mediebistand til Zambia op til en høj grad af
kontrol. Eksempelvis fremgår det eksplicit, at såvel den samlede bevilling som
bevillingerne til hvert enkelt af de støttede projekter er til genovervejelse (Zambia
02:45 & 48). Reviewholdet bestod af i alt fire eksterne konsulenter: tre danske og en
zambisk, og de fik i alt løn for tyve arbejdsuger. I løbet af dokument- og feltstudierne
indsamlede og analyserede reviewholdet 90 dokumenter og interviews med i alt 57
personer. På baggrund af dette relativt omfattende datamateriale foretog
konsulenterne en analyse af mediebistandens omfang og kvalitet med særlig fokus på
implementeringsvanskeligheder. Både Danida og Danidas partnere kritiseres i
rapporten, som især problematiserer forholdet mellem en ekstern IO og en af
projektorganisationerne.
Man kunne forvente, at kombinationen af et eksplicit kontrolsigte og kritik af
navngivne organisationer ville afføde en oplevelse af utryghed blandt de evaluerede
aktører. Dette er imidlertid ikke tilfældet – tværtimod beskriver en repræsentant for
en af de kritiserede partnerorganisationer reviewforløbet som konstruktivt:
… vi blev så hørt, efter de havde været dernede, med de ting de havde fundet
ud af dernede og vores holdninger og vores meninger om det og vores
reaktioner, vores synspunkter, og så videre. Så der var vi meget involveret,
også fordi at den review, den… hvad skal man sige… den øh… den afdækkede
og… hvad skal vi kalde det… den bragte nogle problemer i projektimplementeringen
frem, vil jeg sige. (…) Og vi blev også meget involveret i en
diskussion af: ’Jamen, hvad kunne så være en bærbar vej frem for en justering
af projektet?’ (PO)
Citatet viser, hvor vigtig inddragelsen af de evaluerede aktører er for disses oplevelse
af processen og for deres accept af en eventuel kritik. En af konsulenterne fra
reviewholdet forklarer her den valgte formidlingsstrategis betydning for, hvorvidt et
reviews konklusioner omsættes til organisatorisk læring:
… jeg tror, at selve processen også giver noget for organisationen, ikke? Jeg
mener altså… du… Når du gennemfører det, så har du det, der hedder en øh…
en briefing eller debriefing, hvor du sætter dig ned sammen med både
donorerne og med samarbejdspartnerne og gennemgår det, du ligesom… de der
anbefalinger og konklusioner, du er kommet frem til, og diskuterer det med
dem. (KS)
110

Ved at debriefe mundtligt til både ambassaden, projektorganisationerne, den eksterne
IO og BFT, formåede konsulenterne at kombinere kontrol med læring i en og samme
reviewproces. I kapitel 10 behandler vi med afsæt i reviewet af mediestøtten til
Zambia, hvordan interaktionen mellem konsulenter, de evaluerede aktører og
opdragsgiveren foregår under feltstudierne, og vi inddrager desuden casen i kapitel
12 i forbindelse med en diskussion af partnernes motivation for at følge op på
rapportens konklusioner.
9.2.3. To reviews af MISA – eksempler på læringsprocesser
Vi er nu fremme ved de to sidste cases, vi vil præsentere i dette afsnit. Det drejer sig
om to reviews af organisationen MISA (Media Institute of Southern Africa), som har
eksisteret siden 1992. Det ene review er gennemført i 2001 og udgivet i 2002 (MISA
01/02), og det andet er gennemført i sommeren 2004 (MISA 04). Begge reviews er
designet efter en participatorisk læringsmodel, hvor konsulenterne i alle faser har
tilstræbt en høj grad af inddragelse af de reviewede aktører.
9.2.3.1. MISA 01/02 53
Reviewet af MISA fra 2001/2002 er gennemført i samarbejde mellem Danida, Sida
og Hivos. Kommissoriet til reviewet er ganske omfattende – ni sider – og det eneste
eksempel i vores empiri på, at kommissoriet indeholder specifikke metode-
anvisninger som denne:
A participatory evaluation shall be used as a method to allow a process which
invites all identified stakeholders to articulate and present their needs, interests,
and expectations. (MISA 01/02:8)
Reviewet blev udført af i alt fem eksterne konsulenter 54 . som i forlængelse af
kommissoriets krav anvendte ”a highly participatory methodology” (MISA 01/02:vi)
og gennemførte en række workshops med de evaluerede aktører. På baggrund af
diskussionerne her identificerede konsulentholdet nogle problemfelter, som blev
diskuteret af de involverede aktører per e-mail i en måned. Syntesen af emaildebatten
blev fremlagt på endnu en workshop og diskuteret på et opfølgningsmøde mellem
donorer og partnere, hvor konsulenterne ikke var til stede. Rapporten afspejler i høj
grad de evaluerede aktørers synspunkter enten i form af direkte citater eller indirekte
henvisninger (bilag 4D: afsnit 2.3.2.).
MISA er et af Danidas flagskibe på mediebistandsområdet, og denne status nyder
organisationen også hos de fleste andre donorer. Organisationen står således ikke i
reel fare for lukning. Skulle projektorganisationens medlemmer alligevel være i tvivl,
53 Registrant: bilag 4D. Rapport: bilag 8.
54 Evalueringsholdets leder er ekstern i den forstand, at vedkommende på daværende tidspunkt havde sit
eget konsulentfirma. Men vedkommende har tidligere været rådgiver for MISA (KS) og opfyldte
dermed ikke kravet om ikke at have været involveret i implementeringen af det reviewede/evaluerede
projekt.
111

søger konsulenterne at aflive en eventuel utryghed i forhold til reviewets
konsekvenser allerede på rapportens tredje side, hvor de dels tilkendegiver deres
sympati med projektet og garanterer projektets fremtid: ”Good luck to MISA in its
continued effort to promote free and pluralistic media in Southern Africa” (MISA
01/02).
Af rapporten fremgår det, at konsulenterne har oplevet den participatoriske proces
som konstruktiv og ærlig: ”The depth of the analysis is very much a result of the
open and frank discussions conducted” (MISA 01/02:3, vus.). Det underbygges af en
interviewperson, der beskriver forløbet som en ”interaktiv proces” (KS).
9.2.3.2. MISA 04 55
Efter reviewet/evalueringen i 2001/2002 blev det besluttet, at MISA skulle reviewes
årligt. Reviewet fra 2004 er det andet af disse årlige reviews, og det er initieret og
designet i et samarbejde mellem de fire donorer, som bevilger penge til MISA,
herunder Danida 56 . Evalueringsholdet bestod af to konsulenter, hvoraf den ene – en
konsulent fra Zimbabwe – var udpeget af MISA og havde deltaget på reviewholdet
året før. Den anden konsulent er ansat i Danidas BFT og er således et sjældent set
eksempel på, at man fra donorernes side ser stort på kriteriet om uafhængighed og
hyrer en intern konsulent til at foretage et review.
Kommissoriet lægger ikke specielt op til anvendelse af participatoriske metoder, men
beskriver blot, at konsulenternes vurdering af MISA’s grad af målopfyldelse ønskes.
Af kommissoriet fremgår det endvidere eksplicit, at bevillingen ikke står på spil (se
afsnit 9.1.1.3.). Feltstudiet blev designet som en flerdages workshop, hvor
konsulenterne lagde vægt på at facilitere menings- og erfaringsudveksling internt
mellem projektorganisationens medlemmer, som det er illustreret i figur 9c. At
målene med de anvendte metoder i vidt omfang er blevet indfriet, fremgår blandt
andet af deltagernes evaluering af reviewprocessen, der er vedlagt som bilag til
reviewrapporten (MISA 04, annex 5). Forløbet får særdeles gode skudsmål af de
evaluerede aktører, der blandt andet bruger vendinger som: ”Educative and very
enlightening”, ”interactive and reflective”, ”very inspiring”, “useful and
empowering” og ”participatory” (MISA 04:76). Alle disse betegnelser rammer ind i
en participatorisk læringsdiskurs, i fremstillingen af hvilken vi blandt andet
præsenterede begreber som myndiggørelse, refleksion og participation. At det er
lykkedes for reviewholdet at facilitere en åben og ærlig dialog, underbygges af disse
deltagerudsagn: ”I feel there was HONESTY and willingness to look into our
problems”, ”a level of honesty that is very unlike MISA” (MISA 04:76). Dette er
interessant, især i betragtning af, at den ene af konsulenterne direkte repræsenterede
55 Registrant: Bilag 4H. Rapport: Bilag 12.
56 Norad (Norge), Sida (Sverige), Hivos (hollandsk NGO), Danida (Danmark).
112

donorsiden. Omstændighederne omkring reviewet kunne man umiddelbart tro ville
have affødt utryghed og mistillid.
Vi vender senere til de to reviews af MISA med henblik på at undersøge hvilke
betingelser, der synes at skulle være opfyldt, for at participatorisk læring kan
gennemføres i Danidaregi. Vi vil desuden nuancere billedet af den læring, som har
fundet sted i forbindelse med de to reviewprocesser.
9.3. Opsamling
Med ovenstående dokumentanalyse og fremstilling af de seks review- og
evalueringsforløb har vi søgt at vise, at alle forløb rummer elementer af både læring
og kontrol – om end i forskellig grad. Dette har vi illustreret ved at placere de otte
analyserede rapporter på et lærings-kontrol-kontinuum afhængig af, i hvilken grad de
rummer fremstillingsmæssige og/eller metodiske komponenter, som peger på enten
kontrol eller læring. Gennemgangen af de seks forløb viser desuden, at radiobils-
metaforen (Dahler-Larsen 2004:13) lader til at være dækkende for evaluerings- og
reviewprocesserne, idet disse ikke forløber forudsigeligt i overensstemmelse med det
formål, der er fastlagt i kommissorierne. En pointe, som særligt den generelle medie-
evaluering (afsnit 9.2.2.1.) illustrerer. At de involverede aktører ofte oplever det
samme forløb forskelligt, og at deres oplevelser afhænger af mange andre faktorer
end ordlyden i den skrevne rapport, fremgår eksempelvis af reviewene af Bangladesh
(afsnit 9.2.1.2.) og Zambia (afsnit 9.2.3.2.).
Dette kapitel har – i lighed med de to foregående – haft til formål at præsentere vores
datamateriale og introducere de forskellige manifestationer af kontrol- og lærings-
forståelser i interviews og dokumenter. Vi har dermed søgt at lægge grunden for en
mere problematiserende og diskuterende analyse af de forhandlinger, som lærings- og
kontrolformålene er genstand for. Dette drejer de følgende kapitler sig om.
113

10. Konsulenten som stødpude mellem donor og
modtager
Vi har nu præsenteret empirien og redegjort for evalueringer og reviews som grænse-
objekter, der er til forhandling mellem forskellige praksisfællesskabers forståelser og
interesser. I dette og de kommende kapitler undersøger vi evalueringer og reviews
rolle som knudepunkt for forhandlinger om relationerne mellem Danida og Danidas
partnere på mediebistandsområdet. Det forholder sig imidlertid sådan, at disse to
praksisfællesskaber sjældent interagerer direkte i udførelsen af evalueringer og
reviews. I stedet kommunikerer de gennem konsulenterne, hvis identitet som følge
heraf bliver en genstand for og en afspejling af de ofte komplekse forhandlinger
mellem donor og modtager. Ved at fokusere på konsulentidentiteten og særligt på de
punkter, hvor den viser sig problematisk og ustabil, søger vi at indkredse konflikt-
fyldte aspekter af donor-modtager-relationen.
10.1. Den uafhængige, upartiske konsulent
Under gennemgangen af den evalueringsteoretiske kontroldiskurs redegjorde vi for,
hvorfor uafhængighedsprincippet er en forudsætning for, at evalueringer kan bidrage
til at øge Danidas demokratiske legitimitet. I en udredning af Danidas evaluerings-
funktion er sammenhængen mellem uafhængighed, troværdighed og legitimitet
beskrevet således:
Evalueringer spiller en helt særlig rolle som informationskilde, fordi de er
udarbejdet af uafhængige konsulenter efter internationalt anerkendte principper
og standarder. Som i mange andre lande afhænger den danske befolknings
villighed til at bruge penge til bistand i stadig stigende grad af Danidas evne til
at dokumentere bistandens resultater og nyttevirkning. (Danida 2003A:14)
Principper om objektivet, troværdighed og uafhængighed står således centralt i
Danidas evalueringsretningslinier (Danida 1999:2f. og 84f.) og er styrende for valg af
konsulenter i forbindelse med både reviews og evalueringer. Også blandt
konsulenterne selv trives idealet om objektivitet og uafhængighed, hvilket blandt
andet kommer til udtryk i en udbredt anvendelse af den nøgterne og opsummerende
afsenderidentitet samt i hyppigt forekommende ’uafhængighedserklæringer’ som
denne:
It should be noted that this report contains the views of the review team, which
do not necessarily correspond to the views of the Government of Denmark or
the Government of Bangladesh. (Bangladesh 02:i)
Antager man, at konsulenterne faktisk spiller en upartisk og neutral rolle i
forhandlingerne mellem donor og modtager, er konsulentidentiteten uvæsentlig at
fordybe sig i. Imidlertid er den uafhængige konsulentidentitet særdeles problematisk:
For det første oplever partnerne i udgangspunktet konsulenterne som Danidas
kontrollanter, for det andet ser konsulenterne selv deres rolle som modsætningsfyldt,
114

og endelig kan man for det tredje stille spørgsmålstegn ved, om konsulenternes
uafhængighed af Danida er reel. Disse tre faktorer vil vi belyse i det følgende med
henblik på at vise, at uafhængighedsprincippet spiller en vigtig politisk rolle i
forhandlingerne mellem donor og modtager. Afsættet tager vi i to fortællinger, som
på hver sin måde problematiserer konsulenternes uafhængighed.
10.2. To fortællinger om utryghed og uafhængighed
Vi viderebringer her to fortællinger, hvoraf den første omhandler en partners
oplevelse af at blive udsat for inspektion af et eksternt konsulenthold. Her
tematiseres sammenhængen mellem partnernes utryghed og konsulenternes forsøg på
at værne om deres uafhængighed af og distance til de evaluerede aktører. Den anden
fortælling, som vi har kaldt ”høflighedssammensværgelsen”, handler om en af inter-
viewpersonernes oplevelser som rådgiver/konsulent for et projekt, hvor vedkom-
mende selv var genstand for projektaktørernes utryghed i kraft af sin tilknytning til
donoren. ”Høflighedssammensværgelsen” problematiserer konsulenternes tvetydige
identitet som dels donors forlængede arm og dels solidariske med partneren.
10.2.1. ”… sådan en nørd der, jamen altså, det skal han sgu da
ikke have lov til”
- Hvordan var det? At blive review/
Det var da skidesvært (griner)
- Ja? (griner)
De skulle da ikke komme dér og sige noget! (griner)
- Hvordan foregik det? Kan du ikke prøve at fortælle lidt?
Jeg syntes det var svært, fordi de havde en anden tilgang til review end jeg
normalt har, ikke altså. Øh, og øh, og teamleaderens stil, som jeg oplevede den,
var meget at holde kortene tæt til kroppen. Så jeg følte meget, at vi blev
evalueret, eller… ja ikke evalueret, men jeg syntes det var meget svært at
komme tæt på med at fortælle om, hvordan vi nu syntes. Øhm, og hvorfor vi nu
havde foreslået det og det for den næste fase, og hvad overvejelserne i det var.
Jeg syntes ikke, det var rart. Det syntes jeg ikke. Vi havde klart nogle
sammenstød omkring det altså.
- Lærte du noget om organisationen?
Jeg lærte noget negativt, ikke? Jeg lærte, at sådan vil jeg fandeme ikke gøre
det! Altså, det blev sådan/
- Men ikke noget om dit eget arbejde?
Nej. Det var lidt ærgerligt, altså.
- Hvad så efter det review blev udfærdiget? Der kom vel et første udkast, som
du så også fik? Eller hvordan?
115

Altså, det var noget af det, der var svært. At de ikke ligesom respekterede mig
som medspiller, så jeg spillede med at holde kortene tæt til kroppen, ikke. (…)
Jeg kunne ikke engang få, ja de ville ikke engang sende mig deres debriefing
note. Jeg blev nødt til at gå bagom, og ligesom gå hen til min egen konsulent,
som jeg på den anden side ligesom var chef for. Og sige, at han skulle spionere
og hente det der materiale for mig, for jeg ville fandeme have indflydelse, jeg
ville have lov at kommentere, jeg ville have lov at komme til orde. Øh, og
sådan var det hele vejen igennem. Og jeg syntes, det var pissegroft og pisseirriterende,
altså. Og jeg blev ikke inviteret med, når de havde debriefing i Danida,
der blev jeg, de orienterede mig ikke, vel. Der gik jeg selv bag om og gik ind
og sagde til [[den ansatte i BFT]], ’Hvad fanden foregår der?’ ’Nå, men du
skal da også med, selvfølgelig’. Så kom jeg derind, og så var jeg så kommet før
de andre, så da teamleaderen der, han kom ind, da var han ved at gå i gulvet,
for han havde absolut ikke forestillet sig, at jeg skulle sidde der, vel. Og sådan
noget.
- Hvorfor tror du egentlig, at de/
Ja og hvorfor, jamen det har jeg ingen anelse om! Jeg syntes bare, det var så
utilfredsstillende.
- Mmm. Var der nogle særlige kritikpunkter på noget af dit arbejde eller på
strategien eller?
Øh, der er selvfølgelig altid synspunkter, men der var ikke sådan noget med
altså, at der var noget, der var gået rivende galt, på den måde. Overhovedet
ikke, altså. Og der var ikke nogen, der ikke anerkendte, at jeg havde spillet den
rolle, jeg skulle, altså. (P2) Og der kan man jo sige, at for mig var det jo… altså
hvad lærte jeg af det? Jamen, jeg lærte at sådan vil jeg ikke gøre det. Jeg lærte
også, at hvis der kommer sådan en nørd der, jamen altså, det skal han sgu da
ikke have lov til. Ikke? (PO)
Af fortællingen fremgår det, at interviewpersonen oplevede reviewholdets distance
som et udtryk for manglende respekt, hvilket affødte en frustration over og vrede
mod holdets leder, der i fortællingen omtales nedsættende som ”en nørd”.
Fortællingen understreger, at inddragelse er afgørende for partnernes oplevelse og
udbytte af reviews og evalueringer. Processen lader således til at være langt vigtigere
end rapportens konklusioner, der – som vi tidligere har nævnt og som det også
fremgår af interviewpersonens eget udsagn – ikke var videre kritiske, og slet ikke
overfor den pågældende persons indsats. Ved at udføre reviews og evalueringer efter
kontroldiskursens forskrifter, skaber konsulenterne grobund for en følelse af afmagt
og utryghed blandt partnerne, og derved bidrager de til at understrege modernise-
ringsdiskursens asymmetriske donor-modtagerforhold. Uafhængighedsprincippet er
således ikke et neutralt og apolitisk element i de identitetsforhandlinger, som
evalueringer og reviews udgør rammen om. Det uddyber vi efter gengivelsen af
fortællingen om ”høflighedssammensværgelsen”.
10.2.2. Høflighedssammensværgelsen
Det fremgår af ovenstående fortælling, at skønt den interviewede partner følte sig
afmægtig, så var vedkommende det ikke, idet vedkommende via sin kontakt i BFT og
116

ved at få sin konsulent til at ’spionere’ formåede at få medindflydelse på og indsigt i
processen. I den kommende fortælling viser Danidas partnere en tilsvarende
opfindsomhed i forhold til at præge deres interaktion med Danida og konsulenterne.
Denne fortælling er som nævnt et uddrag fra et interview med en rådgiver/konsulent,
som fortæller om sine erfaringer med at balancere mellem på den ene side at være
”en støtte” og ”faglig sparringspartner” for projektorganisationerne, og på den anden
side at have rollen som ambassadens forlængede arm, der varetog kontrol af
projektet. Imens dette ansættelsesforhold stod på, havde interviewpersonen ”en stærk
fornemmelse” af at agere og blive betragtet som uafhængig – en fornemmelse, som
måtte justeres efter hjemkomsten til Danmark:
… min stilling [var] defineret sådan, at jeg var den person, der sad mellem
ambassaden og programmet, altså samarbejdspartneren, ikke. Og hvor en del af
rationalet i stillingen, det var at ambassaden simpelthen ikke havde ressourcer
nok til at lave den der løbende monitorering af, øh, hvad laver de, og laver de
det, de får penge for, og hvad går pengene til, og alt det der, ikke. Og det vil
sige, der lå sådan en kontrolfunktion i, ikke. Og på den anden side, den anden
halvdel af stillingen, var jo ligesom defineret som at være en støtte til
organisationerne.
Det vil sige, det var jo små NGO’er, som havde lavet små projekter op til de
der tre millioner. Som lige pludselig fik deres drøm opfyldt, ikke. De fik en
masse penge, og nu skulle de så ud og ’ahhh’, og alt det, der ligesom skulle
med der, organisatorisk og ledelsesmæssigt og alt muligt i forhold til at få de
der ting i sving, det var klart, at der skulle ligesom sådan noget
kapacitetsopbygning ind. Øh, hvor min rolle ikke var at lave det hele selv, men
altså hjælpe dem med ligesom at prøve at få en forståelse af de processer, og
hjælpe dem med at finde ud af, at nå, men så skal vi lære det, og så skal vi have
nogen ind, der kan hjælpe os med det og så videre og så videre.
Øh (P2), og der havde jeg nok, altså det er jo lidt sjovt at se det så bagefter, når
man holder op, ikke. I selve forløbet, der var jeg egentlig, der havde jeg en
stærk fornemmelse af, at det fungerede meget godt begge dele. At jeg syntes, at
jeg… At jeg godt kunne… At de godt kunne abstrahere fra min
kontrolfunktion, når vi lavede kurser i evaluering og monitorering og hvad det
nu kunne være. Og vi havde alle de der… Der var også klart nogle områder,
nogle sektioner i organisationerne, som tog meget til sig på læringsplanet, ikke.
(P1) Det jeg så fandt ud af bagefter, da jeg holdt op, og sådan har haft lidt med
dem at gøre eller sådan har hørt lidt og sådan noget, bagefter, at der kan jeg se,
at noget af den (respons), jeg troede, jeg havde, har været lidt spil for galleriet
fra deres side, fordi de spillede op til mig, fordi jeg var konsulent. Så noget af
det, jeg mente dengang, at det havde de lært, og at det ville de kunne blive ved
med at performe på det niveau, fordi de ligesom havde taget den der læring til
sig, fordi de ligesom havde taget den der måde at arbejde med projekter og
samarbejdspartnere (utydeligt), at de ligesom havde taget det til sig. Det viste
sig så bagefter, at det havde de altså ikke. At det havde været sådan et spil for
galleriet, fordi at øh, øh… Det er jo så min fortolkning af det, ikke, altså har set
det som: Nåh men, det var så den måde, man ligesom blev nødt til at opføre sig
på, og leve med og så videre, så længe der nu var udsendt sådan en hvid
kontrollant (griner).
Altså, og da jeg så ikke var der længere, så begyndte de så at gøre tingene på
deres egen måde igen, ikke… Hvilket jo altså (utydeligt) (griner). Men jeg,
117

altså, i virkeligheden, konklusionen på det er, og det, det tror jeg også er det,
jeg har plæderet for siden, ja og måske også før, men jeg ved ikke, men det er
simpelthen, at man skal skille de der ting ad, altså. Du kan ikke komme ud den
ene dag med kontrollantkasketten på, og så næste dag være den faglige
sparringspartner, det kan man ikke. Det kan den menneskelige hjerne
simpelthen ikke skille ad. (KS)
Efter at være kommet på afstand af projektet fik konsulenten den opfattelse, at
partnerorganisationerne i vid udstrækning ”spillede op til mig, fordi jeg var
konsulent”. Interviewpersonen oplever således at være blevet udsat for det, vi
tidligere har beskrevet som en høflighedssammensværgelse (”a conspiracy of
courtesy”, Mosse 1993:20) – trods sin opfattelse af sig selv som uafhængig. Hvor
interviewpersonen selv føler, at vedkommende kan adskille sine to roller, så oplever
projektorganisationerne konsulenten som værende overvejende på donors side – og
altså ikke en uafhængig instans. Interviewpersonen problematiserer
projektorganisationens høflighedssammensværgelse eller ”spil for galleriet” på flere
måder. Det fremstilles dels som et implementeringsmæssigt problem, at partnerne
ikke ændrede deres adfærd i den retning, som den daværende rådgiver ønskede:
”Altså, og da jeg så ikke var der længere, så begyndte de så at gøre tingene på deres
egen måde igen”. Dels skildres det som et fagligt og personligt problem for
interviewpersonen, der under opholdet havde en oplevelse af samhørighed og
gensidig forståelse af projektet:
Øh (P2), og der havde jeg nok, altså det er jo lidt sjovt at se det så bagefter, når
man holder op, ikke. I selve forløbet, der var jeg egentlig, der havde jeg en
stærk fornemmelse af, at det fungerede meget godt begge dele. At jeg syntes, at
jeg… At jeg godt kunne… At de godt kunne abstrahere fra min
kontrolfunktion, når vi lavede kurser i evaluering og monitorering og hvad det
nu kunne være. Og vi havde alle de der… (KS, vus.)
I denne passage fra fortællingen ovenfor veksler den tidligere rådgiver mellem at tale
om et ”jeg”, et ”de” og et ”vi”. Anvendelsen af ”vi” indikerer, at vedkommende i
nogen udstrækning har følt sig som en del af projektorganisationen, hvilket
understreges af en indirekte reference til fælles oplevelser: ”Og vi havde alle de
der…”. På den anden side fremgår det også af citatet, at samhørigheden med
projektorganisationen var betinget af, at både rådgiveren/konsulenten og projektaktø-
rerne ”kunne abstrahere” fra førstnævntes kontrolforpligtelser overfor den danske
ambassade.
Det anvendte eksempel drejer sig kun indirekte om reviews og evalueringer, idet det
beskriver en rådgiveransættelse, som ganske vist implicerede bedømmelsesaktiviteter
– men ’kun’ på projektrapporteringsniveau. Når vi alligevel har valgt at give det så
meget plads, skyldes det for det første, at den interviewede konsulent selv drager en
parallel til konsulentrollen i forbindelse med reviews og evalueringer. For det andet
illustrerer eksemplet et gennemgående tema i vores empiri: Konsulentens rolle som
118

stødpude mellem donor og partner. Eller som den ovenfor citerede interviewperson
beskriver sin placering: ”mellem ambassaden og programmet, altså samarbejds-
partneren”.
10.3. Kunden har altid ret…
Den ene side af konsulentidentiteten udløber af den forretningsmæssige relation til
Danida: Danida er opdragsgiveren, kunden, som konsulenten har forpligtet sig på at
levere en tilfredsstillende vare til. Som følge heraf føler konsulenterne sig forpligtet
til at imødekomme opdragsgiverens krav om at kontrollere partnerne, selvom de
interviewede konsulenter gerne vil undgå dette, hvilket fremgår af ovenstående
fortælling, hvor konsulenten plæderer for en adskillelse af kontrol- og lærings-
funktionen. Konsulenternes tilknytning til og loyalitet overfor opdragsgiveren
forstærkes af deres vidensmæssige og økonomiske afhængighed af Danida. Disse
faktorer gennemgås i afsnit 10.3.1., 10.3.2. og 10.3.3., inden vi i afsnit 10.3.4.
undersøger, hvad den tætte relation mellem konsulenter og Danida betyder for
partnernes oplevelse af bedømmelsesprocessen.
10.3.1. Viden er magt
En sideeffekt af uafhængighedsprincippet er, at de eksterne konsulenter som
hovedregel ikke har detailviden om de undersøgte projekter/programmer og i mange
tilfælde heller ikke om det land, hvor projektet hører hjemme. Uafhængighed er
derfor ofte lig uvidenhed. For at kunne skaffe sig den manglende viden, må
konsulenterne ty til de informationer, som er at finde i dokumenter om projektet,
blandt Danidas medarbejdere og hos Danidas partnere, hvilket udgør et potentielt
problem i forhold til idealet om uafhængighed. Ideelt set burde review-/evaluerings-
holdet være uafhængigt af både opdragsgiver og evaluerede aktører, men står valget
mellem en af disse aktører, foretrækkes det inden for en evalueringsteoretisk kontrol-
diskurs, at evaluatorerne skaffer sig informationer fra opdragsgiveren. Som vi
gennemgik i kapitel 4, anses evaluatorens kontakt med de evaluerede aktører nemlig
for at udgøre en større trussel mod evalueringens troværdighed, end en vis kontakt
med opdragsgiveren gør. Det skyldes, at de evaluerede aktører menes at have en stør-
re subjektiv interesse i at påvirke evalueringens konklusioner end opdragsgiveren,
som i kraft af dennes interesse i at finde frem til ”den virkelige virkelighed” anses for
at være en troværdig kilde:
Men jeg vil, jeg vil jo også altid være interesseret i, at de får så godt et billede,
som overhovedet muligt, af den virkelige virkelighed. Fordi, ellers bliver det
ikke nogen hjælp for mig. I, altså i den justering, der skal være af programmet.
(OG)
I henhold til denne selvopfattelse, som i høj grad ligger i forlængelse af kontrol-
diskursens objektivitetskriterium, anser Danidamedarbejderen ikke en tæt kontakt og
vidensudveksling mellem Danida og konsulenterne for at være problematisk. I det
119

følgende vil vi udfordre denne påstand ved at fremdrage eksempler på, at ’opdrags-
giverens viden’ manifesterer sig som ’opdragsgiverens magt’ – og altså ikke er
neutral.
10.3.1.1. Fortrolighed
Allerede i løbet af dokumentstudierne grundlægges et tæt samarbejde mellem
konsulentholdet og Danida, idet konsulenterne ofte kontakter enten BFT eller en
ambassademedarbejder for at få uddybende oplysninger om eller en udredning af
uklarheder i dokumenterne. I disse samtaler har Danidamedarbejderne mulighed for
at formidle ”inside informations” og dermed spore konsulenterne ind på problem-
stillinger, som er væsentlige – set fra et donorsynspunkt:
… når man har lavet det deskstudie, så har man efterhånden en vis
fornemmelse af, hvordan det her projekt går. Og jeg vil også sige, at man jo
altså også får nogle inside informations indimellem, nogle ret fortrolige
informationer omkring hvordan projektet har kørt, og det er klart, at Danida
formidler nogle ting til os, som de gerne vil have, at vi ligesom tager fat i. (KS)
Kombinationen af Danidamedarbejdernes detailviden og deres status som opdrags-
givere gør, at de på den ene side kan hjælpe konsulentholdet til en øget indsigt i
projektet og på den anden side kan bede holdet om at fokusere på bestemte
problemer.
10.3.1.2. Ambassaden tilrettelægger feltstudieprogrammet
Samarbejdet mellem Danida og konsulenterne fortsætter under feltstudierne, idet
evalueringsholdets feltstudieprogram tilrettelægges af ambassaden. Det er således
ambassademedarbejderne, som i vidt omfang beslutter, hvilke personer, projekter og
interessenter holdet præsenteres for. Formelt set har de eksterne konsulenter ret til at
ændre ambassadens oplæg, men da disse – som vi tidligere har nævnt – i kraft af
uafhængighedskriteriet sjældent kender konteksten, har de i praksis vanskeligt ved at
vurdere, om feltstudieprogrammet er dækkende og fornuftigt:
… altså, der bliver det jo lagt meget i hænderne på ambassaderne, og de gør det
jo selvfølgelig så godt de kan. Altså, det er jo ikke… Men der er for lidt
egentlig dialog der om, hvad det var, vi gerne ville kigge efter – ved
ambassaden, inden vi kom derned, ikke? (KS)
Konsulenternes manglende viden om projektet og konteksten medfører således en
afhængighed af ambassaden i forhold til udarbejdelse programmet for feltstudiet. En
Danidamedarbejder siger kort og godt: ”Jeg kan ikke se, hvordan konsulenterne ville
kunne forberede et ordentligt program, øh, uden ambassaden” (OG). At ambassaden
agerer mellemled mellem konsulenter og partnerorganisationer betyder dels, at
førstnævntes afhængighed af ambassademedarbejdernes viden og kontakter øges
yderligere, og dels at partnerorganisationerne opfatter konsulentholdet som en del af
det ”officielle Danmark” og altså ikke som en uafhængig instans:
120

Vi kan godt, inden vi kommer ud – altså på baggrund af de desk studies, vi har
lavet – forlange, at vi vil tale med den og den og den. Og det gør vi også, men
det er ligesom dem [på ambassaden], der laver aftalerne, og det gør jo, at man
meget ofte bliver knyttet… altså, at man bliver sat i samme båd med de folk,
ikke? Med det mere officielle Danmark, når du går rundt og reviewer. (P1). Det
er der ingen tvivl om. (KS)
10.3.1.3. Uformel kontakt under feltstudierne
Foruden det formelle samarbejde mellem konsulenthold og ambassade finder der som
regel også en uformel kontakt sted, idet konsulenterne og ambassademedarbejderne i
en række tilfælde også ses uden for det fastlagte program. I nedenstående citat
beskriver en tidligere ambassademedarbejder, hvordan vedkommende og
konsulenterne mødtes over en middag eller ”en sundowner”, hvor de sammen
reflekterede over dagens indtryk, og hvor ambassademedarbejderen bidrog til at
”afklare misforståelser”:
Men hvor de så kom tilbage og sad, og snakkede først indbyrdes sammen om
de indtryk, de havde fået i dagens løb, og så fik vi typisk en sundowner, eller
spiste middag sammen eller et eller andet, og så snakkede om forskellige ting,
hvor jeg så kunne supplere... (...) Altså, det er når et team, når et review
fungerer godt. Ikke. Når et review fungerer mindre godt, så er der kun lige
kontakt, når man henter dem i lufthavnen, og så når de debriefer til allersidst,
ikke. Det øh, det synes jeg ikke, er særligt smart. Fordi så bliver der meget lidt
mulighed for også at afklare misforståelser. (OG)
Den tidligere ambassademedarbejder giver her tydeligt udtryk for, at et godt
evaluerings-/reviewforløb er kendetegnet ved en tæt kontakt mellem konsulenter og
ambassade, idet denne kontakt garanterer ambassademedarbejderne en vis indflydelse
på konklusionerne – jævnfør vedkommendes målsætning om at undgå ”misforståel-
ser”. Den citerede ambassademedarbejder ser ingen modsætning mellem kontrol-
diskursens objektivitetskrav og så sin egen indflydelse på konsulenterne. Tværtimod
betragter vedkommende sig selv som en kilde til objektiv viden, der kan bidrage til at
kvalificere konsulentholdets undersøgelse.
10.3.2. Økonomisk afhængighed
Konsulenternes afhængighed af Danidamedarbejdernes viden understøttes og
forstærkes af deres økonomiske afhængighed af Danida som opdragsgiver.
Altså, man er – og det bør man ikke være – men øh… jeg tror, de fleste er en
anelse afhængige af opdragsgiveren. (KS)
Som vi redegjorde for i kapitel 7, er den samlede mængde evaluerings- og rådgiv-
ningsopgaver inden for mediebistandsfeltet begrænset. Dette har betydning for den
del af ressourcebasen, som er specialiseret inden for mediebistand, hvor
konsulenterne i mange tilfælde står i et økonomisk afhængighedsforhold til Danida.
Deres forretning kan simpelthen ikke overleve uden opgaver herfra. I det følgende vil
vi opridse, hvilke konsekvenser denne afhængighed har for interaktionen mellem de
tre praksisfællesskaber i feltstudiefasen.
121

En udredning af Danidas evalueringsfunktion fra 2003 slog fast, at konsulenter, som
udfører mange opgaver for Danida, skriver lige så kritiske rapporter, som de
konsulenter, hvis projektportefølje er spredt ud på flere opdragsgivere (Danida
2003A: appendix 3, 24ff.). I det omfang der er tale om, at de valgte evaluatorer er
økonomisk afhængige af Danida, udgør det ifølge udredningen ikke noget problem
for evalueringernes troværdighed.
Vores analyse peger imidlertid i en anden retning. Flere interviewpersoner giver
nemlig udtryk for, at konsulenternes økonomiske afhængighed af Danida betyder, at
evalueringsholdene ofte er mere lydhøre over for opdragsgiverens synspunkter, end
de måske ellers ville have været. Den økonomiske afhængighed gør det med andre
ord nemmere for Danidas medarbejdere at overbevise konsulenterne om, at de har
”misforstået” noget:
Øh, det man så gør i de der evalueringer, vi selv laver, det er at sikre sig, at de
folk, der bliver hyret til at løse opgaven, ikke har været involveret i de der
projekter. Så man sikrer den der uafhængighed, ikke. Men selvfølgelig, i og
med at de mennesker jo er konsulenter generelt, lever af at lave opgaver for os,
og ved også alt andet lige, at de skal have nogen i fremtiden, så påvirker det jo
nok også deres måde at kigge på os på. Forstår du, hvad jeg siger? (…) Så man
kan aldrig udelukke, at der er noget påvirkningsgrad der, og i og med at processerne
også bliver... Hvor man laver draft rapport, den bliver kommenteret,
og så, så tager man konsulenter ind og siger, at ’I har fuldstændigt misforstået
det her, det er sådan og sådan, det hænger sammen’. (OG)
Fra opdragsgiverens side vil man således ikke udelukke, at konsulenternes interesse i
at stå sig godt med Danida, understøtter deres villighed til at godtage de informa-
tioner og holdninger, som Danidas medarbejdere giver udtryk for. På denne baggrund
mener vi, at udredningen fra 2003 har været for hurtig til at aflive afhængigheds-
problemet. Vi vil i stedet konkludere, at konsulenternes økonomiske afhængighed af
Danida udgør en potentiel barriere for den kritiske distance, som både ifølge kontrol-
diskursen og den participatoriske læringsdiskurs burde eksistere mellem konsulent og
opdragsgiver. Denne problematik vokser i takt med opdragsgiverens ’genbrug’ af
konsulenter, og som et lille felt er mediebistand derfor særlig udsat.
10.3.3. Uafhængighed avler afhængighed
Ironisk nok blokerer uafhængighedskriteriet for konsulenternes uafhængighed, i og
med at de bliver afhængige af opdragsgiverens viden. De informationer, som
udveksles mellem Danida og konsulenterne i løbet af dokument- og feltstudierne, er
ikke så neutral og objektiv, som Danidamedarbejderne hævder. Imidlertid er det
overordentligt vanskeligt at påvise, at opdragsgiveren påvirker konsulenterne til at
konkludere på en anden måde, end de ellers ville have gjort, da en sådan bevisførelse
ville kræve viden om den kontrafaktiske situation. Men vi har i det ovenstående vist,
122

at omstændighederne herfor er til stede i kraft af den tætte formelle og uformelle
kontakt mellem opdragsgiver og konsulent. At viden er lig magt, og at uvidenhed
derfor afføder afhængighed, er muligvis en banal konklusion. Den udfordrer dog ikke
desto mindre både Danidamedarbejdernes og konsulenternes selvopfattelse, som i høj
grad afspejler uafhængigheds- og objektivitetskriterierne inden for den evaluerings-
teoretiske kontroldiskurs. Vi har endvidere redegjort for, at konsulenterne i et vist
omfang kan karakteriseres som økonomisk afhængige af Danida, hvilket understøtter
og forstærker deres vidensmæssige afhængighed.
10.3.4. Partnernes syn på konsulenterne
Ovenstående analyse peger på, at partnernes tendens til at betragte konsulenterne som
donorens forlængede arm snarere end som uafhængige aktører ikke er helt
uberettiget:
… det siger jo sig selv, ikke? At der kommer donoren, som organisationerne er
dybt afhængige af, nedsætter det der hedder en review til at gå ned og se på
projektet, ikke? Altså, det er jo… Man er jo ikke primært opfattet som
solidarisk med projektet. Man er primært opfattet som solidarisk med donoren,
for nu skal donoren se, hvordan det her går, sådan så vi kan se, om vi skal blive
ved med at give penge til det her, ikke? Nogen vil måske sige: ’Det går rigtigt
dårligt det her, så luk lortet.’ (KS)
I dette udsagn beskriver en konsulent, at partnernes utryghed grundlægges allerede i
initieringsfasen. Som vi beskrev i kapitel 7, er Danida reelt den eneste aktør, som har
noget at skulle have sagt i forhold til igangsættelsen af reviews og evalueringer. Og
denne initiering foretages ud fra et hensyn til de ansvarliggørelseskrav, Danida
mødes med som en del af den danske statsadministration – det vil sige, at bevillingen,
og dermed projektets fremtid, i princippet altid står på spil. Således er der en
grundlæggende interessemodsætning mellem donoren på den ene side og på den
anden side projektorganisationerne, der i citatet betegnes som ”dybt afhængige” af
donoren. Donorens magt til at lukke projekterne er i evaluerings- og review-
sammenhæng delegeret til konsulenten, som derfor – ifølge interviewpersonen
ovenfor – typisk bliver opfattet som en partshaver, der i den økonomisk funderede
interessekonflikt mellem donor og modtager antages at være ”solidarisk med
donoren”.
10.3.4.1. Høflighed som strategi
Partnernes usikkerhed og sårbarhed overfor de eventuelle negative konsekvenser af
en evaluering eller et review gør, at de forsøger at fremstille sig selv så positivt som
muligt i interviewsituationen. Dette var fortællingen om høflighedssammensværgel-
sen et eksempel på, og det underbygges endvidere af dette udsagn, som betegner
partnernes adfærd som et resultat af ”en reel nok analyse”:
Altså, de ser jo på en sådan, altså de er altid meget, meget venlige. (…) Altså
fordi de jo selvfølgelig er bange for, at man siger noget grimt, ikke, og så
sørger for, at pengene ryger ud, ikke. Og det kan man jo reelt også, altså det er
123

jo en reel nok analyse, de laver, ikke. Hvis man kommer med en dårlig review,
øh og siger, øh: ’jeg kan ikke bestemme, at pengene skal tages ud, for det er en
politisk beslutning, men jeg kan anbefale, at øh, det er simpelthen bare
håbløst’. Og så er det jo svært i systemet her at acceptere et review, der
kommer med det, og så ikke tage pengene tilbage eller finde en eller anden
udfasning. (OG)
Konsekvensen af partnernes ’venlighed’ er, at det er vanskeligt for konsulenterne at
få partnerne i tale om, hvad der reelt foregår på projektet. Der er simpelthen ikke
noget incitament for partnerne til at spille med åbne kort – i hvert fald ikke, hvis de
vurderer, at deres åbenhed kan give bagslag i form af kritik:
Det har jeg tænkt meget over: Hvorfor er det egentlig så svært at finde ud af,
hvad det er, der virkelig virker og ikke virker? Og noget af det, som jeg tror,
det skyldes, det har noget med magt at gøre. Altså magtbalancen mellem dem,
der giver, og dem der får, altså den er der jo, den er jo skævt fordelt. Så hvis du
beslutter dig for, at du vil støtte et projekt et sted, og der så kommer nogle
andre ud og spørger dem, der har fået penge: ’Virker det her?’, selvfølgelig
siger de, det virker. Du kan jo ikke forvente, at de siger: ’Eej, det virker ikke’.
De kan godt finde på at sige: ’Ejmen, det ville virke endnu bedre, hvis vi fik
nogle flere penge’, altså. Det er også logisk. (KS)
Vi ser således, at partnernes utryghed blokerer for deres ærlighed og åbenhed i
dataindsamlingsprocessen, og derved spænder kontrolfunktionen ben for både
indsamling af objektiv information – et af de centrale kriterier inden for den
evalueringsteoretiske kontroldiskurs – og udgør desuden en barriere for realiseringen
af participatoriske læringsevalueringer. Sidstnævnte forhold formuleres sådan af
Dahler-Larsen:
Der er også typisk tale om en helt anden mentalitet hos de involverede parter [i
læringsevalueringer]. Hvor kontrolevalueringerne typisk leder til, at man viser
sine bedste sider og skjuler sine dårlige, så godt man kan, forudsætter
læringsevalueringer en åben og tillidsfuld fremlægning især af ens egne
svageste sider, for det er her, at læringspotentialet er størst. (Dahler-Larsen
2004:25)
Ikke desto mindre fastholder Danida – og til en vis grad også konsulenterne – idealer
om at anvende evalueringer og reviews til indsamling af objektiv information og som
redskaber til læring. Vores ærinde er ikke at erklære det for umuligt at etablere et
tillidsforhold mellem partnere og konsulenter eller at gennemføre participatoriske
processer i forbindelse med evalueringer og reviews af Danidastøttede medie-
bistandsprojekter. En sådan erklæring ville stride imod vores empiri, idet
evaluerings- og reviewforløb indeholder såvel lærings- som kontrolaspekter, hvilket
vi viste i kapitel 9. Derimod er vores ærinde at påpege problemer ved at antage, at
fundamentale idealer inden for de to dominerende evalueringsteoretiske diskurser om
henholdsvis objektivitet og participation uden videre lader sig realisere i en utryg
bedømmelseskontekst. Til sidst i specialet vil vi derfor komme med en række
anbefalinger til, hvordan partnernes utryghed kan imødekommes og undgås.
124

10.4. Konsulenten som modtagerens advokat
En anden side af konsulenternes identitet udløber af deres engagement i medie-
bistandsfeltet. Flere af konsulenterne føler sig – om ikke som en del af projekt-
organisationen (jf. fortællingen om høflighedssammensværgelsen) – så i hvert fald
som solidariske med og ansvarlige overfor de evaluerede/reviewede projekter:
Der er selvfølgelig den der utrolig store… det der ansvar, man har, når man
kommer ud og… som en smart fyr med armbåndsur og jetsetter ind med store
jernfugle og sætter sig ned og er dommer over noget, som nogle folk har gået
og kæmpet med i årevis. (KS)
Citatet fremstiller konsulenterne som udefrakommende ’smarte fyre’, der ”jetsetter
ind med store jernfugle” og skal agere ’dommere’ over projektorganisationernes
arbejde. En dom, som i sidste ende kan betyde, at man bidrager til at lukke projekter
og dermed i nogle tilfælde at fratage projektmedarbejderne deres levegrundlag:
Og der er altså det der, som konsulent, du kommer ud, du har magten, og det
ved de jo, ikke. Fordi du har magten i forhold til at hvad skriver du af
anbefalinger, hvad får du af indtryk, hvordan vurderer du… det er jo et
kolossalt ansvar, og det er jo en reel magt i forhold til dem, i forhold til at… de
der sætninger, du skriver, de kan rent faktisk betyde, om de får penge eller ej,
ikke altså. (KS)
Jeg har været med til at lukke projekter. (…) Men det gør da ondt, altså. Og der
er en masse mennesker involveret, ikke. Steder hvor der jo ikke er noget at leve
af, tit, så tager du deres brød fra dem (KS)
Citaterne udtrykker en medfølelse og en solidaritet med modtagerne, der omtales som
”mennesker”, som har ”kæmpet i årevis”, og hvis ”brød” man som kritisk konsulent
risikerer at berøve dem. Sammenlignes dette billede af en menneskelig modtager,
som står i en barsk virkelighed, med den ovenstående karakteristik af en konsulent
som ”en smart fyr med armbåndsur” og med nedenstående omtale af ’skrivebords-
personerne’ i Danida, fremstår det tydeligt, hvor konsulenternes sympati befinder sig:
Så derfor, for mig, når jeg laver rapporten, jeg ved godt, den primære kunde,
kan du sige, det er jo en eller anden desk… programme officer i Danida, ikke.
(…) Men altså, i lige så høj grad at skrive til partnerne. Fordi det er jo dem, der
skal tage det i hånden og gå ud og bruge det bagefter, det er ikke den der
person, der sidder bag et skrivebord i Danida. Øh, for om et halvt år, så er det
en anden person. Og den anden person læser ikke den rapport, vel? Så dem, der
skal leve med på godt og ondt, hvad jeg nu synes, (griner) jeg kan udbrede mig
om, det er jo partnerorganisationerne. (KS)
Denne sympatitilkendegivelse hænger tæt sammen med konsulenternes ønske om at
foretage participatoriske læringsevalueringer, hvor de evaluerede aktører sættes i
centrum og gives magten til selv at vurdere deres egen situation. Jævnfør det partici-
patoriske læringsideal solidariserer konsulenterne sig med modtagerne – ikke sådan
at forstå, at de mener, at disse nødvendigvis har ret i alt, men på den måde at de gerne
vil gøre evalueringen eller reviewet til et nyttigt redskab til videreudvikling af medie-
bistandsprojekterne.
125

10.4.1. Evnen til at stille de rigtige krav
Samtidig med at partnerne er på vagt overfor konsulentens rolle som donorens
forlængede arm, ønsker de selv at benytte evaluerings- og reviewholdene som
’advokater’, der skal tage partnernes parti i en eventuel konflikt med Danida. I
nedenstående citat forklarer en interviewet repræsentant for en projektorganisation,
hvordan man som evalueret aktør kan spille på konsulenternes ønske om at bidrage
positivt til projektet:
Så det er selvfølgelig også organisationen, der skal forstå at stille de rigtige
krav til dem, der evaluerer. Altså fordi evaluatorer og konsulenter de vil… på
den ene side har de fået en kontrakt – de skal forholde sig kritisk – på den
anden side vil de jo også gerne kunne bidrage, altså de vil også gerne have, at
det har en eller anden nytteværdi, det de foretager sig. (PO)
Det er imidlertid ikke nok for projektorganisationen blot at spille på konsulenternes
solidaritets- og ansvarsfølelse: man skal kunne stille ”de rigtige krav”, der tager højde
for evalueringsholdets selvforståelse som kritiske, uafhængige aktører og deres
kontraktlige binding til opdragsgiveren. Dette giver ’kompetente’ projektorganisa-
tioner et forspring frem for ’ikke-kompetente’, idet førstnævnte i højere grad formår
at søge at påvirke konsulenterne på en subtil og elegant måde. Den ovenfor citerede
repræsentant for en projektorganisation giver her et eksempel på, at organisationen i
begyndelsen af en evalueringsproces appellerede til konsulenternes sympati- og
ansvarsfølelse ved at give dem medansvar for en eventuel lukning af projektet:
… der er ingen tvivl om, at vi ville have været følsomme overfor en negativ
evaluering. Og det var noget af det første, vi sagde til konsulenterne, dengang
de gik i gang med evalueringsprocessen: ’I skal vide, det har konsekvenser; det
I siger i de her rapporter, får konsekvenser. Og det må I overveje fra starten af,
at hvis I vælger at gå ind…’ (PO)
10.5. Splittelsen
Af ovenstående analyse fremgår det, at der rykkes i konsulenterne fra to sider: på den
ene side oplever konsulenterne en moralsk tilskyndelse til at agere som modtagerens
advokat i overensstemmelse med idealerne inden for den participatoriske lærings-
diskurs og den kritiske udviklingsditto. På den anden side er evalueringsholdene i
praksis både økonomisk og vidensmæssigt afhængige af Danida. Konsulentidenti-
teten rummer således to dimensioner: en praktisk dikteret donororientering og en
moralsk funderet modtagerorientering. Disse to dimensioner behøver ikke nødven-
digvis stå i et modsætningsforhold til hinanden – det afhænger af graden af konflikt
mellem donor og modtager. Hersker der enighed om mål og midler i mediebistands-
indsatsen, er konsulentens dobbelte loyalitet uproblematisk, men i det øjeblik der
opstår uenigheder mellem donor og modtager, oplever alle tre praksisfællesskaber
konsulentidentiteten som flertydig og modsætningsfyldt. Det er på den baggrund, vi
betragter konsulenten som en stødpude mellem donor og modtager.
126

Midt i denne interessekonflikt mellem Danida og partnerne har konsulenten også sin
faglige integritet og sine egne subjektive vurderinger at tage hensyn til. Konsulent-
identiteten er således spændt ud mellem tre poler: Danida som opdragsgiver, Danidas
partnere og konsulentens faglige og personlige integritet. I rapporterne kommer
denne splittelse til udtryk ved, at konsulenterne anvender en mangfoldighed af
afsenderidentiteter.
10.5.1. De mange afsenderidentiteter
I kapitel 9 (afsnit 9.1.1.2.) nævnte vi, at der i de analyserede rapporter figurerer i alt
syv forskellige afsenderidentiteter, hvoraf én er de evaluerede aktører, som kommer
direkte til orde i to rapporter (MISA 01/02 & MISA 04). De seks øvrige afsender-
identiteter er forskellige ’stemmer’, som konsulenterne veksler mellem, og disse har
vi kaldt: (1) den nøgterne, (2) den opsummerende, (3) den uafhængige, (4) den forret-
ningsdrivende, (5) den faciliterende samt (6) den vurderende konsulent.
Ad. 1-2) I anvendelsen af de to førstnævnte afsenderidentiteter agerer konsulenterne
objektive, ræsonnerende analytikere, der gengiver virkeligheden, som den enten er
(den nøgterne rolle) eller som den åbenbarer sig for vedkommende gennem de
indsamlede data (den opsummerende konsulentrolle). Ved at skrive ud fra disse to
positioner trækker konsulenterne på den distancerede, rationelle evaluatorfigur, som
foreskrives inden for en evalueringsteoretisk kontroldiskurs (Chelimsky 1995:218, se
afsnit 4.2.2.). Disse to afsenderidentiteter er fremtrædende i seks af de i alt otte
rapporter (bilag 4I).
Ad. 3) Den uafhængige konsulentrolle genskaber ligeledes den evalueringsteoretiske
kontroldiskurs og kommer til udtryk gennem ’uafhængighedserklæringer’ 57 , som er at
finde i halvdelen af rapporterne (bilag 4I).
Ad. 4) I forlængelse af ovenstående diskussion om relationen mellem uafhængig-
hedskriteriet og konsulenternes afhængighed af Danida, som blandt andet er af
økonomisk karakter, er det interessant, at den uafhængige, nøgterne og opsumme-
rende konsulentrolle suppleres af en afsenderidentitet, vi har kaldt ’den forretnings-
drivende konsulent’. I anvendelsen af denne afsenderidentitet udtrykkes konsulen-
ternes økonomiske interesse i at bruge evalueringen/reviewet i forretningsudvidelses-
øjemed. Eksempelvis anbefales det i reviewet af MISA fra 2001/2002, at der
bekostes konsulenttimer på ”specific guidance in finalising the programme
document” (MISA 01/02:34.) Af MISA-reviewet fra 2004 fremgår det, at COWI,
som netop stod bag reviewet fra 2001/2002, har fået tildelt den tidligere anbefalede
konsulentopgave (MISA 04:42).
57 Jf. afsnit 10.1.
127

Ad. 5) Den faciliterende konsulentrolle indskriver sig som nævnt i kapitel 9 i en
participatorisk læringsdiskurs, idet konsulenten her fremstiller sig selv som et neutralt
talerør for de evaluerede aktørers egne vurderinger.
Ad. 6) Den sjette og sidste afsenderidentitet – den vurderende konsulent – er i
nærværende sammenhæng den mest interessante, idet konsulentrollens komplekse og
splittede karakter tydeligt fremgår heraf. Vi vil i det følgende uddybe dette synspunkt
yderligere.
10.5.2. Den vurderende konsulent
Når konsulenternes subjektive vurderinger af genstanden for reviewet/evalueringen
kommer til udtryk, sker det hovedsageligt i en form, hvor afsenderen er utydelig. De
grammatiske konstruktioner, som i den forbindelse er gennemgående i rapporterne, er
dels passivkonstruktioner og dels nominalisering.
I de tre nedenstående eksempler på rapportforfatternes anvendelse af passiv-
konstruktioner fremgår konsulenternes tilslutning til udsagnene ved hjælp af værdi-
ladede bi- og tillægsord, men i kraft af verbets passivform udgør genstanden for
vurderingen sætningens grundled. Vurderingerne forbindes derfor ikke eksplicit med
konsulentholdet, og læseren må selv gætte sig til, hvem der står bag bedømmelsen:
The training, however, is not regarded as being impressive in comparison with
the amount of funding they have received. (Danida 2000A:35)
…it is seen as imperative (MISA 01/02:viii)
The programme strategy (…) is found to be very well designed (NSJ 03:7)
Tilsvarende slører den grammatiske konstruktion, nominalisering, hvem ophavet bag
vurderingerne er. Nominalisering betegner en sætningskonstruktion, hvor grund-
leddet er et upersonligt stedord – typisk ’der’ – eller et navneord, som ikke er en
egentlig aktør (Fairclough 1992:179). Et eksempel på førstnævnte konstruktion er
sætningen: “There is a need to refocus…” (MISA 01/02:vi), mens de to nedenstående
rapportuddrag illustrerer sidstnævnte nominaliseringsform:
The analysis of major trends in the media, democratisation and human rights
highlighted two important characteristics of the context in which Danish
support to Media needs to be evaluated. (Danida 2000A:2)
The overall assessment indicates… (Zambia 02:10)
I begge disse udsagn er grundleddet en ikke-aktør, nemlig ’analysen’/’vurderingen’.
Frem for at skrive ’vores analyse viser…’ eller ’det er konsulentholdets vurdering,
at…’, vælger konsulenterne et upersonligt grundled, med det resultat at der igen ikke
fremstår en tydelig sammenhæng mellem konsulenterne og deres vurdering.
128

Konsulenternes holdning kommer i ovenstående tekststykker indirekte til syne
gennem brugen af verber. Hvor ”needs” i det første eksempel er et stærkt modal-
verbum, udtrykker ”indicates” en mere forsigtig tilslutning til konklusionen.
Foruden brug af passive verber og nominalisering optræder konsulenterne også
anonymt, når de fremkommer med påstande uden afsender. At der er tale om
subjektive vurderinger fremgår eksempelvis af understregende biord og værdiladede
tillægsord, som tilfældet er i denne sætning:
It was a notable and very encouraging achievement… (MISA 04:1, vus.)
Der er dog også eksempler på, at konsulenterne anvender en mere klar afsender-
identitet, typisk ved at ved at bruge termerne ”the review/evaluation team” eller ”the
reviewers”.
The reviewers are of the opinion that… (NSJ 03:13, vus.)
The team found that to some extent central organising and controlling from
Dhaka is still taking place. (Bangladesh 01:3, vus...)
…the review team agrees with this recommendation (Zambia 02:26, vus.)
I disse tre eksempler er der en klar sammenhæng mellem vurderingen og vurderin-
gens ophavsmænd. Fremstillingen får dermed en mere subjektiv karakter, og dermed
gøres konklusionerne i højere grad til genstand for diskussion, end i de foregående
tilfælde hvor konsulenternes vurderinger fremstår som objektive, indiskutable sand-
heder. Det er dog bemærkelsesværdigt, at konsulenterne med ordvalget ”the team” /
”the reviewers” stadig søger at opretholde en vis distance og troværdighed. Distancen
kommer til udtryk i form af brugen af tredje person – frem for første person: ’we’ –
og troværdigheden ved at konsulenterne benytter flertalsform og dermed fremstår
som et enigt kollektiv 58 .
10.5.3. At antaste fra et uantasteligt grundlag
Opsummerende om de afsenderidentiteter, som kommer til udtryk i rapporterne, kan
man sige, at konsulenterne forsøger at mediere mellem deres splittede loyalitet og
mange roller ved at holde sig til et upersonligt sprog. Hvad enten konsulenterne
agerer som objektive, nøgterne analytikere, som neutrale talerør for de evaluerede
aktører eller som uafhængige og subjektivt vurderende hold, søger de ved hjælp af
ordvalg og grammatik at fremstille konklusionerne i en så objektiv og indiskutabel
tone som muligt. Eller som en konsulent siger det: ”… under alle omstændigheder
formulerer man sig meget objektivt i rapporter. Man forsøger jo at undgå alt hvad der
58 Undtagelser herfra er, at konsulentholdet i en rapport henviser til sig selv som ”we” (kollektiv men
første person): “By and large we agree with the approach adopted and the steps taken to strengthen the
institution. However, we doubt whether the decision (…) was wise…” (NSJ 02:12, vus.). I et andet
tilfælde beskriver forfatteren sig selv i ental tredje person: “the consultant”: “It is the firm belief of the
consultant that...” (Zambia 02:40).
129

er… altså alle subjektive ting”. Evaluerings- og reviewrapporterne placerer således
ansvar hos de evaluerede aktører, men fremstiller ikke tydeligt, hvem der har ansvar
for konklusionerne:
Med andre ord er idealet i evaluering, at godt nok skal en bestemt praksis
antastes, men det skal helst ske ud fra et uantasteligt grundlag. (Dahler-Larsen
2004:20)
Ved at fastholde et objektivitets- og uafhængighedsideal forsøger de eksterne
konsulenter at håndtere deres funktion som stødpude mellem Danida og Danidas
partnere. I stedet for at tage parti i konflikter mellem disse to praksisfællesskaber, kan
konsulenterne påberåbe sig uafhængighed og henvise til en objektiv sandhed.
10.6. Den afhængige, partiske konsulent
Vi har i dette kapitel fokuseret på en særlig problemfyldt side af konsulentidentiteten
– nemlig spørgsmålet om, hvorvidt konsulenten er og opleves som uafhængig af
opdragsgiveren. Kapitlet indledtes med at fastslå, at uafhængighedskriteriet spiller en
vigtig rolle i både Danidas og konsulenternes opfattelse af konsulentrollen, til trods
for de problemer som er forbundet hermed.
Det væsentligste problem ved at opretholde forestillingen om uafhængighed er, at
denne ikke er reel, idet konsulenterne er afhængige af Danida på såvel et økonomisk
som et vidensmæssigt plan. Dette forhold spiller sammen med den evaluerings-
teoretiske kontroldiskurs på en selvmodsigende og kompleks måde, idet afhængig-
heden på en og samme tid er både en funktion af uafhængighedskriteriet og i
modstrid hermed. Konsekvensen af afhængighedsforholdet er, at Danida i praksis får
mulighed for at påvirke konsulenternes fortolkninger – en magt, som de evaluerede
aktører ikke har samme mulighed for at udøve. Dermed bidrager evaluerings- og
reviewsituationen til at skærpe den asymmetri mellem modtager og donor, som er et
grundvilkår inden for moderniseringsdiskursen. Imidlertid taler Danidas ansatte ikke
om eksistensen af en egentlig påvirkning, da dette ville stride åbenlyst mod idealet
om uafhængighed og udfordre såvel Danidas som konsulenternes selvforståelse. I
stedet forstår og italesætter de deres såvel formelle som uformelle kontakt med
evalueringsholdet som en neutral vidensudveksling.
Denne oplevelse deles ikke af Danidas partnere, der i udgangspunktet opfatter
konsulenterne som kontrollanter udsendt af Danida og dermed som partiske deltagere
i en åbenlys interessekonflikt om bistandsmidler. Af den grund reagerer de med
utryghed og afmagt i forhold til bedømmelsessituationen, og de søger – i bestræbel-
serne på at sikre en positiv vurdering – at vinde konsulenternes sympati, blandt andet
ved at være ’høflige’ og ved at fremstille sig selv i et positivt lys. Utrygheden
blokerer dermed for både indsamling af objektiv information og participatorisk
læring, hvilket betyder, at interaktionen mellem konsulenter, donor og modtagere i
130

forbindelse med udførelsen af evalueringer og reviews primært trækker på de
subjektpositioner, som stilles til rådighed inden for forståelsen af kontrol som inspek-
tion. Utrygheden er imidlertid ikke et uomgængeligt vilkår, som vores fremstilling af
case-forløbene viste, men det kræver opmærksomhed og en ekstra indsats fra både
Danidas og konsulenternes side, hvis utrygheden skal imødegås. Dette behandler vi
mere indgående i kapitel 13.
Konsulenternes og Danidas opmærksomhed på partnernes utryghed svækkes af, at
begge parter i praksis holder uafhængighedsidealet og påstanden om konsulenternes
upartiskhed i hævd, hvilket blandt andet kommer til udtryk gennem anvendelsen af
en distanceret og objektiv forfatteridentitet i rapporterne. At Danida og konsulenterne
insisterer på uafhængighedskriteriet, trods interviewpersonernes samtidige erkendelse
af konsulentidentiteten som konfliktfyldt og splittet, har konsekvenser for forhand-
lingerne mellem donor og modtager. Påstanden om, at konsulenternes vurderinger
repræsenterer en indiskutabel, ”virkelig virkelighed”, betyder, at interessemodsætnin-
gerne mellem donor og modtager ikke får lov til at komme op til overfladen i evalue-
rings- og reviewsituationen. Derved skabes et billede af konsensus mellem Danida og
Danidas partnere, som i visse tilfælde kan være helt reelt og i andre tilfælde ikke.
Under alle omstændigheder bidrager evalueringer og reviews på denne måde til at
understøtte den forestilling om en konfliktfri relation donor og modtager imellem,
som er en forudsætning for opretholdelsen af partnerskabstanken.
131

11. Den gode mediebistandsindsats
Fra det foregående kapitels fokus på konsulentidentiteten, vender vi nu blikket mod
de evaluerede aktørers identitet og samspillet mellem denne og Danidas evaluerings-
kriterier. Endvidere vil vi forholde os til, hvorledes konsulenternes arbejdsvilkår
indvirker på dette samspil. Formålet med analysen er at belyse, hvordan evalueringer
og reviews er med til at konstruere ’det gode mediebistandsprojekt’ og ’den gode
partner’, hvorigennem de bidrager til at påvirke relationen mellem donor og
modtager i mediebistanden.
Kapitlet er inddelt i fire underafsnit, hvoraf det første, 11.1. præsenterer Danidas
faste evalueringskriterier, og det følgende – afsnit 11.2. – omhandler de kriterier og
indikatorer, der anvendes i de otte analyserede rapporter. Denne analyse danner
baggrund for en besvarelse af problemformuleringens spørgsmål om, hvordan
evalueringer og reviews bidrager til at konstruere ’det gode mediebistandsprojekt’.
Det ser vi nærmere på i afsnit 11.3. Med henblik på at kunne stille forslag til en
forbedring af Danidas metoder til evaluering af mediebistand, vil vi afsnit 11.4.
belyse den gældende praksis og indkredse, hvorfor Danida og konsulenterne
anvender netop de kriterier og indikatorer, vi identificerer i afsnit 11.1.
11.1. Kriterier og indikatorer
11.1.1. Danidas projektevalueringsmodel
Det teoretiske udgangspunkt for at forstå sammenhængen mellem evaluerings-
kriterier, indikatorer og mål er en forestilling om det politiske system som bestående
af tre størrelser (Easton 1957, Vedung 1998): Input system output. Oversat til
en mediebistandskontekst er den grundlæggende antagelse bag indsatsen, at man
tilfører nogle bistandskroner og en arbejdsmetode (input), som tilsammen muliggør
etableringen af et mediebistandsprojekt. Via dette projekt opnås en række udviklings-
mål, og modellen ser således ud: Input mediebistandsprojekt opnåelse af
udviklingsmål.
Imidlertid er denne treleddede model for simpel til at indfange kompleksiteten i
udviklingsbistanden, og Danida indskyder – i lighed med andre donororganisationer
– tre effektniveauer i modellen, idet organisationen skelner mellem output, outcome
og impact (Danida 1997:21) 59 . Danidas projektevalueringsmodel, som vi uddyber i
59 Der hersker nogen begrebsforvirring i forhold til effektniveauer i evaluering af udviklingsbistand.
Danida opererer med begreberne outputs, objectives (som vi kalder outcome, i overensstemmelse med
gængs evalueringsteoretisk terminologi. Se fx Kjekshus 1991 og Binnendijk 2001) og impact, mens der i
mange sammenhænge alene skelnes mellem outputs og impact (hvor sidstnævnte betegnelse både
dækker outcome og impact) – se eksempelvis Berger 1991.
132

det følgende, ser ud som følger 60 , hvor de grå kasser viser de forskellige effekt-
niveauer:
Effektniveauer og evalueringskriterier i Danida
Input
Figur 11a
Efficiens
I Danida beskriver man evaluering som:
Output
Effektivitet og
bæredygtighed
Virkning og
Relevans
Outcome
Impact
… an assessment, as systematic and objective as possible, of on-going or
completed aid activities, their design, implementation and results. The aim is to
determine the relevance and fulfilment of objectives, developmental efficiency,
effectiveness, impact and sustainability. (Udenrigsministeriet 1999:3)
Af citatet fremgår de fem evalueringskriterier, som er tilføjet modellen ovenfor:
efficiens, effektivitet, virkning, relevans og bæredygtighed. Disse kriterier anbefales
af OECD/DAC og følgelig nyder de stor udbredelse blandt større donoragenturer
(Danida 1997:50). Kriterierne er defineret i Danidas retningslinier for evaluering
(Danida 1997), men de forplanter sig ’nedad’ i evalueringshierarkiet, sådan at de
også er gennemgående i projektdokumentation og reviews – dog for disse dokument-
typers vedkommende med større fokus på output/efficiens 61 . I de følgende afsnit vil
vi kort gennemgå indholdet i projektmodellens effektniveauer og evalueringskriterier.
11.1.1.1. Output
Output defineres i Danidas evalueringsretningslinier som et spørgsmål om, hvorvidt
projektets umiddelbare formål er blevet opfyldt kvantitativt og inden for budget-
rammen. Kriteriet til måling heraf er efficiens (effiency, Danida 1997:50ff.).
60 Figuren er en udbygning af Danidas projektevalueringsmodel, som fremgår af Danida 1997:21. Ordet
”outcome” erstatter Danidas ”achievement of objectives”.
61 Projektrapportering og reviews skal dog også forholde sig til de øvrige evalueringskriterier, hvilket
fremgår af Danida 2003B:40f.
133

Efficiens er det snævreste effektperspektiv, man opererer med i Danida, og det
anvendes til at vurdere indsatsen på et implementeringsmæssigt niveau. Den danske
evaluator Henrik Schaumburg-Müller beskriver efficienskriteriet som et spørgsmål
om, at ”forholde anvendelsen af ressourcer til det, der er kommet ud af aktiviteten, og
se på om ressourcerne alternativt kunne være blevet anvendt bedre” (Schaumburg-
Müller 2001:250). Skal man eksempelvis evaluere Danidas støtte til en lokalradio-
station, vil man i et efficiensperspektiv interessere sig for, om radiostationens
organisation kører fornuftigt, om der er orden i økonomien, og om stationen sender i
det aftalte antal timer. Indikatorerne på efficiens vil typisk være fastlagt allerede
inden projektet går i gang og fremgå af projektdokumentationen (Danida 1997:53).
11.1.1.2. Outcome
Outcome defineres som bistandens effekt på mellemlang sigt (Danida 1997:22).
Denne effektdimension måles i Danidas evalueringer ved hjælp af to kriterier:
effektivitet og bæredygtighed.
Effektivitet (effectiveness). Dette effektperspektiv fokuserer på: ”i hvilket omfang de
mål, der er stillet for aktiviteten, er blevet opfyldt” (Schaumburg-Müller 2001:251),
og det forholder sig til outcomeniveauet ud fra et målgruppeperspektiv (Danida
1997:50). En effektivitetsvurdering af det førnævnte eksempel med radiostationen vil
således undersøge, om målgruppen lytter til radiostationen, og hvad de får ud af det.
Man kan sige, at effektivitetskriteriet undersøger de langsigtede udviklingsmål på et
målbart niveau (Danida 1997:54-55).
Bæredygtigheden defineres som et spørgsmål om ”hvorledes de fordele, som
bistandsaktiviteten har ført til, kan forventes opretholdt efter indsatsens afslutning”
(Schaumburg-Müller 2001:251). De faktorer, der ifølge Danidas evaluerings-
retningslinier påvirker bæredygtighed er af politisk, teknologisk, sociokulturel,
institutionel og økonomisk karakter (Danida 1997:60f., 89). I lokalradioeksemplet
ville en bæredygtighedsvurdering således se på, om radiostationen fortsat ville kunne
eksistere efter Danida havde trukket sig ud: er projektaktørerne motiverede for at
fortsætte? Er de økonomiske midler til rådighed? Er radiostationen i fare for at blive
lukket af de lokale myndigheder?
11.1.1.3. Impact
På et impact-niveau søger man at vurdere de langsigtede og uforudsete projekt-
virkninger. Af Danidas evalueringsretningslinier fremgår det, at det er væsentligt i en
evaluering også at tage impacts i betragtning ud fra en læringsmålsætning: ”The
reason for such a broad perspective in evaluations of projects is essentially the need
to learn from experience and improve upon the design of similar projects in the
134

future” (Danida 1997:22). Evalueringskriterierne, som ifølge retningslinierne skal
indfange impactdimensionen er: virkning og relevans.
Virkning er det bredeste effektperspektiv, ”der skal se på de mere langsigtede
tilsigtede og utilsigtede forandringer, som bistandsaktiviteten fører til” (Schaumburg-
Müller 2001:251). Virkningskriteriet vurderer indsatsen fra et overordnet samfunds-
mæssigt synspunkt og inddrager andre målgrupper og interessenter end de umiddel-
bart definerede. Hvor de øvrige effektniveauer efficiens og effektivitet begge kun
fokuserer snævert på de tilsigtede og umiddelbare outputs og outcomes, inkluderer
virkning både positive, negative, forudsete og uforudsete effekter (Danida 1997:56). I
lokalradioevalueringen kunne en virkningsvurdering eksempelvis fokusere på, om
udsendelserne har medvirket til at ændre lytternes holdning til menneskerettigheder,
om radiostationen har favoriseret bestemte grupper på bekostning af andre, om
indsatsen har bidraget til at give kvinder bedre vilkår og muligheder for at deltage i
demokratiet og så videre.
Relevans, der er et udtryk for, hvordan udviklingsaktiviteten forholder sig til såvel
donorens som de lokales behov og prioriteringer, skal ifølge Danidas evaluerings-
retningslinier også inddrages som evalueringskriterium i bedømmelsen på impact-
niveau (Danida 1997:51). Eksempelvis vil en relevansvurdering forholde sig til,
hvorvidt der er sket forskydninger i de lokale magtforhold og/eller mediestrukturer,
sådan at det enkelte projekt mister sin relevans, eller om projektet har bevæget sig så
langt fra målsætningen, at donor ikke længere finder det relevant at yde støtte til
(Danida 1997:58f.).
11.2. Analyse: Fokus på output, outcome og/eller impact i
kommissorier og rapporter
De fem kriterier optræder i forskellig grad i de enkelte reviews og evalueringer. Vi
vil nu undersøge hvilke kriterier, de otte kommissorier fokuserer på, og sammenligne
dette med de kriterier og indikatorer, som reelt anvendes i rapporterne. Formålet med
analysen er at belyse, hvordan kommissorier og rapporter bidrager til at konstruere
mediebistanden på et indholdsmæssigt og tidsligt niveau.
135

11.2.1. Måling af output: Efficiens
Input
Efficiens
Output
Effektivitet og
bæredygtighed
Virkning og
Relevans
Outcome
Impact
I de analyserede kommissorier og rapporter optræder tre indikatorer på efficiens: (a)
indsatsens målopfyldelse i forhold til projektdokumentet, (b) særlige problematikker i
forbindelse med implementering samt (c) omkostningseffektivitet.
Efficiensindikatorer Antal kommissorier
indikatorerne optræder
i
Målopfyldelse 6 63
Antal rapporter indikatorerne
optræder i
Relation 62
8 +2
Implementering generelt 6 6 0
Omkostningseffektivitet 4 5 +1
Figur 11b
Spørgsmålet om, hvorvidt indsatsen opfylder de i projektdokumentet fastsatte mål,
stilles i seks kommissorier og besvares i samtlige otte rapporter. Rapporternes
vurderinger af graden af målopfyldelse er generelt utvetydige og forholder sig med
en høj detaljeringsgrad til de oplysninger, som er fundet i projektdokumenterne,
hvilket dette uddrag er et eksempel på:
So far 19 of the 20 trainers (the Project Document benchmark) have been
trained (the 20 th was included and planned for, but missed his course by his
own fault). (NSJ 03:8)
Implementeringsproblematikker behandles indgående i seks rapporter – på forskellig
vis – afhængig af omfanget af problemer i projektorganisationen. Halvdelen af de
analyserede kommissorier stiller krav om en analyse af den tredje efficiensindikator,
omkostningseffektivitet:
The review team will provide an opinion on whether the cost of MISA's work
is reasonable for what it achieves. Would it be possible to achieve the same
benefits at less cost? (MISA 04:47)
62 Denne værdi angiver hvilket omfang rapporterne opfylder kommissoriernes krav. En positiv værdi,
som i dette tilfælde, indikerer at de analyserede rapporter generelt overopfylder kommissorierne.
63 Vi henviser generelt i dette afsnit til bilag 4.I. for en detaljeret gennemgang af, hvilke konkrete
kommissorier og rapporter, der henvises til.
136

Omkostningseffektivitet figurerer i fem af rapporterne, skønt denne indikator kun er
’bestilt’ i 4 af kommissorierne. Som det fremgår af figur 11b, er der en tendens til, at
rapporterne overopfylder kommissoriernes målsætninger, hvad angår vurdering af
outputs. Forklaringerne herpå vender vi tilbage til senere.
Opsummerende foretager alle otte rapporter målinger af outputs – reviews dog i
højere grad end evalueringer (bilag 4I). Outputvurderingerne er generelt
velunderbyggede, detaljerede og utvetydige.
11.2.2. Måling af outcome: Effektivitet
Input
Efficiens
Output
Effektivitet og
bæredygtighed
Virkning og
Relevans
Outcome
Impact
Der er gennemgående to måder, hvorpå kommissorier og rapporter griber en
effektivitetsmåling an: (a) vurdering af opfyldelse af udviklingsmålene på et taktisk
niveau samt (b) målgruppens vurdering.
Effektivitetsindikatorer Antal kommissorier
indikatorerne optræder
i
Antal rapporter indikatorerne
optræder i
Relation
Målopfyldelse 8 4 -4
Målgruppens vurdering 4 4 0
Figur 11c
Samtlige kommissorier ønsker en vurdering af, hvorvidt den evaluerede/reviewede
indsats lever op til de ønskede udviklingsmål på et taktisk niveau. Denne formulering
er en kende ukonkret, hvilket skyldes, at der er tale om en ukonkret indikator.
Eksempelvis stilles dette krav i et kommissorium:
The evaluation/review will determine (…) whether MISA meets its broadly
stated objectives (MISA 01/02:4)
Og det besvares i rapporten på tilsvarende svævende vis:
The organisation is broadly meeting its overall objectives. Nevertheless, it is
equally clear that there is room for improvement (MISA 01/02:vi)
137

Grundlaget for vurderingen er uklart, ligesom anvendelsen af ordet “broadly”
bidrager til nogen forvirring. I kommissoriet er det udviklingsmålene, der er ’bredt’
formuleret, mens det i rapporten er MISA’s indsats, som ’i et bredt perspektiv’ lever
op til målene.
En anden indikator på effektivitet er målgruppens vurdering. Reviewet af medie-
bistanden til Bangladesh, der – som tidligere nævnt – skiller sig ud fra de øvrige ved
at kombinere flere typer dataindsamlingsmetoder og basere sine konklusioner på et
omfattende materiale, leverer det mest velunderbyggede bud på en målgruppe-
vurdering. Det illustreres i disse to eksempler:
The course participants interviewed found the methods and the fieldwork
implemented during the course useful. (Bangladesh 02:6)
Some of the recent newsletters were given by the team to a number of
journalists and editors met in Noakhali and Patuakhali to have their assessment
of the style and content. The response was that the newsletters are easy to read
and understand. (Bangladesh 02:6)
Alene det, at reviewholdet har gjort en indsats for at høre målgruppens vurdering, er
ekstraordinært, men der er stadig tale om et ganske lille udpluk af målgruppen: De få
adspurgte repræsenterer en begrænset og umiddelbart tilgængelig del af målgruppen
frem for ’slutbrugerne’, eksempelvis læsere og lyttere af de journalistiske produkter.
Det fremgår af figur 11c og bilag 4I, at alle kommissorier ønsker en effektivitets-
vurdering, mens kun fire rapporter leverer en sådan. Som vi har set, udtaler
konsulenterne sig langt fra med samme detaljeringsgrad og utvetydighed som
tilfældet var i forbindelse med outputvurderingerne. Men hvad gør forfatterne til de
rapporter, som ikke – eller kun i begrænset omfang – besvarer kommissoriernes krav
om at analysere indikatorer på effektivitet?
To strategier for at omgå eller helt undgå kravene i kommissorierne går igen i de otte
rapporter. Først og fremmest beklager konsulenterne, at de ikke har haft de fornødne
data og metoder til rådighed til at foretage de nødvendige effektivitetsanalyser. En
sådan forklaring gives i fem af de otte rapporter, og lyder eksempelvis således:
It is difficult to assess accurately what MISA achieved in one year (…) Ideally
what one should be looking for are protracted public debates, activities and
engagement instead of short terms activities. Nevertheless, this section
summarizes MISA’s achievements during the year under review even if those
achievements are, in some cases, limited to activities and outputs and not
outcomes. (MISA 04:35)
Som det beskrives her, ser rapportens forfattere sig nødt til at fortolke outcome-
kriterierne på et outputniveau af ressource- og tidsmæssige årsager. En anden
strategi, som ligeledes optræder i fem rapporter, er at fremsætte forsigtige
138

vurderinger og/eller udokumenterede påstande om indsatsens effektivitet. Dette kom
til udtryk i den ovenstående formulering om, at MISA ’i et bredt perspektiv’ levede
op til de fastsatte udviklingsmål, og det ses også i dette uddrag et review, hvor
forfatternes tilslutning til konklusionerne fremstår mere forsigtig i kraft af brugen af
verberne ’seem’ og ’may’:
Each of the components seems to contribute to the achievement of the
objectives (…) education and training of students and media professionals in
practical and ethics aspects of journalism might have been strengthened
through the support. (Zambia 02:viii, vus.)
Konsulenternes anvendelse af disse strategier indikerer, at de finder det vanskeligt at
operationalisere effektivitetskriteriet og finde egnede indikatorer – en problem-
stilling, som vi vender tilbage til i afsnit 11.3.
11.2.3. Måling af outcome: Bæredygtighed
I gennemgangen af Danidas projektevalueringsmodel blev det nævnt, at bæredygtig-
hed i retningslinierne fortolkes som et outcome-kriterium, det vil sige som et spørgs-
mål om, hvorvidt effekterne af indsatsen er bæredygtige. Når det er sagt, så ser vi
imidlertid en tendens til, at både rapporter og kommissorier fortolker bæredygtighed
som et output-kriterium i og med, at man primært vurderer medieprojekternes økono-
miske og institutionelle bæredygtighed.
Bæredygtighedsindikatorer Antal kommissorier
indikatorerne optræder
i
Antal rapporter indikatorerne
optræder i
Relation
Effekternes bæredygtighed 3 1 -2
Institutionel/økonomisk bæredygtighed 5 6 +1
Figur 11d
En interessant pointe i denne forbindelse er, at rapporterne har tendens til at definere
bæredygtighed som et spørgsmål om projekternes evne til at interagere med donor-
agenturer. Med andre ord drages der paralleller mellem ’en kompetent partnerorgani-
sation’ og levering af en bæredygtig indsats:
MISA is almost entirely funded by foreign donors. It goes without saying,
therefore, that the capacity of MISA to interact with donors is crucial to the
overall effectiveness of the organisation (MISA 01/02:61)
Relationen mellem forekomsten af indikatorerne i kommissorier og rapporter under-
bygger det mønster, som de to foregående afsnit peger på: rapporterne overopfylder
kommissoriernes krav, når det drejer sig om måling af outputs, men lever ikke op til
dem hvad angår outcomevurderinger.
139

11.2.4. Måling af impact: Virkning
Input
Efficiens
Output
Effektivitet og
bæredygtighed
Virkning og
Relevans
Outcome
Impact
Der optræder to tilgange til at vurdere mediebistandens virkning i de analyserede
kommissorier og rapporter: (a) en vurdering af indsatsens effekt på menneskerettig-
heder og demokrati – det vil sige en vurdering af opnåelse af udviklingsmålene set
fra et strategisk og samfundsmæssigt perspektiv, samt (b) en vurdering af indsatsens
utilsigtede effekter.
Virkningsindikatorer Antal kommissorier
indikatorerne optræder i
Indsatsens effekt på menneske-
rettigheder og demokrati
Antal rapporter indikatorerne
optræder i
Relation
6 5 -1
Utilsigtede effekter 4 1 -3
Figur 11e
Hovedparten af kommissorierne beder om konsulentholdets vurdering af indsatsens
effekt på udviklingen af menneskerettigheder og demokrati – det gælder i højere grad
evaluerings- end reviewkommissorier (bilag 4I):
Assess if and how the Danish financed activities supporting free and objective
information (media) have promoted democratisation and human rights.
(Danida 2000A:52)
Som det var tilfældet i forbindelse med de to outcomekriterier: effektivitet og bære-
dygtighed, har konsulenterne vanskeligt ved at opfylde kommissoriernes krav om at
vurdere virkningen af mediebistanden. Det kommer atter til udtryk ved, at rapport-
forfatterne gør opmærksom på mangelfulde data og ressourcer (seks rapporter, bilag
4I), og desuden fremsættes udokumenterede påstande (fire rapporter, bilag 4I) som
at:
MISA has contributed to the building of democracy, freedom of expression and
improvement of human rights. (MISA 04:8)
Mens vurderingsgrundlaget i ovenstående udsagn er uklart, og påstanden derfor
fremstår postulerende, er der også enkelte eksempler på, at konsulenterne forsøger at
140

finde frem til operationaliserbare indikatorer på virkning – i dette tilfælde i form af
en kvantitativ, sammenlignende tekstanalyse:
The review team has noticed a general increase in the number of news stories
on these issues in the newspapers compared to the output two years ago.
(Bangladesh 02:9)
Generelt er der dog tale om, at rapporternes forsøg på at besvare kommissoriernes
ønske om en vurdering af virkning på et samfundsniveau bygger på forestillede
konstruktioner af, hvad der kan tænkes at ske, frem for at basere sig på håndfast
empirisk materiale. Med andre ord søger rapportforfatterne at imødekomme den
metodiske udfordring ved at tage afsæt i normative teorier om mediernes
demokratiske rolle (Nordenstreng 1997):
The evaluation team has chosen to cope with the methodological challenge by
starting out by analysing the potential role that Media may play in
democratisation and improved respect for Human Rights. (Danida 2000A:1)
Fire af kommissorierne ønsker desuden, at rapporterne forholder sig de utilsigtede
virkninger af mediebistanden. Som det ovenstående figur 11e viser, vurderes dette
imidlertid kun i en enkelt rapport (MISA 04), af hvilken det fremgår, at indskrænk-
ninger i ytringsfriheden muligvis kan tilskrives en mere kritisk journalistik (MISA
04:13). Hvorvidt tendensen kan tilskrives Danidas mediebistandsindsats, forholder
rapporten sig dog ikke til.
Opsummerende kan vi fastslå, at Danida er interesseret i at måle mediebistandens
effekt på medier og demokrati, hvilket kommer til udtryk i kommissoriernes krav.
Konsulenterne har imidlertid vanskeligt ved at finde egnede indikatorer til en
besvarelse af spørgsmålet, hvorfor de tyr til gisninger baseret på normative medie-
teorier.
11.2.5. Måling af impact: Relevans
En af de metodiske udfordringer ved at vurdere mediebistandens relevans er at
identificere et grundlag at gøre dette ud fra. Af Danidas retningslinier for evaluering
fremgår det, at relevans både skal vurderes i forhold til lokale behov, partnernes
prioriteringer og donors målsætninger (Danida 1997:58f.). Disse tre vurderings-
grundlag figurerer således i de analyserede kommissorier og rapporter:
Relevansindikatorer Antal kommissorier indikatorerne
optræder i
Antal rapporter indikatorerne
optræder i
Relation
I forhold til lokale behov 6 3 -3
I forhold til partnernes
prioriteringer
2 1 -1
I forhold til donors prioriteringer 2 5 +3
Figur 11f
141

Seks kommissorier udbeder sig en vurdering af relevansen af den reviewede/
evaluerede indsats i forhold de lokale behov. De tre rapporter, som forholder sig
hertil, ser enten på relevans fra et målgruppeperspektiv, hvilket eksemplificeres i det
første af de to nedenstående uddrag, eller vurderer relevansen ud fra en samfunds-
vinkel, som det kommer til udtryk i uddrag nummer to:
Every year, approximately 60 students graduate from each of the two major
training institutions, and this is far beyond the number demanded by the
industry (Zambia 02:67)
MISA’s mission is as relevant as ever 10 years after the Windhoek declaration,
as autocratic tendencies threatening press freedom continue to emerge in many
countries in the region (MISA 01/02:vii)
Som det gælder for de øvrige indikatorer på impact- og outcomeniveau, er relationen
mellem kommissoriernes målsætninger og de faktiske vurderinger i rapporterne dog
negativ. Ganske få kommissorier og rapporter inddrager partnernes vurdering af
indsatsens relevans, hvorimod et relativt stort antal rapporter vurderer relevans i
forhold til donors prioriteringer:
With regard to the strategy of the project, the review team concludes that
generally the objectives are relevant and in line with the development
objectives of the overall Danida Strategies for Support to Human Rights and to
Media. (Bangladesh 02:viii)
Den netop citerede rapport, reviewet af mediestøtten til Bangladesh, vurderer
udelukkende relevans på grundlag af donors prioriteringer, og det til trods for det
faktum at reviewkommissoriet også ønsker en bedømmelse af indsatsens relevans i
forhold partnernes ønsker og de lokale behov. Der er ikke tale om et enestående
eksempel herpå. Tværtimod er der tendens til, at rapporterne ikke imødekommer
kravene i kommissorierne – særligt gælder dette for evalueringskommissorierne, der
fortolker relevans på et strategisk niveau som et spørgsmål om målgruppens og
samfundets behov. I stedet fortolker konsulenterne relevanskriteriet på et taktisk
niveau og undersøger, hvorvidt indsatsen stemmer overens med Danidas ønsker. At
konsulentholdene har vanskeligt ved at gribe kommissoriekravene an i praksis,
kommer desuden til udtryk ved, at der i hele seks af rapporterne fremkommer
udokumenterede påstande og gisninger om relevans (bilag 4I). Afsnit 11.4.2.
behandler problemstillingen omkring overambitiøse kommissorier nærmere.
11.2.6. Konklusion
Konklusionen på ovenstående dokumentanalyse er, at kommissorierne – især for
evalueringernes vedkommende – er mere ambitiøse i forhold til vurdering af
indsatsen på outcome- og impactniveau, end det er muligt for konsulenterne at leve
op til. Konsulenterne kompenserer herfor på tre måder. Først og fremmest fokuserer
de i høj grad på outputs, også i højere grad end kommissorierne lægger op til.
142

Dernæst viser analysen en tendens til, at rapportforfatterne foretager impactvurde-
ringer på baggrund af gisninger og normative forestillinger om mediernes rolle
snarere end ud fra data. Endelig operationaliseres Danidas prioriteringer som bedøm-
melsesgrundlag, hvorved indsatsen bedømmes fra en donorvinkel i stedet for fra et
partner- eller målgruppeperspektiv. Denne anvendelse af kriterier og indikatorer
bidrager til at forme et bestemt billede af hvad ’den gode mediebistandsindsats’ er,
og det vil være temaet i næste afsnit.
11.3. Den gode mediebistandsindsats
De otte evaluerings- og reviewrapporter, som indgår i vores dokumentanalyse,
beskriver i kraft af deres fokus på output og implementeringsproblematikker den
gode mediebistandsindsats som et velorganiseret projekt, der formår at leve op til de
fastsatte projektmål og levere resultater på et operationelt niveau. I rapporterne roses
de reviewede og evaluerede indsatser eksempelvis for at være “…performing well
and have achieved or exceeded the outputs” (NSJ 03:s. iii), og ”…a highly profes-
sional organisation both in its activities, reporting and accountability mechanisms”
(MISA 01/02:62). Den gode projektorganisation er endvidere kendetegnet ved at
besidde de fornødne kompetencer til at interagere med Danida på Danidas præmisser,
jævnfør beskrivelsen i afsnit 11.2.3. om bæredygtighed.
At reviews og evaluering i høj grad vurderer mediebistandsindsatsen ud fra et donor-
perspektiv kommer også til udtryk ved, at det gode projekt defineres som et ’unikt’
projekt (en vending, som går igen i hele 6 rapporter, se bilag 4I):
Radio Colectivo Radial Feminista (CRF) in Peru is a specific and unique
communications project. (Danida 2000A:35, vus)
The organisation has established itself as one of the main champions of
democracy, freedom of expression and human rights, and no other organisation
in the region or on the African continent for that matter has a better network in
the media environment. (MISA 04:7, vus)
Konstruktionen af ’den gode mediebistandsindsats’ som unik kommer tydeligst til
udtryk i reviewet af NSJ fra 2003 (NSJ 03 & bilag 4G), som problematiserer, at NSJ
har fået konkurrence fra andre uddannelsesinstitutioner i regionen. Dette kan synes
absurd at problematisere, idet man vel må anse det for positivt og fremmende for en
demokratisk udvikling, at lokale institutioner, som er uafhængige af udviklings-
bistand, på eget initiativ løfter opgaven at uddanne kritiske journalister? Ikke desto
mindre kredser hovedparten af reviewets anbefalinger om, hvordan NSJ kan genfinde
en niche. En forklaring herpå kan være, at Danida kun kan legitimere at støtte unikke
og nyskabende projekter. Ikke-unikke projekter gør sig derfor ikke fortjent til at
modtage dansk udviklingsbistand.
143

Donorperspektivet forstærkes endvidere af rapportforfatternes tendens til at tage
afsæt i Danidas prioriteringer som grundlag for vurdering af relevans samt i norma-
tive teorier i mangel af konkrete indikatorer på mediebistandens virkning. Dette
medfører, at der tegnes et billede af ’den gode mediebistandsindsats’ som værende i
overensstemmelse med Danidas forventninger og målsætninger. Man kan altså tale
om, at Danida vurderer sin omverden i sit eget spejlbillede, hvilket med al tydelighed
illustreres i dette citat, der definerer ’den gode mediebistandsindsats’ som én, der
sender de rette signaler om donors intentioner:
It is a visible and effective way for an external donor to show solidarity and
involvement. (Danida 2000A:38)
Evaluerings- og reviewrapporternes konstruktion af mediebistanden forstærker
således partnerskabets paradoks, idet ’den gode partner’ understøtter Danidas selv-
forståelse som en engageret donor, der viser solidaritet og fremmer partnernes demo-
kratiske udvikling. I hvert fald så længe denne udvikling matcher Danidas priorite-
ringer og leverer resultater, som øger dens legitimitet overfor de danske skatteydere.
11.3.1. Diskussion
Evalueringskriterier, som vurderer mediebistanden på et outputniveau, spiller ind i
den udviklingsteoretiske moderniseringsdiskurs ved at forholde sig til foruddefine-
rede mål og bedømme ’graden af udvikling’ i forhold til disse. Modsat er outcome-
og impactkriterier åbne dels for partnernes egne definitioner, dels for målgruppens
vurdering og dels for uforudsete faktorer og utilsigtede effekter. Man kan således tale
om, at impact- og outcomemålinger i højere grad vurderer ’typen af udvikling’,
hvilket er i overensstemmelse med den kritiske udviklingsdiskurs’ forskrifter og for-
ståelse. Ærindet her er ikke at sige, at impacts og outcomes er mere interessante end
vurderinger af mediebistandens outputs – eller omvendt. Men vi mener, at alle tre
effektniveauer er væsentlige at forholde sig til af hensyn til såvel en lærings- som en
kontrolmålsætning. I forlængelse heraf finder vi det problematisk, at de analyserede
evalueringer og reviews forholder sig så overfladisk og postulerende til medie-
bistandens outcome og impact, som tilfældet er.
Skal reviews og evalueringer leve op til målsætningen om at bidrage til læring med
henblik på justering af mediebistand, er det efter vores mening særdeles væsentligt at
sørge for tilvejebringelse af ny viden. Tendensen til at fokusere på, hvorvidt indsatsen
lever op til foruddefinerede mål, gør at man bevæger sig inden for en enkeltsløjfet
læringscyklus: Er det vi gør tilstrækkeligt i forhold til at nå de opstillede målsæt-
ninger? Anvendelsen af egne målsætninger som referenceramme gør, at evaluerings-
indsatsen bliver et spørgsmål om at måle, hvad man allerede ved og har redskaber til
144

at måle 64 . Ved at foretage grundige outcomestudier og om muligt også at give kvali-
ficerede impactvurderinger, ville man skabe grobund for en dobbeltsløjfet lærings-
proces, med et spørgsmål som: Er mediebistand den rette måde at nå vores mål på?
Også i et kontroløjemed er det vigtigt at have et skarpere fokus på mediebistandens
outcome og impact. Et eksempel herpå er støtten til lokalradioer 65 . Denne støtte
udgør en anseelig del af den danske mediebistand (Danida 2000A:23), og der er tale
om projekter, som generelt bedømmes positivt. Dels er projekterne afgrænsede og
derfor relativt nemme at implementere og opstille konkrete outputmål for, og dels
udmærker lokalradioprojekter sig ved at kunne sammenkæde mediebistanden med
Danidas målsætninger om særligt at tilgodese kvinder og fattige (Danida 2000B).
Evaluerer eller reviewer man lokalradioprojekter alene ud fra outputkriterier og
donors prioriteringer, vil vurderingerne derfor sandsynligvis falde ud til den gode
side. Men spørgsmålet om, hvorvidt radiostationen rent faktisk har lyttere, og hvad
disse lyttere i så fald får ud af deres lytning, besvares uhyre sjældent, skønt dette er
nok så interessant – for såvel projektorganisationen og Danida som for de danske
skatteydere, der i sidste ende skal garantere mediebistandens legitimitet.
11.3.2. Indikatorfiksering?
Danidas projektevalueringsmodel, som vi gengav i afsnit 11.1.2., fremstiller et
projekt som: ”a single cause-effect chain of identifiable elements” (Danida 1997:21).
Denne forsimpling og antagelse om en klar kausal sammenhæng mellem input,
outputs, outcome og impact er en analytisk øvelse, som gør det nemmere at fokusere
en evaluering. Men den er ikke neutral i forhold til den måde, Danida gennemfører
mediebistandsaktiviteter – og andre projekter. Den projektimplementeringsmodel,
som siden 1989 har været anvendt i Danida kaldes Logical Framework Approach
(LFA, Danida 1996:3). Tankegangen bag LFA er at nedbryde indsatsen til en række
delelementer for derved at gøre det nemmere at planlægge, implementere og
evaluere. Danidas evalueringsmodel kan ses som resultat af en LFA-tilgang, idet
formålet med evaluering, reviews og projektdokumentation så at sige er at identifi-
cere netop hvor i kæden af kausalt sammenhængende projektelementer, der er opstået
særlige problemer eller uventede succeser. Evalueringskriterierne er simple for at
kunne fungere som ledelsesværktøjer – for utvetydigt at kunne identificere vellyk-
kede og mindre vellykkede aktiviteter:
Og et af de vigtige mål, det er jo helt klart at få noget ledelsesrelevant
information, som vi lærer af og træffer bedre beslutninger på baggrund af. Så…
64 ”Measuring what we already know and can measure”, Morten Sodemann, citat fra oplæg om
effektivitetsmåling i forbindelse med bekæmpelse af børnedødelighed i Vestafrika. Annual Development
Symposium, 10. september 2004. Aarhus Universitet, Søauditoriet. Arrangør: Centre for Tropical
Ecosystems Research (cenTER).
65 Den engelske term ’community radios’ er mere dækkende for denne del af Danidas mediebistand, som
ikke blot går til radiostationer, der dækker et geografisk lokalområde, men også til ’community’-radioer
målrettet eksempelvis kvinder og etniske minoriteter.
145

så det er jo så… det stiller krav i øvrigt også om enkelthed, og også om at
systemerne skal være sådan keep it simple, for ellers kan man faktisk ikke få
truffet beslutninger. Det er måske noget af det, vi har lært fra tidligere
systemer, at hvis det bliver for komplekst, så bliver det ikke ledelsesrelevant
længere. (OG)
Målsætningen om forsimpling og standardisering har selvsagt betydning for den
anvendte evalueringsmetode 66 . Men tendensen mod forsimpling og standardisering
tilskynder også projekterne til – allerede langt tidligere i forløbet – at holde fokus på
netop Danidas fem evalueringskriterier og sørge for, at deres resultater bliver opnået
og opgjort på en måde, så de bliver synlige, når projektet reviewes og/eller evalueres.
Denne disciplinering af projekterne foregår løbende og tavst, og vi kan i vores empi-
riske materiale ikke se eksempler på en åbenlys indikatorfiksering i stil med de
tidligere fremstillede eksempler fra Arbejdsformidlingen og den polske møbelindus-
tri 67 . Danidas evalueringskriterier påvirker dog utvivlsomt partnernes adfærd og
selvforståelse, hvilket fremgår af blandt andet dette udsagn:
… der har vi så den tilgang, at det skal være sådan, ellers så tror vi ikke på det
bærer. Og det har selvfølgelig noget at gøre med, at en af de parametre, som
Danida også altid lægger meget vægt på i deres evalueringer, det er
bæredygtighed. (PO)
Hos Danidas partnere sker der en internalisering af kontrollen – en mekanisme som
tidligere er blevet præsenteret ved hjælp af Foucaults teori om panoptisk overvåg-
ning. Det er ikke alene bedømmelsen, som disciplinerer projektet, men selve bevidst-
heden herom, der gør, at projektet disciplinerer sig selv. Denne problemstilling
behandler vi nærmere i kapitel 12.
11.3.3. En tvetydig anledning til identitetsartikulation
Vi kan ikke på baggrund af ovenstående påvise, hvor langt indikatorfikseringen
rækker, men vi kan se, at bedømmelsesaktiviteterne i nogen grad griber ind i den
måde, Danidas mediebistand udføres på. Endvidere griber de ind i den måde, hvorpå
partnerne og Danida forstår sig selv og hinanden – det, som vi tidligere har kaldt
evalueringers og reviews konstitutive virkninger.
Dahler-Larsen beskriver en evalueringsproces som en ”tvetydig anledning til identi-
tetsartikulation” (Dahler-Larsen 1998:126). Identitetsartikulation fordi evaluerings-
aktørerne (gen)forhandler relationer og selvforståelser ud fra de identitetsmuligheder,
som evalueringsrammen tilbyder. Tvetydig fordi evalueringernes kontrolfunktion på
66 Det kommer blandt andet til udtryk ved en tendens til standardisering af afrapporteringsformater, idet
KVA har indført en fempunkts karakterskala fra A til D, som anvendes i evalueringerne af MISA 2002
og NSJ 2002 (NSJ 02 og bilag 7).
67 Dette skyldes blandt andet, at vores empiriske materiale kun omfatter dokumenter og interviews. En
interessant og relevant analyse, som imidlertid ligger uden for dette speciales fokus, vil være at følge et
eller flere projekter over tid for derigennem at få et indtryk af, om deres adfærd og selvforståelse
påvirkes af evalueringer og reviews.
146

den ene side medfører utryghed: selvet løber en risiko for ikke at blive socialt aner-
kendt, og derfor sættes særligt de evaluerede aktørers identitet på en prøve, der ople-
ves som ubehagelig. På den anden side er evaluering også en positiv kilde til stabili-
sering af ens identitet, idet ”[e]valuering betyder, at der udvises interesse for en”
(Dahler-Larsen 1998:126). Et mediebistandsprojekt kan således anvende et review
eller en evaluering til at prøve sin egen identitetsdannelse og relationerne til omver-
denen. Tvetydigheden kommer tydeligt til udtryk i dette uddrag fra et interview med
en repræsentant for en af Danidas partnerorganisationer:
Så derfor har det været… øh… har jeg set frem til de der evalueringer og
reviews med en lille nervøsitet, fordi det er hele mig, jeg har givet alt, hvad jeg
kunne, og alt hvad der er begrænsninger, det er mine begrænsninger som
person, ikke. Men også meget, meget velkomment. (PO)
Partneren beskriver sine følelser forud for reviews og evalueringer som en blanding
af ”nervøsitet” og en glæden sig til vurderingen som noget ”velkomment”. Årsagen
til de blandede følelser er, at partnerne oplever at blive vurderet personligt: ”det er
hele mig”. Er vurderingen positiv, er den en anerkendelse af ens arbejdsindsats, men
er den negativ, opleves den af partnerne som et personligt angreb. Partnernes reaktion
på kritik kan derfor ofte være voldsom, hvilket illustreres i nedenstående udsagn,
hvor en konsulent fortæller om sine erfaringer med at blive hængt personligt ud af en
partnerorganisation, som var utilfreds med en evaluering, vedkommende havde
udført:
… da syntes de virkelig, jeg var skudt i låget, ikke altså. Helt klart. Altså, og i
NGO-verdenen herhjemme bagefter, der gik de vildeste rygter om, hvor dårlig
en konsulent, jeg var, ikke altså. Med folk, der sagde: ’Sig mig, er det dig, de
snakker om, fordi de siger sådan og sådan’, ikke. (KS)
Hvis partnerne ikke kan acceptere det mærkat, som hæftes på dem, afviser de det ved
at rette skytset mod den eller de konsulenter, som har udført evalueringen eller
reviewet, ofte ved at beskylde konsulenterne for uvidenhed. At konsulenten er
ekstern – og derfor også ofte uvidende i udgangspunktet – gør det nemmere for de
evaluerede aktører at afvise kritikken ved at afskrive konsulenten som ”en nørd”
(PO), ”the Bitch” (KS) eller som en ’ond’ og ’dum’ person:
Og det er nemt som ekstern konsulent at være den onde, ikke? Og så kan de
alle sammen sige: ’Jamen, det var også bare hende, hun var rigtig dum! Og så
gør vi alligevel ikke, som hun sagde.’ Det oplever jeg da. (KS)
Men at en kritisk evaluering eller review i første omgang afvises af partnerne er ikke
det samme som, at de ikke senere retter ind og tager den identitet på sig, som
fremstilles i rapporten:
… vi ser meget ofte, at en kritisk evaluering mødes med et aggressivt forsvar,
som som regel går på, at evalueringen er dårlig, og metoderne har ikke været
gode nok, og evaluatørerne har totalt misforstået det hele. Og så ser man
alligevel et års tid eller halvandet efter, at så begynder folk alligevel gøre det,
147

som evalueringen har anbefalet. Øh… de giver den nok ikke credit for det,
men… men det er sevet ind alligevel. (OG)
Hvad enten en partner udsættes for ros eller kritik, sættes dennes identitet på en prøve
i henhold til de roller og identitetsmuligheder, der er udstukket i den konkrete
evaluerings- eller reviewramme (Dahler-Larsen 1998:128). Vores påstand er altså, at
ingen mediebistandsindsats forbliver uændret gennem en review- eller evaluerings-
proces. Netop derfor finder vi det problematisk, at projekterne overvejende evalueres
og reviewes på outputniveau og fra en donorvinkel, og i den forbindelse er det
interessant at diskutere, hvad der skal til for at udvide evalueringernes og reviewenes
perspektiver.
11.4. Hvorfor fokus på output?
Denne diskussion vil vi nærme os ved at undersøge hvilke årsager, der ligger bag det
primære fokus på outputs, og vi gennemgår tre faktorer, som efter vores vurdering
udgør de vigtigste forklaringer herpå. Det drejer sig først og fremmest om fraværet af
et indikatorværktøj – en problemstilling, der behandles i underafsnit 11.4.1.. Dernæst
belyses de urealistiske kommissorier nærmere i 11.4.2., hvorefter vi i 11.4.3.
beskæftiger os med manglen på tid under feltstudierne.
11.4.1. Fraværet af et indikatorværktøj
Som det tydeligt fremgår af de analyserede review- og evalueringsrapporter, har
konsulenterne vanskeligt ved at imødekomme kommissoriernes krav om vurderinger
på outcome- og impactniveau. Hvor det er relativt simpelt at estimere omfanget af
gennemførte kurser for journalister, antal publicerede magasiner og andre output-
størrelser, så kræver det et mere omfattende metodisk og analytisk apparat at vurdere
indsatsen ud fra et målgruppe- og et samfundsperspektiv. Dette metodiske og
analytiske apparat er fraværende, eller i hvert fald vanskeligt for konsulenterne at
operationalisere på den korte tid, de har i felten. Manglen på et værktøj til analyse af
indikatorer på et outcome- og et impactniveau betyder, at konsulentholdene i vid
udstrækning selv må udvikle relevante indikatorer i situationen:
- Hvis du kan uddybe det der med, hvorfor det kan være svært at være
objektiv?
(…) Der mangler måske også målemetoder. Der mangler et eller andet til at
komme ud at sige: ’Jamen, hvad er det egentlig vi måler efter?’ Hvornår er det
en succes? (KS)
I det følgende ser vi nærmere på barriererne for at vurdere impact og outcome på
tilfredsstillende vis under feltstudierne.
11.4.1.1. Værktøjer til vurdering af impact
En væsentlig barriere for at måle impact (virkning og relevans) af en mediebistands-
indsats er, at medierne indgår i et helt kompleks af faktorer, som påvirker samfunds-
148

udviklingen. De er med en konsulents ord ”en nødvendig, men absolut ikke
tilstrækkelig betingelse, i hele den der komplicerede årsagssammenhæng” (KS),
hvorfor det ikke giver mening at tildele medierne alene æren for såvel demokratiske
som ikke-demokratiske samfundstendenser. Et andet analytisk problem opstår, når
man vil isolere netop den danske mediebistand, der i dette udsagn beskrives som en
række ”miniinvesteringer”:
Hvordan måler du? Hvordan (utydeligt) på medier, ikke. Fordi du snakker øh,
ja du snakker fri presse, du snakker ytringsfrihed, du snakker (P2) altså, du
snakker om effekter på et niveau, hvor du eh, hvor det er så politiseret, at du vil
jo aldrig kunne sige, i hvor høj grad det er projektet, der har bidraget til et eller
andet. Hvis du snakker om effekt. (…) Og specielt, når man ser på de… de
miniinvesteringer, i virkeligheden, som Danida laver på medieområdet, hvad
kan man så i det hele taget forvente, at der kommer ud af det, ikke? (KS)
Begge disse udsagn er uddrag fra interviews med konsulenter. Men de analytiske
barrierer for at måle mediebistandens virkning er også erkendt i Danida. Denne
Danidamedarbejder kalder ligefrem sammenhængen mellem medier og demokrati for
et ’postulat’, som det er umuligt at påvise:
… jeg tror ikke, man kan påvise, at støtte til medier og demokratisering øh
nødvendigvis er godt, altså, det tror jeg er vanskeligt at påpege, det tror jeg
bliver meget postulerende. Øh, og også effekten på øh, på økonomisk udvikling
og demokratiudvikling, bliver støttet af medierne, den tror jeg også er meget,
meget postuleret. Jeg tror ikke, man kan (utydeligt). Men… så derfor lader vi
den ligge. (Griner) (OG)
Den citerede medarbejder afslutter her med vendingen ”så derfor lader vi den ligge”
med henvisning til ønsket om at vurdere mediernes effekt på samfundsudviklingen.
Det er imidlertid ikke korrekt, at Danida ikke beskæftiger sig med impact, hvilket
tydeligt fremgår af den ovenfor præsenterede dokumentanalyse, hvor vi har vist, at
der i hele seks af de i alt otte kommissorier stilles krav om, at konsulentholdene skal
forholde sig mediebistandens virkning. Et tilsvarende antal kommissorier forventer
en analyse af mediebistandens relevans i forhold til samfundsudviklingen. Det
forekommer paradoksalt, at der i Danida på den ene side er en bevidsthed om de
analytiske problemer forbundet med en impact-analyse og at man på den anden side
stiller krav netop herom.
11.4.1.2. Værktøjer til vurdering af outcome
For outcomevurderingers vedkommende gør der sig ikke de samme analytiske
problemer gældende, som tilfældet er i forbindelse med impact. De konsulenter, vi
har interviewet, foreslår metoder såsom kvantitative og kvalitative modtagerunder-
søgelser, tilfredshedsundersøgelser blandt tidligere kursister og disses nuværende
arbejdsgivere – blandt andet. Her er problemet altså ikke mangel på metoder og
indikatorer, hvormed effektivitet og bæredygtighed kan identificeres. Snarere er
problemet af praktisk og ressourcemæssig karakter:
149

Det var enormt svært (…) at se: Jamen, det vi støtter på universitetet, de her
unge mennesker, der lærer at lave radio, bliver de så reelt… Altså, får de et job
bagefter? Bruger de der, de har lært? Er der nogen mulighed for det? Er der
mulighed for kritisk journalistik, hvis de har lært det, er det så overhovedet
muligt, eller… eller bare… må de bare gøre, som der bliver sagt? Det… der
skal man være der længere, ikke? Og snakke noget mere med nogle andre
aktører, tror jeg. (KS)
Metoderne til at vurdere effektiviteten af mediebistanden er således til stede.
Spørgsmålet er, om Danida er villig til at stille de fornødne ressourcer til rådighed,
sådan at konsulenterne rent faktisk får mulighed for at opfylde det krav om
effektivitetsvurdering, som stilles i samtlige af de analyserede kommissorier.
11.4.1.3. Udviklingen af indikatorer
De interviewede konsulenter og rådgivere har alle gerne villet tale (længe) om
indikatorer. Alle giver udtryk for, at det er svært, men også nødvendigt at udvikle et
operationelt indikatorværktøj til vurdering af mediebistandens outcomes. Dels fordi
flere finder, at det er ”hovedløst” og ”ikke seriøst” at udføre evalueringer og reviews
under de gældende vilkår, hvor konsulenterne i vidt omfang ser sig nødsaget til at
omfortolke, omgå eller helt undgå de krav, som stilles i kommissorierne om at
foretage vurderinger på et outcome- og impactniveau:
… det er for kort tid, ikke? Du bliver sendt ud i… ti-tolv dage eller sådan et
eller andet med et program, der er fuldstændig spækket (…) Så det vil sige, at
du går fra det ene interview til det andet interview fuldstændig hovedløst, synes
jeg, ikke? (…) Altså, interviews de varer jo typisk en time til halvanden eller
sådan noget. Så går du ind og interviewer én person på en radiostation, og efter
halvanden time skal du være i stand til at vurdere, om den støtte man giver til
den radiostation virker. Altså: har det nogen effekt? Ja, direktøren lød vældig
tilfreds, ikke? (fnyser) Det… Det mener jeg ikke er seriøst i virkeligheden.
(KS)
Dels efterlyser konsulenterne udviklingen af et indikatorværktøj, fordi de mener, det
vil kvalificere mediebistandsindsatsen:
Og de der ting ville jo være spændende at have med, fordi jeg tror man kunne
kvalificere konklusionerne og anbefalingerne bedre, hvis man havde nogle lidt
dyberegående studier og øh… (P1)… med i reviewet. (KS)
Perspektiverne for udviklingen af et sådant værktøj ser dog ikke umiddelbart lyse ud.
Som vi nævnte i kapitel 7.1.5. beskæftiger Danida sig af princip ikke med metode-
udvikling – denne opgave mener de, påhviler de konsulenter, som byder på en
opgave. Disse har til gengæld ikke den fornødne tid til at udvikle et værktøj på eget
initiativ, og de oplever heller ikke, at Danida er villig til at betale dem for at gøre det:
Ja, det kræver, at man stort set har én, som næsten følger full time, altså følger
med de her briller på. Og jeg har jo ikke… altså jeg kan jo ikke… jeg har jo
ikke tid til at sætte mig ned og skrive de her ting, selvom det kunne være
interessant. (KS)
150

11.4.1.4. Opsummering
Både konsulenter og Danida giver udtryk for, at mediebistandens virkning på demo-
krati og menneskerettigheder er et væsentligt og interessant område at afdække og
vurdere. Der er imidlertid store analytiske problemer forbundet med at skulle fore-
tage en sådan vurdering, specielt i forbindelse med en relativt kortvarig evaluerings-
eller reviewproces. Vi mener derfor, at Danida, frem for at stille krav om impact-
målinger, burde koncentrere sig om udviklingen af indikatorer på et outcomeniveau.
Metoderne hertil er kendte og veludviklede, udviklingen af et decideret indikator-
værktøj er alene et spørgsmål om ressourcer og prioritering.
11.4.2. Urealistiske kommissorier
Vi har nu set, at fraværet af et indikatorværktøj og de problemer, som er forbundet
hermed, er erkendt blandt såvel Danidas ansatte som konsulenterne. Alligevel stiller
kommissorierne krav om impact- og outcomemålinger. Dahler-Larsen peger på, at
gennemsnitslængden på et evalueringskommissorium i Danida er steget fra to sider i
1970’erne til seks-otte sider i dag (Dahler-Larsen 1998:88). Til sammenligning er de
kommissorier (både reviews og evalueringer), som indgår i vores empiri, i gennem-
snit knap seks sider lange. Omfanget afspejler kommissoriernes høje ambitions-
niveau, som delvist kan tilskrives en forretningsmæssig logik: som køber af en
konsulentydelse vil Danida gerne have så meget for pengene som muligt og stiller
derfor omfattende krav. Den primære årsag, mener Dahler-Larsen imidlertid, er
Danidas ønske om at signalere grundighed og loyalitet overfor organisationens
værdigrundlag. Kommissorier spiller således ikke blot en rolle som arbejdskontrakter
men også som signal overfor Danidas interessenter:
I nogle tilfælde er listen over evalueringskriterier i sig selv et officielt
dokument, der skal give organisationen legitimitet. I så fald vil listen over
kriterier blive meget omfattende (…) En sådan liste over evalueringskriterier
har måske som sin fornemste funktion at signalere organisationens bekendelse
til værdikataloget over for de mange interessenter i organisationens normative
omgivelser. Men det kan medføre, at det bliver ganske vanskeligt at
gennemføre en evaluering alene af kapacitetsgrunde. (Dahler-Larsen 1998:88)
Evalueringskommissorierne har – i kraft af deres status som offentlige dokumenter –
det vi tidligere med Dahler-Larsens betegnelse har kaldt en symbolsk funktion (se
afsnit 7.1.7. & Dahler-Larsen 1998:131). Dermed menes, at de dels anvendes som et
redskab til at kommunikere om Danida overfor organisationens omverden, og dels
har en autokommunikativ funktion. Det vil sige, at Danida via evalueringskommis-
sorierne kommunikerer om sig selv til sig selv (Dahler-Larsen 1998:132).
Et eksempel på et sådant ’symbolsk kommissorium’ er opdraget til evalueringen af
Danidas støtte til fremme af en fri presse 1990-1998 (Danida 2000A:52ff). Kommis-
soriet lægger op til, at evalueringsholdet skal forholde sig kritisk til de grundlæggen-
de antagelser bag mediebistanden:
151

The study should, as much as possible, critically examine the premises and
objectives for Danish assistance to free and objective information. (Danida
2000A:52, vus.)
Med denne erklæring, signalerer Danida, at organisationen er villig til at indgå i en
selvkritisk, dobbeltsløjfet læringsproces. Derefter oplister kommissoriet 22 emner,
som evalueringsholdet skal forholde sig til, men dog ikke behøver at lade sig begræn-
se af (Danida 2000A:52)! Som et eksempel på omfanget af de i alt 22 spørgsmål,
gengiver vi her ét af dem, som i sig selv rummer adskillige underspørgsmål:
What are the common factors to successful activities: political context,
implementing partners, external advisors/observers etc. and similarly: what
were the common factors to successful activities? Are certain combinations of
activities better than other? What were the strengths/weaknesses, opportunities/
achievements, threats/obstacles (SWOT-analysis)? (Danida 2000A:54)
Det er vores vurdering, at hvert af de i alt 22 emner er omfangsrige og vanskelige nok
til at danne afsæt for et helt speciale, og at man for at besvare samtlige spørgsmål
fyldestgørende skal bruge væsentligt mere tid end de i alt 22 arbejdsuger, som
evalueringsholdet blev aflønnet for (bilag 4I). At en af hensigterne med at stille alle
disse spørgsmål er at tegne et bestemt billede af Danida, kommer blandt andet til
udtryk i nedenstående formulering. Her er sætningen formuleret så ledende, at det
snarere synes som en konstatering end som et spørgsmål:
Does Denmark, as a small country without an explicit security agenda of its
own, have an advantage over other donors when it comes to financing projects
promoting free and objective information, often politically sensitive? (Danida
2000A:54)
Tilsvarende signalerer Danida med formuleringen af det følgende spørgsmål, at
organisationen er interesseret i at indgå i symmetriske partnerskabsrelationer med
projektorganisationerne, idet der sættes fokus på, i hvilken grad bistandsaktiviteterne
anerkender partnerlandets særkender:
How far does the assistance acknowledge that prevailing values and priorities
in the partner countries may be different from those guiding Danida’s
decisions? (Danida 2000A:53)
Hvorvidt mediebistanden rent faktisk implementeres under hensyntagen til partner-
landets prioriteringer, eller om Danmarks daværende forsvarspolitiske linie gav
Danida komparative fordele som donor af mediebistand, behandles – ligesom den
ønskede SWOT-analyse – ikke i evalueringsrapporten. Det lader således ikke til, at
kommissoriets primære funktion har været at fungere som opdrag og retningslinier
for evalueringsholdet.
11.4.2.1. Kunden har altid ret…
Den generelle evaluering fra 1999/2000 underbygger den påstand, Dahler-Larsen
fremsætter i citatet på den foregående side: Tendensen til at inkludere en lang række
152

kriterier i kommissoriet medfører et misforhold mellem på den ene side de økono-
miske og tidsmæssige ressourcer, der står til rådighed for evalueringen, og på den
anden side omfanget af krav, som opdragsgiveren stiller i kommissoriet. Det stiller
konsulenterne i en vanskelig situation, hvor de på den ene side godt kan se misfor-
holdet, men samtidig ikke ønsker at påpege det af frygt for ikke at få opgaven.
Konsekvensen er, at konsulenterne enten må gå på kompromis med deres egen
indtjening eller med kvaliteten af opgaveudførelsen:
Man diskuterer tiden … meget. Øhh… fordi nogle gange synes vi jo, at vi får
for lidt tid til at lave tingene. Øhmm… at der ligesom er en… en… hvad skal
jeg sige… en fast (P2) øh… formula for, hvor meget tid, man må bruge til
forberedelser og til udetid og til rapportskrivningen. Og så må vi jo så forsøge
at holde os inde for den tid, men det kan vi aldrig altså. Det er vanskeligt.
- Går det så ud over kvaliteten, hvis man skulle holde sig inden for/
Det gør det jo ikke, fordi at vi… altså (griner) … vi er jo alle sammen indstillet
på, at vi jo gerne vil levere et så godt stykke arbejde som muligt, og det har jo
også noget at gøre med, at vores troværdighed er på spil, ikke? Så det kommer
ikke til at gå ud over kvaliteten. Det kommer bare til at gå ud over vores
egen… (griner). Vores egen… vores egen tid, ikke? (KS)
Som det fremgår af citatet, er konsulenterne splittede mellem på den ene side at
imødekomme de krav om grundighed, som dels stilles af opdragsgiveren og dels
følger af deres egen faglige stolthed, og på den anden side at drive en økonomisk
fornuftig virksomhed. Ifølge den citerede konsulent betyder den faglige stolthed og
den økonomiske afhængighed af Danida, at vedkommende søger at undgå at sætte
kvaliteten på spil – på bekostning af egen timeløn og overarbejde.
Alt i alt falder misforholdet mellem evalueringsopgavens omfang og de til rådighed
stående ressourcer ud til Danidas fordel, idet organisationen opnår det mål, som en
hver kunde har i en forretningsmæssig relation: at få en kvalitetsvare til en billig
penge. For Danida er der dog også ulemper forbundet med formuleringen af de
ambitiøse kommissorier.
11.4.2.3. Urealistiske kommissorier som en spændetrøje
De omfattende, men urealistiske kommissorier opleves nemlig af konsulenterne som
en begrænsning, der forhindrer dem i at forfølge interessante pointer og bidrage til
udviklingen af indikatorer. De følgende to citater er to interviewede konsulenters
reaktion på en påstand om, at de fem evalueringskriterier udgør en spændetrøje, som
trækker fokus væk fra reelle effekter og utilsigtede virkninger af bistanden 68 :
68 Konsulenterne blev præsenteret for et uddrag fra udredningen af Danidas evalueringsfunktion, hvor en
tidligere team leader for en Danidaevaluering er citeret for følgende: ”Retningslinierne er i et vist
omfang en spændetrøje. Man skal fokusere på effektivitet, målopfyldelse, effekt, relevans og
bæredygtighed. Disse fem kriterier skulle tilsammen give vigtige oplysninger og spor, så man kan stille
den rigtige diagnose. Men det er min erfaring, at hvis man fokuserer på disse kriterier, kan man blive
trukket væk fra virkeligheden. Det sker alt for ofte, at udviklingsbistandens samfundspolitiske
153

Jamen, det er jeg enig i. Øh… at i og med at du har nogle ret faste rammer gør,
at du måske… og specielt når du ikke har så meget tid… øh… lukker øjnene
for virkeligheden. Og jeg synes, det er helt rigtigt, det der står her. At øh… at
man øh… Der er nogle ting, som øh… som man ikke lader komme ind i en
relevant sammenhæng her, fordi at det ikke står i Terms of Reference. (KS)
Fuldstændigt. Fordi der netop alle de der ting, man skal svare på, og det er så
det du bruger din tid på og fortaber dig i. Det er fuldstændigt rigtigt. (KS)
Vi vil på denne baggrund opsummere, at Danida ville få mere ud af sine evaluerings-
og reviewopgaver, hvis kommissorierne blev formuleret på en måde, så de gav et
realistisk opdrag med konkrete anvisninger til indikatoranvendelse.
11.4.3. Manglende tid under feltstudier
En tredje faktor, der sammen med de ambitiøse kommissorier og fraværet af et
indikatorværktøj udgør en barriere for konsulenternes mulighed for at vurdere medie-
bistandens effektivitet og virkning, er den tidsknaphed, der som oftest præger felt-
studierne. Det ville i den forbindelse være nemt for os at anbefale Danida at afsætte
flere penge til evalueringer og reviews, men en sådan anbefaling ville være vanskelig
for Danida at imødekomme. For det første fordi udviklingsbistanden generelt er ramt
af nedskæringer, og for det andet fordi det kan være svært at legitimere at bruge for
mange ressourcer på evalueringsaktiviteter frem for på egentlig bistand. Vi vil derfor
se nærmere på, hvordan Danida og konsulenterne kan anvende de forhåndenværende
ressourcer bedre, sådan at der afsættes mere tid til feltstudier inden for de enkelte
evaluerings- og reviewforløb.
11.4.3.1. Omfattende dokumentstudier
Den empiriske analyse peger på, at dokumentstudierne har tendens til at gribe om sig
og kræve mere tid, end både konsulenterne og opdragsgiveren havde forudset. Der er
tre indbyrdes forbundne årsager hertil, som vi gennemgå i det følgende.
Behov for overblik
I afsnit 7.1.5. gennemgik vi procedurerne for udførelse af reviews og evalueringer.
En del af denne gennemgang var en oversigt over de dokumenter, som er obligato-
riske i forbindelse med forberedelse, implementering og afslutning af et projekt.
Foruden evalueringer og reviews er der tale om syv obligatoriske dokumenttyper,
som hverken donor, partner eller konsulent har et grundigt overblik over forud for en
evaluering eller et review. Overblikket er imidlertid nødvendigt, dels for Danida, som
skal kunne imødekomme krav om ansvarliggørelse og gennemsigtighed i administra-
tionen, og dels for konsulenterne, som grundet uafhængighedskravet ofte ikke har
nogen forhåndsviden om projektet. Desuden tilkendegiver flere af de interviewede
partnere, at de selv har nytte af at få et overblik over deres aktiviteter.
sammenhæng ikke analyseres tilstrækkeligt. Det gælder den reelle effekt og også utilsigtede virkninger
af bistanden.” (Evaluator, Udredning af Danidas Evalueringsfunktion, Danida 2003)
154

Venstrehåndsarbejde
Arbejdet med at skabe overblik kompliceres af, at store dele af dokumentationen ofte
har en ringe standard, hvilket skyldes, at såvel partnerne som ambassaderne priori-
terer dokumentationsopgaven lavt. Den løbende afrapportering fra partnerne til
ambassaden betragtes af flere partnere som en omstændelig administrativ byrde, som
de kun nødtvungent tager sig tid til:
[Den skriftlige afrapportering] kunne godt have været mere systematisk, og det
er måske en kombination af… af, hvad skal man sige, at der var sådan en tæt
mundtlig kommunikation om det, og så at øh… jeg heller ikke afleverer flere
rapporter, end jeg er pisket til (griner). (…) Men selvfølgelig er der krav om en
vis form for afrapportering, og man kan nok sige, at der er nogle af de her
projekter, der ikke har været dokumenteret helt efter Danida-bogen. Det vil jeg
godt indrømme. (PO)
Dertil kommer, at det ikke er alle projektorganisationer, der – trods Danidas anvis-
ninger og faste formater – afrapporterer efter Danidas standarder. Eksempelvis kan
det være vanskeligt for et projekt at forstå nødvendigheden af en skarp skelnen
mellem forskellige projektfaser, eller af at udgifter til samme aktiviteter skal bogføres
under forskellige regnskabsår:
… de har været elendige til at lave en rapportering, altså (…). Og, og det
betyder noget for donorerne, og det må jeg også sige, at det er røvirriterende at
skulle læse et eller andet dokument, som simpelthen er rodet og man må sige,
at øh, ’hvorfor, hvorfor rapporterer I ikke på det, I skal?’ (OG)
Godkendelse af den løbende projektrapportering og udarbejdelse af eksempelvis
Project Documents og Project Completion Reports (PCR) anses heller ikke for de
mest prestigefyldte eller interessante opgaver på Danidas ambassader. Som følge
heraf udarbejdes disse dokumenter ofte af den yngste, mest uerfarne ambassade-
medarbejder:
Når der skal laves en PCR, så er det altid yngste medarbejder på ambassaden
som skal lave det, og vedkommende aner ikke en brik om, hvad der er sket de
foregående fem år, så det er sådan en opsummering af, hvad der står i
papirerne. (OG)
Fagkulturelle forklaringsfaktorer
Hvor de ovennævnte årsager til det øgede tidsforbrug i dokumentstudiefasen foku-
serer på særlige egenskaber ved dokumenterne, vil vi i dette afsnit se nærmere på en
forklaringsfaktor, som er uafhængig heraf – nemlig konsulenternes fagkultur. Doku-
mentstudiet ligner på mange måder en traditionel akademisk opgave, hvor man skal
strukturere og fortolke store tekstmængder. Det gør, at konsulenterne føler sig trygge
ved denne arbejdsform i modsætning til feltstudiet, som ofte er behæftet med flere
ubekendte faktorer. Den danske evalueringsforsker, Peter Dahler-Larsen, udtrykker
konsulenternes tilbøjelighed til at foretrække arbejdet med allerede indsamlet og
bekræftet data således:
155

Som evaluatorer har man jo en forkærlighed for den viden, der er
gennemskuelig. Evaluering er jo ifølge sin definition en systematisk (dvs.
efterprøvbar) oparbejdning af viden. (Dahler-Larsen 1998:22)
Hans påstand underbygges af en af de interviewede evaluatorer, som oplever, at der
blandt konsulenterne findes en ”plejerkultur”, som dikterer en række formkrav til
evalueringsarbejdet:
Og så er det enormt svært at slippe ud af modus vivendi, når du så starter. (…)
Altså, du sidder med de der mange, mange reviews, der er lavet, og der står
vanvittigt meget tekst. (…) Der er en akademisk øvelse i det også, hvor man
forventes at læse alle de her mange ting og så på en måde lave et sammenkog –
for 10.000. gang – på situationen. Og det synes jeg… at der døde noget af
ideen, fordi der er alligevel mange formkrav, fordi det er man vant til, og sådan
gør man og plejer, ikke? Altså, der er en plejerkultur omkring, hvordan man
egentlig gerne vil have, at sådan en skal se ud, sådan en rapport, ikke. Som
egentlig… Det var svært, altså… Så det var det tiden så blev brugt på i
virkeligheden frem for sådan at få samlet læringspunkter op. (KS)
Tilsammen betyder mængden af dokumenter, disses svingende kvalitet og konsulen-
ternes grundighed, at dokumentstudierne ofte trækker i langdrag på bekostning af
ressourcer til feltstudier. Et forhold, som afføder skuffelse blandt alle tre praksisfæl-
lesskaber.
11.4.3.2. Skuffelse
Både partnere, konsulenter og opdragsgiver giver udtryk for et ønske om at prioritere
tiden til feltstudier frem for til dokumentstudier. Konsulenternes ønske baserer sig på
deres idealer om participatorisk læring, partnernes på deres interesse i en så høj grad
af inddragelse og medindflydelse som muligt, mens donoren giver udtryk for at prio-
ritere feltstudier med baggrund i kontroldiskursens objektivitetskriterium: Det er
bedre at konsulenten anvender tiden på at indsamle nye informationer ’ude i virkelig-
heden’ end på at fortolke allerede indsamlet viden. Når tidsforbruget til dokument-
studierne overskrider planerne, oplever aktørerne derfor, at de allerede i første del af
udførelsen må gå på kompromis med de ambitiøse målsætninger i kommissorierne
om eksempelvis anvendelse af participatoriske metoder og tilvejebringelse af ny
information:
Ja, det blev meget et kompromis, faktisk. Og meget sådan, at man skulle leve
op til alle de der dokumentationsting. (…) Men hvad er det for noget læring,
man kunne trække ud af det som sådan nogle læringspunkter, det synes jeg fik
for lidt fokus. Der var for lidt tid til det, da vi endelig var færdige med alle de
der desk study og field study og alt muligt. Så var der ikke… Så var der slet
ikke tid tilbage, til det andet, ikke? (KS)
På den ene side giver Danida udtryk for, at tidsforbruget i dokumentstudiefasen er
konsulenternes eget problem og ansvar: ”Det er så et valg, som konsulenten selv
træffer, hvor meget de vil basere sig på meget dokumentation” (OG). På den anden
side kan organisationen ikke kan fralægge sig et vist medansvar for, at dokument-
studierne griber om sig.
156

At uafhængighedsprincippet er styrende for udvælgelsen af evalueringshold med-
fører, at konsulenterne mangler forhåndskendskab til og overblik over medieområdet
og/eller de pågældende projekter. Dertil kommer, at Danida ved at stille store mæng-
der relativt rodet dokumentation til rådighed bærer ved til konsulenternes fagkultur,
som dikterer akademisk grundighed i dokumentstudiefasen. Vil man komme skuffel-
sen over det forhøjede tidsforbrug i dokumentstudiefasen til livs, kræver det således
en indsats fra Danidas side for at skabe overblik og orden i dokumentationen forud
for inddragelsen af eksterne konsulenter. Dette ville dels frigøre flere ressourcer og
mere tid til feltstudier og dels ville det yde ’ikke-kompetente’ partnere større retfær-
dighed:
11.4.3.3. Den gode partner er kompetent
En utilsigtet konsekvens af det store tidsforbrug på dokumentstudierne er nemlig, at
et vigtigt parameter i konsulenternes vurdering af ’den gode partner’ bliver, hvorvidt
denne er ’kompetent’ og formår at udarbejde overskuelig dokumentation efter
Danidas formater. I seks af de i alt otte rapporter vurderer konsulenterne blandt andet
projektorganisationerne på grundlag af deres dokumentationspraksis (bilag 4I). Dette
eksemplificeres i de tre nedenstående rapportuddrag, hvor de reviewede/evaluerede
projekter roses for at være veldokumenterede:
The overall conclusion is that in most of the cases studied, the Danish media
projects have been well planned and monitored. (Danida 2000A:40)
MISA has been recognised (…) as a highly professional organisation both in its
activities, reporting and accountability mechanisms (MISA 01/02:62)
Reporting has improved tremendously from what it was during the last review.
(MISA 04:9)
Dokumentationskompetencer er et vurderingsparameter, der – set udefra – forekom-
mer relativt uinteressant i forhold til spørgsmål om mediebistandens effekter på
output-, outcome- og impactniveau. For de eksterne konsulenter og for de enheder i
Danida, som varetager opdragsgiverfunktioner (EK og de bevilgende enheder), er
dårlig dokumentation imidlertid et stort irritationsmoment. Derfor får dokumenta-
tionskompetencer en forholdsmæssig stor indflydelse på konsulenternes vurdering af
’den gode mediebistandspartner’:
For konsulenterne de siger ’jamen hvorfor i alverden bliver I ved med at
arbejde med [[en bestemt partner på mediebistandsfeltet]]? De kan ikke skrive
deres rapporter, de kan ikke aflægge regnskaber, der sker jo ikke en skid’ og
sådan noget. (OG)
Konsekvensen er, at ’kompetente’ partnerorganisationer har større chance for at blive
inddraget og blive taget alvorligt end organisationer med rod i dokumenterne, som
157

isikerer at blive genstand for en forudindtaget, negativ vurdering, uanset aktivitetens
indhold i øvrigt.
11.4.4. Opsummering
Der er nu fremdraget tre delforklaringer på, hvorfor de analyserede evaluerings- og
reviewrapporter tager udgangspunkt i outputvurderinger, donors prioriteringer og
normative forestillinger om mediernes rolle i deres bedømmelser af Danidas medie-
bistandsindsats. Hovedforklaringen er fraværet af et operationelt indikatorværktøj,
som giver konsulenterne reel mulighed for at indsamle og vurdere relevante data. I
forhold til vurdering af mediebistandens virkning gør der sig en række analytiske
barrierer gældende, som især handler om at kunne identificere mediernes effekt på
demokratiet og dernæst at isolere den danske mediebistands effekt. Vi vurderer
derfor ikke, at kommissoriernes krav om vurdering af effekterne på et impactniveau
umiddelbart er mulige at imødekomme.
Derimod findes der inden for både evalueringsdisciplinen og medievidenskaben
veludviklede metoder til at vurdere mediebistandens effektivitet og disse effekters
bæredygtighed på et outcomeniveau. Det drejer sig blandt andet om receptions-
analyse, mediesystemanalyse, komparative tekstanalyser samt bruger- og aftager-
evaluering af uddannelsesindsatsen (Berger 1991). Review- og evalueringsholdene
har imidlertid ikke mulighed for at udføre disse outcomestudier i løbet af den korte
tid, de har til deres rådighed.
Konsekvensen bliver, som vi har set, at mediebistandsindsatsen ikke vurderes i
forhold til dens effekter på målgruppen og medielandskabet i et givent samfund, eller
i forhold til om partnerne og målgruppen finder indsatsen relevant. Den gode medie-
bistandsindsats, som denne fremstilles i rapporterne, resulterer dermed ikke nødven-
digvis i bedre journalister, mere demokratisk bevidste borgere, eller i et mere plura-
listisk mediebillede. I stedet bedømmes indsatsen på baggrund af projektorganisa-
tionernes evne til at opfylde Danidas krav om opfyldelse af outputmål, prioriteringer
og aflevering af veludført projektdokumentation. Disse vurderingsparametre er
interessante, hvis man anskuer mediebistanden i en snæver ansvarliggørelsesoptik,
men i et mere langsigtet perspektiv og med partnernes, de implementeringsansvar-
liges og de danske skatteyderes interesser i mediebistanden in mente må man antage,
at de er mindre interessante at fokusere på.
Vi vil derfor anbefale Danida at afsætte ressourcer til egentlige outcomemålinger.
Disse skal ikke nødvendigvis foretages med samme intervaller som reviews eller af
alle projekter. Men ved at foretage enkelte systematiske studier af eksempelvis
støtten til lokalradioer eller af uddannelsesindsatsen over for journalister mener vi, at
158

den danske mediebistand kunne kvalificeres betydeligt. I kapitel 13 opsamler og
supplerer vi anbefalingerne til Danida.
159

12. Kontrol, læring og magt
Vi har i det foregående kapitel fokuseret på, hvordan evaluerings- og reviewrappor-
terne fremstiller den gode mediebistandsindsats. I den forbindelse berørte vi kort,
hvorvidt den sproglige konstruktion af mediebistanden sætter sig igennem i egentlige
organisatoriske forandringer – eksempelvis i form af indikatorfiksering og justering
af projekter. Et analytisk spørgsmål, som rejser sig i den forbindelse, er, hvordan man
undersøger de konkrete organisatoriske konsekvenser af en evaluering eller et review.
Dette er problematisk af to årsager. For det første er opfølgningen tidsforskudt i
forhold til gennemførelsen af vurderingen:
Og så ser man alligevel et års tid eller halvandet efter, at så begynder folk
alligevel at gøre det, som evalueringen har anbefalet. (OG)
For det andet bærer evalueringer og reviews sjældent alene ansvaret for beslutninger
og justeringer, hvorfor det er vanskeligt at isolere disse som årsager til
organisatoriske forandringer:
Evaluation is just an input to action decisions and rarely the only one. (Scriven
1996:153)
Vi vil derfor afholde os fra at gisne om sammenhængen mellem evalueringer/reviews
og konkrete justeringer af mediebistandsindsatsen. Derimod kan vi undersøge part-
nernes og Danidas motivation for at ændre deres adfærd som følge af en bedømmel-
sesaktivitet samt de faktorer, som påvirker denne motivation. At analysens fokus
ligger på motivation, skyldes det anlagte perspektiv på evalueringer og reviews som
grænseobjekter, hvis opståen og beståen er et resultat af translationsprocesser. Med
translationsbegrebet anses praksisfællesskabernes motivation og interesser som nød-
vendige forudsætninger for, at der overhovedet finder en opfølgning sted – en overset
faktor inden for både den lærings- og den kontrolorienterede evalueringsteori, der be-
tragter evaluering som en lineær og forudsigelig proces, hvor der går en lige linie fra
formål til funktion. Vi vil i det følgende analysere de ude- og indefrakommende
motivationsfaktorer, som påvirker henholdsvis partnernes (afsnit 12.1.) og Danidas
(afsnit 12.2.) adfærd i opfølgningsprocessen.
12.1. Partnernes opfølgning på reviews og evalueringer
I kapitel 5 beskrev vi tilgangen til henholdsvis udviklingsbistand og evaluering inden
for moderniserings- og kontroldiskurserne som top-down, mens den kritiske udvik-
lingsdiskurs og den participatoriske læringsdiskurs plæderede for en bottom-up
tilgang. Denne skelnen danner udgangspunkt for en analyse af de faktorer, som
motiverer partnerne til at drage konsekvenser af reviews og evalueringer. Først
anlægger vi et bottom-up perspektiv og undersøger de faktorer, som motiverer
partnerne til frivilligt og på eget initiativ at tage aktivt del i opfølgningsprocessen,
hvorefter Danidas muligheder for at presse partnerne til at gennemføre justeringer
160

elyses. Det empiriske materiale rummer imidlertid eksempler på motivations-
faktorer, som ikke lader sig indfange i den simple bottom-up/top-down typologi,
hvorfor vi afslutter afsnit 12.1. med en præsentation og diskussion af disse ’mellem-
former’, hvor magtrelationen mellem donor og modtager fremstår mere kompleks.
Nedenstående figur viser det kontinuum af forskellige positioner, som det empiriske
materiale placerer sig på:
Kontrol
Figur 12a
Top-down Bottom-up
Danida presser
partnerne til at
gennemføre
ændringer
Egenkontrol:
Partnerne
kontrollerer sig
selv efter Danidas
anvisninger
Læring
12.1.1. Inddragelse og ejerskab som motivationsfaktor
Evaluering er blot en ud af mange aktiviteter og informationstyper, som konkurrerer
om de evaluerede aktørers tid. Det kommer til syne i interviews med repræsentanter
for partnerorganisationer, som tilkendegiver, at opfølgningen på reviews og
evalueringer af den grund ofte er sporadisk og selektiv:
Og så kan vi læse rapporten bagefter, og så kan man hæfte sig ved nogen af
anbefalingerne og sige: ’Jamen, det må jeg hellere gøre noget ved’. Noget får
man så gjort ved, og andet får man ikke gjort noget ved. (PO)
De kvalitative interviews peger på, at partnernes motivation for at deltage aktivt i
konsekvensdragelsesforhandlingerne afhænger af deres følelse af ejerskab til de
pågældende konklusioner. Des mere de evaluerede aktører selv har været med til at
formulere konklusioner og anbefalinger, desto større er deres motivation for at følge
dem. Hvorvidt det pågældende evaluerings-/reviewforløb har været præget af
participation, spiller derfor en vigtig rolle, og processen har langt større betydning for
partnernes motivation end den skrevne rapport. Denne pointe kunne uddrages af flere
af de cases, som blev fremstillet i kapitel 9, herunder reviewet af mediestøtten til
Zambia i 2002 (se afsnit 9.1.2.2.), som af partnerne blev oplevet som en konstruktiv
læringsproces, trods missionens eksplicitte kontrolformål. Pointen underbygges
endvidere blandt både konsulenter og partnere:
Konsensusbaseret
læring:
Danida og
konsulenterne
definerer ’rigtig’ og
’forkert’ læring
Inddragelse og
ejerskab til
konklusionerne
motiverer partnerne
Men jeg tror, at selve processen også giver noget for organisationen, ikke? (KS)
Men for mig er rapporten som sådan… for mig udtrykker det blot værdien af
det her stykke papir og den anvendelse, som jeg så efterfølgende enten har haft
tid til eller overhovedet gør af det her stykke dokument. Så det bliver nødt til at
være i processen, at anvendeligheden træder frem, når nu de alligevel ender
henne i en bunke i hjørnet sammen med andre rapporter, der aldrig er blevet
læst. (PO)
161

12.1.2. Frygten for sanktioner
Hvor en participatorisk læringsproces understøtter og motiverer forandring indefra,
udgør evalueringers og reviews’ kontrolfunktion en udefrakommende motivations-
faktor. Ved at true med at lukke projektets bevilling, kan donororganisationen sikre
sig, at partnerorganisationerne drager de konsekvenser af et review eller en evalue-
ring, som Danida finder passende:
… det var både [[projektorganisationen]] og [[den eksterne IO]], der skulle
give sig og vise åbenhed i den proces. Og hvis ikke de gjorde det inden en
måned, og de lavede en ny plan og så videre og så videre, så var vi nødt til at
lukke bevillingen. (OG)
Donorerne ganger op, det er den negative form, og presser [[projektorganisationen]]
til at lave nogle ændringer, (…) så kan vi sige til dem, ’Altså,
hvis I ikke gør som vi siger, så vil vi ikke finansiere jer næste år.’ (OG)
Vi har også set eksempler på, at de eksterne IO’er og rådgiverne anvender bedøm-
melsesaktiviteternes kontrolfunktion til at presse en projektorganisation til at ændre
sin adfærd. Fordelen ved at bruge et review eller en evaluering til dette formål er, at
IO’erne og rådgiverne undgår at komme i konflikt med projektorganisationen, idet de
giver ”nogle bastards længere oppe” skylden:
Og man kan sige, at det var rigtigt godt, at der kom nogen ned udefra, hvor
review-teamet siger: ’Der er simpelthen nogle problemer, og det skal der gøres
noget ved. Det kan ikke fortsætte.’ Det tog ambassaden så og sagde til den
lokale partner, der var lidt tung at danse med: ’Der skal simpelthen…’ (banker
i bordet). Og det var jo rart for os, fordi så kunne vi lægge os i læ af det og
sige: ’Ambassaden siger altså…’. Det er igen det her med at have nogle
bastards længere oppe, så man kan sige: ’Sorry, det er vi nødt til. Det siger de.
Ellers får vi ikke flere penge’. Altså, det hjælper meget nogle gange, så den
proces blev sat i gang. Og den havde vi… fordi når man har den daglige
kontakt, så har man tit svært ved det. (PO)
På denne måde fungerer reviews og evalueringer som et værktøj for donor og IO’er/
rådgivere til at disciplinere projektorganisationerne.
12.1.3. Egenkontrol og konsensus
Ovenstående gennemgang fremstiller to motivationsfaktorer, som udspringer af
forskellige – men i begge tilfælde klare – styrkeforhold mellem Danida og Danidas
partnere. I førstnævnte tilfælde, hvor partnernes motivation udspringer af en følelse
af ejerskab til konklusionerne, falder dette i tråd med de centrale antagelser inden for
den participatoriske læringsdiskurs, som vi gennemgik i kapitel 4. Ved brugen af
pression som motivationsfaktor ligger samspillet mellem Danida og Danidas partnere
derimod i forlængelse af de subjektpositioner, som stilles til rådighed inden for en
evalueringsteoretisk kontroldiskurs. Når Danida eller de eksterne IO’er presser
projektorganisationerne til at foretage justeringer, sker det med reference til ”nogle
bastards længere oppe” – det vil sige til et eksternt krav om resultatorientering og
162

ansvarliggørelse. Derved bliver Danidas krav til partnerne om at følge evalueringer-
nes/reviewenes anbefalinger til en indiskutabel ordre.
De to ovenstående eksempler på motivationsfaktorer kan altså beskrives som ’rene’
eksempler på henholdsvis participatorisk læring og kontrol. Der findes imidlertid
også mindre klare eksempler, hvor lærings- og kontroldiskurserne blandes, og de
tydelige magtkonturer Danida og partnerne imellem udviskes. En analyse af de to
reviews af MISA fra henholdsvis 2001/2002 og 2004 afdækker to sådanne hybrider.
12.1.3.1. Den kompetente partner
Vi har tidligere omtalt reviewene af MISA fra henholdsvis 2001/2002 og 2004 som
de to mest udtalte eksempler på udførelsen af en evaluering / et review af Danida-
støttet mediebistand efter en participatorisk læringsmodel (se afsnit 9.1.3.2.). At
forløbene blev oplevet som en participatoriske læringsprocesser af både projekt-
organisationer, konsulenter og opdragsgiver beror på en række faktorer. Først og
fremmest var de evaluerede aktører trygge ved konsulenterne, som de kendte i
forvejen, og som anvendte metoder, der understøttede partnernes inddragelse og
myndiggørelse. Desuden var MISA i begge tilfælde garanteret fortsat støtte i form af
en ’tryghedsgaranti’ (MISA 04:45 & MISA 01/02:3). En sidste og meget væsentlig
faktor er, at MISA ikke er en hvilken som helst partner – den må anses for at være en
af Danidas nok mest ’kompetente’ partnere på mediebistandsfeltet. Det er således
ikke en tilfældighed, at de to mest fremtrædende eksempler på realisering af en
participatorisk læringsdiskurs er reviews af den samme organisation.
MISA’s status som en ’kompetent’ partnerorganisation hviler dels på dens størrelse
(den har et højtuddannet fuldtidssekretariat), dens alder (MISA har samarbejdet med
Danida siden 1992) og dens erfaringer med at samarbejde med en lang række
donorer. Af reviewet fra 2001/2002 fremgår det, at:
The Regional Secretariat of MISA is currently co-operating with more than 15
donors. In addition national chapters are independently mobilising resources
from donors, including embassies, in the various countries. The various donors
each have their specific requirements with regard to funding proposals,
appraisal procedures, formats for accounting, auditing, monitoring and report.
In addition, they all have specific ideas about the direction and priorities of
MISA and preferences with regard to what they want to support within MISA.
(MISA 01/02:62)
Organisationen har altså rig lejlighed til at tillære sig de kompetencer, som kræves
for at kunne begå sig i donorverdenen. Kompetencer, der blandt andet er nødvendige
for at kunne øve indflydelse på design af reviews og evalueringer. I kapitel 7 beskrev
vi, hvordan Danida både i forbindelse med reviews og evalueringer forsøger at
inddrage de involverede aktører i designfasen og derved udjævne den ejerskabsskæv-
hed, som grundlægges i initieringsfasen. Men at inddragelsen i designfasen i høj grad
163

foregår på donors præmisser, fremgår af dette citat, hvor en repræsentant for en
anden ’kompetent’ partnerorganisation, som desuden er tidligere konsulent for
Danida, beskriver sine muligheder for at formulere krav til kommissoriet som større i
forhold til en mindre ’kompetent’ organisations:
… jeg [har] jo kunnet stille større krav til dem [i Danida], fordi jeg selv har
lavet mange evalueringer. (…) Øh… det gør [[en projektorganisation i
Afrika]] ikke… (…) På en eller anden måde har de gjort det måske mere
indirekte. Jeg kan huske, at de bad om at jeg lavede evalueringen (…) Og det
har de så kunnet bede om, og det har Ministeriet også honoreret. Altså ved at
de har decideret bedt om at få en bestemt evaluator. (PO)
Citatet vidner på den ene side om, at der fra Danidas hold er vilje til at imødekomme
partnernes ønsker, men det viser også, at der reelt er forskel mellem de forskellige
partnerorganisationers muligheder for at blande sig i forhandlingerne. Denne ulighed
søger Danida at udjævne ved at uddanne deres partnere i evalueringsarbejdet:
… både vi og kontorerne er måske ikke gode nok til at forklare folk, der ikke er
vant til at blive evalueret, hvad det egentlig er, der foregår. Altså nu prøver vi
at have vores guidelines, som vi sender til folk. Vi prøver at holde workshops
og seminarer, og altså i stigende grad inddrager vi også vores partnere i
udviklingslandene i Terms of Reference, sådan at de får den samme både
indsigt i men også ejerskab til evalueringen. (OG)
Med ord som ’inddragelse’, ”ejerskab” og ”indsigt” anvender den citerede ansatte i
Danida her termer hentet fra en participatorisk læringsdiskurs. Dog står det ved
nærmere gennemsyn klart, at tilgangen til inddragelsen er top-down-orienteret. Det er
opdragsgiveren, der skal ”forklare folk”, hvad ”det egentlig er, der foregår”, og der-
med bibringe partneren ”den samme indsigt”, som opdragsgiveren allerede besidder.
Retningslinierne og dermed det sprog, som evalueringsprocessen forhandles og
forstås ud fra, er allerede defineret, hvorfor partnernes mulighed for indflydelse
afhænger af, om de er villige og i stand til at tillære sig den særlige donordefinerede
evalueringspraksis.
12.1.3.2. Egenkontrol
Som vi tidligere har beskrevet, er Danidas partnere på mediebistandsområdet forplig-
tet til løbende at udarbejde en række dokumenter ud fra skabeloner, som på forhånd
er fastlagt af Danida (afsnit 7.1.5.1., Danida 20003B:35ff., bilag 5) 69 . Alle partnere
skal således udføre en vis grad af egenkontrol – et særligt interessant fænomen i
specialets kontekst, da magtrelationerne mellem den kontrollerede og den kontrol-
lerende part udviskes, når der er tale om personsammenfald mellem disse. Ved at
uddelegere kontrollantrollen til de kontrollerede parter sikrer Danida sig, at kontrol-
len internaliseres, og at partnerorganisationen disciplineres til at tænke i LFA-baner.
69 Formatet følger den skabelon, som følger af den såkaldte Logical Framework-tilgang (LFA) til
projektledelse, som blev introduceret i kapitel 11.
164

Reviewet af MISA i 2004 adskilte sig fra andre reviews og evalueringer ved, at
egenkontrollen her spillede en fremtrædende rolle, idet MISA ikke blot deltog i
udarbejdelsen af kommissoriet og sammensætningen af konsulenthold – organisa-
tionen betalte selv for reviewets gennemførelse. Den måde, hvorpå MISA finansieres
(såkaldt basket funding), medfører, at organisationen selv har et implementerings- og
monitoreringsbudget, som blandt andet dækker udgifter til reviews:
All costs will be paid for by MISA from the implementation and monitoring
budget. The consultants will be paid a professional fee of US$300 per day for
the not more than 13 days review. The subsistence and travel costs will be paid
on a proven expense basis. MISA will arrange for the travel of the consultants.
(MISA 04:44-45)
MISA er altså i den situation, at organisationen selv forvalter de midler, som bruges
på evalueringer og reviews uden selv at have en reel indflydelse på initieringen af
disse. Dette tilfælde af egenkontrol viser et behov for at forfine den indledende
skelnen mellem top-down og bottom-up tilgange til opfølgning på evalueringer og
reviews. På den ene side bliver partnerorganisationen dybt involveret i review-
processen, på den anden side får organisationen kun det ansvar, som donorerne er
villige til at give fra sig, hvorfor man med de kritiske briller på kan karakterisere
samspillet mellem MISA og donorerne som et tilfælde af ”pseudo-inddragelse”
(Krogstrup 2001:199).
12.1.3.3. Konsensus?
Også ved nærmere gennemlæsning af det andet review af MISA fra 2001/2002
nuanceres rapportens ellers skønt malede billede af forløbet som en bottom-up,
participatorisk læringsproces. I rapporten er den gennemgående afsenderidentitet den
faciliterende konsulentrolle (se bilag 4D & 4I), som i de fleste tilfælde gengiver de
evaluerede aktørers holdninger neutralt, mens forfatternes egne vurderinger træder i
baggrunden. Imidlertid forekommer der i denne reviewrapport adskillige eksempler
på, at den vurderende og den faciliterende konsulentrolle blandes, idet forfatterne
tydeligt kommenterer partnernes udsagn.
Det mest markante eksempel herpå drejer sig om en vurdering af, hvorvidt MISA har
levet op til de fastsatte målsætninger om at implementere en ligestillingskomponent i
projektets aktiviteter 70 . At ligestilling oprindeligt blev sat på dagsordenen af
donorerne og ikke af projektorganisationen selv, fremgår blandt andet af passiv-
konstruktionen i denne formulering: ”Gender was introduced in MISA at a very late
stage” (MISA 01/02:35), og det kommer desuden tydeligt til udtryk, at en stor del af
70 Andre eksempler er vurderingen af MISA’s brug af informationsteknologi og projektorganisationens
samarbejde med en fond kaldet SAMDEF. I begge tilfælde fremgår det, at donorer og konsulenter
mener, det er en god idé, mens partnernes uenighed omtales med ord som ’skepsis’ og ’modstand’:
”During the review/evaluation, the tough stance of MISA members towards SAMDEF, as indicated
above, appears to have softened.” (MISA 01/02:58).
165

projektorganisationens medlemmer finder målsætningen irrelevant. Frem for at
beskrive partnernes holdning neutralt, tilkendegiver forfatterne, at de selv anser lige-
stillingsemnet for at være relevant og væsentligt, og at den gruppe blandt de evalue-
rede aktører, som er uenige heri, har ’stereotype’ og ’blandede holdninger’:
It became apparent that MISA itself has not done away with its own
stereotypes and mixed views as to the importance and relevance of the concept.
(MISA 01/02:42)
Af formuleringen “done away with” fremgår det, at projektorganisationen forventes
at blive enig med donorer og konsulenter med tiden. Konsulenternes egen positive
holdning til ligestillingskomponenten kommer også til syne i formuleringen af dette
ledende spørgsmål til de kritiske røster i MISA, som tydeligt indikerer, at konsulen-
terne sætter lighedstegn mellem ligestilling, pluralisme, diversitet og demokrati:
This debate raises the following issues: By questioning the relevance of gender
mainstreaming within MISA’s mandate and in the content of news coverage, to
what extent has MISA interpreted the concepts of ”pluralism”, ”diversity” and
”democracy” to their full implications? (MISA 01/02:43)
Endelig fremhæver konsulenterne den andel af de evaluerede aktører, som udtrykker
enighed med konsulenternes (og donorernes) vægtning af ligestilling, idet disse roses
for at være ”refreshing” og ”strong committed voices”:
Although it is thought that the process of introducing gender equality was
donor-driven, it was refreshing to hear that in spite of contradictory opinions
regarding the relevance of the concept, some very strong committed voices
were heard both from women and men at all levels of the organisation. There
is, therefore, an internal willingness to move forward with the application of
the concept. (MISA 01/02:43, vus.)
Mens konsulenterne bevæger sig inden for den retorik, som kendetegner den partici-
patoriske læringsdiskurs, har det reelle indhold i diskussionerne karakter af konsen-
susbaseret læring. Dette understreges af, at konsulenternes opsummering af debatten
er, at der er en ”internal willingness” til at integrere ligestillingsaspektet, selvom en
lige så valid konklusion kunne have været, at der var intern modvilje mod at følge
donorernes dagsorden. Det fremgår således med al tydelighed, at der er en rigtig og
en forkert holdning til ligestillingsspørgsmålet, hvor donorerne og konsulenterne
repræsenterer den rigtige. Den endelige konklusion lyder:
Three years later, gender is no longer merely a donor-driven issue but a
common interest to both MISA and its donors thereby needing to form an
integral part of future partnerships (MISA 01/02:46)
Anvendelsen af ordet partnerskab i denne sætning sætter partnerskabets paradoks på
spidsen: Interessen for ligestillingsspørgsmål er fælles, fordi donoren har insisteret
herpå. Reviewet understøtter donorernes synspunkt og bidrager til, at MISA accep-
terer dette.
166

12.1.4. Partnerskab og bekendelse
Under betegnelsen ’partnerskabets paradoks’ behandlede vi i kapitel 3 det modsæt-
ningsfyldte møde mellem moderniseringsdiskursens asymmetriske styrkeforhold
mellem donor og modtager og det lighedsideal, som kendetegner den kritiske udvik-
lingsdiskurs. Paradokset består i, at Danidas partnere på den ene side skal leve op til
en række donordefinerede krav om eksempelvis demokratisering og respekt for
menneskerettighederne, mens de samtidig forventes at formulere kravene selv.
Hermed støder moderniseringsdiskursens top-down-tilgang sammen med den
bottom-up-tilgang, som foreskrives inden for den kritiske udviklingsdiskurs. I de
tilfælde hvor der er sammenfald mellem partnernes og Danidas ønsker og interesser,
er partnerskabet uproblematisk. Men når partnerne – af den ene eller anden årsag –
ikke kan tilslutte sig Danidas prioriteringer, politikker og/eller metoder, må de fore-
give alligevel at gøre dette for fortsat at gøre sig fortjent til danske bistandskroner.
Udtrykt i foucault’ske termer betyder partnerskabets paradoks i praksis, at partnerne
må ’bekende’ sig til donorens værdier for at opretholde partnerskabet (Foucault
1980:191). Bekendelsen er ifølge Foucault en subtil disciplineringsmetode, som ikke
kan beskrives ud fra et traditionelt, strukturelt magtperspektiv, hvor magt defineres
som A’s evne til at få B til at gøre noget, som B ellers ikke ville have gjort (Lukes
1973 & Dahler-Larsen 2004:96). Bekendelsen hviler i stedet på, at B disciplinerer sig
selv ud fra sin vurdering af A’s forventninger og truslen om mulige sanktioner, hvis
disse forventninger ikke indfries.
De to ovenstående eksempler på, at partnerorganisationerne – under dække af
frivillighed og inddragelse – presses til at justere deres adfærd efter Danidas anvis-
ninger, illustrerer bekendelsen i praksis. Betragtet som forhandlingsknudepunkter af-
spejler og forstærker evalueringer og reviews dermed den donor-modtager-relation,
som gør sig særligt gældende inden for mediebistand og andre bistandsområder med
politiske konditionaliteter i spil: Danida opstiller betingelser og mål, eksempelvis at
ligestilling er en relevant komponent i et mediebistandsprojekt, men partnerne skal
selv udtrykke ønsket for at kunne få støtte fra Danida. Sker det ikke frivilligt som en
bottom-up-proces, kan reviews og evalueringer hjælpe Danida til alligevel at få sin
vilje – i grelle tilfælde ved at true med at lukke bevillingen, men ellers på mere
subtile og elegante måder såsom egenkontrol og definering af ’den rigtige konsen-
sus’.
Vi har nu vist, at Danida er motiveret for at drage konsekvenser af reviews og evalue-
ringer – vel at mærke konsekvenser for partnerorganisationerne. Men er donororgani-
sationen også motiveret for selv at ændre adfærd som følge af evalueringer og
reviews? I det følgende stiller vi skarpt på barrierer og muligheder for realiseringen
af Danida som en lærende organisation (jf. afsnit 4.3.).
167

12.2. Danida som lærende organisation
Vi har i kapitel 10 og 11 fokuseret på de dramaer, som udspiller sig omkring konsu-
lenternes og partnernes identiteter. I begge disse kapitler er det blevet opsummeret, at
Danidas identitet som donor og opdragsgiver med magt til at definere rammerne for
de øvrige aktører ikke udfordres men styrkes i forbindelse med reviews og evalue-
ringer. Vi vil i det følgende undersøge de faktorer, som kan motivere Danida til at
ændre adfærd og derigennem belyse forudsætningerne for, at Danidas identitet – på
linie med de øvrige praksisfællesskabers – sættes til forhandling.
Som det gælder for partnerorganisationerne, kan man også for Danidas vedkom-
mende skelne mellem indefra- og udefrakommende motivationsfaktorer i udførelsen
af evalueringer og reviews, hvor de udefrakommende er knyttet til evalueringers og
reviews’ kontrolfunktion og de indefrakommende til medarbejdernes engagement i
og ejerskab for konklusionerne. Disse to typer faktorer gennemgår vi henholdsvis i
afsnit 12.2.1. og 12.2.2., hvorefter der i afsnit 12.2.3. rundes af med en diskussion af,
hvorvidt Danida kan siges at leve op til de i kapitel 8 fremstillede idealer om organi-
satorisk læring, som kommer til udtryk i organisationens publikationer og i inter-
views med medarbejderne.
12.2.1. Ansvarliggørelsesfunktionen som motivationsfaktor
Partnerorganisationerne er ikke de eneste, som er underlagt krav om resultatorien-
tering, det er Danida i høj grad også. Evalueringernes – og i nogen grad også
reviewenes – funktion som redskaber til ansvarliggørelse udgør derfor også for
Danida en vigtig motivationsfaktor for at følge op på rapporterne. Men hvor partner-
ne i mange tilfælde mødes med mere eller mindre direkte formulerede krav om
opfølgning, som vi har set i det ovenstående, handler Danida i højere grad ud fra
forventningen om en mulig offentlig reaktion. I dette citat beskriver en medarbejder i
Danida, hvordan offentliggørelsen af evalueringer ansporer ledelsen til at fordybe sig
i dem og drage konsekvenser deraf:
Men [offentliggørelsen af evalueringsrapporter] betød så til gengæld, at der
kom en reel diskussion af: ’Jamen, hvad skal vi? Hvordan skal vi reagere på
den her? Og vi skal gerne have en fornuftig reaktion og ikke bare sige, at det er
vi ligeglade med’. Og det gav så anledning til, at vi faktisk fik den her reelle
diskussion omkring evalueringsrapporter i ledelsesgruppen, som vi ikke havde
haft før. Så det eksterne pres og offentliggørelsen har medvirket til, at man
begyndte… og så sker der det, at så opdager ledelsen opdager: ’Jamen, der er
sgu noget interessant i de her evalueringer. Der er faktisk noget, vi kan bruge’.
Så det er ikke kun en forberedelse til reaktioner overfor pressen, men også et
reelt instrument. Men det var en sjov oplevelse i løbet af en to-tre år der,
hvordan det gik fra at være interne og ikke særligt påagtede rapporter til at
være noget man blev bange for, fordi man var bange for the public reaction, så
til at være: ’Jamen, det er sgu et instrument, vi kan bruge’. (OG)
168

Foucaults begreb panoptisk disciplinering synes dækkende for den logik, som ifølge
den citerede ansatte driver ledelsens interesse for evalueringer. Alene ledelsens angst
for offentlighedens overvågende blik – ”the public reaction” – gør, at Danida interna-
liserer kontrollen. Danidas ledelse er hermed sammenlignelig med den indsatte i
Panoptikon, der indretter sin adfærd efter den potentielle inspektion, uvidende om
hvorvidt denne rent faktisk finder sted eller ej (Foucault 1994:179f.).
I kraft af, at evalueringer offentliggøres, mens reviews har status af interne arbejds-
papirer, er ansvarliggørelsesfunktionen primært en motivationsfaktor i forbindelse
med førstnævnte bedømmelsesaktivitet. Vi har tidligere beskrevet, at de danske
medier primært – hvis ikke udelukkende – interesserer sig for evalueringer med
kritiske konklusioner, hvorfor ledelsens tilskyndelse til at følge op på denne type
evalueringer er større end i de tilfælde, hvor konklusionerne er mindre entydige eller
kritiske. Ansvarliggørelsesfunktionen alene er derfor ikke nok til at sikre en tilstræk-
kelig opfølgning på reviews og evalueringer: En vis indre motivation er også nødven-
dig for, at Danida med rette kan kalde sig en lærende organisation.
12.2.2. Rotationsordningen som barriere for organisatorisk læring
Som vi beskrev i kapitel 7 er ansvaret for opfølgning på reviews placeret i den
samme bevilgende enhed, som har initieret reviewet. Det vil i praksis sige, at det er
en ambassademedarbejder, der skal stå for, at erfaringerne og anbefalingerne formid-
les videre ikke blot til Danidas partnere, men også internt i Danidas organisation.
Ansvaret for at følge op på evalueringer er formelt forankret i EK, hvilket betyder, at
EK sørger for, at de berørte enheder i Danida gøres opmærksom på rapportens kon-
klusioner og drager de nødvendige konsekvenser. Hvad enten de berørte enheder er
landekontorer, policykontorer eller ambassader, så gælder det, at medarbejderne her
hører under rotationsordningen.
Karakteristisk for såvel evalueringer som reviews er det altså, at de medarbejdere,
som skal sikre realiseringen af den læringscyklus, vi præsenterede i afsnit 4.3,
sjældent har et grundigt kendskab til eller et stort netværk inden for mediebistands-
feltet. For at Danida kan beskrives som en lærende organisation, skal den viden, der
tilvejebringes gennem reviews og evalueringer, sammenlignes med og bidrage til en
eventuel korrektion af Danidas normer og praksis. Dette er selvsagt svært at gøre,
hvis man ikke har viden om gældende normer og praksis. Endvidere kræver en god
videreformidling og opfølgning, at den ansvarlige, nødvendige nøgleperson 71 har et
71 Nødvendig nøgleperson er vores oversættelse af begrebet ”obligatory passage point”, som findes hos
Bowker & Star 1999:292. Et ”obligatory passage point” er en aktør, som indtager en så central position i
netværket omkring et grænseobjekt, at denne fungerer som et obligatorisk bindeled eller en ”gatekeeper”
(ibid.) i interaktionen mellem et praksisfællesskab og omverdenen. I forbindelse med opfølgning på
reviews er den medarbejder, hos hvem det formelle ansvar er forankret, en nødvendig nøgleperson i
samarbejdet mellem de forskellige sub-praksisfællesskaber i Danida samt mellem Danida og partnerne.
169

netværk, vedkommende kan inddrage med henblik på at stabilisere konsekvens-
dragelsen af en evaluering eller et review som et grænseobjekt. En ny medarbejder –
typisk uden forhåndskendskab til medier og til det pågældende land – har derfor ringe
odds, hvorfor rotationsordningen kan siges at udgøre en ikke ubetydelig barriere for
realiseringen af Danida som lærende organisation. Denne påstand uddybes i det
følgende.
12.2.2.1. Manglende kontinuitet
For det første er rotationsordningen lig manglende kontinuitet. Ofte udskiftes den
Danidaansatte, som har haft ansvaret for initieringen af et review eller har været
inddraget i designet af en evaluering, sådan at det er en ny medarbejder, der skal stå
for opfølgning og konsekvensdragelse. Og vel at mærke er det med stor sandsyn-
lighed en helt tredje eller fjerde medarbejder, der oprindeligt har deltaget i forbere-
delsen og implementeringen af den projektfase, den konkrete bedømmelsesaktivitet
fokuserer på. Tabet af viden og overblik forstærkes af det forhold, at det typisk er de
mest uerfarne medarbejdere, som får ansvaret for bistand til medier, køn og NGO’er.
Ikke fordi disse områder har specielt lav status, men fordi der som oftest er tale om
relativt små og afgrænsede projekter, der i Danida anses for at udgøre et spændende
afsæt for en ung, ny medarbejder. Her fortæller en konsulent, om en oplevelse med at
skulle overdrage resultaterne af et review til en ung Danidamedarbejder:
Og så glædede jeg mig enormt meget til at komme ind og snakke med Danida
om den, fordi det var faktisk dem, der var administratorer. Og så kom jeg ind,
og så sad der sådan en ung… sådan et ungt menneske – og det er jo ikke
vedkommendes skyld – men altså vedkommende havde kun siddet der et år og
skulle videre om en måned eller sådan noget. Og havde læst rapporten og
syntes, at den var meget interessant, men han havde aldrig forholdt til den
bevilling i øvrigt, selvom det lå inde på hans skrivebord. Så det var jo ikke
en… Altså, det var mere sådan: han sad og spurgte mig nysgerrigt, om: ’Og
Gud! Og hvad laver…? Nåh…?’ og… det var én stor surprise, ikke? (griner)
Så der var ikke nogen… der var ikke nogen dialog der, kan man sige. Men det
viser også noget om systemet, kan man sige, fordi de rykkede videre, og… og
han… Og der stod på hans papir, at han skulle have lavet sådan en review,
fordi det var tid nu, og det har han så sagt videre: ’Find en eller anden’, ikke
(griner), og så blev det mig, og så var det ligesom godt nok, når der lå en
rapport, ikke. Men de der anbefalinger og sådan noget, men det kunne han ikke
forholde sig til. (Utydeligt). Det føltes da underligt. (KS)
12.2.2.2. Fokus på egen karriere
Foruden den manglende kontinuitet er en anden utilsigtet effekt af rotations-
ordningen, at nogle ambassademedarbejdere fokuserer på deres egne karriere-
muligheder frem for at engagere sig i de projekter, der hører under deres ansvars-
område – de skal med den ovenfor citerede konsulents ord ’rykke videre’. En ansat i
Danida fortæller her om sin oplevelse af at samarbejde med kolleger, der efter
vedkommendes mening mangler ’engagement’ og blot betragter arbejdet som en
mulighed for at ’score points’:
170

… den anden side er selvfølgelig også, hvis den, der så sidder med det til
hverdag, ikke har engagementet. Ikke, altså, som bare siger, ’nå ja, men bare de
ikke finder ud af det, at jeg har lavet en fejl’, og prøver at skjule det, ’bare jeg
får en nogenlunde god rapport ud af det, så kan jeg gå hen og spille golf
klokken fire’, ikke. For dem har vi jo også nogen af. Og desværre også på
sådan nogen områder her, som er så sensitive, og som kræver, mener jeg
personligt, et engagement, og at man går dybere ind end lige at se på, at hvor
mange penge skal jeg bruge i år, og hvordan får jeg scoret mine points. (OG)
Vi antager ikke, at denne karikatur af en uengageret medarbejder tegner et dækkende
billede af virkelighedens Danidaansatte. Men citatet illustrerer, at den manglende
kontinuitet og det fokus på det individuelle karriereforløb, som følger af rotations-
ordningen, betyder, at de nødvendige nøglepersoner ofte mangler den fornødne
motivation i forbindelse med opfølgning på reviews og evalueringer.
12.2.2.3. Brug af interne konsulenter
En interessant pointe i denne sammenhæng er, at blandt de cases, vi har undersøgt, er
reviewet af MISA i 2004 det mest udtalte eksempel på, at Danida har søgt at omsætte
viden til organisatorisk læring. Dette review blev, som tidligere nævnt, udført af
blandt andet en intern konsulent, den medieansvarlige i BFT, der som den eneste i
Danida følger mediebistanden kontinuerligt. I nedenstående udsagn vurderer BFT-
medarbejderen fordelen ved, at hun spillede en central rolle både under udførelsen af
og opfølgningen på reviewet. BFT-medarbejderen sammenligner 2004-reviewet med
et review af MISA, som blev foretaget året før af et rent eksternt konsulenthold (”det
sidste” review):
… hvis du læser de to rapporter fra MISA, ikke, øh, så er nogen af
konklusionerne de samme. Men fordi at jeg så ikke har noget med det sidste
[review] at gøre, fordi jeg ikke har nogen kontakt med de folk, øh altså rent
sådan kommercielt, jeg har ikke hyret dem til at løse opgaven, jeg er ikke
blevet bedt om at løse opgaven, så kan der være en fare for, at nogen af de ting
forsvinder i vores system. Altså, ambassaden har bedt konsulenterne om at lave
opgaven og hyret dem og så videre, øh, men i og med at jeg så kommer ind
over, fordi jeg sidder her som fagperson, når jeg så ser de her problemer, der er
i de her organisationer, så laver jeg jo lidt uro på det og siger ’vi bliver
simpelthen nødt til at gøre noget ved det her’. Og så sker der lidt mere i
organisationen, ikke (…) Selvom konklusionerne egentlig måske var de samme
sidste år, ikke. (OG)
BFT-medarbejderen forklarer, at hun ganske vist har haft kendskab til 2003-reviewet,
men at hun ikke har spillet en central rolle i forhandlingerne omkring reviewet, da
hun hverken har varetaget den ’kommercielle’ opdragsgiverfunktion eller er blevet
bedt om at være konsulent. Ansvaret for reviewet har således været forankret i den
bevilgende ambassade, og dermed er en række af reviewets konklusioner ’forsvundet
i systemet’.
Da BFT-medarbejderen mod normen blev bedt om at udføre 2004-reviewet som
intern konsulent, følte hun et stærkere ejerskab for at drage konsekvenser af
171

konklusionerne og lavede derfor ”lidt uro på det”, hvorved hun bidrog til at sikre en
grundigere opfølgning. Citatet afsluttes med bemærkningen: ”Selvom konklusionerne
egentlig måske var de samme sidste år” – en påstand vores læsning af de to rapporter
kan bekræfte. Forskellen mellem de to konsekvensdragelsesforløb skal således ikke
findes i rapporterne, men i hvor stærkt et engagement Danidas medarbejdere har lagt
i opfølgningen. Vi må på denne baggrund konkludere, at en svaghed i Danidas
praksis i forhold til konsekvensdragelse er, at videreformidling og opfølgning hviler
på enkeltpersoners engagement – et engagement, som rotationsordningen ofte
blokerer for.
12.2.3. Danidas identitet til forhandling?
Danidamedarbejdernes udlægning af læringsbegrebet i kapitel 8 giver et indtryk af, at
der i organisationen er en tendens til at sætte lighedstegn mellem feedback og læring,
og at selve udførelsen af evalueringer og reviews således garanterer kvalitetssikring
og forbedring af mediebistandsindsatsen. Denne antagelse er ikke korrekt, idet igang-
sættelsen af en organisatorisk læringsproces kræver, at nogle aktører i praksisfælles-
skabet Danida tager ejerskab for at følge op på en rapport og omsætte viden til
læring. Analysen i dette afsnit belyser to faktorer, som kan motivere en sådan opfølg-
ning. Dels udgør bevidstheden om muligheden for en negativ offentlig reaktion en
udefrakommende motivationsfaktor, og dels kan Danidas medarbejdere selv bidrage
til ændringer, hvis de vel at mærke har et engagement og en interesse heri. Imidlertid
blokerer rotationsordningen og anvendelsen af eksterne konsulenter for, at ejerskabet
forankres internt i Danidas organisation. En interessant pointe er, at partnerne ingen
mulighed har for direkte at gennemtvinge ændringer i Danidas adfærd, sådan som
Danida omvendt har i forhold til partnerne. Danidas identitet sættes således kun på
prøve i det omfang, som enten den danske offentlighed eller organisationen selv
udviser interesse herfor. Hermed understreges den asymmetriske og paradoksale
partnerrelation, hvor Danida alene skal understøtte partnernes udvikling og selv
forblive uændret i processen.
12.3. Delkonklusion
Et af målene med dette speciale er at belyse samspillet mellem dominerende
evaluerings- og udviklingsteoretiske diskurser og Danidas evalueringspraksis. Vi har
tidligere undersøgt interaktionen mellem de tre involverede praksisfællesskaber i
forbindelse med design, udførelse og afrapportering af bedømmelsesaktiviteter, og i
dette kapitel er fokus på forhandlingerne i opfølgningsfasen. Analysen har vist, at
aktørerne i nogle situationer trækker på enten den evalueringsteoretiske kontrol-
diskurs eller den participatoriske læringsdiskurs i deres motivation for at drage
konsekvenser af reviews og evalueringer, mens andre opfølgningsforløb så at sige
blander de to diskursers tilgange. Derved genforhandles relationerne mellem Danida
og partnerne på en måde, så de hverken understøtter moderniseringsdiskursens
172

asymmetriske styrkeforhold eller det ideal om myndiggørelse, som præsenteres inden
for den kritiske udviklingsdiskurs. I stedet bidrager disse opfølgningsforløb til at
understøtte partnerskabets paradoks.
De involverede praksisfællesskaber har imidlertid sproglige kategorier til at beskrive
de situationer, hvor styrkeforholdet mellem Danida og partnerne er utvetydige og
arketypiske for enten kontrol- eller læringsevalueringer. Egenkontrol og tvungen
konsensus er eksempler på en sammenblanding af kontrol og læringsdiskurserne, idet
kontrollen her foregår mere på en mere subtil facon, hvor partnerne selv indvilger i at
bekende sig til Danidas vurderinger og værdier for fortsat at kunne modtage støtte.
Fordi disse mellemformer falder uden for de faste kontrol-lærings-kategorier,
praktiseres både egenkontrol og tvungen konsensus inden for en læringsretorik med
argumenter om myndiggørelse og participation, og den komplekse og paradoksale
relation mellem Danida og partnerne sprogliggøres således ikke af aktørerne selv.
Et tilsvarende fænomen har vi set i forbindelse med design af evalueringer og
reviews, hvor Danida beskriver egne intentioner om partnerinddragelse ved hjælp af
begreber hentet fra en participatorisk læringsdiskurs, mens organisationen reelt
forudsætter en høj grad af kompetence fra partnerens side. I forbindelse med analysen
af konsulentrollen i kapitel 10 stod det klart, at modsætningerne mellem Danida og
partnerne, som udmøntede sig i en kompleks og splittet konsulentidentitet, forsøges
håndteret ud fra kontroldiskursens kriterier om uafhængighed og objektivitet frem for
at blive diskuteret åbent. I alle disse tilfælde bidrager forhandlingerne mellem
praksisfællesskaberne i forbindelse med evalueringer og reviews til at genetablere
partnerskabets paradoks, men dette sker tavst under henvisning til positivt ladede
nøglebegreber inden for henholdsvis lærings- og kontroldiskursen.
Vi kan på denne baggrund ikke konkludere entydigt, at Danidas evalueringspraksis i
alle situationer understøtter partnerskabets paradoks. Men vi kan konkludere, at
skellet mellem kontrol- og læring ikke er så entydigt, som både teorien og praksis-
fællesskabernes forståelser af begreberne lægger op til. Diskurserne blandes, og
derved bidrager Danidas evalueringspraksis til at genforhandle identiteter og
relationer på langt mere komplekse måder, end man kunne forvente ud fra på den ene
side Danidas positive forståelser af læring og kontrol og på den anden side partnernes
og konsulenternes negativt ladede, magtkritiske fortolkninger af de to formål.
173

13. Fremtidens evaluering af mediebistand
I problemformuleringen stiller vi blandt andet spørgsmålet om, hvordan Danida kan
forbedre sin evalueringspraksis på mediebistandsfeltet. Det søges besvaret i dette
kapitel, hvor analysen af Danidas nuværende praksis suppleres med en række
konkrete anbefalinger til fremtidens evaluering af mediebistand.
Danida er som alle andre donoragenturer let at kritisere, idet der er tale om en magt-
fuld aktør med rig mulighed for at udnytte sin position til at dominere de økonomisk
afhængige partnere og konsulenter. En diskursanalytisk funderet magtkritik, som den
Ferguson leverer af donorsamfundet af Lesotho, har en vis berettigelse i Danidas
tilfælde, og vi har også søgt at give en sådan, hvor dette har været relevant. Men ved
at begrænse sin analyse til en akademisk kritik risikerer man først og fremmest at
falde i samme normativitetsgrøft som dem man kritiserer, hvilket Fergusons tekst er
et eksempel på (se afsnit 5.2.). Dernæst er der en vis sandsynlighed for, at Danida og
de øvrige praksisfællesskaber ikke kan omsætte kritikken til nye handlingsmønstre,
da analysens konklusioner ikke tager højde for deres konkrete situation. Dette kapitel
præsenterer en række anbefalinger, som tager hensyn dels til Danidas behov for at
bruge evalueringer og reviews til at legitimere udviklingsbistanden over for de
danske skatteydere, og dels til organisationens udtrykte ønske om gerne at ville indgå
i selvkritiske læringsprocesser. Anbefalingerne opsummerer de problemer og
barrierer i den gældende evalueringspraksis, som er præsenteret i de foregående
kapitler, og de er tænkt som oplæg og ideer snarere end som færdige evaluerings-
modeller, da en sådan metodeudvikling ligger uden for specialets fokus.
Kapitlet er inddelt i seks afsnit, hvor 13.1. drejer sig om Danidas forståelse og
prioritering af formålene læring og kontrol, og 13.2. om perspektiverne for udvikling
af et indikatorværktøj. Afsnit 13.3. behandler Danidas måder at inddrage partnerne på
i evaluerings- og reviewprocessen. Herefter opstiller vi i 13.4. en række anbefalinger
til Danida om, hvordan organisationen kan bidrage til at imødegå partnernes
utryghed. I 13.5. stiller vi forslag til en styrkelse af Danidas opfølgningspraksis, og
anbefalingerne opsamlet i afsnit 13.6.
13.1. Læring og/eller kontrol?
En af specialets hovedkonklusioner, som blev præsenteret i kapitel 8, er, at der er stor
forskel på de tre praksisfællesskabers forståelser af læring og kontrol. Hvor konsulen-
ter og partnere forholder sig stærkt problematiserende til kontrolformålet og mener,
at det er uforeneligt med læringsformålet, ser Danida ingen problemer i at forene de
to formål – tværtimod betragtes de som gensidigt understøttende. Sandheden om
relationen mellem læring og kontrol synes at ligge et sted midtimellem. På den ene
side eksisterer de to formål side om side i praksis – ikke blot i Danida men også i de
174

fleste andre evaluerende institutioner i Danmark – og dog er der på den anden side
problemer forbundet hermed. Vi plæderer for en højere grad af bevidsthed om disse
problemer og en mere nuanceret forståelse af både læring og kontrol.
13.1.1. Klarhed og konkretisering
I Danidas publikationer beskrives læring som neutral ”erfaringsopsamling” og
kontrol som objektiv ”dokumentation” (Danida 1999:7), men interviewene med
Danidaansatte, partnere og konsulenter gør det klart, at kontrol og læring er meget
mere end det. Kontrol er også utryghed, inspektion og panoptisk overvågning,
ligesom læring også er bekendelse, pseudoinddragelse eller en mulighed for delege-
ring af magt og myndighed til Danidas partnere. En højere grad af bevidsthed i
Danida om de magtmæssige aspekter af lærings- og kontrolformålene er forudsæt-
ningen for en mere åben dialog mellem de involverede praksisfællesskaber om,
hvordan man skal forholde sig til utryghed, ulighed og idealer om lighed i
evalueringsprocesser.
13.1.2. Prioritering
Første skridt i retning af en mere nuanceret og klar forståelse af læring og kontrol er,
at man i Danida forsøger at konkretisere, hvad man vil med en evaluering eller et
review – udover at udføre det. Ved ikke at forholde sig til metodeanvisninger,
eksakte målgrupper og opfølgningsprocesser, undlader Danida i dag at tage stilling
til, af hvem, hvornår og til hvad vurderingerne skal anvendes. Mere præcise kommis-
sorier ville være en måde at løse dette problem på.
I samme åndedrag vil vi anbefale de ansvarlige medarbejdere at prioritere mellem de
to formål ud fra en analyse af, at de sjældent går så uproblematisk hånd i hånd, som
Danida giver indtryk af. Særligt er der uoverensstemmelser mellem kontrolformålet
og muligheden for at gennemføre participatorisk læring. Fordelen ved at prioritere
kommer eksempelvis til udtryk i de reviews af MISA fra 2001/02 og 2004, hvor
vigtige forudsætninger for, at det – i nogen grad – lod sig gøre at anvende en partici-
patorisk læringsmodel, var udstedelse af en ’tryghedsgaranti’, omgåelse af uafhæn-
gighedskravet samt afsættelse af ressourcer til anvendelse af participatoriske
metoder. I forhold til at prioritere mellem formålene læring og kontrol bør man i
Danida overveje, i hvilke tilfælde kontrollen tjener et konkret, instrumentelt formål –
eksempelvis i forhold til at genoverveje en projektbevilling – og i hvilke tilfælde
kontrollen udføres rutinemæssigt med en symbolsk funktion alene. Vores gennem-
gang af reviewet af NSJ 2003 pegede på, at til trods for eksplicitte erklæringer om at
ville genoverveje bevillingen, så drog hverken Danida eller reviewholdet de konklu-
sioner og konsekvenser, man kunne forvente ville følge af den meget kritiske rapport.
En mulig forklaring herpå er, at NSJ’s bevilling ikke reelt stod på spil, da projektet er
175

et af Danidas flagskibe på mediebistandsområdet. Kontrollen synes derfor at have
tjent et symbolsk formål snarere end et praktisk.
Opsummerende foreslår vi Danidas medarbejdere at blive mere konkrete, fokuserede
og realistiske i forbindelse med udarbejdelse af kommissorier, i højere grad at
adskille kontrol- og læringsformålet samt at have en mere åben og nuanceret dialog
med partnere og konsulenter om de to formåls påvirkning af de involverede aktørers
identiteter og relationer. Vi vurderer, at dette speciale kan fungere som afsæt for en
sådan afklarings- og diskussionsproces.
13.2. Vurdering af mediebistandens effekter på
outcomeniveau
Vi har i kapitel 11 argumenteret for, at det både i et lærings- og et kontrolperspektiv
er særdeles relevant at investere ressourcer i udviklingen af et indikatorværktøj til
vurdering af mediebistandens effekter på et outcomeniveau. Et sådant værktøj kunne
eksempelvis omfatte receptionsanalyse, mediemonitorering, indholdsanalyse samt
brugerevalueringer i forbindelse med uddannelsesaktiviteter. I samme kapitel
anbefalede vi Danida at udarbejde realistiske kommissorier, hvor sigte står mål med
de faktiske ressourcer, samt i samarbejde med de eksterne konsulenter at bestræbe sig
på at nedbringe tidsforbruget til dokumentstudier.
At udvikle et sådant værktøj og anvende det kræver dog ressourcer. Vi mener derfor
ikke, at det er realistisk inden for den nuværende økonomiske ramme for evalueringer
og reviews at gennemføre omfattende outcome-målinger på alle missioner. Derfor
anbefaler vi Danida at nedtone ambitionsniveauet i forbindelse med de løbende
reviews, sådan at de alene skal fokusere på aktiviteternes output eller fungere som
participatoriske læringsprocesser, for så parallelt hermed udføre vurderinger af de
mere langsigtede effekter af bestemte indsatsområder såsom journalistuddannelse
eller lokalradioer.
13.3. Inddragelse af partnerne
Et begreb, som i særlig grad er kendetegnet ved at være uklart formuleret af Danida
er partnerinddragelse. Vi har identificeret to former for partnerinddragelse i
forbindelse med reviews og evalueringer af Danidas mediebistand. Den ene form for
inddragelse er en participatorisk, bottom-up tilgang, hvor partneren har reel
indflydelse på alle faser i review- eller evalueringsprocessen i overensstemmelse med
forskrifterne inden for den participatoriske læringsdiskurs. Den anden form er en
mindre radikal model, hvor partnerne inddrages på Danidas præmisser. Som vi har
vist i de foregående kapitler, er der ganske store forskelle mellem disse to former for
inddragelse og de magtrelationer, de bidrager til at etablere. Forskelle som de
176

interviewede aktører tilsyneladende ikke har en høj grad af bevidsthed om. Det
resulterer i, at Danida og konsulenter ofte siger ét men gør noget andet.
Førstnævnte form for inddragelse kan – ifølge konsulenter, partnere, evalueringsteori
og de analyserede cases – ikke kombineres med et kontrolformål. Når Danida i dag
anvender participatoriske metoder i forbindelse med reviews og evalueringer, er der
derfor som oftest ikke tale om decideret participatorisk læring, men derimod om
hybrider mellem kontrol og læring, såsom egenkontrol og tvungen konsensus.
Både den participationsorienterede evalueringsteori og de interviewede konsulenter
anser den radikale, myndiggørende inddragelse for den bedste måde at udføre
evalueringer og reviews på og afviser den mere pragmatiske variant som ”pseudo-
inddragelse” (Krogstrup 2001:199). Analysen af de to MISA-reviews og forekomsten
af egenkontrol og tvungen konsensus i den forbindelse underbygger dette synspunkt:
Det er problematisk at omtale og opfatte pragmatisk inddragelse ud fra en participa-
torisk læringsforståelse, da de to former for inddragelse har vidt forskellige magt-
mæssige konsekvenser. Men samtidig ønsker vi ikke at afvise den mere pragmatiske
inddragelse, da de interviewede partnere tydeligt udtrykker en tilfredshed hermed –
til trods for den akademisk funderede kritik af inddragelsen som værende ’pseudo’.
Der er imidlertid to væsentlige svagheder ved den måde, som Danida praktiserer
inddragelse af partnerne på i dag. Først og fremmest opererer Danida med et sæt
foruddefinerede præmisser, som gør det vanskeligt for ikke-kompetente partnere at
deltage. Vi foreslår derfor, at Danida slækker på de skrappe formkrav i forbindelse
med design, udførelse og opfølgning af reviews og evalueringer, sådan at alle
partnerorganisationer ligestilles. En anden svaghed er, at Danida i kraft af
uafhængigheds- og objektivitetskriteriet lægger op til distance mellem konsulenter og
evaluerede aktører med det resultat, at sidstnævnte ofte føler sig behandlet som
”legoklodser” (PO). Som alternativ til denne distance viderebringer vi her et forslag
stillet af en af de interviewede konsulenter om at lade repræsentanter fra
partnerorganisationerne deltage på review- eller evalueringsholdet:
Jeg har lavet en review (…) og der havde vi nogen med fra organisationen, og
det var virkelig en eye-opener for dem, det kan jeg godt love dig. (…) Det er
spørgsmålet om, hvem der ejer de her projekter – det gør… det gør jo… det gør
jo samarbejdspartneren, ikke? Det er deres projekter. (KS)
Vi anbefaler altså Danida at opprioritere inddragelse af de evaluerede aktører i
forbindelse med både reviews og evalueringer, sådan at også de mindre kompetente
partnere har mulighed for medindflydelse, og samtidig advarer vi mod at forveksle
participatorisk læring med mere pragmatiske inddragelsesformer.
177

13.4. Imødegå utrygheden
Vi har nu argumenteret for en højere grad af adskillelse af kontrol og læring samt
anbefalet Danida at anvende participatoriske metoder i så vidt omfang som muligt.
Begge disse tiltag har til formål dels at styrke nytteværdien af reviews og evalue-
ringer og dels at imødegå partnernes utryghed. Partnernes utryghed udgør nemlig et
væsentligt problem i forhold til at realisere både kontroldiskursens ideal om indsam-
ling af objektiv, troværdig information og den participatoriske læringsdiskurs’ forud-
sætning om tillid og åbenhed. Et tredje vigtigt tiltag, som kan understøtte partnernes
tryghed, er at sende klarere signaler om konsulenternes rolle.
Som vi redegjorde for i kapitel 10, opfatter partnerne i udgangspunktet konsulenterne
som værende på Danidas side i en konflikt mellem donor og modtager om bistands-
midler. Denne opfattelse hviler på flere forskellige forhold: Først og fremmest kan
man diskutere, om konsulenterne reelt er så uafhængige af Danida, som både de selv
og Danida gerne vil give indtryk af, og dernæst har partnerne vanskeligt ved at
adskille ambassademedarbejderne og konsulenterne. Disse to forhold vil vi behandle
i det følgende.
13.4.1. Reel uafhængighed?
Konsulenternes økonomiske og vidensmæssige afhængighed af Danida er et vilkår,
som vi ikke vurderer, kan undgås fuldstændigt. Men særligt den vidensmæssige
afhængighed bør Danida kunne minimere ved enten at hyre eksterne konsulenter eller
anvende interne konsulenter, som har et forhåndskendskab til mediebistands-
projekterne og dermed en reel mulighed for at tilrettelægge feltstudieprogrammer og
på andre måder agere uafhængigt af ambassaden.
Og der er mange, der ser på en som en slags… der ikke ser på én som noget,
der er objektivt. ’Nåh, men nu kommer der et dansk evalueringshold, og de er
slet ikke ansat i Udenrigsministeriet’ – det tænker de jo ikke. (…) Og det er
svært at skille… for dem er det svært at skille kasketterne ad, og… og… Det
er ambassaden, der har ringet og aftalt interviewet. Jamen altså, hvordan… De
tænker ikke, at vi er uvildige eller objektive eller noget som helst. ’Der
kommer bare to mere, og de skal have den sædvanlige tale, hvad vi plejer at
sige, ikke? Og det kan jo være, at de går hjem og siger, at vi har brug for noget
mere, så må vi hellere i hvert fald sørge for at få fortalt dem, hvad det er vi har
brug for, ikke?’ (griner)… i stedet for, hvordan det virker, det de har fundet ud
af ind til nu, og hvad de har gang i, og hvad de ellers laver. (KS)
Ifølge denne citerede konsulent ville en tydeligere adskillelse af ambassaden og
konsulenterne bidrage til at øge de evaluerede aktørers opfattelse af konsulenterne
som uafhængige og tillidsvækkende.
13.4.2. Nationalitet
Et andet forhold, som gør det vanskeligt for partnerne at skelne mellem konsulent-
hold og ambassademedarbejdere er, at de ofte har samme nationalitet. I dette citat
178

giver en repræsentant fra en dansk partnerorganisation sin vurdering af, hvordan
evaluerings- og reviewholdene ser ud med de lokale partneres briller:
… det er sådan, at det er folk, der kommer udefra (P2) og så generelt jo altså
kommer sådan dumpende lidt ned fra himlen med lidt kort tid øh… ikke rigtigt
i konteksten, og det er svært for de lokale helt at forstå, hvor de er henne i
konteksten, men åbenbart med sådan en stor magt over deres fremtidige
støttemuligheder. Og hvad er deres rolle i forhold til de andre danskere, de har
at gøre med? Altså, det er… Hvor de jo så nogle gange oplever, at danskerne,
som de har med at gøre, siger to forskellige ting, ikke også, og har to
forskellige dagsordener. Og det tror jeg, kan være lidt svært for dem nogle
gange at holde styr på. (PO)
En konsulent underbygger her den citerede partners påstand om sammenhængen
mellem konsulenternes nationalitet og partnernes utryghed:
De [evaluerede aktører] opfatter os nok som øh… som meget sådan knyttet op
på donoren, kan man sige. Mere end som uafhængige, frit svævende
konsulenter, der kommer ned for at undersøge det her. Det er nogle af de ting,
vi forsøger at forklare folk, når vi interviewer dem: at vi er uafhængige. Men
det er helt klart, at i og med at du har den samme nationalitet… altså som
dansker så bliver du meget ofte ligesom sat i samme båd som ambassaden og
donoren, når du er ude og interviewe. (KS)
Vi ved, at både OECD/DAC og Danida nærer et ønske om at anvende lokale
konsulenter. På baggrund af de eksempler herpå, som vi har kendskab til, kan vi kun
anbefale donorerne at styrke indsatsen for at anvende og uddanne lokale evaluerings-
kyndige. En lokal konsulent har denne vurdering af de evaluerede aktørers syn på
vedkommende:
I was seen as a colleague (…).They saw me as a facilitator and it helped that I
wasn’t from the donor world. (KS)
Denne konsulent foretog reviewet i samarbejde med den mediefaglige medarbejder i
Danidas BFT, som i nedenstående uddrag forklarer, at de to reviewere bevidst
spillede på deres forskellige roller som henholdsvis hvid donorrepræsentant og
afrikansk konsulent:
[[Den anden konsulent]] øh, er øh, fra [[et afrikansk land]] og kender dem, og
er sort. Øh, vi havde et rigtig godt samarbejde, for der var helt klart ting, som
hun kunne sige til dem, som jeg ikke kan sige, uden at blive misforstået.
Selvom budskabet er nøjagtig det samme, og vi siger stort set det samme. Og
hun siger det oven i købet grovere, men hun kan sige det, og det bliver
modtaget, fordi hun er sort, og hun er en af dem. Det er helt klart, at der er
forskel. (…) I den forsamling var jeg det eneste blegansigt, der sad der. Og så
kommer jeg oven i købet fra donorerne med pengene. Så der har du virkelig
sådan nogen stigmaer oven på hinanden, og derfor kunne jeg ikke sidde og sige
de ting. Men til gengæld, da jeg sagde alle de der pæne ting i debriefingen,
hvor dygtige, jeg syntes de var, og hvor fantastiske, jeg syntes de var, da tror
jeg, det betyder mere, at det er mig, der siger det, end at det er hende, der siger
det. (OG)
Reviewholdet benyttede således bevidst partnerorganisationens følelse af alliance
med den ene konsulent som en genvej til at få dem til at acceptere negativ kritik, og
179

deres nervøsitet overfor donor til at give større vægt til den positive kritik. Reviewet
af MISA fra 2004 er et eksempel på, at anvendelse af lokale konsulenter ikke blot
øger partnernes tryghed i forbindelse med udførelse af reviews og evalueringer, men
også øger sandsynligheden for en mere konstruktiv opfølgning og accept af kritik.
13.5. En styrket opfølgningspraksis
I det foregående kapitel behandlede vi de forhold, som påvirker Danidas motivation
for at drage konsekvenser af evalueringer og reviews, og vi konkluderede i den
forbindelse, at rotationsordningen udgør en vigtig barriere for realiseringen af Danida
som en lærende organisation. Et af problemerne ved rotationsordningen er, at de for
opfølgningen ansvarlige medarbejdere sjældent føler ejerskab for rapporternes
konklusioner. Vi vurderer, at Danidas opfølgningspraksis kunne styrkes, hvis de
personer, som står for udførelsen af reviews og evalueringer, er de samme, som har
ansvar for opfølgningen.
Der er to måder at sørge for et sådan personsammenfald på: Enten kan man fra
Danidas side vælge at betale de eksterne konsulenter for at sikre en tilfredsstillende
overdragelse til de ansvarlige personer i Danida og partnerorganisationerne. En sådan
løsning ville være dyrere for Danida men til gengæld styrke såvel evalueringers og
reviews’ nytteværdi som konsulenternes arbejdsglæde, jævnfør disses frustration over
at måtte afbryde engagementet i projekterne efter endt afrapportering. En anden
mulighed er i højere grad at lade Danidaansatte deltage på evaluerings- og review-
holdene. Ifølge kontroldiskursens forskrifter er ulemperne ved brug af interne
konsulenter, at de evaluerede aktørers utryghed forstærkes, at risikoen for bias og
subjektivitet øges, samt at resultaternes troværdighed derved svækkes.
Den foregående analyse peger imidlertid på, at de evaluerede aktørers syn på
konsulenterne ikke vil ændre sig afgørende, alt efter om disse er til dagligt er ansat
ved donoragenturet eller ej, idet de alligevel betragter evaluerings- og reviewholdene
som en forlængelse af donoren. I relation til partnernes tryghed kunne anvendelsen af
interne konsulenter måske ligefrem vendes til en fordel, da man herved ville sende
klarere signaler om konsulenternes tilhørsforhold og derved undgå den forvirring,
som er beskrevet i kapitel 10. Analysen viser desuden, at uafhængighed ikke
nødvendigvis garanterer objektivitet og kritik. En af erfaringerne fra den generelle
medieevaluering er således, at den uvidenhed, som udspringer af konsulenternes
uafhængighed, udgør en barriere for fremsættelse af kritiske konklusioner.
Opsummeringen er, at det eneste, Danida for alvor ville sætte på spil, er den
symbolske effekt i forhold omverdenen af at blive evalueret af eksterne, uafhængige
konsulenter. Dette skal opvejes i forhold til fordelene ved at sikre en styrket
opfølgning og organisatorisk læring.
180

13.6. Opsummering
Vi har nu præsenteret en række anbefalinger til styrkelse af fremtidige evalueringer
og reviews af Danidas mediebistandsaktiviteter. Anbefalingerne kan opsummeres i
disse hovedpunkter:
En mere nuanceret forståelse og en højere grad af adskillelse af de to formål
læring og kontrol.
Udvikling af et indikatorværktøj til vurdering af mediebistandens effekter på et
outcome-niveau samt gennemførelse af fokuserede outcome-studier.
Skelnen mellem participatorisk læring og mere pragmatiske inddragelsesformer,
sådan at partnerne ikke foregøgles en indflydelse, som ikke er reel.
Tilrettelægge af evaluerings- og reviewprocesser på en måde, så også mindre
kompetente partnere har mulighed for at få indflydelse.
Imødegåelse af partnernes utryghed ved dels at sikre at konsulenterne kan agere
uafhængigt af ambassaden og ved dels at anvende lokale konsulenter, som de
evaluerede aktører føler en større grad af tillid til.
Styrket opfølgningspraksis, særligt hvad angår Danidas interne, organisatoriske
læring.
181

14. Konklusion
Evalueringer er knudepunkter for forhandlinger om relationer og identiteter. Ved at
stille et bestemt sprog, en videnshorisont og en række subjektpositioner til rådighed,
bidrager evaluering til at forme den måde, vi forstår hinanden, os selv og evaluerin-
gens genstand på. I Danida – som i de fleste andre evaluerende organisationer –
udspiller forhandlingerne sig særligt omkring de to formål kontrol og læring.
Ved at vælge evaluering af dansk mediebistand som analyseobjekt har vi fået et
indblik i, at de involverede aktørers oplevelse af evalueringers kontrol- og lærings-
formål i høj grad afhænger af de positioner og interesser, aktørerne har i en evalue-
ringsproces. Hvor opdragsgiveren, Danida, betragter kontrol som en demokratisk
legitim foranstaltning og læring som et fælles, konsensusbaseret projekt, oplever
konsulenter og de evaluerede aktører, Danidas partnere, kontrol som en utryg inspek-
tionsproces og læringsformålet som en anledning til at erhverve sig medbestemmelse
og bryde opdragsgiverens dominans.
Det enkelte evalueringsforløb er som følge heraf at betragte som en kompleks for-
handlingsproces, hvor aktørerne søger at præge forløbet i overensstemmelse med
deres specifikke interesser. I disse forhandlinger genetableres og udfordres aktørernes
identiteter og indbyrdes relationer, og evaluering af dansk mediebistand bidrager til
at understøtte en kompleks og paradoksal relation mellem Danida og organisationens
partnere.
I det følgende opsummeres specialets indhold, hvilket leder til en besvarelse af
problemformuleringen. Kapitlet afsluttes med en perspektivering af specialets
konklusioner.
14.1. Resumé
Kapitel 1 dannede rammen om en indledende argumentation for valg af evaluering af
mediebistand som analyseobjekt samt en kort introduktion af begreberne evaluering
og mediebistand.
Herefter præsenterede vi i kapitel 2 Foucaults diskursbegreb som det teoretiske afsæt
for analysen. Foucault skelner mellem diskursiv praktik og diskurs, hvor diskurs
forstås som de historiske mulighedsbetingelser for produktionen af udsagn, hvilket i
vores sammenhæng vil sige dominerende teoridannelser og praksisformer på felterne
udviklingsbistand og evaluering. Diskursiv praktik defineres som den konkrete
produktion af udsagn, altså det enkelte evalueringsforløb, der på samme tid påvirkes
af og påvirker de evaluerings- og udviklingsteoretiske diskurser.
182

Kapitel 3, 4 og 5 behandlede dominerende udviklings- og evalueringsteoretiske
diskurser. På det udviklingsteoretiske felt skelnede vi i kapitel 3 mellem en
moderniseringsdiskurs og en kritisk udviklingsdiskurs. Moderniseringsdiskursen
opfatter udvikling som et lineært forløb, hvor donor repræsenterer den efterstræbel-
sesværdige samfundsform og derfor har ret til at opstille mål for udviklingsindsatsen.
Inden for den kritiske udviklingsdiskurs betragtes udvikling derimod som en
forskelligartet og uforudsigelig proces, hvor modtageren selv definerer endemålet
under støtte og vejledning fra donoren. Begge udviklingsdiskurser gør sig gældende
inden for Danidas mediebistandspraksis i dag, hvilket kommer til udtryk gennem
partnerskabsbegrebet, som i sig rummer et paradoks. Paradokset består i, at Danidas
partnere på den ene side skal leve op til en række donordefinerede krav om
eksempelvis demokratisering og respekt for menneskerettighederne, mens de
samtidig forventes at formulere kravene selv. Hermed støder moderniserings-
diskursens asymmetriske donor-modtagerrelation sammen med de idealer om
symmetri og ligeværd, som foreskrives inden for den kritiske udviklingsdiskurs.
I kapitel 4 præsenterede vi to dominerende evalueringsteoretiske diskurser –
kontroldiskursen og den participatoriske læringsdiskurs. Inden for kontroldiskursen
anses evaluering for at spille en vigtig demokratisk rolle i forhold til at holde
offentlige institutioner ansvarlige overfor politikere og borgere, og i den forbindelse
vægtes evalueringers objektivitet, uafhængighed og troværdighed højt. Modsat
forstår den participatoriske læringsdiskurs evaluering som en ramme omkring
deltagelsesdemokratisk udvikling og myndiggørelse. Vi introducerede endvidere en
skelnen mellem konsensus- og konfliktbaseret læring, hvor førstnævnte lærings-
forståelse placerer sig inden for kontroldiskursens forståelsesramme, mens sidst-
nævnte spiller ind i en participatorisk læringsdiskurs. I kapitel 5 sammenlignede vi de
udviklings- og evalueringsteoretiske diskurser og fandt at moderniserings- og
kontroldiskurserne i vid udstrækning trækker på samme ontologiske og epistemo-
logiske hammel, mens den kritiske udviklingsdiskurs og den participatoriske
læringsdiskurs deler idealer om participation, magtkritik og myndiggørelse.
De anvendte metoder blev præsenteret og diskuteret i kapitel 6, og herefter
præsenterede vi analysens resultater i kapitlerne 7-13. Kapitel 7 rummede en
redegørelse for de formelle strukturer omkring Danidas evalueringspraksis og gav en
indledende præsentation af de tre praksisfællesskaber (Star & Griesemer 1989), som
er involveret heri: Danida, Danidas partnere og de eksterne konsulenter. I kapitel 8
præsenterede vi aktørernes forskellige forståelser af og interesser i de to evaluerings-
formål læring og kontrol på baggrund af interviews med i alt 13 repræsentanter for de
tre praksisfællesskaber. Ud fra en analyse af otte kommissorier og rapporter samt en
fremstilling af seks evaluerings- og reviewforløb viste vi i kapitel 9, at alle rapporter
indeholder elementer af læring og kontrol, og at de enkelte forløb opleves vidt
forskelligt af de involverede aktører. Derved udfordrer empirien evalueringsteoriens
183

skarpe skelnen mellem enten læring eller kontrol, og den understreger, at
evalueringsforløb er resultater af forhandlinger. Disse forhandlinger har vi søgt at
belyse i kapitlerne 10-12, som ud fra tre forskellige indgangsvinkler undersøger,
hvordan konsulenternes, partnernes og Danidas identiteter genetableres og udvikles i
evalueringsprocesserne. Kapitel 10 omhandlede den modsætningsfyldte konsulent-
identitet som et symptom på den komplekse donor-modtagerrelation. Kapitel 11
tematiserede den måde, hvorpå de anvendte evalueringskriterier og -metoder bidrager
til at konstruere ’den gode mediebistandsindsats’, og i kapitel 12 fokuserede vi på
partnernes og Danidas interaktion i opfølgningsfasen. Analysen afsluttedes i kapitel
13 med en kort opridsning af anbefalinger til en styrkelse af fremtidens evaluering af
mediebistand.
14.2. Besvarelse af specialets problemformulering
På denne baggrund ser vi os nu i stand til at besvare specialets problemformulering.
Besvarelsen er inddelt i tre afsnit, som hver forholder sig til et af de tre spørgsmål,
vores undersøgelse har været styret af.
14.2.1. Læring og kontrol
I lighed med mange andre offentlige institutioner evaluerer Danida med et dobbelt
formål: læring og kontrol. Disse to begreber er i høj grad genstand for og årsag til
forhandlinger mellem de tre praksisfællesskaber, som er involveret i evaluering af
dansk mediebistand. I problemformuleringen stillede vi spørgsmålene: Hvordan
forstår de involverede aktører begreberne læring og kontrol i forbindelse med
evaluering? Og hvordan afspejles læring og kontrol i evalueringsrapporterne?
De tre praksisfællesskabers forståelser af læring og kontrol er nært knyttet til deres
interesser og udtrykker på en gang, hvilken rolle aktørerne mener, at læring og
kontrol har og bør have i forbindelse med evaluering af dansk mediebistand.
Danida trækker i sin forståelse af kontrol som en demokratisk legitim foranstaltning
og læring som et konsensusbaseret projekt på den evalueringsteoretiske kontrol-
diskurs og bidrager derved til at opretholde sin position som det af de tre praksis-
fællesskaber med den stærkeste position i forbindelse med evaluering og review af
mediebistand. Som donor kan Danida insistere på, at modtagerne af mediebistanden
indvilger i at blive vurderet, og som opdragsgiver har Danida magt til definere formål
og fokus for bedømmelsesaktiviteterne. Ved at hævde at der ikke er tale om
dominans, men i stedet om konsensus og legitimitet, retfærdiggør Danida sin
fordelagtige magtposition.
Omvendt genetablerer Danidas partnere og de eksterne konsulenter i deres
fortolkning af kontrol- og læringsbegreberne den participatoriske læringsdiskurs og
den kritiske udviklingsdiskurs. Partnernes økonomiske afhængighed af Danida og det
184

forhold, at mediebistanden typisk bevilges i få år ad gangen, betyder, at de
evaluerede aktører i udgangspunktet oplever evalueringsprocessen som utryg – en
utryghed, der forstærkes af, at de opfatter konsulenterne som Danidas forlængede
arm og ikke som uafhængige aktører. Som reaktion herpå søger partnerne at få en så
høj grad af medindflydelse på evalueringsresultaterne som muligt, enten ved at
insistere på inddragelse og myndiggørelse eller ved at præsentere konsulentholdet for
det udsnit af virkeligheden, de finder mest opportunt. Lykkes det ikke for partnerne at
få den grad af indflydelse, de ønsker, udmønter det sig dels i vrede mod konsulen-
terne og dels i en afvisning af resultaterne. Under henvisning til at sikre evalueringers
nytteværdi bakker konsulenterne derfor op om partnernes krav om at udføre evalue-
ringer og reviews ud fra en participatorisk læringsmodel. Partnerne og konsulenterne
giver i lighed med evalueringsteorien udtryk for, at kontrol og participatorisk læring
ikke kan forenes i en og samme evalueringsproces.
Imidlertid viste fremstillingen af seks evaluerings- og reviewforløb samt dokument-
analysen, at de enkelte bedømmelsesaktiviteter ikke kan karakteriseres som værende
udført efter enten en kontrolmodel eller en participatorisk læringsmodel. Alle analy-
serede evaluerings- og reviewforløb rummer elementer af begge dele og opleves
forskelligt af de involverede aktører. Dermed udfordrer empirien dels evaluerings-
teorien og dels konsulenters og partneres påstand om, at kontrol og læring per
definition er i uoverensstemmelse med hinanden. Men sammenkoblingen af de to
evalueringsformål fungerer imidlertid heller ikke så gnidningsfrit, som Danidas
uproblematiserende fremstilling af læring og kontrol giver indtryk af. Ved på skift at
trække på de forskellige udviklings- og evalueringsteoretiske diskurser, bidrager
forhandlingerne mellem de tre praksisfællesskaber til at understøtte den komplekse
relation mellem Danida og Danidas partnere på mediebistandsfeltet. Det uddyber vi i
det følgende.
14.2.2. Samspillet mellem diskurs og diskursiv praktik
Vi har nu taget hul på besvarelsen af problemformuleringens overordnede spørgsmål
om, hvordan samspillet mellem dominerende evaluerings- og udviklingsteoretiske
diskurser og Danidas evalueringspraksis foregår. Dette samspil har vi søgt at belyse
ved på den ene side at fokusere på diskursernes indvirkning på den diskursive praktik
gennem en undersøgelse af, hvilke handlingsmuligheder og videnshorisonter, diskur-
serne stiller til rådighed for Danidas partnere, de eksterne konsulenter og Danida som
opdragsgiver. På den anden side stillede vi spørgsmålet om, hvordan evaluerings-
processerne påvirker relationen mellem donor og modtager for derigennem at få ind-
blik i den diskursive praktiks påvirkning af de overordnede rammer for mediebistand.
Mediebistand er i lighed med de øvrige indsatsområder indenfor Danidas støtte til
menneskerettigheder og demokrati kendetegnet ved et komplekst forhold mellem
185

donor og modtager. På den ene side stiller Danida politiske krav og intervenerer
dermed i den lokale samfundsudvikling, på den anden side udtrykker man med
idealer om partnerskab og inddragelse at understøtte lokalt forankrede udviklings-
processer. Ønsker et projekt at modtage dansk mediebistand skal organisationen
derfor erklære sig enig i Danidas målsætninger og prioriteringer. Konsensus – eller
foregivelse af konsensus – er en forudsætning for opretholdelse af partnerskabet.
Dette fænomen kalder vi partnerskabets paradoks.
Partnerskabets paradoks afspejles og understøttes dels i Danidas forståelse af legitim
kontrol og konsensusbaseret læring, og i dels forhandlingerne mellem de tre praksis-
fællesskaber i forbindelse med design, udførelse og konsekvensdragelse af evalue-
ring.
Danida udtrykker ønsker om at inddrage partnerne i designfasen men opstiller
samtidig en række formkrav til eksempelvis udvælgelse af konsulenter og udarbej-
delse af kommissorier. Konsekvensen heraf er, at kun partnerorganisationer, som
formår og er villige til at indgå på Danidas præmisser har mulighed for at øve
indflydelse på evalueringsdesignet.
I forbindelse med udførelsen af evalueringer og reviews er konsulenternes modsæt-
ningsfyldte rolle et symptom på den komplekse donor-modtagerrelation. Konsulente-
rne er splittede mellem på den ene side en moralsk og holdningsmæssig tilskyndelse
til at agere modtagerens advokat og på den anden side en økonomisk og videns-
mæssig afhængighed af Danida. Denne splittelse søger konsulenterne at håndtere ved
at opretholde en uafhængig identitet, som dels kommer til udtryk i rapporterne og
dels i de interviewede konsulenters selvforståelse. At Danida og konsulenterne opret-
holder forståelsen af konsulenten som uafhængig, trods den samtidige erkendelse af
konsulentidentiteten som konfliktfyldt, har konsekvenser for forhandlingerne mellem
donor og modtager. Ved at hævde at konsulenternes vurderinger repræsenterer en
objektiv virkelighed, forhindrer Danida, at interessemodsætningerne mellem donor
og modtager i at komme op til overfladen i evaluerings- og reviewsituationen. Der-
ved skabes et billede af konsensus mellem Danida og Danidas partnere, som er en
forudsætning for opretholdelsen af partnerskabstanken.
Også i forhandlingerne mellem Danida og Danidas partnere i forbindelse med opfølg-
ning på evalueringsresultater genskabes partnerskabets paradoks. I tilfælde hvor part-
nerne ikke umiddelbart kan tilslutte sig konklusionerne og anbefalingerne, må de alli-
gevel foregive at gøre dette for fortsat at gøre sig fortjent til danske bistandskroner.
De må med andre ord bekende sig til donorens værdier for at opretholde partner-
skabet, og sker dette ikke, har Danida muligheden for at presse de evaluerede aktører
hertil ved at true med at lukke bevillingen. Omvendt har partnerne ingen mulighed
186

for at gennemtvinge ændringer i Danidas adfærd, og hermed understreges den para-
doksale partnerrelation, hvor den ene partner understøtter den anden partners
udvikling, men selv forbliver uændret i processen.
Vi har hermed argumenteret for, at Danidas evalueringspraksis på flere måder bidra-
ger til at genforhandle identiteter og relationer på langt mere komplekse måder, end
man kunne forvente ud fra på den ene side Danidas positive forståelser af læring og
kontrol og på den anden side partnernes og konsulenternes negativt ladede, magt-
kritiske fortolkninger af de to formål.
14.2.3. Fremtidens mediebistandsevaluering
Problemformuleringens tredje spørgsmål fokuserer på, hvordan fremtidens evalue-
ring af dansk mediebistand kan styrkes – herunder hvilke barrierer, der karakteriserer
den aktuelle praksis. Dette spørgsmål har vi søgt at besvare ved at belyse de proble-
mer, som er forbundet med den måde, hvorpå evalueringerne bidrager til at konstru-
ere ’den gode mediebistandsindsats’, ’den gode partnerorganisation’ og den rolle-
fordeling, der knytter sig til mediebistanden. Desuden har vi givet et bud på de udfor-
dringer, som er forbundet med at udvikle og operationalisere andre og mere velegne-
de evalueringsmetoder.
Danida opererer med fem evalueringskriterier, der har til formål at vurdere medie-
bistandens effekter ud fra et kortsigtet implementeringsperspektiv (output), et
mellemlangt målgruppeperspektiv (outcome) samt ud fra et langsigtet samfunds-
mæssigt synspunkt (impact). I praksis har konsulentholdene imidlertid vanskeligt ved
at operationalisere outcome- og impactkriterierne. Dette skyldes for det første fravæ-
ret af et indikatorværktøj, for det andet tidsmangel i forbindelse med feltstudier og
for det tredje urealistiske kommissorier, som forhindrer konsulenterne i at fokusere
deres undersøgelser. Resultatet er, at mediebistandsprojekter fortrinsvis vurderes ud
fra deres evne til at levere de aftalte outputs samt i henhold til, hvorvidt deres mål-
sætninger stemmer overens med Danidas forventninger og prioriteringer. Derved
bidrager evalueringer til at definere ’den gode mediebistandsindsats’ som en velfun-
gerende organisation, der overholder de indgåede aftaler, og som Danida kan legiti-
mere at støtte.
Ved at vurdere mediebistand på et outputniveau og ud fra donorens værdier genetab-
lerer evalueringer og reviews den udviklingsteoretiske moderniseringsdiskurs, idet
konsulenterne tager afsæt i foruddefinerede mål i forhold til hvilke, de bedømmer
graden af udvikling. Modsat tager outcome- og impactkriterier højde for målgruppens
vurdering og modtagersamfundets behov, hvorved de i højere grad ser på typen af
187

udvikling i overensstemmelse med forskrifterne inden for den kritiske udviklings-
diskurs.
Partnerorganisationerne tager i nogen grad den nye identitet på sig og søger at leve
op til Danidas evalueringskriterier. Dette fænomen kaldes indikatorfiksering og er et
udtryk for, at de evaluerede aktører internaliserer Danidas kontrol. Vi argumenterer
for en styrkelse af evalueringernes fokus på mellemlange og langsigtede effekter af
mediebistanden, sådan at ’den gode mediebistandsindsats’ i højere grad defineres
som en indsats, der gør en forskel i forhold til målgruppen og samfundet. Dette
mener vi kan opnås ved at investere ressourcer i udvikling af et indikatorværktøj og
gennemførelse af løbende, fokuserede outcomestudier.
Af øvrige anbefalinger til Danida foreslår vi en mere nuanceret forståelse og en
højere grad af adskillelse af de to formål læring og kontrol. I forlængelse heraf finder
vi det væsentligt for resultaternes troværdighed og processens nytteværdi at søge at
imødegå partnernes utryghed ved dels at sende klarere signaler om konsulenternes
rolle og tilknytning til Danida, dels ved kun at gennemføre kontrol, når dette tjener
andet end et reelt og ikke blot et symbolsk formål. Desuden anbefaler vi at tilrette-
lægge evalueringsprocessen på en måde, så også mindre kompetente partnere har
mulighed for at få indflydelse, og endelig ser vi et behov for en styrket opfølgnings-
praksis, særligt hvad angår Danidas interne, organisatoriske læring.
14.3. Perspektivering
I takt med at et stigende antal områder i den danske offentlige sektor gøres til
genstand for evaluering, påvirkes flere og flere menneskers arbejdsliv og identitet af
de bedømmelsesprocesser, de deltager i. Den overordnede motivation bag dette
speciale er at belyse de magtrelationer, som former og formes af evaluering. I
specialets indledning blev problematikken sat på spidsen med spørgsmålet om,
hvilket samfund evaluering i grunden er med til at skabe?
Mediebistand er et særdeles vanskeligt område at evaluere. Indsatsens effekter er
usikre, har en lang tidshorisont og lader sig desuden ikke isolere fra det kompleks af
faktorer, der spiller ind på udviklingen af demokrati og menneskerettigheder. Det
afspejler sig i de analyserede evaluerings- og reviewrapporter, som enten slet ikke
eller på en undvigende facon besvarer Danidas målsætning om at vurdere medie-
bistandens langsigtede virkninger. Trods de tvivlsomme erfaringer fastholder Danida
dog sin målsætning. En vigtig motivation bag evaluering af mediebistand er således
et bredt formuleret ønske om at blive bedre til at forstå og agere i forhold til de udfor-
dringer, Danida står overfor, snarere end en konkret ide om, hvordan målingerne skal
foretages og omsættes i praksis.
188

Dette peger på, at evalueringsbølgens fremmarch i nogen grad kan tilskrives, at
evaluering er et idealistisk projekt – et forsøg på at gøre det uoverskuelige over-
skueligt, at tillægge erfaringer mening.
Bag dette projekt befinder sig de evaluerede aktører, der oplever evalueringer som
utrygge begivenheder, hvor deres identitet og fremtidsperspektiver sættes på spil.
Imidlertid har deres mere negative forståelse af evaluering vanskeligt ved at trænge
igennem den aura af positive termer som læring, inddragelse og ansvarliggørelse, der
kendetegner den officielle evalueringsdebat. En debat, som sjældent levner rum for
spørgsmål om, hvorvidt evalueringer er rimelige, hvilke magtrelationer evalueringer
medfører, og hvilken virkelighed, de bidrager til at konstruere.
Derfor har de evaluerede aktører ofte kun én mulighed for at reagere mod utryg-
heden: At indgå på de dominerende evalueringsdiskursers vilkår ved eksempelvis at
tilkæmpe sig en så høj grad af inddragelse som muligt ud fra argumenter om selv-
refleksion og læring eller ved at fremstille sig selv i et positivt lys. Evnen til at begå
sig på evalueringers præmisser er således et vigtigt aktiv for alle organisationer og
individer, som gøres til genstand for evaluering – fra kontanthjælpsmodtagere over
skoleelever til lokalradioprojekter i Bangladesh.
Specialet illustrerer, at den magt, som udøves gennem evaluering, er langt mere
kompleks end spørgsmålet om en overordnet myndigheds kontrol af en underordnet.
Kontroldimensionen internaliseres, hvorved evalueringernes kriterier bidrager til at
forme identiteter og relationer. Det er altså ikke ligegyldigt, hvilke kriterier og
metoder, evaluerede aktiviteter vurderes på baggrund af. Netop derfor er det vigtigt,
at Danida, i lighed med andre opdragsgiverinstitutioner, bestræber sig på at nuancere
sin opfattelse af, hvad evaluering gør ved mediebistand og andre evaluerede indsatser
– også selvom denne opfattelse udfordrer de positive og idealistiske diskurser, som
omgiver evalueringspraksis i dag.
189

Litteratur
Alasuutari, Perrti (1995): Researching Culture. Qualitative method and cultural studies.
Vastapaino, Tampere.
Albæk, Erik (2001): “Hvorfor nu al den evaluering?” in Dahler-Larsen & Krogstrup (red.):
Tendenser i evaluering, Syddansk Universitetsforlag, s. 32-45.
Alkin, Marvin C. (1990): Debates on Evaluation, Sage Publications, London.
Alvesson & Sköldberg (1994): Tolkning och reflektion. Vetenskapsfilosofi och kvalitativ
metod, Studenlitteratur, Lund.
AMI/Andersen Management International (2003): “Undersøgelse af evalueringsholdenes
uafhængighed”. In: Udredning af Danidas evalueringsfunktion. Udenrigsministeriet,
Danida: Januar 2003.
Argyris, Chris (1995): On Organizational Learning, 5. udgave (1. udg.: 1992), Blackwell
Publishers.
Beck, U., Giddens, A. & Lash, S. (1994): Reflexive Modernization, Polity Press, London.
Berger, Guy (1991): It's the training that did it. A primer for media trainers to assess their
impact, downloadet fra
http://journ.ru.ac.za/staff/guy/Research/Journalism%20education/trainimpact.htm d. 16.
februar 2005.
Bickman, Leonard (1997): “Evaluating Evaluation: Where Do We Go From Here?” in:
Evaluation Practice, 18(1), 1997, s. 1-16.
Binnendijk, Annette (2001): Results Based Management in the Development Co-operation
Agencies: A Review of Experience. Executive Summary. OECD, DAC Working Party on
Aid Evaluation, November 2001.
Bowker, Geoffrey & Star, Susan Leigh (1999): Sorting Things Out – Classification and Its
Consequences (kapitel 9: The Theory and Practice of Classifications). Cambridge: MIT
Press, s. 283-317
Brett, E.A. (2000): ”Development theory in a post-socialist era: competing capitalisms and
emancipatory alternatives” in Journal of International Development. - 12, no. 6, s. 189-
202
Breum, Martin (1997): ”Diskussionsoplæg – modtagerlandenes erfaringer”. IN: Støtte til
fremme af en fri presse i udviklingslandene. Seminar om erfaringer og perspektiver.
Udenrigsministeriet, Danida: Maj 1997.
Brice, Rønning & Stokke (2004): Looking for Trouble. An Evaluation of International Media
Support (IMS): Exploring a model for rapid response to threatened media. Chr.
Michelsen Institute, Bergen 2004.
http://www.cmi.no/publications/publication.cfm?pubid=1795
Chambers (1983): Rural Development. Putting the Last First. Pearson Education Limited,
Essex.
Chambers (1993): Challenging the Professions. Frontiers for rural development. Intermediate
Technology Publications. London.
190

Chambers (1997): “Responsible Well-Being – A Personal Agenda for Development”. IN:
World Development, vol. 25, No. 11, pp. 1743-1754. Elsevier Science Ltd. Great Britain.
Christensen, Allan (1997): “Den organisatoriske lærings dynamik – diskussion af betydende
teoretiske elementer” in: Christensen (red.): Den lærende organisations begreber og
praksis, Aalborg Universitetsforlag, 1998 (2. oplag), s. 11-36.
Chelimsky, Eleanor (1995): “Evaluation for at New Century: A Global Perspective. The
Political Environment of Evaluation and What It Means for the Development of the
Field” in: Evaluation Practice, 16(3), 1995, s. 215-225.
Chen, Huey-tsyh (1996): “Epilogue: Synthesizing Formative/Summative Evaluation Issues
and Beyond” in: Evaluation Practice, 17(2), 1996, s. 163-167.
Dabelstein, Niels (1998): ”Danidas evalueringspolitik og -praksis” in: Den Ny Verden:
Evaluering af Udvikling, april 1998, Center for Udviklingsforskning, København, s. 154-
166
Dahler-Larsen, Peter (1998A): Den Rituelle Reflektion – om evaluering i organisationer.
Odense Universitetsforlag, 1998.
Dahler-Larsen, Peter (1998B): ”Evaluering, legitimitet og inkonsekvens” i Den Ny Verden:
Evaluering af Udvikling, april 1998, Center for Udviklingsforskning, København, s. 57-
75.
Dahler-Larsen, Peter & Krogstrup, Hanne-Kathrine (2001): ”Tendenser i evaluering – en
introduktion” in Dahler-Larsen & Krogstrup (red.): Tendenser i evaluering, Syddansk
Universitetsforlag, 2001, s. 13-20.
Dahler-Larsen, Peter (2004): Evaluering og magt. Magtudredningen, Aarhus Universitet.
Danida (1993): Menneskerettigheder og demokrati i dansk udviklingspolitik. Perspektiver for
udviklingssamarbejdet, Udenrigsministeriet, 1993.
Danida (1994A): En verden i udvikling. Strategi for dansk udviklingspolitik frem mod år
2000. Udenrigsministeriet, marts 1994
Danida (1994B): Menneskerettigheder og demokratisering i udviklingslandene. Seminar om
erfaringer og perspektiver i dansk bistand. Udenrigsministeriet, juni 1994.
Danida (1994C): Policypapir vedrørende støtte til fremme af en fri presse i udviklingslandene.
Udenrigsministeriet, juli 1994.
Danida (1995): Retningslinjer for private danske organisationer om støtte til
udviklingsprojekter, Udenrigsministeriet, 1995
Danida (1997): Støtte til fremme af en fri presse i udviklingslandene. Seminar om erfaringer
og perspektiver. Udenrigsministeriet, maj 1997.
Danida (1999): Evaluation Guidelines, Udenrigsministeriet, februar 1999
Danida (2000A): Evaluation of Danish Support to Promotion of Human Rights and
Democratisation 1990-1998, volume 4: Media. Udenrigsministeriet, januar 2000.
Danida (2000B): Partnerskab 2000. Danmarks udviklingspolitik. Analyse.
Udenrigsministeriet, Danida, Oktober 2000.
191

Danida (2003A): Udredning af Danidas evalueringsfunktion. Udenrigsministeriet, januar
2003.
Danida (2003B): Guidelines for Project Management, Udenrigsministeriet, november 2003.
Danida (2003C): Evaluation. Danish Regional Assistance to Southern Africa.
Udenrigsministeriet, Danida, februar 2003
Danida (2004A): Danidas årsberetning 2003. Udenrigsministeriet 2004.
Danida (2004B): Sikkerhed, vækst – udvikling. Regeringens prioriteter for dansk
udviklingsbistand 2005-2009. Udenrigsministeriet, August 2004.
Dansk Evaluerings Selskab (2004): Evalueringsterminologi Engelsk-Dansk. Dansk
Evaluerings Selskab.
Davies, Charlotte Aull (1999): Reflexive Ethnography. A guide to researching selves and
others, Routledge, New York, s. 3-25
Degnbol-Martinussen (1994): Samfund, stat og marked: En kritisk gennemgang af teorier om
udvikling i den tredje verden. Mellemfolkeligt samvirke.
Degnbol-Martinussen og Engberg-Pedersen (1999): Bistand – udvikling eller afvikling,
Mellemfolkeligt Samvirke.
Degnbol-Martinussen (2002): Globalisering og udvikling: Teorier og perspektiver for ulandene.
Mellemfolkeligt Samvirke,
Dollar, David & Kraay, Art (2002): “Growth is Good for the Poor”. Journal of Economic
Growth, 7(3), s. 195–225, September 2002.
Easton, David (1957): “An Approach to the Analysis of Political Systems”. In: World
Politics, vol. 9, no. 3, pp. 383-400.
Elliott, C. (1987): ”Some aspects of relations between the North and South in the NGO
Sector” Citeret I: Lister, Sarah, (2000): “Power in Partnership? An Analysis of an NGO’s
Relationships with its Partners”. IN: Journal of International Development, 12, 227-239
(2000).
Ellis and Biggs (2001): “Evolving Themes in Rural Development 1950s-2000s”. IN:
Development Policy Review, 2001, 19 (4): 437-448
Ferguson, James (1994): The Anti-Politics Machine. “Development”, Depoliticization and
Bureaucratic Power in Lesotho, University of Minnesota Press, Minneapolis, London.
Fetterman, David M., (1996): “Empowerment Evaluation: An Introduction to Theory and
Practice” in: Fetterman, Kaftarian & Wandersman (red): Empowerment Evaluation.
Knowledge and Tools for Self-assessment & Accountability, Sage Publications, 1996, s.
3-48.
Foucault, Michel (1978): Viljen til viden: seksualitetens historie 1 (kapitlet: ”Anliggende og
metode”). Rhodos, København 1978.
Foucault, Michel (1980): Power/Knowledge. Selected Interviews and Other Writings 1972-77
by Michel Foucault. (Colin Gordon, red.). New York: Harvester, 1980.
192

Foucault, Michel (1991): “Politics and the Study of Discourse”. In: G. Burchell, C.Gordon,
and P.Miller (red.), The Foucault effect, studies in governmentality, s. 53-72. Chicago:
The University of Chicago Press.
Foucault, Michel (1994): Overvågning og Straf (kapitel 3: ”Panoptismen”). Det lille Forlag, s.
176-201
Freire, Paulo (1993 [1973]): De undertryktes pædagogik. 1. udgave, 9. oplag. Christian Ejlers
Forlag 1993
Freire, Paulo (1972): Pedagogy of the Oppressed. Herder and Herder, New York.
Guba, Egon G. & Lincoln, Yvonna, S. (1987): “The Countenance of Fourth Generation
Evaluation: Description, Judgement, and Negotiation” in The Politics of Program
Evaluation, Sage Publications, 1987. s. 202-234.
Hansen, Hanne Foss (2001): ”Rejsende praksis: Hvilke forhold påvirker udviklingen af
evalueringspraksis på forskellige politikområder?” in Dahler-Larsen & Krogstrup (red.):
Tendenser i evaluering, Syddansk Universitetsforlag, 2001, s. 109-129.
Hansen, Hanne Foss (2003): Evaluering i staten. Kontrol, læring eller forandring?,
Samfundslitteratur, 2003.
Hansen, Kasper M. (2004) ”Evaluering i et demokratisk perspektiv” in Evalueringsnyt, nr. 3 -
august. Dansk Evaluerings Selskab. s. 20-27.
Høgsbro, Kjeld & Rieper, Olaf (2001): ”Formativ evaluering” in Dahler-Larsen & Krogstrup
(red.): Tendenser i evaluering, Syddansk Universitetsforlag, 2001, s. 180-194.
Kapoor, Ilan (2004): “Donor Participatory Governance Evaluation: Initial Trends,
Implications, Opportunities, Constraints.” in: Journal of International Development, 16,
2004, s. 157-170.
Katîc, Stefan (2004): ”Rådgivningsbranchen efter blodbadet 2001-2003: Kontraktjagten
fortsætter”. In: Tidsskriftet Udvikling nr. 5/2004.
Kattenhøj, Christensen og Gram (2004): Udviklingskommunikation – en synergi af metoder.
Institut for Informations- og Medievidenskab, januar 2004. Opgave afleveret i faget
”Medier i overgangs- og 3. verdenslande” v. Poul Erik Nielsen.
Kjekshus, Helge (2001): “Evaluation Policy and Performance: The State of Art” in Stokke,
Olav (red.): Evaluating Development Assistance: Policies and Performance, Frank Cass,
London, 1991. s. 60-70
Krogstrup, Hanne-Kathrine (2001): ”Brugerinddragelse i evaluering – top-down og bottom-up
perspektiver” in Dahler-Larsen & Krogstrup (red.): Tendenser i evaluering, Syddansk
Universitetsforlag, 2001, s. 195-210.
Kvale, Steinar (1997): InterView. En introduktion til det kvalitative forskningsinterview. Hans
Reitzels Forlag, København 1997.
Latour, Bruno (1986): “The Powers of Association”. I John Law (ed.) Power, Action and
belief. London: Routledge & Kegan Paul, s. 264-280
Laursen, Erik (1997): “Glemsel, Leg og Hierarkisering. Nye muligheder og gamle barrierer
for organisatorisk læring” in: Christensen (red.): Den lærende organisations begreber og
praksis, Aalborg Universitetsforlag, 1998 (2. oplag), s. 37-58.
193

Lindgren, Sven-Åke (1996): ”Michel Foucault” I H. Andersen & L.B. Kaspersen (red.),
Klassisk og moderne samfundsteori - en introduktion, Hans Reitzels Forlag, København,
2000 (2. reviderede udgave), s. 326-341.
Lukes, Steven (1973): Power - A Radical View, London: Macmillan
Marsden, David; Oakley, Peter & Pratt, Brian (1994): Measuring the Process: Guidelines for
Evaluating Social Development, INTRAC, England: Oxford
Morgan, Gareth (1986): Images of Organization, Sage, London
Mosse, David (1993): Authority, Gender and Knowledge: Theoretical Reflections on the
Practice of Participatory Rural Appraisal. The Overseas Development Administration,
London, 1993.
Mosse, David (2001): “‘People’s Knowledge’, Participation and Patronage: Operations and
Representations in Rural Development” in Cooke, Bill & Kothari, Uma (red.):
Participation – The New Tyranny?, Zed Books, London/NY, 2002 (2. udgave), s. 16-35
Nymark, Søren (1997): “Læring, forandring og organisation – et kritisk perspektiv” in:
Christensen (red.): Den lærende organisations begreber og praksis, Aalborg
Universitetsforlag, 1998 (2. oplag), s. 59-80.
OECD (2001): Net Official Development Flows in 2000, OECD, DAC, 2001
Patton, Michael Quinn (1986): Utilization-focused Evaluation, 2. udgave, Sage Publications
Patton, Michael Quinn (1994): “Developmental Evaluation” in: Evaluation Practice, 15(3),
1994, s. 311-320
Patton, Michael Quinn (1996): “A World Larger than Formative and Summative” in:
Evaluation Practice, 17(2), 1996, s. 131-144
Power, Michael (1997): The Audit Society. Rituals of Verification. Oxford University Press,
“Introduction” s. i-xvii.
Perry, Patricia D. & Backus, Cheryl (1995): “A Different Perspective on Empowerment in
Evaluation: Benefits and Risks to the Evaluation Process” in: Evaluation Practice, 16(1),
1995, s. 37-46.
Preskill, Hallie & Torres, Rosalie T. (1999): Evaluative Inquiry for Learning in
Organizations, Sage Publications, 1999.
Pretty, Jules (1995): “Participatory learning for sustainable agriculture” in: World
Development 23 (8), s. 1247-1263
Rossi, Peter H., Lipsey, Mark W. & Freeman, Howard E. (1985/2004): Evaluation: a
systematic approach, Sage Publications, 2004, 7. udgave.
Schaumburg-Müller, Henrik (1998): ”Evaluering af sektorprogrambistand” i Den Ny Verden,
april 1998, Center for Udviklingsforskning, København, s. 103-119
Schaumburg-Müller, Henrik & Wad, Peter, 1998: ”Evaluering i udvikling” i Den Ny Verden,
april 1998, Center for Udviklingsforskning, København, s. 5-19.
Scriven, Michael (1967): “The Methodology of Evaluation” in R.W. Tyler, R.M. Gagne, M.
Scriven (red.): Perspectives of curriculum evaluation, Rand McNally, 1967, s. 39-83
194

Scriven, Michael (1991): “Beyond Formative and Summative Evaluation” in McLaughlin &
Phillips (red.): Evaluation and Education: At Quarter Century, The University of
Chicago Press, 1991, s. 18-64
Scriven, Michael (1995): “Evaluation Consulting” in: Evaluation Practice, 16(1), 1995, s. 47-
57.
Scriven, Michael (1996): “Types of Evaluation and Types of Evaluator” in: Evaluation
Practice, 17(2), 1996, s. 151-161.
Scriven, Michael (1997): “Truth and Objectivity in Evaluation” In Chelimsky & Shadish
(red.): Evaluation for the 21 st Century: A handbook. Thousand Oaks, s. 477-500
Sen, Amartya (1999): Development as Freedom, Oxford University Press
Servaes (1996): “Participatory Communication Research with New Social Movements: A
Realistic Utopia”, In: Jan Servaes, Thomas L Jacobson, Shirley A White: Participatory
Communication for Social Change, Sage.
Shadish, William R. Jr., Thomas D. Cook, Laura C. Leviton (1991): Foundations of program
evaluation: theories of practice, Sage.
Silverman, David (1993): Interpreting Qualitative Data. Sage, London, s. 1-29 & 196-211
Silverman, David (2000): Doing Qualitative Research. A Practical Handbook, Sage, London
s. 175-189 & s. 283-297.
Snyder, Monteze M. & Doan, Peter L. (1995): “Who Participates in the Evaluation of
International Development Aid?” in: Evaluation Practice, 16(2), 1995, s. 141-152.
Star, Susan Leigh & Griesemer, James R. (1989): ”Institutional Ecology, ’Translation’, and
Boundary Objects – Amateurs and Professionals in Berkeley’s Museum of Vertebrate
Zoology, 1907-1939”. I Social Studies of Science, vol. 19, s. 387-420
Stokke, Olav: “Policies, Performance, Trends and Challenges in Aid Evaluation” in Stokke,
Olav (red.): Evaluating Development Assistance: Policies and Performance, Frank Cass,
London, 1991. s. 1-59
Strauss, Anselm (1978): ”A Social World Perspective” in Studies in Symbolic Interaction, vol.
1, s. 119-128
Strauss, Anselm & Glaser, Barney (1967): The discovery of grounded theory : strategies for
qualitative research. Weidenfeld and Nicolson
Torres, Rosalie T., Preskill, Hallie S. & Piontek, Mary E.(1997): “Communicating and
Reporting: Practices and Concerns of Internal and External Evaluators” in: Evaluation
Practice, 18(2), 1997, s. 105-125.
Udenrigsministeriet (2004): Evalueringsprogram 2004-2005, Udenrigsministeriet,
Sydgruppen.
Vedung, Evert (1998): Utvärdering i politik och forvaltning, Lund: Studentlitteratur, 1998.
Vedung, Evert (2000): Utvärdering, demokrati och reflexiv modernitet, Uppsala Universitet,
Institutet för bostadsforskning, 2000.
Wad, Peter, 1998: ”Evaluering er ikke forskning, men alligevel…” i Den Ny Verden, april
1998, Center for Udviklingsforskning, København, s. 34-56.
195

Foredrag
Annual Development Symposium, 10. september 2004. Aarhus Universitet, Søauditoriet.
Arrangør: Centre for Tropical Ecosystems Research (cenTER).
Evaluering af udviklingsbistand, foredrag v. Niels Dabelstein, Danida, og Janne Tynell, RUC,
Ibis, Århus 17. marts 2004.
196

Bilagsoversigt
Bilag 1 Transskriberede interviews
1A KS / PO
1B OG
1C OG
1D KS
1E KS / PO
1F PO
1G KS / PO
1H KS / PO
1I PO
1J KS
1K OG
1L KS
1M OG
Bilag 2 Danidas mediebistand 1990-1998
Bilag 3 Indsamling og behandling af interviews
3A Eksempel på spørgeguide
3B Eksempel på kodning af interviews
Bilag 4 Tekstanalyse
4A Registrant: NSJ 02
4B Registrant: MISA 02
4C Registrant: Den generelle medieevaluering (Danida 2000A)
4D Registrant: MISA 01/02
4E Registrant: Bangladesh 02
4F Registrant: Zambia 02
4G Registrant: NSJ 03
4H Registrant: MISA 04
4I Samlet oversigt over registranter
197

Bilag 5 Oversigt over Danidas projektdokumentation
Bilag 6
Bilag 7
Bilag 8
Bilag 9
Evaluering af Nordic-SADC School of Journalism, 2002
Delrapport under Evaluation. Danish regional assistance to Southern Africa,
Danida 2003C
Evaluering af Media Institute of Southern Africa, 2002
Delrapport under Evaluation. Danish regional assistance to Southern Africa,
Danida 2003C
Joint Evaluation and Review of the Media Institute of Southern Africa
(MISA), 2001/200
Support to the Local Press, Phase 2, Review Report, Bangladesh, 2002
Bilag 10 Danish Support to the Promotion of Professional, Free and Independent
Media, Phase II. Zambia, 2002
Bilag 11 Review of NSJ (Southern African Media Training Trust), Phase III, 2001-
2003
Bilag 12 Annual Review of Media Institute of Southern Africa 2004 (MISA), Draft
Report
198

Abstract
Motivation
This MA thesis is about evaluation. In particular, it deals with evaluations of promotion
of free media in developing countries (media development) carried out within the
Danish international development assistance (Danida). Development aid is one of the
public sectors which has been evaluated for many years. Evaluation is thus a strongly
integrated element of any development activity within Danida. However, evaluations
are not neutral incidents: everywhere they are being carried out their assessments
influence the involved participants’ understanding of success and failure, and within
the field of media development they seem to ultimately contribute to structure and form
Danida’s activities.
Analysis
The theoretical foundation is Foucault’s discourse analysis and genealogic method
(Foucault 1978, 1991) and empirically the point of departure is the double objective
that characterizes evaluations of media development aid: On the one hand evaluation
should document the use and results of aid resources (control), and on the other hand it
should contribute to the improvement of aid by accumulating experience (learning)
(Hansen 2003).
The objective of the thesis is A) to study how the involved actors understand and
practice the ideas of control and learning, B) to identify the interaction between
evaluation as a discoursive practice and the dominant discourses within the fields of
evaluation and development, and C) to define barriers in Danida’s present evaluation
practice and to contribute with proposals for future adjustments to this.
Apart from a theoretical foundation, the thesis contains two parts. The first part is a
theoretically based analysis of discourses within the field of evaluation and within the
field of development respectively. The second part is an empirical study of evaluation
of Danish media development aid. The study is based on eight evaluation reports and
thirteen interviews with persons who are experienced either in ordering, carrying out,
or being objects of evaluations of media development projects.
199

Results
The theoretical study identifies four different discourses. Firstly, two development
discourses: the modernisation discourse and the critical development discourse. In the
modernisation discourse development is seen as a linear process where donors
represent the ideal society and therefore have the power to define the objectives of
development. Within the critical development discourse development is considered an
unpredictable process in which recipients take part in defining the objectives. Both
discourses are present in Danida’s media development practice – something that
contributes to creating a highly complex relationship between Danida and its partners.
Secondly, two evaluation discourses are defined: the control discourse and the
participatory learning discourse. In the control discourse evaluation is seen as an
important element of ensuring accountability within public institutions. Consequently,
objectivity and independency are highly appreciated features in this type of evaluation.
On the other hand, evaluation in the participatory learning discourse is considered a
frame of participatory development and empowerment of the participants.
The findings in the empirically founded analysis are separated in three sections
mirroring the three questions above:
Control and learning
Three different groups of actors are involved in the evaluation of Danish media
development aid: Danida, Danida’s partners and external consultants who carry out
evaluations. The study examines how these groups of actors understand the ideas of
learning and control. It concludes that there is a close connection between the concepts
of learning and control respectively and the specific organisational interests of each
group. On the one hand Danida considers control a legitimate part of running projects
while learning is considered a consensus-based activity which results in the
improvement of aid. Both control and learning are catalysed by ‘objective information’
gathered by external - and therefore independent consultants. This concept is in
keeping with the control evaluation discourse and the modernisation development
discourse.
On the other hand Danida’s partners and the external consultants are in keeping with
the participatory learning discourse and the critical development discourse. Evaluations
should be participatory learning processes instead of events of inspection and control.
The latter causes insecurity among the partners because they fear that a negative
evaluation might cost them their future grant. This situation often results in a process of
limited benefit to the partners, which is unsatisfactory to the consultants who prefer to
conduct evaluations that are useful to the partners.
200

Interaction between discourse and discoursive practise
The interaction between the dominant evaluation and development discourses and
evaluation as a discoursive practice (Foucault 1978, 1991) is analysed by focusing
partly on the negotiations of identities and relationships between the involved actors
and partly on how these identities relate to the positions of power made available by the
various discourses.
Danish media development aid is characterized by a highly complex relationship
between donor and recipient. On the one hand the donor – Danida – expresses ideals of
partnership and involvement that indicate acknowledgement of the values and wishes
of the recipient society. On the other hand, a condition for every project applying for
Danish media development aid is to agree with Danida’s objectives and priorities. This
schism between ideals and practise constitutes what is called the ‘paradox of
partnership’. In the analysis it is found that the paradox influences different phases of
the evaluation right from initiating the process to implementing the recommendations.
It is seen that when consultants carry out reviews and evaluations, they are placed in a
conflicting position, caused by the complex relation between donor and recipient. The
consultants are divided between a morally based incentive to act as ‘the lawyer’ of the
partners on the one side and on the other a dependency of Danida as to knowledge and
economy. The consultants deal with this division by trying to maintain an identity as
independent evaluators – a concept of the consultant’s role, which is also found within
Danida. But emphasizing an independency and neutrality which is not real has
consequences. Claiming that the consultants’ findings are independent and therefore
represent an objective reality prevent the conflict of interests between donor and
recipient from being dealt with in the review or evaluation. In this way, evaluations and
reviews contribute to creating a picture of consensus between Danida and Danidas
partners – a consensus which supports the idea of ‘partnership’.
The idea of consensus is furthermore emphasized in the negotiations between Danida
and its partners regarding the most appropriate way of following up on the evaluation
results. The thesis shows that in this part of the evaluation process, Danida and the
external consultants often make the partners follow Danidas instructions and priorities,
even if they might disagree with these. This is done either by threats about withdrawing
the grant or by exerting power in more subtle ways, such as making the evaluated
organisation internalize control and discipline themselves according to Danida’s
directions. In this way Danida succeeds in maintaining the idea of partnership under
cover of involvement and consensus.
201

Barriers for evaluation of media development aid and its future
In the thesis it is argued that Danida’s evaluation criteria are difficult to implement in
practice when it comes to media development aid. As a consequence media
development projects are assessed on easily measurable outputs as well as to which
extent the objectives of a project are coherent with Danida’s expectations and priorities.
It follows from this that evaluations contribute to defining ‘the good media
development project’ as an efficient and well-run organisation that shares the values of
the donor.
Assessing media development aid on already defined criteria and ideas of development
and on its coherence with the priorities of the donor supports the modernisation
discourse. From our point of view there are good reasons for strengthening the focus of
evaluations on long-term effects of media development, and it is important from both a
control and a learning perspective respectively to consider short- and long-term effects.
This would imply that ‘the good media development project’ to a greater extent is
defined as a project that makes an actual difference to its target group and society. It
does, however, require that Danida invests resources in developing an indicator tool
and that frequent focused studies of outcome are carried out.
In addition, we propose that Danida develops a more sophisticated concept of control
and learning and that a higher degree of separation between these two objectives of
evaluation is implemented. This would contribute to more open and transparent
evaluation processes and less insecurity among partners. Also, this insecurity seems to
be lessened when consultants from the recipient state or region take part in carrying out
the evaluation.
We furthermore argue that each evaluation should be planned and carried out in a way
so that more partner organisations, no matter how well organised or professional they
are, are able to have influence on the evaluation process. Lastly, we see a need of
strengthening the way evaluations are followed up upon, especially in order to help
realising Danida’s ideals of promoting learning.
202