10.11.2014 Views

EvalueringsNyt 20. udgave, august 2008 - Dansk Evalueringsselskab

EvalueringsNyt 20. udgave, august 2008 - Dansk Evalueringsselskab

EvalueringsNyt 20. udgave, august 2008 - Dansk Evalueringsselskab

SHOW MORE
SHOW LESS

You also want an ePaper? Increase the reach of your titles

YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.

Nr. 20<br />

August <strong>2008</strong><br />

Tema:<br />

Opvarmning til<br />

evalueringskonferencen <strong>2008</strong><br />

©


Side 1<br />

Leder – Optakt til konferencen<br />

Af Elisabeth Friis Fredskilde, cand.scient.pol., konsulent i Frederiksberg Kommunes Sundhedscenter, medlem af bestyrelsen<br />

i DES.<br />

Dette nummer af Evalueringsnyt varmer op til <strong>Dansk</strong> EvalueringsSelskabs årlige konference,<br />

der finder sted d. 11.-13. september på Koldingfjord Hotel. Temaet for konferencen er<br />

"Evaluering som beslutningsgrundlag - teorier, metoder og sektorer".<br />

3 oplægsholdere på konferencen har leveret artikler til dette nummer. To af artiklerne sætter<br />

fokus på metodemæssige udfordringer henholdsvis ved at diskutere brugerundersøgelser<br />

som indikator for kvalitet og i forbindelse med tilfredshedsundersøgelser i undervisningssektoren.<br />

Artiklen ”At indfange brugerkvalitet gennem brugerundersøgelser” diskuterer brugerundersøgelser<br />

som indikator for kvalitet og gennemgår forskellige typer brugerundersøgelsers<br />

fordele og faldgruber samt deres validitet. Forfatteren Bente Bjørnholt argumenterer for, at<br />

forskellige metoder med fordel kan kombineres.<br />

I artiklen ”Fra meningsløs til meningsfuld evaluering – om kvalitetsmåling i undervisningssektoren”,<br />

beskæftiger Christian Moldt sig med potentialerne ved at bruge tilfredshedsmålinger.<br />

Han ser også på hvad der kan ligge bag den evalueringsfrustration som opstår, og<br />

hvordan denne kan håndteres.<br />

I en tredje artikel ”Og hvad med ledelse?” giver Lisbeth Binderup et spændende bud på de<br />

udfordringer som ledelserne i kommunerne står over for. Set i lyset af KREVIs undersøgelse<br />

af evalueringskapaciteten i kommunerne antyder hun, at det er som om at de kommunale<br />

topledelser nok har taget evaluering til sig, men endnu mangler at blive helt skarpe<br />

på dels, hvordan evaluering bruges som ledelesesredskab og dels på hvordan evalueringsviden<br />

integreres med den store vidensproduktion, der i forvejen er i en kommune.<br />

Hun peger på evaluering som et af de helt centrale instrumenter, der kan kvalificere diskussionerne<br />

og udviklingen i læringsrummene og ikke mindst sikre en kvalificeret dialog<br />

mellem fagfolk, borgere, politikere og administratorer. Dette leder hende til at pege på 2<br />

vigtige ledelsesopgaver:<br />

1. At lede læringsprocesserne og sikre rammerne og betingelser for, at de bliver gennemført,<br />

og hvordan resultaterne bliver brugt og delt<br />

www.danskevalueringsselskab.dk


Side 2<br />

2. At bære viden og læring fra et læringsrum til et andet og dermed understøtte sammenhæng<br />

og ikke mindst viden om og forståelse for processerne i de øvrige læringsrum.<br />

Udover disse spændende indlæg bringer Evalueringsnyt mere information om <strong>Dansk</strong> EvalueringsSelskabs<br />

årlige konference:<br />

Der er stadig enkelte ledige pladser, og man kan fortsat nå at melde sig til.<br />

Afslutningsvist på konferencen vil DES’ årlige generalforsamling blive afholdt, og alle medlemmer<br />

er meget velkomne til at deltage. I forbindelse med generalforsamlingen vælges<br />

en ny bestyrelse for DES for året <strong>2008</strong>-2009. Se en præsentation af kandidater, der foreløbig<br />

ønsker at stille op i dette nummer af Evalueringsnyt.<br />

Rigtig god læselyst – og velmødt på Koldingfjord den 11. til 13. september!<br />

www.danskevalueringsselskab.dk


Side 3<br />

Redaktion<br />

Redaktør:<br />

• Jesper Pedersen, jp@discus.dk, telefon 70 20 22 29<br />

Baggrundsgruppe:<br />

• Bianca Albers, Servicestyrelsen, Socialministeriet<br />

• Poul Skov Dahl, NIRAS Konsulenterne<br />

• Tanja Miller, CEPRA (Videncenter for evaluering i praksis, Professionshøjskole<br />

University College Nordjylland)<br />

• Marie Louise Møller, DES sekretær<br />

Nyheder, debatindlæg og artikler sendes elektronisk til Jesper Pedersen<br />

Deadline<br />

Deadline til det næste nyhedsbrev er d. 1. oktober <strong>2008</strong>.<br />

www.danskevalueringsselskab.dk


Side 4<br />

Indholdsfortegnelse<br />

Leder – Optakt til konferencen.............................................................................................1<br />

Redaktion.............................................................................................................................3<br />

Deadline...........................................................................................................................3<br />

Nyt om DES’ årskonference <strong>2008</strong>........................................................................................5<br />

Stadig ledige pladser!.......................................................................................................5<br />

Bestyrelsesvalg <strong>2008</strong>/2009..................................................................................................6<br />

Valg til bestyrelsen ...........................................................................................................6<br />

Artikler..................................................................................................................................9<br />

At indfange brugerkvalitet gennem brugerundersøgelser.................................................9<br />

Fra meningsløs til meningsfuld evaluering – om kvalitetsmåling i undervisningssektoren<br />

.......................................................................................................................................16<br />

Og hvad med ledelse? ...................................................................................................25<br />

Konferenceoversigt............................................................................................................31<br />

Om <strong>Dansk</strong> EvalueringsSelskab .........................................................................................32<br />

Medlemskab...................................................................................................................32<br />

Bestyrelsen ....................................................................................................................33<br />

www.danskevalueringsselskab.dk


Side 5<br />

Nyt om DES’ årskonference <strong>2008</strong><br />

Som beskrevet i sidste nummer afholdes <strong>Dansk</strong> <strong>Evalueringsselskab</strong>s årskonference 11.-<br />

13. september <strong>2008</strong>. Temaet er ’Evaluering som beslutningsgrundlag – teorier, metoder<br />

og sektorer’. Download det spændende program her:<br />

http://www.danskevalueringsselskab.dk/pdf/Brochure_konference_<strong>2008</strong>.pdf<br />

Konferencen afholdes i de smukke omgivelser ved Koldingfjord hotel<br />

Stadig ledige pladser!<br />

Der er stadig enkelte ledige pladser. Skynd dig at melde dig til. Du kan finde tilmeldingsblanket<br />

her:<br />

http://www.danskevalueringsselskab.dk/word/Tilmeldingsblanket_til_evalueringskonferenc<br />

e_<strong>2008</strong>.doc<br />

www.danskevalueringsselskab.dk


Side 6<br />

Bestyrelsesvalg <strong>2008</strong>/2009<br />

Følgende bestyrelsesmedlemmer bliver siddende i bestyrelsen:<br />

• Peter Rhode, Center for Kvalitetsudvikling, Region Midtjylland<br />

• Ole Gregersen, SFI<br />

• Tue Vinter-Jørgensen, EVA<br />

• Elisabeth Friis Fredskilde, Frederiksberg Kommune<br />

• Tanja Miller, CEPRA, CVU Nordjylland<br />

• Tim Jeppesen, KREVI<br />

Følgende bestyrelsesmedlem er på valg til bestyrelsen og genopstiller:<br />

• Poul Skov Dahl, NIRAS Konsulenterne<br />

Følgende bestyrelsesmedlemmer træder ud af bestyrelsen:<br />

• Steffen Bohni Nielsen, Rambøll Management<br />

• Bianca Albers, Servicestyrelsen, Socialministeriet<br />

• Solgerd Just Mikkelsen, Økonomicenter, Danmarks Tekniske Universitet<br />

• Dorte Kabell, Kabell Konsulting<br />

Valg til bestyrelsen<br />

Der er valg til <strong>Dansk</strong> EvalueringsSelskabs bestyrelse på generalforsamlingen lørdag d. 13.<br />

september kl. 13.30-14.30 på Koldingfjord Hotel.<br />

Alle medlemmer af DES er velkomne til at stille op. Man kan anmelde sit kandidatur til bestyrelsesformand<br />

Peter Rhode eller DES sekretær Marie Louise Møller fra nu af frem til<br />

selve generalforsamlingen lørdag.<br />

Særligt studerende og forskere fra universiteterne opfordres til at stille op, da der foreløbigt<br />

ingen repræsentanter er herfra.<br />

Poul Skov Dahl, NIRAS Konsulenterne, er det eneste af de bestyrelsesmedlemmer, som<br />

er på valg, der har valgt at genopstille. Han skriver om sig selv:<br />

Min interesse for evaluering er både teoretisk og meget praktisk. Til<br />

dagligt gennemfører jeg som konsulent en række evalueringer for forskellige<br />

offentlige virksomheder (ministerier, styrelser, regioner og<br />

kommuner). Ved siden at den primære beskæftigelse, er jeg tilknyttet<br />

Syddansk Universitet som Ekstern Lektor. Gennem de sidste to års<br />

arbejde i DES' bestyrelse har jeg haft lejlighed til at følge med i, hvad<br />

der sker på evalueringsfronten i Danmark her og nu, ligesom det har<br />

www.danskevalueringsselskab.dk


Side 7<br />

været en spændende platfom i forhold til at møde mange evalueringsinteresserede<br />

teoretikere og praktikere. Det sidste ikke mindst gennem<br />

den årlige evalueringskonference og ved flere gå-hjem møder i løbet af<br />

året. Arbejdet er så spændende, at jeg gerne stiller op til to år mere<br />

Müzeyyen Boztoprak, specialkonsulent hos Arbejdstilsynets kontor for effekt og analyse,<br />

har meddelt at hun gerne vil stille op. Hun har skrevet følgende om sig selv.<br />

Som specialkonsulent for evaluering af Arbejdstilsynets aktiviteter<br />

har jeg sammen med 3 andre kollegaer ansvaret for udvikling,<br />

gennemførelse og formidling af effektevalueringer af<br />

Arbejdstilsynets aktiviteter.<br />

Jeg har siden marts 2006 arbejdet indenfor dette område og<br />

siden juni 2007 være specialkonsulent.<br />

Jeg arbejder pt. mest med opdatering af Arbejdstilsynets effektpolitik,<br />

der skal udmønte sig i en egentlig strategi for effektevalueringer<br />

i Arbejdstilsynet.<br />

Niels Eilschow Olesen, Cowi A/S har også meddelt at han gerne vil stille op. Niels har<br />

skrevet følgende om sig selv:<br />

Jeg har en uddannelsesmæssig baggrund som cand.scient.pol (Aarhus,<br />

1993) og MA (York, 1991). I de sidste ni år har jeg været ansat i<br />

COWI, hvor jeg beskæftiger mig med evaluerings og analyseprojekter -<br />

oftest i rollen som projektleder eller sparringspartner. Jeg er ansat som<br />

senior projektleder og er desuden gruppeleder for forvaltningsgruppen,<br />

som består af 11 evalueringskonsulenter. Før COWI var jeg ansat som<br />

projektleder i UNDP i 3 1/2 år (udstationeret Riga og New York) og før<br />

da som konsulent i PLS Consult. Med en international profil arbejder<br />

jeg både i Danmark (mest statslige organisationer) og udlandet (EU,<br />

Verdensbank, bilaterale donororganisationer). Samlet set har jeg været<br />

med til at gennemføre cirka 25 danske og/eller internationale evalueringsopgaver.<br />

I COWI er jeg sammen med en kollega tovholder på et<br />

internt nyhedsbrev om COWIs evalueringsarbejde. Formålet er at holde<br />

en bred skare af konsulenter og chefer orienterede om, hvad der<br />

foregår på evalueringsområdet samt dele erfaringer fra metodisk inte-<br />

www.danskevalueringsselskab.dk


Side 8<br />

ressante evalueringsprojekter. Jeg tror, at min konsulenterfaring og<br />

erfaring med tilrettelæggelse og gennemførelse af evalueringsopgaver i<br />

både Danmark og udlandet vil være relevant for DES bestyrelsesarbejde.<br />

Med udgangspunkt i strukturreform og globalisering forestiller jeg<br />

mig, at DES sandsynligvis fremover vil skulle arbejde tættere sammen<br />

med de nordiske evalueingsorganisationer og med den europæiske<br />

evalueringsorganisation. Den udvikling vil jeg gerne være med til at<br />

præge.<br />

www.danskevalueringsselskab.dk


Side 9<br />

Artikler<br />

Artikler sendes elektronisk til jp@discus.dk<br />

4<br />

Retningslinjer:<br />

Artikler skal være kortfattede, det vil sige max 5 sider (linjeafstand 1,3)<br />

Artikler skal omhandle evaluering<br />

Artikler må ikke være anstødelige og diskriminerende<br />

Artikler må ikke have et markedsføringssigte<br />

Om nødvendigt bedes bestyrelsen foretage en vurdering af disse forhold<br />

At indfange brugerkvalitet gennem brugerundersøgelser 1<br />

Af Bente Bjørnholdt, Adjunkt, ph.d., Institut for økonomi, politik og forvaltning, Aalborg universitet<br />

Brugerundersøgelser er mange ting og dækker en bred vifte af evalueringstyper og praksisser.<br />

Vi skal i det følgende se nærmere på nogle af disse og argumentere for, at forskellige<br />

metoder med fordel kan kombineres. Kvantitative undersøgelser kan bruges til at give<br />

et overblik over en ydelse og identificere indsatsområder – særligt ved sammenligninger<br />

over tid, eller mellem institutioner, mellem tilfredshedsaspekter eller mellem brugere. Vi<br />

kan til dels også få svar på, hvad vi skal ændre for at forbedre en ydelse. Men vi kan vanskeligt<br />

undgå dialog og kvalitative undersøgelses-former, hvis vi skal blive klogere og identificere<br />

konkrete forbedringstiltag. Vi skal starte med at diskutere brugerundersøgelser som<br />

indikator for kvalitet og herunder præcisere, at de kun måler én dimension af kvalitet. Videre<br />

diskuteres fire typer af undersøgelser og deres validitet, herunder følsomheden over for<br />

brugernes karakteristika, spørgsmålsformuleringer og undersøgelsernes formål. Afslutningsvis<br />

skitseres, fordele og faldgruber ved forskellige typer af brugerundersøgelser.<br />

Kan brugerundersøgelser måle kvalitet?<br />

Det første spørgsmål der rejser sig i en diskussion af brugerundersøgelser er ofte, hvorvidt<br />

sådanne undersøgelser overhovedet kan måle kvalitet. Svaret er, at det kan de godt, men<br />

som alle andre undersøgelsestyper kan de kun måle ét kvalitetsaspekt. Typisk skelner<br />

man i den offentlige sektor mellem organisatorisk kvalitet, faglig kvalitet og oplevet kvalitet<br />

(Regeringen, 2001; 2007). Organisatorisk kvalitet vedrører måden hvorpå en sektor er organiseret,<br />

mens faglig kvalitet angår professionelle kvalitetsvurderinger. Brugerundersø-<br />

1 Artiklen er i vidt omfang en sammenskrivning af to tidligere artikler (hhv. Bjørnholt <strong>2008</strong> og Bjørnholt, Goul Andersen<br />

& Lolle, <strong>2008</strong>)<br />

www.danskevalueringsselskab.dk


Side 10<br />

gelser refererer alene til brugernes oplevelser, hvilket ikke nødvendigvis stemmer overens<br />

med hverken faglig eller organisatorisk kvalitet. Og i nogle tilfælde er sådanne kvalitetsaspekter<br />

vigtigere end brugernes vurderinger. For eksempel kan en dygtig men fortravlet<br />

kirurg måske ikke nå at tale ordentligt med en patient efter en vellykket operation. Det vil<br />

sandsynligvis påvirke patientens vurdering af operationen negativt. Mangelfuld kommunikation<br />

er et reelt og vigtigt problem, men det er trods alt mindre vigtigt end, at patienten får<br />

den optimale faglige behandling. I nogle tilfælde er positive brugeroplevelser ikke engang<br />

et ubetinget succeskriterium. Når det eksempelvis gælder skattevæsenets behandling af<br />

selvangivelser eller læreres tildeling af eksamenskarakterer kan det lige frem være uhensigtsmæssigt,<br />

hvis offentligt ansatte alene sigter mod at gøre ’brugerne’ maksimalt tilfredse.<br />

Det kan underminere deres faglige dømmekraft. Dog ændrer det ikke ved, at brugerne<br />

skal behandles anstændigt.<br />

Brugerundersøgelser er en indikator på kvalitet, som kan bruges til at indrette en service<br />

mest muligt i overensstemmelse med brugernes ønsker. I langt de fleste tilfælde er brugernes<br />

vurdering yderst central, og det er til tider den eneste måde, hvorpå vi kan måle<br />

eller vurdere en ydelses ’træfsikkerhed’. Man skal da heller ikke undervurdere betydningen<br />

af ’bløde’ områder som kommunikation eller brugernes evne til at vurdere kvaliteten af en<br />

service. I mange tilfælde har brugerne en god ide om, hvad der er hensigtsmæssigt. Naturligvis<br />

skal man tage højde for, at brugernes vurderinger kan være påvirket af forhold<br />

uden direkte sammenhæng til en ydelse. For eksempel er brugernes forventninger til offentlig<br />

service i storbyer ofte højere, end det er tilfældet på landet. Det kan resultere i relativt<br />

mindre tilfredse brugere i storbyerne selv om den service, som de modtager, er objektivt<br />

bedre end i mindre byer (Birgersson, 1971). I dansk sammenhæng taler man om de<br />

’nøjsomme jyder’ (Mouritzen, 1985). Tilsvarende kan brugernes forventninger være påvirket<br />

af mediebilledet – om end det i mindre grad er tilfældet for brugerne end for borgerne.<br />

Hvis flere enheder er involveret i at levere en service, kan det også være vanskeligt at<br />

vurdere, hvad brugerne mere konkret tager stilling til. For eksempel er patienter på sygehusene<br />

ofte i kontakt med flere forskellige afdelinger – eksempelvis skadestue, røntgen,<br />

genoptræning - og det er ikke sikkert, at de formår at adskille de enkelte enheder. Man<br />

skal derfor være varsom med at tolke brugernes svar. Dog kan mange problemer undgås<br />

eller begrænses ved at stille de rigtige spørgsmål, vælge de ’rigtige’ metoder og ikke<br />

mindst være opmærksom på eventuelle problemer i tolkningen af data.<br />

Kvantitative brugerunderundersøgelser<br />

En typisk brugerundersøgelse er de efterhånden ”klassiske” tilfredshedsundersøgelser,<br />

hvor brugerne via en spørgeskemaundersøgelse bliver spurgt om deres tilfredshed med<br />

www.danskevalueringsselskab.dk


Side 11<br />

forskellige dele af en ydelse. Det er én af de mest udbredte typer af brugerundersøgelser,<br />

og senest stilles der med kvalitetsreformen krav om systematiske tilfredshedsundersøgelser.<br />

Sådanne undersøgelser har den fordel, at et stort antal brugere kommer til orde. For<br />

brugerne er det en forholdsvis let måde at give deres mening til kende, og tilfredshedsundersøgelser<br />

inviterer derfor til bred deltagelse. Samtidig giver de forbløffende stabile svar<br />

fra undersøgelse til undersøgelse, og de er gode til at indfange et stort antal brugers vurderinger<br />

af en ydelse – hvis undersøgelserne tilrettelægges hensigtsmæssigt.<br />

I tilrettelæggelsen af tilfredshedsundersøgelser er det værd at være opmærksom på, at<br />

brugernes svar er yderst følsomme overfor spørgsmålsformuleringerne. <strong>Dansk</strong>ere har en<br />

tendens til at være særligt tilfredse, og spørges der direkte til tilfredshed svarer de ofte<br />

positivt. Spørges der i stedet til, hvordan en service fungerer, er brugernes svar ofte knap<br />

så positive. Dertil kommer svarenes afhængighed af svarkategoriernes udformning. For<br />

eksempel betød tilføjelsen af kategorien ’ikke helt tilfreds’ i en undersøgelse af hjemmehjælpsmodtageres<br />

tilfredshed i tre kommuner, at andelen af utilfredse var en del højere<br />

end i Finansministeriets samtidige (og sammenlignelige) undersøgelse (Bjørnholt et al.,<br />

<strong>2008</strong>). Endelig er spørgsmålenes abstraktionsniveau afgørende. Spørges der til brugernes<br />

generelle tilfredshed med en ydelse er brugene ofte mere tilfredse, end de er i vurderingen<br />

af konkrete forhold. Spørgsmålsformuleringerne er med andre ord særdeles vigtige for<br />

brugernes svar, og de bør indrettes efter, hvad der er formålet. Er hensigten at bruge tilfredshedsundersøgelser<br />

til fremadrettet kvalitetsudvikling, er det vigtigt at udforme<br />

spørgsmålene, så de inviterer til utilfredshed for derved at identificere potentielle forbedringsmuligheder.<br />

Ellers risikerer man at måle en tilsyneladende høj tilfredshed, der ikke<br />

tjener mange andre formål end blot legitimering.<br />

Men brugerundersøgelser er mere end tilfredshedsundersøgelser. En række statistiske<br />

opgørelser (kvalitetsindikatorer) søger at indfange brugernes oplevelser af en service uden<br />

direkte at spørge dem. Målingernes indhold kan variere en hel del mellem kommuner, men<br />

Regeringen og KL har taget initiativ til en række sammenlignelige kvalitetsindikatorer på<br />

det kommunale område, hvor brugenes vurderinger kan indgå som én dimension. Mange<br />

målinger registrerer antallet af brugere, som benytter en given service. De vedrører blandt<br />

andet brugernes til- og fravalg af kommunale institutioner. For eksempel opgøres ældres<br />

valg af leverandører, og andelen af skoleelever, der flytter mellem private og kommunale<br />

skoler. Sådanne målinger giver god mening, når brugerne har mulighed for at vælge mellem<br />

forskellige udbydere, og de giver et indirekte billede af brugernes vurdering af de enkelte<br />

leverandører. Målingerne kan også være relevante på områder, hvor der ikke er frit<br />

valg i almindelig forstand. Det er især tilfældet for mange kulturinstitutioner, der producerer<br />

www.danskevalueringsselskab.dk


Side 12<br />

såkaldte ’almene’ goder, som alle borgere i princippet har adgang til, men som ikke alle<br />

benytter. Mange museer registrerer blandt andet antallet af besøgende som udtryk for<br />

brugerkvalitet. Her ses mange besøgende som kvalitet, selv om det at have adgang til kulturinstitutioner<br />

for borgerne kan være en værdi i sig selv. Her kan det derfor være relevant<br />

at spørge både borgere og brugere. Andre målinger relaterer til brugernes aktive henvendelse<br />

til kommunen. Det er blandt andet tilfældet, når antallet af brugerklager registreres<br />

som kvalitetsindikatorer, hvormed man kan få et indtryk af, hvorvidt brugerne føler sig godt<br />

behandlet. Opgøres klagesagerne derudover i forhold til, hvorvidt brugerne har fået medhold<br />

eller ikke, opnås ligeledes en faglig vurdering af klagens berettigelse. Værdien er at<br />

sikre brugernes rettigheder og garantere lige behandling af forskellige brugere.<br />

Fordelen ved sådanne brugerundersøgelser er, at de ofte giver politikere, embedsmænd<br />

og andre med en interesse for et område et hurtigt overblik over brugernes vurdering af en<br />

ydelse eller en organisation. De kan være gode indikatorer for, at noget er galt, hvorfor det<br />

bliver muligt at reagere hurtigt. Samtidig kan de bidrage til at synliggøre politiske prioriteringer<br />

for såvel borgere som offentligt ansatte, hvilket kan motivere organisationer og<br />

medarbejdere til at gøre deres bedste for at sikre en hensigtsmæssig behandling af brugerne.<br />

Det er imidlertid værd at være opmærksom på, at sådanne målinger ikke nødvendigvis<br />

udtrykker, hvad brugerne ser som kvalitet, og det er langt fra sikkert, at brugernes<br />

registrerede adfærd hænger sammen med deres oplevelse af organisationerne. En række<br />

forhold uden for organisationer kan for eksempel påvirke deres valg af leverandør.<br />

Dialogbaserede kvalitetsundersøgelser<br />

Dialogbaserede brugerundersøgelser kan være både et alternativ og et supplement til<br />

kvantitative undersøgelser. I dialog med ”det offentlige” får brugerne ofte mulighed for at<br />

definere kvalitet – uafhængig af faste kategorier - og værdier som responsivitet og brugerinddragelse<br />

er i højsædet.<br />

Interview er en undersøgelsesform, som især kommunerne initierer for at indfange brugernes<br />

oplevelse af en ydelse. Det kan være individuelle interview med enkeltbrugere, eller<br />

det kan være gruppeinterview, hvor en mindre gruppe af brugere diskuterer en ydelse.<br />

Særligt når hensigten er at skaffe en dybere forståelse af brugernes oplevelser, meninger<br />

og vurderinger anvendes sådanne undersøgelser. Hvorvidt der interviewes i grupper eller<br />

individuelt afhænger dels af brugenes karakteristika dels af den viden som efterspørges.<br />

Og det er karakteristisk at interview tilrettelægges meget forskelligt alt efter deres formål.<br />

Der kan være tale om mere eller mindre strukturerede interview, der i varierende grad åbner<br />

for, at brugerne i processen definerer evalueringskriterier mm. Dertil kommer, at inter-<br />

www.danskevalueringsselskab.dk


Side 13<br />

view både kan indgå som selvstændig metode og supplere andre undersøgelsestyper. For<br />

eksempel kan de uddybe, hvorfor brugere fravælger en leverandør eller er utilfredse med<br />

en ydelse. Desuden kan interviewformen være hensigtsmæssig i forhold til ressourcesvage<br />

brugere, hvis holdninger er svære at indfange via andre undersøgelsestyper. Det gælder<br />

for eksempel socialt udsatte grupper eller brugere med svær demens eller psykiske<br />

sygdomme. I sådanne tilfælde kan modeller som BIKVA og KUBI være relevante. Her inddrages<br />

brugerne i fokusinterview med henblik på at tilkendegive og begrunde, hvorfor de<br />

er enten tilfredse eller utilfredse med en ydelse. Deres svar kan efterfølgende danne baggrund<br />

for gruppeinterview med henholdsvis medarbejdere, forvaltningsledere og politikere,<br />

og er der tale om meget svage brugere kan de suppleres med brugerobservationer (Socialministeriet<br />

og Finansministeriet, 2002).<br />

Anlægges et bredt perspektiv på brugerundersøgelser kan vi inkludere brugermøder som<br />

metode til at indfange brugerkvalitet, da de inddrager brugerne i evaluering af offentlig service.<br />

Det gælder blandt andet borgermøder, dialogmøder og brugerhøringer, hvor en<br />

gruppe brugere eller borgere inviteres til dialog med politikere og/eller embedsmænd. Forskellen<br />

mellem de tre dialogformer er, dels hvem deltagerne repræsenterer dels afgrænsningen<br />

af de emner, som diskuteres. Mens dialogmøder inkluderer en lille og afgrænset<br />

brugerkreds, er borgermøder åbne for alle borgere og foregår indenfor ydelser, der har en<br />

mere almen værdi. Folkehøringer adskiller sig ved, at deltagerne er særligt inviterede borgere,<br />

der er udpeget med henblik på at sikre repræsentativitet. Brugermøder anvendes<br />

ofte, når politikere ønsker en åben dialog med brugerne, hvilket kan skabe god grobund<br />

for nye ideer og indgangsvikler. Dertil kommer, at diskussionerne kan bidrage til fælles<br />

løsninger eller en forståelse for politiske prioriteringer og andre borgere eller brugeres behov.<br />

Problemerne knytter sig primært til spørgsmålet om repræsentativitet, og sådanne<br />

møder domineres traditionelt af mere ressourcestærke borgere og brugere – af Tordenskjolds<br />

soldater.<br />

Fordele og faldgruber<br />

Alt for ofte ender metodediskussioner i en skyttegravskrig med henblik på at udråbe den<br />

’bedste’ metode. Det er ikke intentionen her. Tværtimod skal vi blot skitsere nogle af de<br />

mulige potentialer og faldgruber, der ligger i forskellige typer af brugerundersøgelser. Det<br />

sker med fare for at ende i en karikeret diskussion, da fordele og faldgruber vil afhænge af<br />

metodernes konkrete udformning, den konkrete kontekst og ikke mindst af, hvad undersøgelserne<br />

skal bruges til.<br />

www.danskevalueringsselskab.dk


Side 14<br />

Netop undersøgelsernes formål er yderst central - for forskellige undersøgelser er velegnede<br />

til forskellige formål 2 . Teoretisk sondres der mellem kontrol- og læringsformål, hvor<br />

kontrol har et bagudrettet sigte, mens læring er fremadrettet. Kontrol får ofte en negativ<br />

klang, men kontrol er særlig vigtig i offentlige organisationer, der i høj grad må stå til ansvar<br />

overfor og sikre en åbenhed ifht. deres omgivelser. Det forudsætter en vis offentlighed<br />

omkring aktiviteter, prioriteringer mm. Her kan kvantitative brugerundersøgelser være<br />

hensigtsmæssige, da de netop kan give politikere, brugere mm. et hurtigt overblik over en<br />

ydelse og indsatsområder – særligt som relative mål. Som absolutte mål, der viser, at så<br />

og så mange er utilfredse eller har valgt en given leverandør, er kvantitative brugerundersøgelser<br />

ikke meget værd. Det er vanskeligt at tolke, hvorvidt tallene er gode eller dårlige.<br />

Men når man bruger dem som relative mål til sammenligninger over tid eller mellem tilfredshedsaspekter,<br />

mellem institutioner, eller mellem brugere, får man normalt gode indikatorer<br />

på, hvor der kan ske kvalitetsforbedringer. Nogle sammenligninger vil give et usikkert<br />

men dog vejledende indtryk, mens andre giver et mere præcist billede, der umiddelbart<br />

kan bruges til at sætte fokus på bestemte indsatsområder. Det forudsætter naturligvis,<br />

at forholdene er sammenlignelige, eller at der tages højde herfor i tolkning af data.<br />

For at identificere konkrete forbedringstiltag kan kvantitative brugerundersøgelser med<br />

fordel suppleres af kvalitative undersøgelsesmetoder. Ofte søger dialogorienterede undersøgelsesformer<br />

en dybere forståelse af brugernes oplevelser. Deres potentiale ligger da<br />

også i muligheden for at søge detaljeret viden om et område eller en ydelse - afhængig af<br />

deres nærmere tilrettelæggelse. Detaljeret information er særlig central, når der findes begrænset<br />

viden om, hvad der virker, for hvem og hvornår? Dialogorienterede metoder åbner<br />

for at identificere aspekter og løsninger, som man måske ikke oprindeligt havde tænkt<br />

på - et potentiale for ”dobbelt sløjfede læring”. Det skyldes bla., at brugerne selv får mulighed<br />

for at definere kvalitetsindikatorer i undersøgelsesprocesser og derved kan medbringe<br />

nye perspektiver.<br />

Uanset formål er intentionen at få valid information om brugernes oplevelse af en ydelse.<br />

Kvantitative og kvalitative brugerundersøgelser lider af forskellige validitetsproblemer. I<br />

kvantitative brugerundersøgelser handler validitet i vidt omfang om, hvorvidt spørgsmål og<br />

kvalitetsindikatorer virkelig indfanger det, der er intentionen – er det gode mål for de værdier<br />

og prioriteringer, man ønsker at undersøge? Her kan en løsning være at supplere<br />

med kvalitative undersøgelser og inddrage brugerne i fastsættelsen af evalueringskriterier<br />

og spørgsmål. I kvalitative undersøgelser vedrører validitetsproblemerne i højere grad,<br />

2 Initiativtagere til brugerundersøgelser er imidlertid langt fra altid bevidste om undersøgelsernes formål.<br />

www.danskevalueringsselskab.dk


Side 15<br />

hvorvidt holdninger og vurderinger hos de brugere, der deltager i undersøgelserne er repræsentative<br />

for gruppen af brugere. Repræsenterer brugernes svar i brugerundersøgelser<br />

generelle problematikker eller afspejler de alene holdninger hos de brugere, der har<br />

ressourcer til at deltage? Her kan der gøres en indsats for at motivere flere til at deltage,<br />

og kvantitative undersøgelser kan være et udmærket supplement. Ved at supplere metoder<br />

dækkes man med andre ord godt ind i forhold til at belyse brugerperspektivet.<br />

Det afgørende er, at forskellige typer af brugerundersøgelser har forskellige forcer og<br />

svagheder. De kvantitative undersøgelser er fremragende til at give et overblik og identificere<br />

mulige indsatser som følge af forskelle over tid, mellem tilfredshedsaspekter, mellem<br />

institutioner eller mellem brugergrupper. Undersøgelserne kan ogaå give et fingerpeg om,<br />

hvad brugerne er utilfreds med, og hvad der skal laves om. Men skal man have et værdifuldt<br />

input med henblik på at identificere konkrete forbedringstiltag og få detaljeret viden<br />

om et område, er det svært at komme uden om dialog.<br />

Litteraturliste<br />

• Birgersson, Bent Owe (1971). Kommunen som serviceproducent. Kommunal service och serviceattityder i 36<br />

svanska kommuner. Stockholm Universitet, Statsvetenskapliga Institutionen.<br />

• Bjørnholt, Bente (<strong>2008</strong>). ”Kvalitet og kvalitetsundersøgelser – hvad er det?” pp. 21-48 i Bjørnholt, Goul Andersen<br />

& Lolle (red) Bag kulissen i konstruktionen af kvalitet, Odense: Odense Universitetsforlag<br />

• Bjørnholt, Bente; Goul Andrsen, Jørgen & Lolle, Henrik (<strong>2008</strong>). ”Brugertilfredshed som kvalitetsmål?” pp. 49-61 i<br />

Bjørnholt, Goul Andersen & Lolle (red) Bag kulissen i konstruktionen af kvalitet, Odense: Odense Universitetsforlag<br />

• Mouritzen, Poul Erik (1985). “De nøjsomme jyder og de krævende københavnere. En undersøgelse af befolkningens<br />

præferencer for og tilfredshed med kommunal service”. Økonomi & Politik, 59. årgang, 1985.<br />

• Regeringen (2007). Bedre velfærd og større arbejdsglæde. – Regeringens strategi for høj kvalitet i den offentlige<br />

service, <strong>august</strong> 2007<br />

• Regeringen (2001). Initiativer til bedre kvalitet. Kvalitet i fokus, Nordsjælland: Nordsjællands Trykcenter APS.<br />

• Socialministeriet & Finansministeriet (2002). Webhåndbog om brugerinddragelse, Publikationen er udarbejdet<br />

af: Socialt Udviklingscenter SUS i samarbejde med Finansministeriet og Socialministeriet.<br />

www.modrniseringsprogam.dk<br />

www.danskevalueringsselskab.dk


Side 16<br />

Fra meningsløs til meningsfuld evaluering – om kvalitetsmåling i undervisningssektoren<br />

Af Christian Moldt, ph.d., specialkonsulent på Danmarks Evalueringsinstitut<br />

Da mange institutioner anvender tilfredshedsmålinger bliver det også interessant at beskæftige<br />

sig med oplevelsen af brugen af målingerne. På den baggrund gennemførte jeg i<br />

2003-2007 et ph.d. studie, som ud fra et organisationspsykologisk perspektiv så på lederes<br />

og underviseres oplevelse af studentertilfredshedsmålinger på en række korte og mellemlange<br />

videregående uddannelser.<br />

Som det fremgår i det følgende viste min forskning, hvordan brugen af tilfredshedsmålinger<br />

i nogle situationer og organisationer kan opleves meningsfuldt for opgaveløsningen,<br />

mens man i andre situationer oplever det modsatte. Jeg fik en række eksempler på den<br />

sidstnævnte situation, hvor brugen af målingerne ser ud til at lede til frustration og opleves<br />

som meningsløs og direkte skadelig for medlemmerne i organisationen. På den baggrund<br />

beskæftiger afhandlingen sig med potentialerne eller fordelene ved at bruge tilfredshedsmålingerne,<br />

hvad der ligger bag den evalueringsfrustration som opstår, og hvordan denne<br />

kan håndteres.<br />

Nedenfor fokuseres alene på de empiriske resultater, som bl.a. baserer sig på en række<br />

dybdeinterviews med undervisere og ledere, mens teoriovervejelser er udeladt. Afhandlingen<br />

og denne artikel i en længere form kan downloades på des-hjemmeside (se under<br />

afholdte gå-hjem møder, møde den 6/9 2007).<br />

A. Potentialerne - de fire evalueringsopgaver<br />

Første fase i forskningsprojektet var at identificere potentialerne ved brugen af tilfredshedsmålingerne,<br />

bl.a. ud fra de fordele underviserne og lederne redegjorde for. Disse potentialer<br />

er i figur 1 beskrevet som de fire evalueringsopgaver.<br />

www.danskevalueringsselskab.dk


Side 17<br />

4. Ekstern/intern dokumentation (benchmarking)<br />

3. Ledelsesudøvelse<br />

1) Samme formål som ledelsesudøvelse og/eller 2) opfyldelse<br />

af eksterne evalueringskrav.<br />

Evaluering som en proces, der kan<br />

anvendes til at 1) give lederen mulighed<br />

for at udføre sine formelle ledelsesopgaver,<br />

herunder ansætte og<br />

afskedige medarbejdere, 2) skabe<br />

dialog om rammer og mål og/eller 3)<br />

støtte underviserne (containing).<br />

Ledelse<br />

Mellemleder A Mellemleder B Mellemleder C<br />

Undervisere<br />

Studerende<br />

2. Teamwork<br />

1. Udvikling i klassen<br />

Evaluering som en proces, der kan anvendes til<br />

at 1) skabe dialog og forståelse for de studerendes<br />

ansvar for egen læring, 2) styrke læringsmiljøet<br />

i klassen og/eller 3) udskyde aggression<br />

fra de studerende, indtil denne kan<br />

udtrykkes i evalueringen.<br />

Evaluering som en proces, der kan anvendes<br />

til at 1) styrke koordinering og udvikling af<br />

faglige forløb og/eller 2) underviseres behov<br />

for kollegial støtte (containing).<br />

Figur 1: Potentialerne at anvende tilfredshedsmålinger: De fire evalueringsopgaver<br />

Bemærk, at opgave 1-3 vedrører fag-evalueringer, som oftest kan henføres til den enkelte undervisers indsats,<br />

mens opgave 4 refererer til evalueringer af længere undervisningsprogrammer og forløb, hvor et evalueringsresultat<br />

normalt dækker flere fag og undervisere. Kilde: Egen tilvirkning.<br />

www.danskevalueringsselskab.dk


Side 18<br />

Det interessante i denne sammenhæng, er at brug af tilfredshedsmålinger som kvalitetsindikatorer<br />

kan anvendes i fire forskellige sammenhænge. For det første kan de anvendes til<br />

at drøfte og aktivt inddrage de studerende i en dialog om deres læringsprocesser og undervisningens<br />

forløb (opgave 1). Derudover kan undervisere drøfte resultater med deres<br />

kollegaer og derved støtte hinanden og øge koordination og sammenhæng mellem fagene<br />

(opgave 2). Dertil kommer, at undervisningskoordinatorer og ledere kan bruge tilbagemeldinger<br />

fra evalueringer til at udøve deres ledelsesfunktion (opgave 3), hvilket f.eks. kan<br />

omfatte, at der skrides ind over for undervisere, der opnår lave evalueringsresultater. Der<br />

er ingen tvivl om, at denne måde at anvende evaluering på kan være nyttig og nødvendig.<br />

Mange koordinatorer har f.eks. fortalt, hvordan de betragter tilfredshedsundersøgelser<br />

som nødvendige redskaber, for at de kan følge med i og koordinere undervisningen. Endelig<br />

kan de samme typer undersøgelser også anvendes på mere aggregeret niveau, hvor<br />

der spørges til tilfredsheden med længere undervisningsprogrammer eller forløb, som indbefatter<br />

flere undervisere (opgave 4), hvilket kan anvendes til intern eller ekstern benchmarking.<br />

Interviewene viste også, at det var vekslende fra institution til institution, hvilke af disse opgaver<br />

evaluering blev anvendt i forhold til og sat i forbindelse med. De fire evalueringsopgaver<br />

indikerer herved, at det kan være vigtigt at være bevidst om, hvilke konkrete anvendelser<br />

evalueringssystemet er knyttet til, idet man må forvente, at det kan blive meget<br />

vanskeligt at handle ensartet og konsistent på basis af resultaterne, hvis der er vidt forskellige<br />

opfattelser af formålet med anvendelsen af målingerne. Som det fremgår i det følgende,<br />

viser de empiriske iagttagelser, at dette kan være et problem.<br />

B. Symptomer på dysfunktionel evalueringsanvendelse<br />

Selvom det er iagttaget, at flere skoler tydeligvis bruger studentertilfredshedsmålinger og<br />

oplever fordele herved i forhold til en eller flere af ovennævnte evalueringsopgaver, har jeg<br />

iagttaget flere tilfælde af dysfunktionel evalueringsbrug, som kan forbindes med hvad man<br />

i organisationspsykologien vil betegne som regressive processer. I det følgende beskrives<br />

symptomerne herpå, som i afhandlingen er behandlet mere uddybende.<br />

Tydelige tegn på, hvor dysfunktionelt evaluering kan opleves, fik jeg, da jeg på to møder<br />

gav 99 undervisere og ledere mulighed for at nedskrive deres evalueringsassociationer.<br />

Da jeg derefter opdelte disse i negative, neutrale og positive associationer, viste det sig, at<br />

der var 3,7 gange så mange negative kommentarer som positive. De sparsomme positive<br />

kommentarer vedrørte bl.a., at oplysningerne er væsentlige, og at der er tale om en positiv<br />

proces. De negative og dominerende stikord omfattede f.eks., at resultaterne ikke er til at<br />

www.danskevalueringsselskab.dk


Side 19<br />

regne med, virker negativt i konteksten, at processen er krævende, og at resultaterne ikke<br />

indeholder noget nyt.<br />

Disse resultater kan tolkes på følgende måde: Mens man officielt taler positivt om evaluering,<br />

f.eks. til en evalueringsforsker, så er den umiddelbare følelsesmæssige reaktion,<br />

som det fremgår af de hurtigt nedskrevne anonyme stikord, langt overvejende, at evaluering<br />

opleves som en meningsløs og negativ frem for en meningsfuld og positiv aktivitet.<br />

Når studentertilfredshedsmålinger reelt ikke opleves som lærende og meningsfulde, men<br />

snarere dæmoniseres, så må det derfor også udtrykke, at der umiddelbart er vanskeligheder<br />

forbundet med at anvende resultaterne som skitseret i forhold til de fire evalueringsopgaver.<br />

I det følgende bruges primært resultater fra de gennemførte interviews til at gå dybere ned<br />

i disse vanskeligheder, som en nærmere analyse af interviewene peger på. Da der er tale<br />

om et kvalitativt studie, kan der ifølge sagens natur ikke siges noget om, hvor ofte de beskrevne<br />

problemer forekommer. Den stærke evalueringsskepsis, som jeg har mødt under<br />

forskningsprocessen, den kritiske debat i pressen, evalueringsassociationerne fra de 99<br />

undervisere og mine øvrige erfaringer under forskningsprocessen, peger imidlertid i retning<br />

af, at evalueringsproblemerne er meget dominerende.<br />

1. Undvigelse af konfrontation med klassen (opgave 1)<br />

Selvom flere undervisere fremhævede i interviewene, at de ofte på egen hånd gennemfører<br />

evalueringer og drøfter resultaterne med klassen, fremgik det også, at underviserne i<br />

en hel del tilfælde ikke evaluerer deres indsats systematisk med klassen. På flere institutioner<br />

har jeg fået fortalt, at det er helt op til de enkelte undervisere, om de vil evaluere<br />

deres undervisning. Andre refererer til, at de har en aftale om, at underviserne skal evaluere<br />

og drøfte resultaterne med deres klasser, selvom der ikke finder nogen opfølgning sted,<br />

som skal sikre, om dette også rent faktisk er tilfældet.<br />

Man kan naturligvis argumentere for, at skriftlig evaluering ikke altid nødvendigvis er hensigtsmæssigt,<br />

og at der findes mange forskellige måder at få feedback på fra klassen, som<br />

kan overflødiggøre brug af studenterevaluering som et udviklingsinstrument i klassen. Det<br />

er imidlertid et problem, hvis der ikke evalueres, fordi årsagen er, at underviserne reagerer<br />

defensivt i et forsøg på at undgå konfrontation eller dialog med klassen af frygt for, at egne<br />

svagheder eksponeres. Flere ledere har udtrykt i interviewene, at underviserne ofte viger<br />

uden om at evaluere, fordi dette opleves som vanskeligt eller besværligt.<br />

www.danskevalueringsselskab.dk


Side 20<br />

2. Lukkethed overfor kollegaerne (opgave 2)<br />

Flere undervisere fortalte om dialoger med kollegaer om undervisningen som forbundet<br />

med positive faglige værdier. Men da jeg spurgte dybere til dialoger om undervisernes<br />

personlige evalueringsresultater, gik det op for mig, at underviserne ofte holder sig for sig<br />

selv og ikke er åbne over for deres kollegaer.<br />

En underviser brugte begrebet ”indendørsmester” til at forklare, hvordan han var en mester<br />

inden for klasseværelsets fire vægge, men til gengæld ikke oplevede et åbent miljø<br />

mellem kollegaerne på sin institution. En anden underviser fortalte, hvordan han undgik at<br />

diskutere problemer og succesér med kollegaerne, fordi det var vigtigt hverken at adskille<br />

sig som ”bedre” eller ”dårligere” end kollegaerne. Jeg fik også fortalt, hvordan to undervisere<br />

var kommet ”for tæt på hinanden”, da de drøftede årsagerne til, at de i et delt fag i en<br />

klasse havde fået vidt forskellige tilfredshedsvurderinger fra de studerende, hvorefter den<br />

underviser, som fik den lavere vurdering, tog resultaterne ”så nært”, at de to undervisere<br />

ikke længere kunne arbejde sammen. Det er derfor forståeligt, at underviserne er påpasselige<br />

med at diskutere åbent med hinanden, hvilke evalueringer de har opnået, og derved<br />

bliver denne lukkethed en barriere for at støtte hinanden og udvikle undervisningen. Kun i<br />

et enkelt interview fortalte en underviser engageret om, hvordan de i hendes undervisningsteam<br />

var åbne om deres evalueringer, og hvordan dette havde haft meget positive<br />

effekter for kvaliteten af undervisningen herunder i et tilfælde med en ny kollega, som havde<br />

brug for støtte.<br />

3. Tabuisering af ledelsesudøvelse (opgave 3)<br />

Særligt vanskeligt og tabuiseret forekommer anvendelsen af studentertilfredshedsmålingerne,<br />

når resultaterne bruges til at udøve direkte ledelse. Jeg er flere gange stødt på<br />

undervisere, der udtrykker modstand mod det, de betragter som brug af evaluering som en<br />

form for illegitim ledelseskontrol. Jeg har også fået talrige eksempler på, hvordan undervisere<br />

ofte vil undgå at blive evalueret og melde tilbage til deres ledere, hvis de pludselig<br />

står over for væsentlige problemer i klassen. Disse kan f.eks. skyldes et særligt vanskeligt<br />

hold eller underviserens egne personlige problemer f.eks. med skilsmisse, alkohol og lignende.<br />

Men disse eksempler viser også, at tilfredshedsmålingerne er vigtige, fordi de bringer<br />

problemstillinger frem i lyset for ledelserne, som alternativt kan få lov til at udvikle sig<br />

meget længe til skade for de studerende, underviseren og institutionen som helhed. Problemet<br />

er, at de problemstillinger, som evalueringerne kan pege på, kan være vanskelige<br />

og tabuiserende både i forhold til ledelserne, som skal tage autoritet og måske tage upopulære<br />

beslutninger, men også for underviserne, som er meget sårbare i denne situation.<br />

www.danskevalueringsselskab.dk


Side 21<br />

Den derved opståede angst aktiverer en række defensive manøvrer og psykiske forsvarsmekanismer.<br />

Jeg har særligt iagttaget følgende:<br />

a. Der tales om læring på en måde, som viser, at autoritet tabuiseres. Et eksempel herpå<br />

er udsagnet: ”Hos os er evaluering læring og ikke kontrol”, som jeg hørte udtrykt af en leder,<br />

da han søgte opbakning til skolens evalueringssystem på et møde med sine undervisere.<br />

På overfladen udtrykkes, at man skal lære og ikke kontrollere hinanden, hvilket<br />

umiddelbart kan forekomme tiltalende. Det er derfor en diskurs, som jeg tolker som et mikro-politisk<br />

forsøg på at få opbakning blandt et stærkt decentralt lærerkollegium, som stiller<br />

sig kritisk over for evaluering. Spørgsmålet er imidlertid, om det ikke også derved fornægtes,<br />

at ledelsen både har en ret, men også en pligt til at gribe ind over for uhensigtsmæssige<br />

forhold, hvis de kommer frem i en evaluering? Derved kan man risikere, at konsekvensen<br />

bliver, at det i sidste ende bliver mere illegitimt at bruge evalueringer til at udøve<br />

ledelse og rette op på vanskeligheder i undervisningen.<br />

b. Værdsættelse af en blid ledelsesstil viser, at der ikke er nogen til at tage ansvar for evalueringsprocessen.<br />

Den grundlæggende problemstilling svarer til punkt a. og kan illustreres<br />

ved følgende udsagn fra en koordinator, som siger, at hun har fået at vide af sin<br />

ledelse, at hun i evalueringssammenhæng er ”social samler” og ”socialt knudepunkt”, så at<br />

hendes team ”har det hyggeligt og godt, ikke!”. Koordinatoren har her i sin egen selvforståelse<br />

reduceret sig selv til at være ”hyggetante” frem for ansvarlig leder, hvilket også<br />

implicerer, at hun ikke oplever at have fået delegeret autoritet til at udøve ledelse. Det var<br />

heller ikke mit indtryk, at hun ønskede et sådant ansvar, idet dette da ville implicere, at hun<br />

skulle påtage sig en mere vanskelig ledelsesrolle frem for blot at være kollega. Problemet<br />

bliver da, hvis der i det daglige ikke er nogen til at udøve ledelse bortset fra en ”topledelse”,<br />

som er langt væk.<br />

c. Undertrykt dialog om evalueringsresultater viser autoritær ledelse. I flere tilfælde har jeg<br />

fået fortalt, hvordan underviserne oplever, at resultater af studentertilfredshedsmålinger<br />

alene sendes til ledelsen, men at der ikke finder dialog sted om baggrunden for de opnåede<br />

resultater. Dette bekræftes, når man får fortalt, hvordan ledelserne ofte modtager evalueringsresultater,<br />

uden at underviserne høres. En underviser udtrykte det problematiske<br />

heri ved at fortælle, hvordan han havde oplevet, at en kompetent kollega på et tidspunkt<br />

havde fået en dårlig evaluering, som ledelsen ikke havde sat sig ind i baggrunden for. Alligevel<br />

havde ledelsen ”dømt” den pågældende som inkompetent, indtil vedkommende senere<br />

fratrådte sin stilling. Selvom man altid kan stille spørgsmålstegn ved historien, som<br />

den er fortalt, udtrykker den en oplevelse hos en underviser, som viser frygten for at blive<br />

www.danskevalueringsselskab.dk


Side 22<br />

uretfærdigt vurderet på basis af en evaluering uden mulighed for at få dialog og sparring<br />

med ledelsen om årsagen og pålideligheden af resultaterne, og hvor han selv står. En sådan<br />

anvendelsesform er særlig uheldig, når man betænker, som jeg flere gange har<br />

nævnt, at et evalueringsresultat aldrig kan blive en objektiv måling alene af underviserens<br />

indsats. På den anden side kan ledere, som er underlagt tidspres og/eller er konfliktsky,<br />

opleve deres ledelsesopgave som mere enkel ved at tage evalueringsresultater som en<br />

entydig og enkel vurdering af undervisernes værdi uden nærmere refleksion. Der er tale<br />

om en falsk enkelhed, som ikke tager hensyn til kompleksiteten i underviserens opgaveløsning<br />

og til vedkommendes legitime behov for at blive hørt, når han eller hendes undervisning<br />

vurderes.<br />

d. Ritualistiske og glemte evalueringer viser manglende fokus på evalueringsopgaven.<br />

Flere undervisere fortalte, at de opfattede de omfattende evalueringsaktiviteter som unødvendige,<br />

bureaukratiske og uden mål og mening. På en skole, hvor jeg særligt oplevede<br />

dette, havde de interviewede meget svært ved at redegøre for baggrund og formål med<br />

skolens evalueringssystemer, og som en underviser udtrykte det, blev der evalueret alligevel<br />

for at undgå diskussion. I dette tilfælde kan man se de overdrevne handlinger og ritualer<br />

som et psykisk forsvar mod at stoppe op og reflektere over de reelle bagvedliggende<br />

problemstillinger og få løst disse. Endelig har jeg også fået beskrivelser af, hvordan man<br />

på en skole med omfattende evalueringssystemer alligevel ”glemte” at evaluere, da der<br />

opstod særlige problemer i en klasse. Dvs., når evaluering og handling netop er påkrævet,<br />

formår man at fortrænge dette, fordi de bagvedliggende problemstillinger er for vanskelige<br />

eller smertefulde at tage op. Men fordi evalueringer er blevet et ritual, hvor årsagerne til<br />

evalueringerne er uvisse, kan man argumentere for, at det derved også bliver mere legitimt<br />

at springe en evaluering over, hvis denne forekommer ubehagelig.<br />

Det skal især bemærkes, at symptomerne nævnt i pkt. a., b., c. og d. kan være til stede<br />

parallelt og understøtte hinanden, f.eks. ved at ledelsen først benægter, at evalueringerne<br />

skal bruges til kontrol, men alligevel til sidst er tvunget til at handle, når uhensigtsmæssige<br />

forhold bliver offentlige, hvorefter evalueringerne på grund af det pres, som opstår, kan<br />

risikere at blive anvendt på en både uinformeret og uoplyst måde. Dette svarer præcis til<br />

nogle af de evalueringsfortællinger, som jeg har fået fortalt. I dette tilfælde kan regressionen<br />

blive omfattende: Dvs., at underviserne oplever, at de som mennesker får tildelt en<br />

kold numerisk værdi for deres bidrag til organisationen, at kompleksiteten i undervisningsydelsen<br />

fornægtes og at der ikke er dialog. Resultatet bliver, at underviserne oplever, at<br />

der foretages uretfærdige ledelsesovergreb på deres faglige og personlige indsats. Hvis<br />

dette opstår, bliver en negativ evalueringsspiral forståelig. Endelig er det værd at under-<br />

www.danskevalueringsselskab.dk


Side 23<br />

strege, at manglende udøvelse af en hensigtsmæssig autoritet (som det forstås i en psykodynamisk<br />

referenceramme) kan ses som årsagen til, at ovennævnte autoritære brug af<br />

evaluering opstår. Hvis der ikke er defineret et ansvar for at følge op på undervisningen i<br />

undervisningsteamene eller via en mellemleder/koordinator, og ansvaret i stedet forskydes<br />

op i organisationen, som beskrevet i pkt. b, betyder ledelsesdistancen i sig selv, at det bliver<br />

vanskeligt at udøve en nuanceret og fair ledelse under kendskab til de faktiske forhold.<br />

4. Politisk opportune benchmark-undersøgelser (opgave 4)<br />

Brug af evaluering som benchmark-undersøgelse adskiller sig ved, at man her kan bruge<br />

studentertilfredshedsmålinger til at vurdere tilfredsheden med et samlet undervisningsforløb,<br />

hvorved de studentertilfredshedsmålinger, som fremkommer, ikke kan relateres<br />

til en enkelt undervisers indsats. I stedet er en lang række aktører involveret i planlægningen<br />

og gennemførelsen af det samlede undervisningsforløb, som tilfredshedsmålingen<br />

vedrører.<br />

Jeg har flere gange oplevet, at benchmark-undersøgelserne omtales som mere mobiliserende<br />

end fag-evalueringerne, måske netop fordi de enkelte undervisere er i mindre risiko<br />

for at blive ”hængt ud” eller eksponeret via denne evalueringsform. Derfor er det måske<br />

lettere at acceptere disse typer undersøgelser. På den anden side blev det udtrykt i andre<br />

interviews, at resultaterne fra disse undersøgelser har stor bevågenhed i organisationen,<br />

og at de, fordi resultaterne er meget generelle, åbner et stort projektivt rum for fortolkning,<br />

som i visse tilfælde kan misbruges politisk i organisationen.<br />

C. Er evalueringer da mere skadelige end gavnlige? Og hvordan styrkes den<br />

meningsfulde evalueringsanvendelse?<br />

Med ovennævnte eksempler på alle de frustrationer og vanskeligheder, som brugen af<br />

målingerne fører med sig, fristes man til at spørge: Er evalueringer mere skadelige end<br />

gavnlige?<br />

Svaret ser ud til at være, at dette ikke afhænger af selve evalueringsteknologien – i dette<br />

tilfredshedsmålingerne – men derimod af den måde disse målinger anvendes eller udfoldes<br />

på i institutionerne. Afhandlingens mange eksempler på, at samme teknologi på nogle<br />

institutioner betragtes som meget anvendelig og i andre institutioner betragtes som direkte<br />

skadelig for opgaveløsningen og aktørerne, kan illustrere dette.<br />

På denne baggrund bliver det også interessant, at opbygge evalueringskapacitet, som gør<br />

det muligt at anvende målingerne konstruktivt. Derfor er der i afhandlingen en række for-<br />

www.danskevalueringsselskab.dk


Side 24<br />

slag til, hvordan anvendelsen af målingerne kan styrkes. Et væsentligt element er, at der<br />

skabes en større bevidsthed både om evalueringspotentialer og potentielle problemer, så<br />

tilfredshedsmålingerne kan anvendes mere professionelt. Nogle af de emner som man kan<br />

tage op, er f.eks.:<br />

• At brugen og drøftelse af målingerne kan skabe angst, men at det ikke nødvendigvis<br />

betyder, at disse skal undgås.<br />

• At målinger ikke er kontekstfri, og at deres resultater afhænger af en lang række<br />

komplekse forhold relateret til forventninger og krav både i forhold til studerendes<br />

niveau og forudsætninger, læringsmålsætninger, undervisernes indsats, de rammer,<br />

der er til rådighed etc.<br />

• At der kan være et psykisk pres på en række aktører rundt om underviseren for at<br />

placere ansvaret for undervisningen alene på underviseren, og at man skal være<br />

opmærksom på, at dette ikke sker.<br />

• At det kan være skadeligt, hvis personlige evalueringsresultater kritikløst eksponeres<br />

på internet og andre steder. Man kan sikre, at institutionens medlemmer føler,<br />

at organisationen beskytter dem, så de ikke får psykisk stress af frygt for at de<br />

bliver hængt ud offentligt ved lave evalueringsresultater.<br />

• At ledelserne skal være opmærksomme på at støtte underviserne i en evalueringskontekst,<br />

så disse ikke oplever, at evalueringerne underminerer deres autoritet.<br />

• At målinger alligevel kan ses som vigtige, fordi det er vigtigt at kende tilfredshedsniveauer<br />

og tage udgangspunkt i disse til at stimulere tænkning og refleksion på en<br />

lang række niveauer i organisationen.<br />

• At ledelser, som ser evalueringerne, er opmærksomme på ikke at anvende kvantitative<br />

evalueringer uden at interessere sig for konteksten og årsagerne til et givet tilfredshedsniveau<br />

i en undersøgelse.<br />

• At det er bedre at gennemføre nogle få evalueringer, som der er tid til at drøfte og<br />

følge op på, end det er at gennemføre mange evalueringer, som ikke bruges tilstrækkeligt.<br />

• At det ofte ikke er tilstrækkeligt blot at tale om evaluering som læring på et meget<br />

overordnet niveau. Man må også definere formålene konkret.<br />

• At det også er vigtigt, at det er defineret, hvem der følger op på resultaterne udover<br />

underviseren selv, og hvordan denne proces er tilrettelagt.<br />

www.danskevalueringsselskab.dk


Side 25<br />

Og hvad med ledelse?<br />

Af Lisbeth Binderup, Partner, cand.scient.pol., Lundgaard konsulenterne<br />

KREVI har i rapporten, ’Evalueringslandskabet’ kortlagt evalueringskapaciteten i de danske<br />

kommuner. Rapporten dokumenterer, at kommunerne i den grad har taget evaluering<br />

til sig. Der er stor energi og opmærksomhed i kommunerne og mange stærke kompetencer.<br />

Men rapporten viser samtidig, at der er relativt stor variation i kommunernes evalueringskapacitet,<br />

og at der er stor forskel mellem de forskellige sektorer. Den peger også på,<br />

at der i en vis udstrækning mangler formalisering, f.eks. i form strategier retningslinjer og<br />

politikker. Betragter man kortlægningen ovenfra, efterlader den det indtryk, at evaluering i<br />

højere grad drives frem fra neden i kommunerne frem for fra oven. Det resultat kan selvfølgelig<br />

skyldes at KREVIs metode har lagt vægt på at inddrage menige medarbejdere<br />

frem for topledelsen. Men det kan også være, at rapporten tegner et reelt billede af situationen<br />

i kommunerne, at de kommunale topledelser, politiske og administrative, måske nok<br />

har taget evaluering til sig, men endnu mangler at bliver helt skarp på dels, hvordan evaluering<br />

bruges som ledelsesredskab og dels på hvordan evalueringsviden integreres med<br />

den store vidensproduktion, der i forvejen er i en kommune.<br />

Evaluering kan (bl.a.) ses som crescendoet i den kommunale målstyrings kulturhistorie.<br />

Det er et lille opmuntrende stykke udviklingshistorie om, hvordan kommunerne over tyve<br />

år haft slidt sig igennem faserne i et paradigmeskift fra økonomisk cigarkassestyring til<br />

indholdsmæssig målstyring. Historien er positiv, fordi den viser, hvordan den kommunale<br />

verden kan betragtes som et antal laboratorier, der gladelig deler erfaringer ud til andre.<br />

Den er også positiv, fordi den er brugerdreven. Det er brugerne selv, de kommunale beslutningstagere,<br />

der har haft førertrøjen på i udviklingsprocessen. Eller rettere: Sådan var<br />

det i det mindste i de tidlige faser. Senere har staten i stigende grad anvendt den styringsmæssige<br />

konceptudvikling som et af sine styringsstyringsmidler i forhold til den kommunale<br />

service.<br />

Historien begyndte i midten af 1980’erne, hvor den økonomiske decentralisering slog an i<br />

kommunerne. Før den tid sagde politikere og topembedsmænd – når bare, vi centralt beslutter,<br />

hvad pengene skal bruges til, så skal det nok gå. På få år vendte sloganet til: når<br />

bare vi overlader detailbeslutningerne til de decentrale, som kender borgernes behov, så<br />

skal det nok gå. Den politiske, detaljerede økonomistyring afløstes af politisk målstyring.<br />

Men desværre: Hvor cigarkassestyring er lige så enkelt som at styre Tivolis små skinneveteranbiler<br />

er målstyring mere som at bakke en 40 tons lastvogn med hænger. Først blev<br />

der brugt vældige resurser på at lære selve kunsten at formulere mål. Der arbejdes stadig.<br />

Politisk ejerskab og motiverende virkning på fagfolkene var også værdige udfordringer.<br />

www.danskevalueringsselskab.dk


Side 26<br />

Hvis begge dele skulle opnås, krævedes dialog. Dialog er sværere end det lyder, og der<br />

arbejdes stadig. Næste skridt i udviklingshistorien var et stærkt fokus på implementering af<br />

mål. I de år blev det enkle ord, ledelse et af de mest populære i det kommunale vokabularium.<br />

Ledelse er det, man har brug for, når man gerne vil have andre til at gøre det rigtige,<br />

men godt véd, at det ikke er nok at sige lige ud, hvad man forventer. I dag er vi nået til sidste<br />

led i udviklingskæden. Der er særlig opmærksomhed på opfølgningen på målene, opgørelsen<br />

af resultaterne og læringen, der kan uddrages. Således kommer evalueringen<br />

susende ind på scenen og gør sig til genstand for betydelig opmærksomhed. Evalueringsbegrebet<br />

har bidraget med kvalitetssans og et ægte ønske om at gå fra fornemmelser til<br />

viden og at sætte spotlys på såvel faglig kvalitet som brugeroplevet kvalitet. I bund og<br />

grund en positiv historie.<br />

Beskrivelsen af målstyringens kulturhistorie peger på, at kommunerne er startet fra en ende<br />

af figur 1 og igennem de sidste 20 år har bevæget sig fra venstre mod højre.<br />

Figur 1: Fra mål til outcome<br />

Der er på mange måder, og for mange kommuner, langt til at man har det fulde overblik<br />

over outcomes af kommunale indsatser. Men ambitionerne er der, og der er igangsat<br />

mange aktiviteter som skaber bevægelsen. Men når nu man er kommet ud til højre; hvad<br />

så? Nej, den ender ikke der men tværtimod begynder der et tilbagespil. På vej mod højre<br />

skabes der viden om, hvad det er der kommer ud af aktiviteterne (resultater) og hvordan<br />

de er skabt (årsags-virkningssammenhænge). Denne viden skal bruges til at diskutere og<br />

revidere mål og indsatser, med andre ord lære af det man har gjort og opnået.<br />

Den store udfordring, der ligger ude i fremtiden for de danske kommuner, er altså at skabe<br />

læringsrum, hvor evalueringsviden, blandt meget andet, bliver diskuteret, skaber refleksion<br />

og bragt i anvendelse.<br />

Der er flere vigtige læringsfora, men her er det nok på sin plads at starte med at understrege,<br />

at kvalitet skabes i mødet mellem borgere, brugere og de kommunale medarbejdere.<br />

Det sker når i hjemmet hos den ældre der modtager pleje, i klasselokalet når læreren<br />

underviser, i Familiehuset hvor udsatte familier modtager vejledning og støtte. Disse situationer<br />

i høj grad specifikke og består af menneskelige relationer. Det der skal understøttes<br />

i disse situationer er refleksion og en dialog om sammenhængen mellem mål, ressourcer,<br />

www.danskevalueringsselskab.dk


Side 27<br />

indsatser og resultater. Denne præmis er grundlæggende i Majgaard (<strong>2008</strong>) men ligger<br />

også i den første af Hjortdal og Nielsens (<strong>2008</strong>) syv ledelsesdogmer.<br />

Majgaard (<strong>2008</strong>) identificerer tre læringsrum der fremgår af figur 2. En vigtig pointe med<br />

figuren er, at de tre læringsrum er delvist autonome og hver især konstituerer sin egen<br />

kontekst for at danne dialog, mening, og værdi. Det politiske mål, et byråd opstiller, og<br />

som bliver til i kommune-region-institutions-læringsrummet, bliver transformeret igennem<br />

samtaler og refleksion til et begreb, der er håndterbart i borger-medarbejderinstitutionsledelse-læringsrummet.<br />

Det er en afgørende forudsætning, at der i de enkelte<br />

læringsrum er en anerkendelse og respekt for de andre læringsrum. Politikere skal f.eks.<br />

anerkende, at der sker en transformation af politiske mål og målsætninger igennem pædagogiske<br />

processer i daginstitutionerne, og omvendt skal pædagoger respektere at de<br />

faglige resultater i daginstitutionerne skal transformeres, så der kan redegøres for, i hvilken<br />

udstrækning de politiske mål og ambitioner bliver nået. Endelig er det vigtigt, at de<br />

behov der er i stat-kommune-regions-lærinsrummet, bliver anerkendt og transformeret i<br />

borger-medarbejder-institutionsledelse-læringsrummet. Og omvendt: at der i statkommune-regions-lærinsrummet<br />

er respekt for de specifikke forhold, der gør sig gældende<br />

for læring og udvikling i medarbejder-institutionsledelse-læringsrummet.<br />

Figur 2: Tre læringsrum (fra Majgaard, <strong>2008</strong>)<br />

Borgere<br />

Kommune<br />

Stat<br />

Institutionsledelse<br />

Medarbejdere<br />

Region<br />

Pointen er, at evaluering er et af de helt centrale instrumenter, der kan kvalificere diskussionerne<br />

og udviklingen i læringsrummene og ikke mindst sikre en kvalificeret dialog mellem<br />

fagfolk, borgere, politikere og administratorer. Evalueringsmetoder skal skabe systematik<br />

og sikre at der indsamles og analyseres data, der bliver genstand for diskussion og<br />

refleksion. Evalueringernes helt centrale opgave er at producere reflektionsskabende<br />

www.danskevalueringsselskab.dk


Side 28<br />

værktøjer. Og de kan have mange udtryk, indikatorer, akkrediteringssystemer, BIKVAundersøgelser<br />

etc.<br />

Og ledelse? Ja, det består i denne sammenhæng i to ting. For det første skal lederne lede<br />

læreprocesserne og sikre rammene og betingelserne for, at de bliver gennemført. I de enkelte<br />

læringsrum er det afgørende, at der er en strategi for, hvordan evalueringer bliver<br />

gennemført og vigtigst: hvordan resultaterne bliver brugt og delt. For det andet består ledelsesopgaven<br />

i at bære viden og læring fra et læringsrum til et andet og dermed understøtte<br />

sammenhæng og ikke mindst viden om og forståelse for processerne i de øvrige<br />

læringsrum. Det helt afgørende for at skabe sammenhæng mellem det, der sker i det forskellige<br />

læringsrum.<br />

Man kan vist roligt konstatere, at en af de helt store udfordringer i den offentlige sektor i<br />

dag er at skabe sammenhæng mellem stat-kommune-regions-læringsrummet og borgermedarbejder-institutionsledelse-læringsrummet.<br />

Og der er faktisk eksempler på, at det kan<br />

lade sig gøre. Indførelsen af de pædagogiske læreplaner i dagtilbud er et eksempel på en<br />

statslig regulering, der har ansporet læring og udvikling i borger-medarbejderinstitutionsledelse-læringsrummet.<br />

Med de pædagogiske læreplaner bliver der stillet et<br />

redskab til rådighed, der skaber refleksioner over, hvordan man i den enkelte børnehave<br />

forstår, og arbejder med, læring. Loven betyder også, at politikerne kommer til at tage stilling<br />

til rammerne for denne refleksion. Læreplanerne er for nylig evalueret (Ministeriet for<br />

Familie- og Forbrugeranliggender, <strong>2008</strong>). Evalueringen viser, at over 90% af pædagogerne<br />

og dagplejerne vurderer, at loven har skabt en større faglig bevidsthed. Et af de vigtige<br />

bidrag er, at læreplanerne skaber et fælles sprog og sætter ord på en viden, der hidtil ikke<br />

har været formuleret. Ydermere har læreplanerne synliggjort, at dagtilbuddene ikke bare<br />

passer børn, men faktisk udfører et stykke kvalificeret pædagogisk arbejde, der støtter<br />

børns leg, læring og trivsel. Det har styrket den faglige stolthed.<br />

De omdiskuterede Kvalitetsrapporter i folkeskolen er endnu et eksempel på statslig styring,<br />

der fokuserer på at fremme refleksion. Og hvem ved - måske er det det næste eksempel<br />

på en lovgivning, der indfører strukturerede, systematiske processer, der fremme<br />

dialog og refleksion om pædagogiske processer og resultater til gavn for både politikere,<br />

administration, lærere og børn? Tilsvarende indførte Dagtilbudsloven fra 2007 et krav om,<br />

at alle 3-årige børn skal tilbydes en sprogvurdering. Kommunalbestyrelsen skal sikre, at<br />

alle 3-årige børn i kommunen tilbydes sprogvurderingen, men der er ikke krav om, hvilken<br />

metode kommunen skal benytte. Måske vil også sprogvurderingerne på sigt kunne fungere<br />

som et refleksionsskabende værktøj der kan etablere en konstruktiv dialog om arbejdet<br />

www.danskevalueringsselskab.dk


Side 29<br />

med børns sproglige udvikling og måske fungere som en god indikator, der kan buges til<br />

tværkommunale sammenligninger?<br />

Lad os dvæle lidt ved indikatorerne. Indikatorer er, i udgangspunktet, sammenlignelig, enkel<br />

og overskuelig evalueringsviden og kan derfor være velegnede til at etablere en forbindelse<br />

imellem læringsrummene. Indikatorer bliver dermed vigtige redskaber for ledelsen i<br />

både institutioner, forvaltninger og byråd. Der er amerikanske erfaringer, der peger på, at<br />

netop ved at betragte indikatorer som ledelsesredskaber får man størst mulig værdi ud af<br />

dem (se f.eks. Liner mfl., 2001). Og omvendt; hvis ledelsen forsømmer dette, er der stor<br />

sandsynlighed for, at der intet positivt kommer ud af indikatorerne. De amerikanske erfaringer<br />

peger bl.a. på at følgende er vigtigt, for at der kommer værdi ud af indikatorer:<br />

• Fælles og ligeværdig proces. Det at udarbejde indikatorer skal være en proces<br />

hvor fagpersoner, udviklingskonsulenter og ledelse indgår i et ligeværdigt og anerkendende<br />

samarbejde<br />

• Anvendelse og opfølgning. Indikatorer skal bringes i anvendelse. De skal kommunikeres,<br />

der skal fortælles historier om resultaterne, der skal nedsættes ERFAgrupper,<br />

der skal laves komparative analyser o.m.a. Den viden, der kommer fra indikatorerne,<br />

skal BRUGES aktivt i en dialog.<br />

• Belønninger. Der skal knyttes belønninger, men ikke straf, til indikatorernes resultater.<br />

Belønninger kan være meget andet end penge. Det kan være anerkendelse<br />

(kåring af ’Årets institution’), omtale af de bedste institutioner i aviser, større frihedsgrader<br />

i de bedste institutioner m.m.<br />

• Fokus på kerneforretningen. Når man laver indikatorer skal man starte så tæt på<br />

kerneforretningen som overhovedet muligt. Første version udvikles af fagpersoner,<br />

men de skal indgå i en efterfølgende proces hvor f.eks. udviklingskonsulenter og<br />

ledelse kvalificerer arbejdet.<br />

I Danmark kan man genfinde de samme pointer i f.eks. Hjortdal og Nielsens (<strong>2008</strong>) 7<br />

dogmer for styring og ledelse i den offentlige sektor.<br />

Efter min mening er der store perspektiver i den ledelsesudfordring jeg her har beskrevet.<br />

Lykkes det vil det være med til at fastholde og understøtte en hensigtsmæssig opgave- og<br />

ansvarsfordeling, hvor Byrådet diskuterer politik, principper og overordnede rammer og<br />

forvaltningen medvirker til at etablere hensigtsmæssige rammebetingelser. Men måske<br />

allervigtigst kan det være med til at støtte og styrke den faglige udvikling i de kommunale<br />

www.danskevalueringsselskab.dk


Side 30<br />

institutioner. Og lige præcis det sidste kan netop være det der er helt afgørende for at befordre<br />

arbejdsglæde samt fastholde og rekruttere medarbejdere.<br />

Litteraturliste<br />

• Dahler-Larsen, Peter (2006), Evalueringskultur, et begreb bliver til. Odense, Syddansk Universitetsforlag<br />

• Hansen, Hanne Foss (2005), ’Kvalitet i evalueringspraksis’, Nordisk Administrativt Tidsskrift, årg. 86 nr. 4<br />

• Hjortdal, Henrik og Claus Nielsen (<strong>2008</strong>), ’På vej mod en kvalitetsreform: hvad med styrings- og ledelsestænkningen?’,<br />

Økonomistyring og informatik, 23. årgang, nr. 4, pp. 373-406.<br />

• KREVI, Evalueringslandskabet, Sammenfatning af: ’Evaluering i danske kommuner – en kvantitativ kortlægning<br />

af kommunernes evalueringskapacitet i 2007’, KREVI, <strong>2008</strong>.<br />

• Liner, Blaine, Harry P. Haltry, Elisa Vinson, Ryan Allen, Pat Dusenbury, Scott Bryant og Ron Snell, (2001), Making<br />

Resultsbased State Government Work. The Urban Institute.<br />

• Majgaard, Klaus (<strong>2008</strong>), ’Livet efter NPM – Ledelse på kerneforretningens vilkår’, Økonomistyring og informatik,<br />

23. årgang, nr. 5, pp. 479-507.<br />

• Ministeriet for Familie- og Forbrugeranliggender (<strong>2008</strong>) Evaluering af loven om pædagogiske læreplaner, Slutevaluering.,<br />

marts <strong>2008</strong>.<br />

www.danskevalueringsselskab.dk


Side 31<br />

Konferenceoversigt<br />

Nedenfor er oplistet danske og internationale evalueringskonferencer.<br />

Send meget gerne et link, hvis du er blevet opmærksom på en konference<br />

Tidspunkt Tema Sted Organisation Link<br />

11-13. Evaluering som beslutningsgrundlag<br />

Danmark <strong>Dansk</strong> Evaluerings- www.danskevalueringsselska<br />

september<br />

– teorier,<br />

Selskab<br />

b.dk<br />

<strong>2008</strong> metoder og sektorer<br />

23-26. Zum Verhältnis von Klagenfurt, DeGEval - Gesellschaft<br />

http://www.degeval.de/<br />

September Steuerung und Evaluation<br />

Tyskland<br />

für Evalua-<br />

<strong>2008</strong><br />

tion<br />

1-3. okto-<br />

Building for the future:<br />

Lisabon,<br />

EES, European Eva-<br />

www.europeanevaluation.org<br />

ber <strong>2008</strong><br />

Evaluation in govern-<br />

Portugal<br />

luation Society<br />

ance, development and<br />

progress<br />

23-24 Ok-<br />

Changing Contexts for<br />

Bristol, UK<br />

UKES, , UK Evaluation<br />

http://www.profbriefings.co.uk/uk<br />

tober<br />

Evaluation and Professio-<br />

Society<br />

es<strong>2008</strong>/<br />

nal Action<br />

5-8. no-<br />

Evaluation <strong>2008</strong><br />

Denver,<br />

AEA<br />

www.eval.org<br />

vember<br />

Colorado<br />

<strong>2008</strong><br />

9-14. no-<br />

Evaluation 2009<br />

Orlando,<br />

AEA<br />

www.eval.org<br />

vember<br />

Florida<br />

2009<br />

8-13. no-<br />

Evaluation 2010<br />

San Anto-<br />

AEA<br />

www.eval.org<br />

vember<br />

nio, Texas<br />

2010<br />

29. okto-<br />

Evaluation 2011<br />

Anaheim,<br />

AEA<br />

www.eval.org<br />

ber-5.<br />

California<br />

november<br />

2011<br />

22-27.<br />

Evaluation 2012<br />

Minneapolis,<br />

AEA<br />

www.eval.org<br />

oktober<br />

Minnesota<br />

2012<br />

www.danskevalueringsselskab.dk


Side 32<br />

Om <strong>Dansk</strong> EvalueringsSelskab<br />

DES er åbent for alle med interesse for evaluering. Det kan eksempelvis være personer,<br />

som:<br />

1. Forsker og underviser i evaluering<br />

2. Er opdragsgiver til evalueringer<br />

3. Gennemfører interne evalueringer<br />

4. Gennemfører eksterne evalueringer<br />

5. Andre personer med interesse for evaluering, eksempelvis studerende.<br />

Formålet med DES er at være en platform for erfaringsudveksling og diskussion af evalueringsfaglige<br />

problemstillinger, herunder:<br />

1. Udviklingen inden for evalueringsteori- og metode<br />

2. Nyttiggørelse af evalueringsresultater<br />

3. Faglig udvikling<br />

4. Standarder for god evalueringspraksis.<br />

Deltagelse i selskabet rummer følgende fordele<br />

1. Adgang til at diskutere faglige problemstillinger med andre personer, som arbejder<br />

med området.<br />

2. Mulighed for at deltage i arbejdsgrupper.<br />

3. Deltagelse i evalueringskonferencer til en reduceret pris.<br />

4. Gratis adgang til gå-hjem-møder. Oplæggene kan komme fra såvel foreningens<br />

medlemmer som fra eksterne oplægsholdere.<br />

5. Gratis nyhedsbrev.<br />

Medlemskab<br />

Tegning af medlemskab sker ved at udfylde og indsende en tilmeldingsblanket, som kan<br />

findes på www.danskevalueringsselskab.dk. Medlemskabet gælder for resten af kalenderåret.<br />

Medlemskabet kan både tegnes personligt eller som firma/institution. Prisen er kr. 825 pr.<br />

år for et personligt medlemskab, kr. 4.125 pr. år for et firma/institutionsmedlemskab og kr.<br />

275 pr. år for studerende. Spørgsmål kan rettes til selskabets sekretariat, Marie Louise<br />

Møller, des@eva.dk.<br />

www.danskevalueringsselskab.dk


Side 33<br />

Bestyrelsen<br />

Peter Rhode (Formand)<br />

Bianca Albers (Næstformand)<br />

Center for Kvalitetsudvikling<br />

Servicestyrelsen, Socialministeriet<br />

Region Midtjylland<br />

Skibhusvej 52 B, 3. sal<br />

Regionshuset Århus, Olof Palmes Allé 15 5000 Odense C<br />

8200 Århus N Tlf.: 72 42 37 24<br />

Tlf.: 87 28 49 10<br />

E-mail: bal@servicestyrelsen.dk<br />

E-mail: peter.rhode@stab.rm.dk<br />

Solgerd Just Mikkelsen (Kasserer)<br />

Steffen Bohni Nielsen<br />

Danmarks Tekniske Universitet,<br />

Rambøll Management<br />

DTU – Økonomicenter<br />

Nørregade 7A<br />

Nils Koppels Allé, Bygn. 403<br />

1165 København K<br />

2800 Kgs. Lyngby Tlf: 33 97 81 03<br />

Tlf.: 45 25 19 60<br />

Email: sni@r-m.com<br />

Email: sjm@mek.dtu.dk<br />

Poul Skov Dahl<br />

Dorte Kabell<br />

NIRAS Konsulenterne<br />

Kabell Konsulting APS<br />

Buchwaldsgade 35, 3. sal Søllerød Park 2, 1-8<br />

5000 Odense SV 2840 Holte<br />

Tlf: 63 12 50 91 Tlf.: 45 56 67 37<br />

E-mail: psd@niraskon.dk<br />

E-mail: dk@kabell-konsulting.dk<br />

Tim Jeppesen<br />

Tanja Miller<br />

Det Kommunale og Regionale<br />

CEPRA (Videncenter for evaluering i<br />

Evalueringsinstitut (KREVI)<br />

praksis), CVU Nordjylland<br />

Olof Palmes Allé 13<br />

Sohngårdsholmsvej 51 A<br />

8200 Århus N 9000 Aalborg<br />

Tlf.: 72 26 99 71 Tlf.: 70 23 50 03<br />

Email: tj@krevi.dk<br />

E-mail: tm@cvu-nord.dk<br />

www.danskevalueringsselskab.dk


Side 34<br />

Ole Gregersen<br />

Tue Vinter-Jørgensen<br />

SFI, Det Nationale Forskningscenter for Velfærd Danmarks Evalueringsinstitut (EVA)<br />

Herluf Trolles Gade 11<br />

Østbanegade 55, 3. sal<br />

1052 København K 2100 København Ø<br />

Tlf.: 33 48 08 70 Tlf.: 35 25 46 59<br />

E-mail: og@sfi.dk<br />

E-mail: tvj@eva.dk<br />

Sekretariatet<br />

Elisabeth Friis Fredskilde<br />

<strong>Dansk</strong> EvalueringsSelskab<br />

Sundhedscentret, Frederiksberg Kommune Att.: Marie Louise Møller<br />

Peter Bangs Vej 1, opg. G<br />

c/o Danmarks Evalueringsinstitut<br />

2000 Frederiksberg Østbanegade 55, 3., 2100 KBH Ø<br />

Tlf.: 38 38 45 09 Tlf. 35 25 66 45<br />

E-mail: elfr01@frederiksberg.dk<br />

E-mail: des@eva.dk<br />

www.danskevalueringsselskab.dk

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!