EvalueringsNyt 20. udgave, august 2008 - Dansk Evalueringsselskab
EvalueringsNyt 20. udgave, august 2008 - Dansk Evalueringsselskab
EvalueringsNyt 20. udgave, august 2008 - Dansk Evalueringsselskab
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
Nr. 20<br />
August <strong>2008</strong><br />
Tema:<br />
Opvarmning til<br />
evalueringskonferencen <strong>2008</strong><br />
©
Side 1<br />
Leder – Optakt til konferencen<br />
Af Elisabeth Friis Fredskilde, cand.scient.pol., konsulent i Frederiksberg Kommunes Sundhedscenter, medlem af bestyrelsen<br />
i DES.<br />
Dette nummer af Evalueringsnyt varmer op til <strong>Dansk</strong> EvalueringsSelskabs årlige konference,<br />
der finder sted d. 11.-13. september på Koldingfjord Hotel. Temaet for konferencen er<br />
"Evaluering som beslutningsgrundlag - teorier, metoder og sektorer".<br />
3 oplægsholdere på konferencen har leveret artikler til dette nummer. To af artiklerne sætter<br />
fokus på metodemæssige udfordringer henholdsvis ved at diskutere brugerundersøgelser<br />
som indikator for kvalitet og i forbindelse med tilfredshedsundersøgelser i undervisningssektoren.<br />
Artiklen ”At indfange brugerkvalitet gennem brugerundersøgelser” diskuterer brugerundersøgelser<br />
som indikator for kvalitet og gennemgår forskellige typer brugerundersøgelsers<br />
fordele og faldgruber samt deres validitet. Forfatteren Bente Bjørnholt argumenterer for, at<br />
forskellige metoder med fordel kan kombineres.<br />
I artiklen ”Fra meningsløs til meningsfuld evaluering – om kvalitetsmåling i undervisningssektoren”,<br />
beskæftiger Christian Moldt sig med potentialerne ved at bruge tilfredshedsmålinger.<br />
Han ser også på hvad der kan ligge bag den evalueringsfrustration som opstår, og<br />
hvordan denne kan håndteres.<br />
I en tredje artikel ”Og hvad med ledelse?” giver Lisbeth Binderup et spændende bud på de<br />
udfordringer som ledelserne i kommunerne står over for. Set i lyset af KREVIs undersøgelse<br />
af evalueringskapaciteten i kommunerne antyder hun, at det er som om at de kommunale<br />
topledelser nok har taget evaluering til sig, men endnu mangler at blive helt skarpe<br />
på dels, hvordan evaluering bruges som ledelesesredskab og dels på hvordan evalueringsviden<br />
integreres med den store vidensproduktion, der i forvejen er i en kommune.<br />
Hun peger på evaluering som et af de helt centrale instrumenter, der kan kvalificere diskussionerne<br />
og udviklingen i læringsrummene og ikke mindst sikre en kvalificeret dialog<br />
mellem fagfolk, borgere, politikere og administratorer. Dette leder hende til at pege på 2<br />
vigtige ledelsesopgaver:<br />
1. At lede læringsprocesserne og sikre rammerne og betingelser for, at de bliver gennemført,<br />
og hvordan resultaterne bliver brugt og delt<br />
www.danskevalueringsselskab.dk
Side 2<br />
2. At bære viden og læring fra et læringsrum til et andet og dermed understøtte sammenhæng<br />
og ikke mindst viden om og forståelse for processerne i de øvrige læringsrum.<br />
Udover disse spændende indlæg bringer Evalueringsnyt mere information om <strong>Dansk</strong> EvalueringsSelskabs<br />
årlige konference:<br />
Der er stadig enkelte ledige pladser, og man kan fortsat nå at melde sig til.<br />
Afslutningsvist på konferencen vil DES’ årlige generalforsamling blive afholdt, og alle medlemmer<br />
er meget velkomne til at deltage. I forbindelse med generalforsamlingen vælges<br />
en ny bestyrelse for DES for året <strong>2008</strong>-2009. Se en præsentation af kandidater, der foreløbig<br />
ønsker at stille op i dette nummer af Evalueringsnyt.<br />
Rigtig god læselyst – og velmødt på Koldingfjord den 11. til 13. september!<br />
www.danskevalueringsselskab.dk
Side 3<br />
Redaktion<br />
Redaktør:<br />
• Jesper Pedersen, jp@discus.dk, telefon 70 20 22 29<br />
Baggrundsgruppe:<br />
• Bianca Albers, Servicestyrelsen, Socialministeriet<br />
• Poul Skov Dahl, NIRAS Konsulenterne<br />
• Tanja Miller, CEPRA (Videncenter for evaluering i praksis, Professionshøjskole<br />
University College Nordjylland)<br />
• Marie Louise Møller, DES sekretær<br />
Nyheder, debatindlæg og artikler sendes elektronisk til Jesper Pedersen<br />
Deadline<br />
Deadline til det næste nyhedsbrev er d. 1. oktober <strong>2008</strong>.<br />
www.danskevalueringsselskab.dk
Side 4<br />
Indholdsfortegnelse<br />
Leder – Optakt til konferencen.............................................................................................1<br />
Redaktion.............................................................................................................................3<br />
Deadline...........................................................................................................................3<br />
Nyt om DES’ årskonference <strong>2008</strong>........................................................................................5<br />
Stadig ledige pladser!.......................................................................................................5<br />
Bestyrelsesvalg <strong>2008</strong>/2009..................................................................................................6<br />
Valg til bestyrelsen ...........................................................................................................6<br />
Artikler..................................................................................................................................9<br />
At indfange brugerkvalitet gennem brugerundersøgelser.................................................9<br />
Fra meningsløs til meningsfuld evaluering – om kvalitetsmåling i undervisningssektoren<br />
.......................................................................................................................................16<br />
Og hvad med ledelse? ...................................................................................................25<br />
Konferenceoversigt............................................................................................................31<br />
Om <strong>Dansk</strong> EvalueringsSelskab .........................................................................................32<br />
Medlemskab...................................................................................................................32<br />
Bestyrelsen ....................................................................................................................33<br />
www.danskevalueringsselskab.dk
Side 5<br />
Nyt om DES’ årskonference <strong>2008</strong><br />
Som beskrevet i sidste nummer afholdes <strong>Dansk</strong> <strong>Evalueringsselskab</strong>s årskonference 11.-<br />
13. september <strong>2008</strong>. Temaet er ’Evaluering som beslutningsgrundlag – teorier, metoder<br />
og sektorer’. Download det spændende program her:<br />
http://www.danskevalueringsselskab.dk/pdf/Brochure_konference_<strong>2008</strong>.pdf<br />
Konferencen afholdes i de smukke omgivelser ved Koldingfjord hotel<br />
Stadig ledige pladser!<br />
Der er stadig enkelte ledige pladser. Skynd dig at melde dig til. Du kan finde tilmeldingsblanket<br />
her:<br />
http://www.danskevalueringsselskab.dk/word/Tilmeldingsblanket_til_evalueringskonferenc<br />
e_<strong>2008</strong>.doc<br />
www.danskevalueringsselskab.dk
Side 6<br />
Bestyrelsesvalg <strong>2008</strong>/2009<br />
Følgende bestyrelsesmedlemmer bliver siddende i bestyrelsen:<br />
• Peter Rhode, Center for Kvalitetsudvikling, Region Midtjylland<br />
• Ole Gregersen, SFI<br />
• Tue Vinter-Jørgensen, EVA<br />
• Elisabeth Friis Fredskilde, Frederiksberg Kommune<br />
• Tanja Miller, CEPRA, CVU Nordjylland<br />
• Tim Jeppesen, KREVI<br />
Følgende bestyrelsesmedlem er på valg til bestyrelsen og genopstiller:<br />
• Poul Skov Dahl, NIRAS Konsulenterne<br />
Følgende bestyrelsesmedlemmer træder ud af bestyrelsen:<br />
• Steffen Bohni Nielsen, Rambøll Management<br />
• Bianca Albers, Servicestyrelsen, Socialministeriet<br />
• Solgerd Just Mikkelsen, Økonomicenter, Danmarks Tekniske Universitet<br />
• Dorte Kabell, Kabell Konsulting<br />
Valg til bestyrelsen<br />
Der er valg til <strong>Dansk</strong> EvalueringsSelskabs bestyrelse på generalforsamlingen lørdag d. 13.<br />
september kl. 13.30-14.30 på Koldingfjord Hotel.<br />
Alle medlemmer af DES er velkomne til at stille op. Man kan anmelde sit kandidatur til bestyrelsesformand<br />
Peter Rhode eller DES sekretær Marie Louise Møller fra nu af frem til<br />
selve generalforsamlingen lørdag.<br />
Særligt studerende og forskere fra universiteterne opfordres til at stille op, da der foreløbigt<br />
ingen repræsentanter er herfra.<br />
Poul Skov Dahl, NIRAS Konsulenterne, er det eneste af de bestyrelsesmedlemmer, som<br />
er på valg, der har valgt at genopstille. Han skriver om sig selv:<br />
Min interesse for evaluering er både teoretisk og meget praktisk. Til<br />
dagligt gennemfører jeg som konsulent en række evalueringer for forskellige<br />
offentlige virksomheder (ministerier, styrelser, regioner og<br />
kommuner). Ved siden at den primære beskæftigelse, er jeg tilknyttet<br />
Syddansk Universitet som Ekstern Lektor. Gennem de sidste to års<br />
arbejde i DES' bestyrelse har jeg haft lejlighed til at følge med i, hvad<br />
der sker på evalueringsfronten i Danmark her og nu, ligesom det har<br />
www.danskevalueringsselskab.dk
Side 7<br />
været en spændende platfom i forhold til at møde mange evalueringsinteresserede<br />
teoretikere og praktikere. Det sidste ikke mindst gennem<br />
den årlige evalueringskonference og ved flere gå-hjem møder i løbet af<br />
året. Arbejdet er så spændende, at jeg gerne stiller op til to år mere<br />
Müzeyyen Boztoprak, specialkonsulent hos Arbejdstilsynets kontor for effekt og analyse,<br />
har meddelt at hun gerne vil stille op. Hun har skrevet følgende om sig selv.<br />
Som specialkonsulent for evaluering af Arbejdstilsynets aktiviteter<br />
har jeg sammen med 3 andre kollegaer ansvaret for udvikling,<br />
gennemførelse og formidling af effektevalueringer af<br />
Arbejdstilsynets aktiviteter.<br />
Jeg har siden marts 2006 arbejdet indenfor dette område og<br />
siden juni 2007 være specialkonsulent.<br />
Jeg arbejder pt. mest med opdatering af Arbejdstilsynets effektpolitik,<br />
der skal udmønte sig i en egentlig strategi for effektevalueringer<br />
i Arbejdstilsynet.<br />
Niels Eilschow Olesen, Cowi A/S har også meddelt at han gerne vil stille op. Niels har<br />
skrevet følgende om sig selv:<br />
Jeg har en uddannelsesmæssig baggrund som cand.scient.pol (Aarhus,<br />
1993) og MA (York, 1991). I de sidste ni år har jeg været ansat i<br />
COWI, hvor jeg beskæftiger mig med evaluerings og analyseprojekter -<br />
oftest i rollen som projektleder eller sparringspartner. Jeg er ansat som<br />
senior projektleder og er desuden gruppeleder for forvaltningsgruppen,<br />
som består af 11 evalueringskonsulenter. Før COWI var jeg ansat som<br />
projektleder i UNDP i 3 1/2 år (udstationeret Riga og New York) og før<br />
da som konsulent i PLS Consult. Med en international profil arbejder<br />
jeg både i Danmark (mest statslige organisationer) og udlandet (EU,<br />
Verdensbank, bilaterale donororganisationer). Samlet set har jeg været<br />
med til at gennemføre cirka 25 danske og/eller internationale evalueringsopgaver.<br />
I COWI er jeg sammen med en kollega tovholder på et<br />
internt nyhedsbrev om COWIs evalueringsarbejde. Formålet er at holde<br />
en bred skare af konsulenter og chefer orienterede om, hvad der<br />
foregår på evalueringsområdet samt dele erfaringer fra metodisk inte-<br />
www.danskevalueringsselskab.dk
Side 8<br />
ressante evalueringsprojekter. Jeg tror, at min konsulenterfaring og<br />
erfaring med tilrettelæggelse og gennemførelse af evalueringsopgaver i<br />
både Danmark og udlandet vil være relevant for DES bestyrelsesarbejde.<br />
Med udgangspunkt i strukturreform og globalisering forestiller jeg<br />
mig, at DES sandsynligvis fremover vil skulle arbejde tættere sammen<br />
med de nordiske evalueingsorganisationer og med den europæiske<br />
evalueringsorganisation. Den udvikling vil jeg gerne være med til at<br />
præge.<br />
www.danskevalueringsselskab.dk
Side 9<br />
Artikler<br />
Artikler sendes elektronisk til jp@discus.dk<br />
4<br />
Retningslinjer:<br />
Artikler skal være kortfattede, det vil sige max 5 sider (linjeafstand 1,3)<br />
Artikler skal omhandle evaluering<br />
Artikler må ikke være anstødelige og diskriminerende<br />
Artikler må ikke have et markedsføringssigte<br />
Om nødvendigt bedes bestyrelsen foretage en vurdering af disse forhold<br />
At indfange brugerkvalitet gennem brugerundersøgelser 1<br />
Af Bente Bjørnholdt, Adjunkt, ph.d., Institut for økonomi, politik og forvaltning, Aalborg universitet<br />
Brugerundersøgelser er mange ting og dækker en bred vifte af evalueringstyper og praksisser.<br />
Vi skal i det følgende se nærmere på nogle af disse og argumentere for, at forskellige<br />
metoder med fordel kan kombineres. Kvantitative undersøgelser kan bruges til at give<br />
et overblik over en ydelse og identificere indsatsområder – særligt ved sammenligninger<br />
over tid, eller mellem institutioner, mellem tilfredshedsaspekter eller mellem brugere. Vi<br />
kan til dels også få svar på, hvad vi skal ændre for at forbedre en ydelse. Men vi kan vanskeligt<br />
undgå dialog og kvalitative undersøgelses-former, hvis vi skal blive klogere og identificere<br />
konkrete forbedringstiltag. Vi skal starte med at diskutere brugerundersøgelser som<br />
indikator for kvalitet og herunder præcisere, at de kun måler én dimension af kvalitet. Videre<br />
diskuteres fire typer af undersøgelser og deres validitet, herunder følsomheden over for<br />
brugernes karakteristika, spørgsmålsformuleringer og undersøgelsernes formål. Afslutningsvis<br />
skitseres, fordele og faldgruber ved forskellige typer af brugerundersøgelser.<br />
Kan brugerundersøgelser måle kvalitet?<br />
Det første spørgsmål der rejser sig i en diskussion af brugerundersøgelser er ofte, hvorvidt<br />
sådanne undersøgelser overhovedet kan måle kvalitet. Svaret er, at det kan de godt, men<br />
som alle andre undersøgelsestyper kan de kun måle ét kvalitetsaspekt. Typisk skelner<br />
man i den offentlige sektor mellem organisatorisk kvalitet, faglig kvalitet og oplevet kvalitet<br />
(Regeringen, 2001; 2007). Organisatorisk kvalitet vedrører måden hvorpå en sektor er organiseret,<br />
mens faglig kvalitet angår professionelle kvalitetsvurderinger. Brugerundersø-<br />
1 Artiklen er i vidt omfang en sammenskrivning af to tidligere artikler (hhv. Bjørnholt <strong>2008</strong> og Bjørnholt, Goul Andersen<br />
& Lolle, <strong>2008</strong>)<br />
www.danskevalueringsselskab.dk
Side 10<br />
gelser refererer alene til brugernes oplevelser, hvilket ikke nødvendigvis stemmer overens<br />
med hverken faglig eller organisatorisk kvalitet. Og i nogle tilfælde er sådanne kvalitetsaspekter<br />
vigtigere end brugernes vurderinger. For eksempel kan en dygtig men fortravlet<br />
kirurg måske ikke nå at tale ordentligt med en patient efter en vellykket operation. Det vil<br />
sandsynligvis påvirke patientens vurdering af operationen negativt. Mangelfuld kommunikation<br />
er et reelt og vigtigt problem, men det er trods alt mindre vigtigt end, at patienten får<br />
den optimale faglige behandling. I nogle tilfælde er positive brugeroplevelser ikke engang<br />
et ubetinget succeskriterium. Når det eksempelvis gælder skattevæsenets behandling af<br />
selvangivelser eller læreres tildeling af eksamenskarakterer kan det lige frem være uhensigtsmæssigt,<br />
hvis offentligt ansatte alene sigter mod at gøre ’brugerne’ maksimalt tilfredse.<br />
Det kan underminere deres faglige dømmekraft. Dog ændrer det ikke ved, at brugerne<br />
skal behandles anstændigt.<br />
Brugerundersøgelser er en indikator på kvalitet, som kan bruges til at indrette en service<br />
mest muligt i overensstemmelse med brugernes ønsker. I langt de fleste tilfælde er brugernes<br />
vurdering yderst central, og det er til tider den eneste måde, hvorpå vi kan måle<br />
eller vurdere en ydelses ’træfsikkerhed’. Man skal da heller ikke undervurdere betydningen<br />
af ’bløde’ områder som kommunikation eller brugernes evne til at vurdere kvaliteten af en<br />
service. I mange tilfælde har brugerne en god ide om, hvad der er hensigtsmæssigt. Naturligvis<br />
skal man tage højde for, at brugernes vurderinger kan være påvirket af forhold<br />
uden direkte sammenhæng til en ydelse. For eksempel er brugernes forventninger til offentlig<br />
service i storbyer ofte højere, end det er tilfældet på landet. Det kan resultere i relativt<br />
mindre tilfredse brugere i storbyerne selv om den service, som de modtager, er objektivt<br />
bedre end i mindre byer (Birgersson, 1971). I dansk sammenhæng taler man om de<br />
’nøjsomme jyder’ (Mouritzen, 1985). Tilsvarende kan brugernes forventninger være påvirket<br />
af mediebilledet – om end det i mindre grad er tilfældet for brugerne end for borgerne.<br />
Hvis flere enheder er involveret i at levere en service, kan det også være vanskeligt at<br />
vurdere, hvad brugerne mere konkret tager stilling til. For eksempel er patienter på sygehusene<br />
ofte i kontakt med flere forskellige afdelinger – eksempelvis skadestue, røntgen,<br />
genoptræning - og det er ikke sikkert, at de formår at adskille de enkelte enheder. Man<br />
skal derfor være varsom med at tolke brugernes svar. Dog kan mange problemer undgås<br />
eller begrænses ved at stille de rigtige spørgsmål, vælge de ’rigtige’ metoder og ikke<br />
mindst være opmærksom på eventuelle problemer i tolkningen af data.<br />
Kvantitative brugerunderundersøgelser<br />
En typisk brugerundersøgelse er de efterhånden ”klassiske” tilfredshedsundersøgelser,<br />
hvor brugerne via en spørgeskemaundersøgelse bliver spurgt om deres tilfredshed med<br />
www.danskevalueringsselskab.dk
Side 11<br />
forskellige dele af en ydelse. Det er én af de mest udbredte typer af brugerundersøgelser,<br />
og senest stilles der med kvalitetsreformen krav om systematiske tilfredshedsundersøgelser.<br />
Sådanne undersøgelser har den fordel, at et stort antal brugere kommer til orde. For<br />
brugerne er det en forholdsvis let måde at give deres mening til kende, og tilfredshedsundersøgelser<br />
inviterer derfor til bred deltagelse. Samtidig giver de forbløffende stabile svar<br />
fra undersøgelse til undersøgelse, og de er gode til at indfange et stort antal brugers vurderinger<br />
af en ydelse – hvis undersøgelserne tilrettelægges hensigtsmæssigt.<br />
I tilrettelæggelsen af tilfredshedsundersøgelser er det værd at være opmærksom på, at<br />
brugernes svar er yderst følsomme overfor spørgsmålsformuleringerne. <strong>Dansk</strong>ere har en<br />
tendens til at være særligt tilfredse, og spørges der direkte til tilfredshed svarer de ofte<br />
positivt. Spørges der i stedet til, hvordan en service fungerer, er brugernes svar ofte knap<br />
så positive. Dertil kommer svarenes afhængighed af svarkategoriernes udformning. For<br />
eksempel betød tilføjelsen af kategorien ’ikke helt tilfreds’ i en undersøgelse af hjemmehjælpsmodtageres<br />
tilfredshed i tre kommuner, at andelen af utilfredse var en del højere<br />
end i Finansministeriets samtidige (og sammenlignelige) undersøgelse (Bjørnholt et al.,<br />
<strong>2008</strong>). Endelig er spørgsmålenes abstraktionsniveau afgørende. Spørges der til brugernes<br />
generelle tilfredshed med en ydelse er brugene ofte mere tilfredse, end de er i vurderingen<br />
af konkrete forhold. Spørgsmålsformuleringerne er med andre ord særdeles vigtige for<br />
brugernes svar, og de bør indrettes efter, hvad der er formålet. Er hensigten at bruge tilfredshedsundersøgelser<br />
til fremadrettet kvalitetsudvikling, er det vigtigt at udforme<br />
spørgsmålene, så de inviterer til utilfredshed for derved at identificere potentielle forbedringsmuligheder.<br />
Ellers risikerer man at måle en tilsyneladende høj tilfredshed, der ikke<br />
tjener mange andre formål end blot legitimering.<br />
Men brugerundersøgelser er mere end tilfredshedsundersøgelser. En række statistiske<br />
opgørelser (kvalitetsindikatorer) søger at indfange brugernes oplevelser af en service uden<br />
direkte at spørge dem. Målingernes indhold kan variere en hel del mellem kommuner, men<br />
Regeringen og KL har taget initiativ til en række sammenlignelige kvalitetsindikatorer på<br />
det kommunale område, hvor brugenes vurderinger kan indgå som én dimension. Mange<br />
målinger registrerer antallet af brugere, som benytter en given service. De vedrører blandt<br />
andet brugernes til- og fravalg af kommunale institutioner. For eksempel opgøres ældres<br />
valg af leverandører, og andelen af skoleelever, der flytter mellem private og kommunale<br />
skoler. Sådanne målinger giver god mening, når brugerne har mulighed for at vælge mellem<br />
forskellige udbydere, og de giver et indirekte billede af brugernes vurdering af de enkelte<br />
leverandører. Målingerne kan også være relevante på områder, hvor der ikke er frit<br />
valg i almindelig forstand. Det er især tilfældet for mange kulturinstitutioner, der producerer<br />
www.danskevalueringsselskab.dk
Side 12<br />
såkaldte ’almene’ goder, som alle borgere i princippet har adgang til, men som ikke alle<br />
benytter. Mange museer registrerer blandt andet antallet af besøgende som udtryk for<br />
brugerkvalitet. Her ses mange besøgende som kvalitet, selv om det at have adgang til kulturinstitutioner<br />
for borgerne kan være en værdi i sig selv. Her kan det derfor være relevant<br />
at spørge både borgere og brugere. Andre målinger relaterer til brugernes aktive henvendelse<br />
til kommunen. Det er blandt andet tilfældet, når antallet af brugerklager registreres<br />
som kvalitetsindikatorer, hvormed man kan få et indtryk af, hvorvidt brugerne føler sig godt<br />
behandlet. Opgøres klagesagerne derudover i forhold til, hvorvidt brugerne har fået medhold<br />
eller ikke, opnås ligeledes en faglig vurdering af klagens berettigelse. Værdien er at<br />
sikre brugernes rettigheder og garantere lige behandling af forskellige brugere.<br />
Fordelen ved sådanne brugerundersøgelser er, at de ofte giver politikere, embedsmænd<br />
og andre med en interesse for et område et hurtigt overblik over brugernes vurdering af en<br />
ydelse eller en organisation. De kan være gode indikatorer for, at noget er galt, hvorfor det<br />
bliver muligt at reagere hurtigt. Samtidig kan de bidrage til at synliggøre politiske prioriteringer<br />
for såvel borgere som offentligt ansatte, hvilket kan motivere organisationer og<br />
medarbejdere til at gøre deres bedste for at sikre en hensigtsmæssig behandling af brugerne.<br />
Det er imidlertid værd at være opmærksom på, at sådanne målinger ikke nødvendigvis<br />
udtrykker, hvad brugerne ser som kvalitet, og det er langt fra sikkert, at brugernes<br />
registrerede adfærd hænger sammen med deres oplevelse af organisationerne. En række<br />
forhold uden for organisationer kan for eksempel påvirke deres valg af leverandør.<br />
Dialogbaserede kvalitetsundersøgelser<br />
Dialogbaserede brugerundersøgelser kan være både et alternativ og et supplement til<br />
kvantitative undersøgelser. I dialog med ”det offentlige” får brugerne ofte mulighed for at<br />
definere kvalitet – uafhængig af faste kategorier - og værdier som responsivitet og brugerinddragelse<br />
er i højsædet.<br />
Interview er en undersøgelsesform, som især kommunerne initierer for at indfange brugernes<br />
oplevelse af en ydelse. Det kan være individuelle interview med enkeltbrugere, eller<br />
det kan være gruppeinterview, hvor en mindre gruppe af brugere diskuterer en ydelse.<br />
Særligt når hensigten er at skaffe en dybere forståelse af brugernes oplevelser, meninger<br />
og vurderinger anvendes sådanne undersøgelser. Hvorvidt der interviewes i grupper eller<br />
individuelt afhænger dels af brugenes karakteristika dels af den viden som efterspørges.<br />
Og det er karakteristisk at interview tilrettelægges meget forskelligt alt efter deres formål.<br />
Der kan være tale om mere eller mindre strukturerede interview, der i varierende grad åbner<br />
for, at brugerne i processen definerer evalueringskriterier mm. Dertil kommer, at inter-<br />
www.danskevalueringsselskab.dk
Side 13<br />
view både kan indgå som selvstændig metode og supplere andre undersøgelsestyper. For<br />
eksempel kan de uddybe, hvorfor brugere fravælger en leverandør eller er utilfredse med<br />
en ydelse. Desuden kan interviewformen være hensigtsmæssig i forhold til ressourcesvage<br />
brugere, hvis holdninger er svære at indfange via andre undersøgelsestyper. Det gælder<br />
for eksempel socialt udsatte grupper eller brugere med svær demens eller psykiske<br />
sygdomme. I sådanne tilfælde kan modeller som BIKVA og KUBI være relevante. Her inddrages<br />
brugerne i fokusinterview med henblik på at tilkendegive og begrunde, hvorfor de<br />
er enten tilfredse eller utilfredse med en ydelse. Deres svar kan efterfølgende danne baggrund<br />
for gruppeinterview med henholdsvis medarbejdere, forvaltningsledere og politikere,<br />
og er der tale om meget svage brugere kan de suppleres med brugerobservationer (Socialministeriet<br />
og Finansministeriet, 2002).<br />
Anlægges et bredt perspektiv på brugerundersøgelser kan vi inkludere brugermøder som<br />
metode til at indfange brugerkvalitet, da de inddrager brugerne i evaluering af offentlig service.<br />
Det gælder blandt andet borgermøder, dialogmøder og brugerhøringer, hvor en<br />
gruppe brugere eller borgere inviteres til dialog med politikere og/eller embedsmænd. Forskellen<br />
mellem de tre dialogformer er, dels hvem deltagerne repræsenterer dels afgrænsningen<br />
af de emner, som diskuteres. Mens dialogmøder inkluderer en lille og afgrænset<br />
brugerkreds, er borgermøder åbne for alle borgere og foregår indenfor ydelser, der har en<br />
mere almen værdi. Folkehøringer adskiller sig ved, at deltagerne er særligt inviterede borgere,<br />
der er udpeget med henblik på at sikre repræsentativitet. Brugermøder anvendes<br />
ofte, når politikere ønsker en åben dialog med brugerne, hvilket kan skabe god grobund<br />
for nye ideer og indgangsvikler. Dertil kommer, at diskussionerne kan bidrage til fælles<br />
løsninger eller en forståelse for politiske prioriteringer og andre borgere eller brugeres behov.<br />
Problemerne knytter sig primært til spørgsmålet om repræsentativitet, og sådanne<br />
møder domineres traditionelt af mere ressourcestærke borgere og brugere – af Tordenskjolds<br />
soldater.<br />
Fordele og faldgruber<br />
Alt for ofte ender metodediskussioner i en skyttegravskrig med henblik på at udråbe den<br />
’bedste’ metode. Det er ikke intentionen her. Tværtimod skal vi blot skitsere nogle af de<br />
mulige potentialer og faldgruber, der ligger i forskellige typer af brugerundersøgelser. Det<br />
sker med fare for at ende i en karikeret diskussion, da fordele og faldgruber vil afhænge af<br />
metodernes konkrete udformning, den konkrete kontekst og ikke mindst af, hvad undersøgelserne<br />
skal bruges til.<br />
www.danskevalueringsselskab.dk
Side 14<br />
Netop undersøgelsernes formål er yderst central - for forskellige undersøgelser er velegnede<br />
til forskellige formål 2 . Teoretisk sondres der mellem kontrol- og læringsformål, hvor<br />
kontrol har et bagudrettet sigte, mens læring er fremadrettet. Kontrol får ofte en negativ<br />
klang, men kontrol er særlig vigtig i offentlige organisationer, der i høj grad må stå til ansvar<br />
overfor og sikre en åbenhed ifht. deres omgivelser. Det forudsætter en vis offentlighed<br />
omkring aktiviteter, prioriteringer mm. Her kan kvantitative brugerundersøgelser være<br />
hensigtsmæssige, da de netop kan give politikere, brugere mm. et hurtigt overblik over en<br />
ydelse og indsatsområder – særligt som relative mål. Som absolutte mål, der viser, at så<br />
og så mange er utilfredse eller har valgt en given leverandør, er kvantitative brugerundersøgelser<br />
ikke meget værd. Det er vanskeligt at tolke, hvorvidt tallene er gode eller dårlige.<br />
Men når man bruger dem som relative mål til sammenligninger over tid eller mellem tilfredshedsaspekter,<br />
mellem institutioner, eller mellem brugere, får man normalt gode indikatorer<br />
på, hvor der kan ske kvalitetsforbedringer. Nogle sammenligninger vil give et usikkert<br />
men dog vejledende indtryk, mens andre giver et mere præcist billede, der umiddelbart<br />
kan bruges til at sætte fokus på bestemte indsatsområder. Det forudsætter naturligvis,<br />
at forholdene er sammenlignelige, eller at der tages højde herfor i tolkning af data.<br />
For at identificere konkrete forbedringstiltag kan kvantitative brugerundersøgelser med<br />
fordel suppleres af kvalitative undersøgelsesmetoder. Ofte søger dialogorienterede undersøgelsesformer<br />
en dybere forståelse af brugernes oplevelser. Deres potentiale ligger da<br />
også i muligheden for at søge detaljeret viden om et område eller en ydelse - afhængig af<br />
deres nærmere tilrettelæggelse. Detaljeret information er særlig central, når der findes begrænset<br />
viden om, hvad der virker, for hvem og hvornår? Dialogorienterede metoder åbner<br />
for at identificere aspekter og løsninger, som man måske ikke oprindeligt havde tænkt<br />
på - et potentiale for ”dobbelt sløjfede læring”. Det skyldes bla., at brugerne selv får mulighed<br />
for at definere kvalitetsindikatorer i undersøgelsesprocesser og derved kan medbringe<br />
nye perspektiver.<br />
Uanset formål er intentionen at få valid information om brugernes oplevelse af en ydelse.<br />
Kvantitative og kvalitative brugerundersøgelser lider af forskellige validitetsproblemer. I<br />
kvantitative brugerundersøgelser handler validitet i vidt omfang om, hvorvidt spørgsmål og<br />
kvalitetsindikatorer virkelig indfanger det, der er intentionen – er det gode mål for de værdier<br />
og prioriteringer, man ønsker at undersøge? Her kan en løsning være at supplere<br />
med kvalitative undersøgelser og inddrage brugerne i fastsættelsen af evalueringskriterier<br />
og spørgsmål. I kvalitative undersøgelser vedrører validitetsproblemerne i højere grad,<br />
2 Initiativtagere til brugerundersøgelser er imidlertid langt fra altid bevidste om undersøgelsernes formål.<br />
www.danskevalueringsselskab.dk
Side 15<br />
hvorvidt holdninger og vurderinger hos de brugere, der deltager i undersøgelserne er repræsentative<br />
for gruppen af brugere. Repræsenterer brugernes svar i brugerundersøgelser<br />
generelle problematikker eller afspejler de alene holdninger hos de brugere, der har<br />
ressourcer til at deltage? Her kan der gøres en indsats for at motivere flere til at deltage,<br />
og kvantitative undersøgelser kan være et udmærket supplement. Ved at supplere metoder<br />
dækkes man med andre ord godt ind i forhold til at belyse brugerperspektivet.<br />
Det afgørende er, at forskellige typer af brugerundersøgelser har forskellige forcer og<br />
svagheder. De kvantitative undersøgelser er fremragende til at give et overblik og identificere<br />
mulige indsatser som følge af forskelle over tid, mellem tilfredshedsaspekter, mellem<br />
institutioner eller mellem brugergrupper. Undersøgelserne kan ogaå give et fingerpeg om,<br />
hvad brugerne er utilfreds med, og hvad der skal laves om. Men skal man have et værdifuldt<br />
input med henblik på at identificere konkrete forbedringstiltag og få detaljeret viden<br />
om et område, er det svært at komme uden om dialog.<br />
Litteraturliste<br />
• Birgersson, Bent Owe (1971). Kommunen som serviceproducent. Kommunal service och serviceattityder i 36<br />
svanska kommuner. Stockholm Universitet, Statsvetenskapliga Institutionen.<br />
• Bjørnholt, Bente (<strong>2008</strong>). ”Kvalitet og kvalitetsundersøgelser – hvad er det?” pp. 21-48 i Bjørnholt, Goul Andersen<br />
& Lolle (red) Bag kulissen i konstruktionen af kvalitet, Odense: Odense Universitetsforlag<br />
• Bjørnholt, Bente; Goul Andrsen, Jørgen & Lolle, Henrik (<strong>2008</strong>). ”Brugertilfredshed som kvalitetsmål?” pp. 49-61 i<br />
Bjørnholt, Goul Andersen & Lolle (red) Bag kulissen i konstruktionen af kvalitet, Odense: Odense Universitetsforlag<br />
• Mouritzen, Poul Erik (1985). “De nøjsomme jyder og de krævende københavnere. En undersøgelse af befolkningens<br />
præferencer for og tilfredshed med kommunal service”. Økonomi & Politik, 59. årgang, 1985.<br />
• Regeringen (2007). Bedre velfærd og større arbejdsglæde. – Regeringens strategi for høj kvalitet i den offentlige<br />
service, <strong>august</strong> 2007<br />
• Regeringen (2001). Initiativer til bedre kvalitet. Kvalitet i fokus, Nordsjælland: Nordsjællands Trykcenter APS.<br />
• Socialministeriet & Finansministeriet (2002). Webhåndbog om brugerinddragelse, Publikationen er udarbejdet<br />
af: Socialt Udviklingscenter SUS i samarbejde med Finansministeriet og Socialministeriet.<br />
www.modrniseringsprogam.dk<br />
www.danskevalueringsselskab.dk
Side 16<br />
Fra meningsløs til meningsfuld evaluering – om kvalitetsmåling i undervisningssektoren<br />
Af Christian Moldt, ph.d., specialkonsulent på Danmarks Evalueringsinstitut<br />
Da mange institutioner anvender tilfredshedsmålinger bliver det også interessant at beskæftige<br />
sig med oplevelsen af brugen af målingerne. På den baggrund gennemførte jeg i<br />
2003-2007 et ph.d. studie, som ud fra et organisationspsykologisk perspektiv så på lederes<br />
og underviseres oplevelse af studentertilfredshedsmålinger på en række korte og mellemlange<br />
videregående uddannelser.<br />
Som det fremgår i det følgende viste min forskning, hvordan brugen af tilfredshedsmålinger<br />
i nogle situationer og organisationer kan opleves meningsfuldt for opgaveløsningen,<br />
mens man i andre situationer oplever det modsatte. Jeg fik en række eksempler på den<br />
sidstnævnte situation, hvor brugen af målingerne ser ud til at lede til frustration og opleves<br />
som meningsløs og direkte skadelig for medlemmerne i organisationen. På den baggrund<br />
beskæftiger afhandlingen sig med potentialerne eller fordelene ved at bruge tilfredshedsmålingerne,<br />
hvad der ligger bag den evalueringsfrustration som opstår, og hvordan denne<br />
kan håndteres.<br />
Nedenfor fokuseres alene på de empiriske resultater, som bl.a. baserer sig på en række<br />
dybdeinterviews med undervisere og ledere, mens teoriovervejelser er udeladt. Afhandlingen<br />
og denne artikel i en længere form kan downloades på des-hjemmeside (se under<br />
afholdte gå-hjem møder, møde den 6/9 2007).<br />
A. Potentialerne - de fire evalueringsopgaver<br />
Første fase i forskningsprojektet var at identificere potentialerne ved brugen af tilfredshedsmålingerne,<br />
bl.a. ud fra de fordele underviserne og lederne redegjorde for. Disse potentialer<br />
er i figur 1 beskrevet som de fire evalueringsopgaver.<br />
www.danskevalueringsselskab.dk
Side 17<br />
4. Ekstern/intern dokumentation (benchmarking)<br />
3. Ledelsesudøvelse<br />
1) Samme formål som ledelsesudøvelse og/eller 2) opfyldelse<br />
af eksterne evalueringskrav.<br />
Evaluering som en proces, der kan<br />
anvendes til at 1) give lederen mulighed<br />
for at udføre sine formelle ledelsesopgaver,<br />
herunder ansætte og<br />
afskedige medarbejdere, 2) skabe<br />
dialog om rammer og mål og/eller 3)<br />
støtte underviserne (containing).<br />
Ledelse<br />
Mellemleder A Mellemleder B Mellemleder C<br />
Undervisere<br />
Studerende<br />
2. Teamwork<br />
1. Udvikling i klassen<br />
Evaluering som en proces, der kan anvendes til<br />
at 1) skabe dialog og forståelse for de studerendes<br />
ansvar for egen læring, 2) styrke læringsmiljøet<br />
i klassen og/eller 3) udskyde aggression<br />
fra de studerende, indtil denne kan<br />
udtrykkes i evalueringen.<br />
Evaluering som en proces, der kan anvendes<br />
til at 1) styrke koordinering og udvikling af<br />
faglige forløb og/eller 2) underviseres behov<br />
for kollegial støtte (containing).<br />
Figur 1: Potentialerne at anvende tilfredshedsmålinger: De fire evalueringsopgaver<br />
Bemærk, at opgave 1-3 vedrører fag-evalueringer, som oftest kan henføres til den enkelte undervisers indsats,<br />
mens opgave 4 refererer til evalueringer af længere undervisningsprogrammer og forløb, hvor et evalueringsresultat<br />
normalt dækker flere fag og undervisere. Kilde: Egen tilvirkning.<br />
www.danskevalueringsselskab.dk
Side 18<br />
Det interessante i denne sammenhæng, er at brug af tilfredshedsmålinger som kvalitetsindikatorer<br />
kan anvendes i fire forskellige sammenhænge. For det første kan de anvendes til<br />
at drøfte og aktivt inddrage de studerende i en dialog om deres læringsprocesser og undervisningens<br />
forløb (opgave 1). Derudover kan undervisere drøfte resultater med deres<br />
kollegaer og derved støtte hinanden og øge koordination og sammenhæng mellem fagene<br />
(opgave 2). Dertil kommer, at undervisningskoordinatorer og ledere kan bruge tilbagemeldinger<br />
fra evalueringer til at udøve deres ledelsesfunktion (opgave 3), hvilket f.eks. kan<br />
omfatte, at der skrides ind over for undervisere, der opnår lave evalueringsresultater. Der<br />
er ingen tvivl om, at denne måde at anvende evaluering på kan være nyttig og nødvendig.<br />
Mange koordinatorer har f.eks. fortalt, hvordan de betragter tilfredshedsundersøgelser<br />
som nødvendige redskaber, for at de kan følge med i og koordinere undervisningen. Endelig<br />
kan de samme typer undersøgelser også anvendes på mere aggregeret niveau, hvor<br />
der spørges til tilfredsheden med længere undervisningsprogrammer eller forløb, som indbefatter<br />
flere undervisere (opgave 4), hvilket kan anvendes til intern eller ekstern benchmarking.<br />
Interviewene viste også, at det var vekslende fra institution til institution, hvilke af disse opgaver<br />
evaluering blev anvendt i forhold til og sat i forbindelse med. De fire evalueringsopgaver<br />
indikerer herved, at det kan være vigtigt at være bevidst om, hvilke konkrete anvendelser<br />
evalueringssystemet er knyttet til, idet man må forvente, at det kan blive meget<br />
vanskeligt at handle ensartet og konsistent på basis af resultaterne, hvis der er vidt forskellige<br />
opfattelser af formålet med anvendelsen af målingerne. Som det fremgår i det følgende,<br />
viser de empiriske iagttagelser, at dette kan være et problem.<br />
B. Symptomer på dysfunktionel evalueringsanvendelse<br />
Selvom det er iagttaget, at flere skoler tydeligvis bruger studentertilfredshedsmålinger og<br />
oplever fordele herved i forhold til en eller flere af ovennævnte evalueringsopgaver, har jeg<br />
iagttaget flere tilfælde af dysfunktionel evalueringsbrug, som kan forbindes med hvad man<br />
i organisationspsykologien vil betegne som regressive processer. I det følgende beskrives<br />
symptomerne herpå, som i afhandlingen er behandlet mere uddybende.<br />
Tydelige tegn på, hvor dysfunktionelt evaluering kan opleves, fik jeg, da jeg på to møder<br />
gav 99 undervisere og ledere mulighed for at nedskrive deres evalueringsassociationer.<br />
Da jeg derefter opdelte disse i negative, neutrale og positive associationer, viste det sig, at<br />
der var 3,7 gange så mange negative kommentarer som positive. De sparsomme positive<br />
kommentarer vedrørte bl.a., at oplysningerne er væsentlige, og at der er tale om en positiv<br />
proces. De negative og dominerende stikord omfattede f.eks., at resultaterne ikke er til at<br />
www.danskevalueringsselskab.dk
Side 19<br />
regne med, virker negativt i konteksten, at processen er krævende, og at resultaterne ikke<br />
indeholder noget nyt.<br />
Disse resultater kan tolkes på følgende måde: Mens man officielt taler positivt om evaluering,<br />
f.eks. til en evalueringsforsker, så er den umiddelbare følelsesmæssige reaktion,<br />
som det fremgår af de hurtigt nedskrevne anonyme stikord, langt overvejende, at evaluering<br />
opleves som en meningsløs og negativ frem for en meningsfuld og positiv aktivitet.<br />
Når studentertilfredshedsmålinger reelt ikke opleves som lærende og meningsfulde, men<br />
snarere dæmoniseres, så må det derfor også udtrykke, at der umiddelbart er vanskeligheder<br />
forbundet med at anvende resultaterne som skitseret i forhold til de fire evalueringsopgaver.<br />
I det følgende bruges primært resultater fra de gennemførte interviews til at gå dybere ned<br />
i disse vanskeligheder, som en nærmere analyse af interviewene peger på. Da der er tale<br />
om et kvalitativt studie, kan der ifølge sagens natur ikke siges noget om, hvor ofte de beskrevne<br />
problemer forekommer. Den stærke evalueringsskepsis, som jeg har mødt under<br />
forskningsprocessen, den kritiske debat i pressen, evalueringsassociationerne fra de 99<br />
undervisere og mine øvrige erfaringer under forskningsprocessen, peger imidlertid i retning<br />
af, at evalueringsproblemerne er meget dominerende.<br />
1. Undvigelse af konfrontation med klassen (opgave 1)<br />
Selvom flere undervisere fremhævede i interviewene, at de ofte på egen hånd gennemfører<br />
evalueringer og drøfter resultaterne med klassen, fremgik det også, at underviserne i<br />
en hel del tilfælde ikke evaluerer deres indsats systematisk med klassen. På flere institutioner<br />
har jeg fået fortalt, at det er helt op til de enkelte undervisere, om de vil evaluere<br />
deres undervisning. Andre refererer til, at de har en aftale om, at underviserne skal evaluere<br />
og drøfte resultaterne med deres klasser, selvom der ikke finder nogen opfølgning sted,<br />
som skal sikre, om dette også rent faktisk er tilfældet.<br />
Man kan naturligvis argumentere for, at skriftlig evaluering ikke altid nødvendigvis er hensigtsmæssigt,<br />
og at der findes mange forskellige måder at få feedback på fra klassen, som<br />
kan overflødiggøre brug af studenterevaluering som et udviklingsinstrument i klassen. Det<br />
er imidlertid et problem, hvis der ikke evalueres, fordi årsagen er, at underviserne reagerer<br />
defensivt i et forsøg på at undgå konfrontation eller dialog med klassen af frygt for, at egne<br />
svagheder eksponeres. Flere ledere har udtrykt i interviewene, at underviserne ofte viger<br />
uden om at evaluere, fordi dette opleves som vanskeligt eller besværligt.<br />
www.danskevalueringsselskab.dk
Side 20<br />
2. Lukkethed overfor kollegaerne (opgave 2)<br />
Flere undervisere fortalte om dialoger med kollegaer om undervisningen som forbundet<br />
med positive faglige værdier. Men da jeg spurgte dybere til dialoger om undervisernes<br />
personlige evalueringsresultater, gik det op for mig, at underviserne ofte holder sig for sig<br />
selv og ikke er åbne over for deres kollegaer.<br />
En underviser brugte begrebet ”indendørsmester” til at forklare, hvordan han var en mester<br />
inden for klasseværelsets fire vægge, men til gengæld ikke oplevede et åbent miljø<br />
mellem kollegaerne på sin institution. En anden underviser fortalte, hvordan han undgik at<br />
diskutere problemer og succesér med kollegaerne, fordi det var vigtigt hverken at adskille<br />
sig som ”bedre” eller ”dårligere” end kollegaerne. Jeg fik også fortalt, hvordan to undervisere<br />
var kommet ”for tæt på hinanden”, da de drøftede årsagerne til, at de i et delt fag i en<br />
klasse havde fået vidt forskellige tilfredshedsvurderinger fra de studerende, hvorefter den<br />
underviser, som fik den lavere vurdering, tog resultaterne ”så nært”, at de to undervisere<br />
ikke længere kunne arbejde sammen. Det er derfor forståeligt, at underviserne er påpasselige<br />
med at diskutere åbent med hinanden, hvilke evalueringer de har opnået, og derved<br />
bliver denne lukkethed en barriere for at støtte hinanden og udvikle undervisningen. Kun i<br />
et enkelt interview fortalte en underviser engageret om, hvordan de i hendes undervisningsteam<br />
var åbne om deres evalueringer, og hvordan dette havde haft meget positive<br />
effekter for kvaliteten af undervisningen herunder i et tilfælde med en ny kollega, som havde<br />
brug for støtte.<br />
3. Tabuisering af ledelsesudøvelse (opgave 3)<br />
Særligt vanskeligt og tabuiseret forekommer anvendelsen af studentertilfredshedsmålingerne,<br />
når resultaterne bruges til at udøve direkte ledelse. Jeg er flere gange stødt på<br />
undervisere, der udtrykker modstand mod det, de betragter som brug af evaluering som en<br />
form for illegitim ledelseskontrol. Jeg har også fået talrige eksempler på, hvordan undervisere<br />
ofte vil undgå at blive evalueret og melde tilbage til deres ledere, hvis de pludselig<br />
står over for væsentlige problemer i klassen. Disse kan f.eks. skyldes et særligt vanskeligt<br />
hold eller underviserens egne personlige problemer f.eks. med skilsmisse, alkohol og lignende.<br />
Men disse eksempler viser også, at tilfredshedsmålingerne er vigtige, fordi de bringer<br />
problemstillinger frem i lyset for ledelserne, som alternativt kan få lov til at udvikle sig<br />
meget længe til skade for de studerende, underviseren og institutionen som helhed. Problemet<br />
er, at de problemstillinger, som evalueringerne kan pege på, kan være vanskelige<br />
og tabuiserende både i forhold til ledelserne, som skal tage autoritet og måske tage upopulære<br />
beslutninger, men også for underviserne, som er meget sårbare i denne situation.<br />
www.danskevalueringsselskab.dk
Side 21<br />
Den derved opståede angst aktiverer en række defensive manøvrer og psykiske forsvarsmekanismer.<br />
Jeg har særligt iagttaget følgende:<br />
a. Der tales om læring på en måde, som viser, at autoritet tabuiseres. Et eksempel herpå<br />
er udsagnet: ”Hos os er evaluering læring og ikke kontrol”, som jeg hørte udtrykt af en leder,<br />
da han søgte opbakning til skolens evalueringssystem på et møde med sine undervisere.<br />
På overfladen udtrykkes, at man skal lære og ikke kontrollere hinanden, hvilket<br />
umiddelbart kan forekomme tiltalende. Det er derfor en diskurs, som jeg tolker som et mikro-politisk<br />
forsøg på at få opbakning blandt et stærkt decentralt lærerkollegium, som stiller<br />
sig kritisk over for evaluering. Spørgsmålet er imidlertid, om det ikke også derved fornægtes,<br />
at ledelsen både har en ret, men også en pligt til at gribe ind over for uhensigtsmæssige<br />
forhold, hvis de kommer frem i en evaluering? Derved kan man risikere, at konsekvensen<br />
bliver, at det i sidste ende bliver mere illegitimt at bruge evalueringer til at udøve<br />
ledelse og rette op på vanskeligheder i undervisningen.<br />
b. Værdsættelse af en blid ledelsesstil viser, at der ikke er nogen til at tage ansvar for evalueringsprocessen.<br />
Den grundlæggende problemstilling svarer til punkt a. og kan illustreres<br />
ved følgende udsagn fra en koordinator, som siger, at hun har fået at vide af sin<br />
ledelse, at hun i evalueringssammenhæng er ”social samler” og ”socialt knudepunkt”, så at<br />
hendes team ”har det hyggeligt og godt, ikke!”. Koordinatoren har her i sin egen selvforståelse<br />
reduceret sig selv til at være ”hyggetante” frem for ansvarlig leder, hvilket også<br />
implicerer, at hun ikke oplever at have fået delegeret autoritet til at udøve ledelse. Det var<br />
heller ikke mit indtryk, at hun ønskede et sådant ansvar, idet dette da ville implicere, at hun<br />
skulle påtage sig en mere vanskelig ledelsesrolle frem for blot at være kollega. Problemet<br />
bliver da, hvis der i det daglige ikke er nogen til at udøve ledelse bortset fra en ”topledelse”,<br />
som er langt væk.<br />
c. Undertrykt dialog om evalueringsresultater viser autoritær ledelse. I flere tilfælde har jeg<br />
fået fortalt, hvordan underviserne oplever, at resultater af studentertilfredshedsmålinger<br />
alene sendes til ledelsen, men at der ikke finder dialog sted om baggrunden for de opnåede<br />
resultater. Dette bekræftes, når man får fortalt, hvordan ledelserne ofte modtager evalueringsresultater,<br />
uden at underviserne høres. En underviser udtrykte det problematiske<br />
heri ved at fortælle, hvordan han havde oplevet, at en kompetent kollega på et tidspunkt<br />
havde fået en dårlig evaluering, som ledelsen ikke havde sat sig ind i baggrunden for. Alligevel<br />
havde ledelsen ”dømt” den pågældende som inkompetent, indtil vedkommende senere<br />
fratrådte sin stilling. Selvom man altid kan stille spørgsmålstegn ved historien, som<br />
den er fortalt, udtrykker den en oplevelse hos en underviser, som viser frygten for at blive<br />
www.danskevalueringsselskab.dk
Side 22<br />
uretfærdigt vurderet på basis af en evaluering uden mulighed for at få dialog og sparring<br />
med ledelsen om årsagen og pålideligheden af resultaterne, og hvor han selv står. En sådan<br />
anvendelsesform er særlig uheldig, når man betænker, som jeg flere gange har<br />
nævnt, at et evalueringsresultat aldrig kan blive en objektiv måling alene af underviserens<br />
indsats. På den anden side kan ledere, som er underlagt tidspres og/eller er konfliktsky,<br />
opleve deres ledelsesopgave som mere enkel ved at tage evalueringsresultater som en<br />
entydig og enkel vurdering af undervisernes værdi uden nærmere refleksion. Der er tale<br />
om en falsk enkelhed, som ikke tager hensyn til kompleksiteten i underviserens opgaveløsning<br />
og til vedkommendes legitime behov for at blive hørt, når han eller hendes undervisning<br />
vurderes.<br />
d. Ritualistiske og glemte evalueringer viser manglende fokus på evalueringsopgaven.<br />
Flere undervisere fortalte, at de opfattede de omfattende evalueringsaktiviteter som unødvendige,<br />
bureaukratiske og uden mål og mening. På en skole, hvor jeg særligt oplevede<br />
dette, havde de interviewede meget svært ved at redegøre for baggrund og formål med<br />
skolens evalueringssystemer, og som en underviser udtrykte det, blev der evalueret alligevel<br />
for at undgå diskussion. I dette tilfælde kan man se de overdrevne handlinger og ritualer<br />
som et psykisk forsvar mod at stoppe op og reflektere over de reelle bagvedliggende<br />
problemstillinger og få løst disse. Endelig har jeg også fået beskrivelser af, hvordan man<br />
på en skole med omfattende evalueringssystemer alligevel ”glemte” at evaluere, da der<br />
opstod særlige problemer i en klasse. Dvs., når evaluering og handling netop er påkrævet,<br />
formår man at fortrænge dette, fordi de bagvedliggende problemstillinger er for vanskelige<br />
eller smertefulde at tage op. Men fordi evalueringer er blevet et ritual, hvor årsagerne til<br />
evalueringerne er uvisse, kan man argumentere for, at det derved også bliver mere legitimt<br />
at springe en evaluering over, hvis denne forekommer ubehagelig.<br />
Det skal især bemærkes, at symptomerne nævnt i pkt. a., b., c. og d. kan være til stede<br />
parallelt og understøtte hinanden, f.eks. ved at ledelsen først benægter, at evalueringerne<br />
skal bruges til kontrol, men alligevel til sidst er tvunget til at handle, når uhensigtsmæssige<br />
forhold bliver offentlige, hvorefter evalueringerne på grund af det pres, som opstår, kan<br />
risikere at blive anvendt på en både uinformeret og uoplyst måde. Dette svarer præcis til<br />
nogle af de evalueringsfortællinger, som jeg har fået fortalt. I dette tilfælde kan regressionen<br />
blive omfattende: Dvs., at underviserne oplever, at de som mennesker får tildelt en<br />
kold numerisk værdi for deres bidrag til organisationen, at kompleksiteten i undervisningsydelsen<br />
fornægtes og at der ikke er dialog. Resultatet bliver, at underviserne oplever, at<br />
der foretages uretfærdige ledelsesovergreb på deres faglige og personlige indsats. Hvis<br />
dette opstår, bliver en negativ evalueringsspiral forståelig. Endelig er det værd at under-<br />
www.danskevalueringsselskab.dk
Side 23<br />
strege, at manglende udøvelse af en hensigtsmæssig autoritet (som det forstås i en psykodynamisk<br />
referenceramme) kan ses som årsagen til, at ovennævnte autoritære brug af<br />
evaluering opstår. Hvis der ikke er defineret et ansvar for at følge op på undervisningen i<br />
undervisningsteamene eller via en mellemleder/koordinator, og ansvaret i stedet forskydes<br />
op i organisationen, som beskrevet i pkt. b, betyder ledelsesdistancen i sig selv, at det bliver<br />
vanskeligt at udøve en nuanceret og fair ledelse under kendskab til de faktiske forhold.<br />
4. Politisk opportune benchmark-undersøgelser (opgave 4)<br />
Brug af evaluering som benchmark-undersøgelse adskiller sig ved, at man her kan bruge<br />
studentertilfredshedsmålinger til at vurdere tilfredsheden med et samlet undervisningsforløb,<br />
hvorved de studentertilfredshedsmålinger, som fremkommer, ikke kan relateres<br />
til en enkelt undervisers indsats. I stedet er en lang række aktører involveret i planlægningen<br />
og gennemførelsen af det samlede undervisningsforløb, som tilfredshedsmålingen<br />
vedrører.<br />
Jeg har flere gange oplevet, at benchmark-undersøgelserne omtales som mere mobiliserende<br />
end fag-evalueringerne, måske netop fordi de enkelte undervisere er i mindre risiko<br />
for at blive ”hængt ud” eller eksponeret via denne evalueringsform. Derfor er det måske<br />
lettere at acceptere disse typer undersøgelser. På den anden side blev det udtrykt i andre<br />
interviews, at resultaterne fra disse undersøgelser har stor bevågenhed i organisationen,<br />
og at de, fordi resultaterne er meget generelle, åbner et stort projektivt rum for fortolkning,<br />
som i visse tilfælde kan misbruges politisk i organisationen.<br />
C. Er evalueringer da mere skadelige end gavnlige? Og hvordan styrkes den<br />
meningsfulde evalueringsanvendelse?<br />
Med ovennævnte eksempler på alle de frustrationer og vanskeligheder, som brugen af<br />
målingerne fører med sig, fristes man til at spørge: Er evalueringer mere skadelige end<br />
gavnlige?<br />
Svaret ser ud til at være, at dette ikke afhænger af selve evalueringsteknologien – i dette<br />
tilfredshedsmålingerne – men derimod af den måde disse målinger anvendes eller udfoldes<br />
på i institutionerne. Afhandlingens mange eksempler på, at samme teknologi på nogle<br />
institutioner betragtes som meget anvendelig og i andre institutioner betragtes som direkte<br />
skadelig for opgaveløsningen og aktørerne, kan illustrere dette.<br />
På denne baggrund bliver det også interessant, at opbygge evalueringskapacitet, som gør<br />
det muligt at anvende målingerne konstruktivt. Derfor er der i afhandlingen en række for-<br />
www.danskevalueringsselskab.dk
Side 24<br />
slag til, hvordan anvendelsen af målingerne kan styrkes. Et væsentligt element er, at der<br />
skabes en større bevidsthed både om evalueringspotentialer og potentielle problemer, så<br />
tilfredshedsmålingerne kan anvendes mere professionelt. Nogle af de emner som man kan<br />
tage op, er f.eks.:<br />
• At brugen og drøftelse af målingerne kan skabe angst, men at det ikke nødvendigvis<br />
betyder, at disse skal undgås.<br />
• At målinger ikke er kontekstfri, og at deres resultater afhænger af en lang række<br />
komplekse forhold relateret til forventninger og krav både i forhold til studerendes<br />
niveau og forudsætninger, læringsmålsætninger, undervisernes indsats, de rammer,<br />
der er til rådighed etc.<br />
• At der kan være et psykisk pres på en række aktører rundt om underviseren for at<br />
placere ansvaret for undervisningen alene på underviseren, og at man skal være<br />
opmærksom på, at dette ikke sker.<br />
• At det kan være skadeligt, hvis personlige evalueringsresultater kritikløst eksponeres<br />
på internet og andre steder. Man kan sikre, at institutionens medlemmer føler,<br />
at organisationen beskytter dem, så de ikke får psykisk stress af frygt for at de<br />
bliver hængt ud offentligt ved lave evalueringsresultater.<br />
• At ledelserne skal være opmærksomme på at støtte underviserne i en evalueringskontekst,<br />
så disse ikke oplever, at evalueringerne underminerer deres autoritet.<br />
• At målinger alligevel kan ses som vigtige, fordi det er vigtigt at kende tilfredshedsniveauer<br />
og tage udgangspunkt i disse til at stimulere tænkning og refleksion på en<br />
lang række niveauer i organisationen.<br />
• At ledelser, som ser evalueringerne, er opmærksomme på ikke at anvende kvantitative<br />
evalueringer uden at interessere sig for konteksten og årsagerne til et givet tilfredshedsniveau<br />
i en undersøgelse.<br />
• At det er bedre at gennemføre nogle få evalueringer, som der er tid til at drøfte og<br />
følge op på, end det er at gennemføre mange evalueringer, som ikke bruges tilstrækkeligt.<br />
• At det ofte ikke er tilstrækkeligt blot at tale om evaluering som læring på et meget<br />
overordnet niveau. Man må også definere formålene konkret.<br />
• At det også er vigtigt, at det er defineret, hvem der følger op på resultaterne udover<br />
underviseren selv, og hvordan denne proces er tilrettelagt.<br />
www.danskevalueringsselskab.dk
Side 25<br />
Og hvad med ledelse?<br />
Af Lisbeth Binderup, Partner, cand.scient.pol., Lundgaard konsulenterne<br />
KREVI har i rapporten, ’Evalueringslandskabet’ kortlagt evalueringskapaciteten i de danske<br />
kommuner. Rapporten dokumenterer, at kommunerne i den grad har taget evaluering<br />
til sig. Der er stor energi og opmærksomhed i kommunerne og mange stærke kompetencer.<br />
Men rapporten viser samtidig, at der er relativt stor variation i kommunernes evalueringskapacitet,<br />
og at der er stor forskel mellem de forskellige sektorer. Den peger også på,<br />
at der i en vis udstrækning mangler formalisering, f.eks. i form strategier retningslinjer og<br />
politikker. Betragter man kortlægningen ovenfra, efterlader den det indtryk, at evaluering i<br />
højere grad drives frem fra neden i kommunerne frem for fra oven. Det resultat kan selvfølgelig<br />
skyldes at KREVIs metode har lagt vægt på at inddrage menige medarbejdere<br />
frem for topledelsen. Men det kan også være, at rapporten tegner et reelt billede af situationen<br />
i kommunerne, at de kommunale topledelser, politiske og administrative, måske nok<br />
har taget evaluering til sig, men endnu mangler at bliver helt skarp på dels, hvordan evaluering<br />
bruges som ledelsesredskab og dels på hvordan evalueringsviden integreres med<br />
den store vidensproduktion, der i forvejen er i en kommune.<br />
Evaluering kan (bl.a.) ses som crescendoet i den kommunale målstyrings kulturhistorie.<br />
Det er et lille opmuntrende stykke udviklingshistorie om, hvordan kommunerne over tyve<br />
år haft slidt sig igennem faserne i et paradigmeskift fra økonomisk cigarkassestyring til<br />
indholdsmæssig målstyring. Historien er positiv, fordi den viser, hvordan den kommunale<br />
verden kan betragtes som et antal laboratorier, der gladelig deler erfaringer ud til andre.<br />
Den er også positiv, fordi den er brugerdreven. Det er brugerne selv, de kommunale beslutningstagere,<br />
der har haft førertrøjen på i udviklingsprocessen. Eller rettere: Sådan var<br />
det i det mindste i de tidlige faser. Senere har staten i stigende grad anvendt den styringsmæssige<br />
konceptudvikling som et af sine styringsstyringsmidler i forhold til den kommunale<br />
service.<br />
Historien begyndte i midten af 1980’erne, hvor den økonomiske decentralisering slog an i<br />
kommunerne. Før den tid sagde politikere og topembedsmænd – når bare, vi centralt beslutter,<br />
hvad pengene skal bruges til, så skal det nok gå. På få år vendte sloganet til: når<br />
bare vi overlader detailbeslutningerne til de decentrale, som kender borgernes behov, så<br />
skal det nok gå. Den politiske, detaljerede økonomistyring afløstes af politisk målstyring.<br />
Men desværre: Hvor cigarkassestyring er lige så enkelt som at styre Tivolis små skinneveteranbiler<br />
er målstyring mere som at bakke en 40 tons lastvogn med hænger. Først blev<br />
der brugt vældige resurser på at lære selve kunsten at formulere mål. Der arbejdes stadig.<br />
Politisk ejerskab og motiverende virkning på fagfolkene var også værdige udfordringer.<br />
www.danskevalueringsselskab.dk
Side 26<br />
Hvis begge dele skulle opnås, krævedes dialog. Dialog er sværere end det lyder, og der<br />
arbejdes stadig. Næste skridt i udviklingshistorien var et stærkt fokus på implementering af<br />
mål. I de år blev det enkle ord, ledelse et af de mest populære i det kommunale vokabularium.<br />
Ledelse er det, man har brug for, når man gerne vil have andre til at gøre det rigtige,<br />
men godt véd, at det ikke er nok at sige lige ud, hvad man forventer. I dag er vi nået til sidste<br />
led i udviklingskæden. Der er særlig opmærksomhed på opfølgningen på målene, opgørelsen<br />
af resultaterne og læringen, der kan uddrages. Således kommer evalueringen<br />
susende ind på scenen og gør sig til genstand for betydelig opmærksomhed. Evalueringsbegrebet<br />
har bidraget med kvalitetssans og et ægte ønske om at gå fra fornemmelser til<br />
viden og at sætte spotlys på såvel faglig kvalitet som brugeroplevet kvalitet. I bund og<br />
grund en positiv historie.<br />
Beskrivelsen af målstyringens kulturhistorie peger på, at kommunerne er startet fra en ende<br />
af figur 1 og igennem de sidste 20 år har bevæget sig fra venstre mod højre.<br />
Figur 1: Fra mål til outcome<br />
Der er på mange måder, og for mange kommuner, langt til at man har det fulde overblik<br />
over outcomes af kommunale indsatser. Men ambitionerne er der, og der er igangsat<br />
mange aktiviteter som skaber bevægelsen. Men når nu man er kommet ud til højre; hvad<br />
så? Nej, den ender ikke der men tværtimod begynder der et tilbagespil. På vej mod højre<br />
skabes der viden om, hvad det er der kommer ud af aktiviteterne (resultater) og hvordan<br />
de er skabt (årsags-virkningssammenhænge). Denne viden skal bruges til at diskutere og<br />
revidere mål og indsatser, med andre ord lære af det man har gjort og opnået.<br />
Den store udfordring, der ligger ude i fremtiden for de danske kommuner, er altså at skabe<br />
læringsrum, hvor evalueringsviden, blandt meget andet, bliver diskuteret, skaber refleksion<br />
og bragt i anvendelse.<br />
Der er flere vigtige læringsfora, men her er det nok på sin plads at starte med at understrege,<br />
at kvalitet skabes i mødet mellem borgere, brugere og de kommunale medarbejdere.<br />
Det sker når i hjemmet hos den ældre der modtager pleje, i klasselokalet når læreren<br />
underviser, i Familiehuset hvor udsatte familier modtager vejledning og støtte. Disse situationer<br />
i høj grad specifikke og består af menneskelige relationer. Det der skal understøttes<br />
i disse situationer er refleksion og en dialog om sammenhængen mellem mål, ressourcer,<br />
www.danskevalueringsselskab.dk
Side 27<br />
indsatser og resultater. Denne præmis er grundlæggende i Majgaard (<strong>2008</strong>) men ligger<br />
også i den første af Hjortdal og Nielsens (<strong>2008</strong>) syv ledelsesdogmer.<br />
Majgaard (<strong>2008</strong>) identificerer tre læringsrum der fremgår af figur 2. En vigtig pointe med<br />
figuren er, at de tre læringsrum er delvist autonome og hver især konstituerer sin egen<br />
kontekst for at danne dialog, mening, og værdi. Det politiske mål, et byråd opstiller, og<br />
som bliver til i kommune-region-institutions-læringsrummet, bliver transformeret igennem<br />
samtaler og refleksion til et begreb, der er håndterbart i borger-medarbejderinstitutionsledelse-læringsrummet.<br />
Det er en afgørende forudsætning, at der i de enkelte<br />
læringsrum er en anerkendelse og respekt for de andre læringsrum. Politikere skal f.eks.<br />
anerkende, at der sker en transformation af politiske mål og målsætninger igennem pædagogiske<br />
processer i daginstitutionerne, og omvendt skal pædagoger respektere at de<br />
faglige resultater i daginstitutionerne skal transformeres, så der kan redegøres for, i hvilken<br />
udstrækning de politiske mål og ambitioner bliver nået. Endelig er det vigtigt, at de<br />
behov der er i stat-kommune-regions-lærinsrummet, bliver anerkendt og transformeret i<br />
borger-medarbejder-institutionsledelse-læringsrummet. Og omvendt: at der i statkommune-regions-lærinsrummet<br />
er respekt for de specifikke forhold, der gør sig gældende<br />
for læring og udvikling i medarbejder-institutionsledelse-læringsrummet.<br />
Figur 2: Tre læringsrum (fra Majgaard, <strong>2008</strong>)<br />
Borgere<br />
Kommune<br />
Stat<br />
Institutionsledelse<br />
Medarbejdere<br />
Region<br />
Pointen er, at evaluering er et af de helt centrale instrumenter, der kan kvalificere diskussionerne<br />
og udviklingen i læringsrummene og ikke mindst sikre en kvalificeret dialog mellem<br />
fagfolk, borgere, politikere og administratorer. Evalueringsmetoder skal skabe systematik<br />
og sikre at der indsamles og analyseres data, der bliver genstand for diskussion og<br />
refleksion. Evalueringernes helt centrale opgave er at producere reflektionsskabende<br />
www.danskevalueringsselskab.dk
Side 28<br />
værktøjer. Og de kan have mange udtryk, indikatorer, akkrediteringssystemer, BIKVAundersøgelser<br />
etc.<br />
Og ledelse? Ja, det består i denne sammenhæng i to ting. For det første skal lederne lede<br />
læreprocesserne og sikre rammene og betingelserne for, at de bliver gennemført. I de enkelte<br />
læringsrum er det afgørende, at der er en strategi for, hvordan evalueringer bliver<br />
gennemført og vigtigst: hvordan resultaterne bliver brugt og delt. For det andet består ledelsesopgaven<br />
i at bære viden og læring fra et læringsrum til et andet og dermed understøtte<br />
sammenhæng og ikke mindst viden om og forståelse for processerne i de øvrige<br />
læringsrum. Det helt afgørende for at skabe sammenhæng mellem det, der sker i det forskellige<br />
læringsrum.<br />
Man kan vist roligt konstatere, at en af de helt store udfordringer i den offentlige sektor i<br />
dag er at skabe sammenhæng mellem stat-kommune-regions-læringsrummet og borgermedarbejder-institutionsledelse-læringsrummet.<br />
Og der er faktisk eksempler på, at det kan<br />
lade sig gøre. Indførelsen af de pædagogiske læreplaner i dagtilbud er et eksempel på en<br />
statslig regulering, der har ansporet læring og udvikling i borger-medarbejderinstitutionsledelse-læringsrummet.<br />
Med de pædagogiske læreplaner bliver der stillet et<br />
redskab til rådighed, der skaber refleksioner over, hvordan man i den enkelte børnehave<br />
forstår, og arbejder med, læring. Loven betyder også, at politikerne kommer til at tage stilling<br />
til rammerne for denne refleksion. Læreplanerne er for nylig evalueret (Ministeriet for<br />
Familie- og Forbrugeranliggender, <strong>2008</strong>). Evalueringen viser, at over 90% af pædagogerne<br />
og dagplejerne vurderer, at loven har skabt en større faglig bevidsthed. Et af de vigtige<br />
bidrag er, at læreplanerne skaber et fælles sprog og sætter ord på en viden, der hidtil ikke<br />
har været formuleret. Ydermere har læreplanerne synliggjort, at dagtilbuddene ikke bare<br />
passer børn, men faktisk udfører et stykke kvalificeret pædagogisk arbejde, der støtter<br />
børns leg, læring og trivsel. Det har styrket den faglige stolthed.<br />
De omdiskuterede Kvalitetsrapporter i folkeskolen er endnu et eksempel på statslig styring,<br />
der fokuserer på at fremme refleksion. Og hvem ved - måske er det det næste eksempel<br />
på en lovgivning, der indfører strukturerede, systematiske processer, der fremme<br />
dialog og refleksion om pædagogiske processer og resultater til gavn for både politikere,<br />
administration, lærere og børn? Tilsvarende indførte Dagtilbudsloven fra 2007 et krav om,<br />
at alle 3-årige børn skal tilbydes en sprogvurdering. Kommunalbestyrelsen skal sikre, at<br />
alle 3-årige børn i kommunen tilbydes sprogvurderingen, men der er ikke krav om, hvilken<br />
metode kommunen skal benytte. Måske vil også sprogvurderingerne på sigt kunne fungere<br />
som et refleksionsskabende værktøj der kan etablere en konstruktiv dialog om arbejdet<br />
www.danskevalueringsselskab.dk
Side 29<br />
med børns sproglige udvikling og måske fungere som en god indikator, der kan buges til<br />
tværkommunale sammenligninger?<br />
Lad os dvæle lidt ved indikatorerne. Indikatorer er, i udgangspunktet, sammenlignelig, enkel<br />
og overskuelig evalueringsviden og kan derfor være velegnede til at etablere en forbindelse<br />
imellem læringsrummene. Indikatorer bliver dermed vigtige redskaber for ledelsen i<br />
både institutioner, forvaltninger og byråd. Der er amerikanske erfaringer, der peger på, at<br />
netop ved at betragte indikatorer som ledelsesredskaber får man størst mulig værdi ud af<br />
dem (se f.eks. Liner mfl., 2001). Og omvendt; hvis ledelsen forsømmer dette, er der stor<br />
sandsynlighed for, at der intet positivt kommer ud af indikatorerne. De amerikanske erfaringer<br />
peger bl.a. på at følgende er vigtigt, for at der kommer værdi ud af indikatorer:<br />
• Fælles og ligeværdig proces. Det at udarbejde indikatorer skal være en proces<br />
hvor fagpersoner, udviklingskonsulenter og ledelse indgår i et ligeværdigt og anerkendende<br />
samarbejde<br />
• Anvendelse og opfølgning. Indikatorer skal bringes i anvendelse. De skal kommunikeres,<br />
der skal fortælles historier om resultaterne, der skal nedsættes ERFAgrupper,<br />
der skal laves komparative analyser o.m.a. Den viden, der kommer fra indikatorerne,<br />
skal BRUGES aktivt i en dialog.<br />
• Belønninger. Der skal knyttes belønninger, men ikke straf, til indikatorernes resultater.<br />
Belønninger kan være meget andet end penge. Det kan være anerkendelse<br />
(kåring af ’Årets institution’), omtale af de bedste institutioner i aviser, større frihedsgrader<br />
i de bedste institutioner m.m.<br />
• Fokus på kerneforretningen. Når man laver indikatorer skal man starte så tæt på<br />
kerneforretningen som overhovedet muligt. Første version udvikles af fagpersoner,<br />
men de skal indgå i en efterfølgende proces hvor f.eks. udviklingskonsulenter og<br />
ledelse kvalificerer arbejdet.<br />
I Danmark kan man genfinde de samme pointer i f.eks. Hjortdal og Nielsens (<strong>2008</strong>) 7<br />
dogmer for styring og ledelse i den offentlige sektor.<br />
Efter min mening er der store perspektiver i den ledelsesudfordring jeg her har beskrevet.<br />
Lykkes det vil det være med til at fastholde og understøtte en hensigtsmæssig opgave- og<br />
ansvarsfordeling, hvor Byrådet diskuterer politik, principper og overordnede rammer og<br />
forvaltningen medvirker til at etablere hensigtsmæssige rammebetingelser. Men måske<br />
allervigtigst kan det være med til at støtte og styrke den faglige udvikling i de kommunale<br />
www.danskevalueringsselskab.dk
Side 30<br />
institutioner. Og lige præcis det sidste kan netop være det der er helt afgørende for at befordre<br />
arbejdsglæde samt fastholde og rekruttere medarbejdere.<br />
Litteraturliste<br />
• Dahler-Larsen, Peter (2006), Evalueringskultur, et begreb bliver til. Odense, Syddansk Universitetsforlag<br />
• Hansen, Hanne Foss (2005), ’Kvalitet i evalueringspraksis’, Nordisk Administrativt Tidsskrift, årg. 86 nr. 4<br />
• Hjortdal, Henrik og Claus Nielsen (<strong>2008</strong>), ’På vej mod en kvalitetsreform: hvad med styrings- og ledelsestænkningen?’,<br />
Økonomistyring og informatik, 23. årgang, nr. 4, pp. 373-406.<br />
• KREVI, Evalueringslandskabet, Sammenfatning af: ’Evaluering i danske kommuner – en kvantitativ kortlægning<br />
af kommunernes evalueringskapacitet i 2007’, KREVI, <strong>2008</strong>.<br />
• Liner, Blaine, Harry P. Haltry, Elisa Vinson, Ryan Allen, Pat Dusenbury, Scott Bryant og Ron Snell, (2001), Making<br />
Resultsbased State Government Work. The Urban Institute.<br />
• Majgaard, Klaus (<strong>2008</strong>), ’Livet efter NPM – Ledelse på kerneforretningens vilkår’, Økonomistyring og informatik,<br />
23. årgang, nr. 5, pp. 479-507.<br />
• Ministeriet for Familie- og Forbrugeranliggender (<strong>2008</strong>) Evaluering af loven om pædagogiske læreplaner, Slutevaluering.,<br />
marts <strong>2008</strong>.<br />
www.danskevalueringsselskab.dk
Side 31<br />
Konferenceoversigt<br />
Nedenfor er oplistet danske og internationale evalueringskonferencer.<br />
Send meget gerne et link, hvis du er blevet opmærksom på en konference<br />
Tidspunkt Tema Sted Organisation Link<br />
11-13. Evaluering som beslutningsgrundlag<br />
Danmark <strong>Dansk</strong> Evaluerings- www.danskevalueringsselska<br />
september<br />
– teorier,<br />
Selskab<br />
b.dk<br />
<strong>2008</strong> metoder og sektorer<br />
23-26. Zum Verhältnis von Klagenfurt, DeGEval - Gesellschaft<br />
http://www.degeval.de/<br />
September Steuerung und Evaluation<br />
Tyskland<br />
für Evalua-<br />
<strong>2008</strong><br />
tion<br />
1-3. okto-<br />
Building for the future:<br />
Lisabon,<br />
EES, European Eva-<br />
www.europeanevaluation.org<br />
ber <strong>2008</strong><br />
Evaluation in govern-<br />
Portugal<br />
luation Society<br />
ance, development and<br />
progress<br />
23-24 Ok-<br />
Changing Contexts for<br />
Bristol, UK<br />
UKES, , UK Evaluation<br />
http://www.profbriefings.co.uk/uk<br />
tober<br />
Evaluation and Professio-<br />
Society<br />
es<strong>2008</strong>/<br />
nal Action<br />
5-8. no-<br />
Evaluation <strong>2008</strong><br />
Denver,<br />
AEA<br />
www.eval.org<br />
vember<br />
Colorado<br />
<strong>2008</strong><br />
9-14. no-<br />
Evaluation 2009<br />
Orlando,<br />
AEA<br />
www.eval.org<br />
vember<br />
Florida<br />
2009<br />
8-13. no-<br />
Evaluation 2010<br />
San Anto-<br />
AEA<br />
www.eval.org<br />
vember<br />
nio, Texas<br />
2010<br />
29. okto-<br />
Evaluation 2011<br />
Anaheim,<br />
AEA<br />
www.eval.org<br />
ber-5.<br />
California<br />
november<br />
2011<br />
22-27.<br />
Evaluation 2012<br />
Minneapolis,<br />
AEA<br />
www.eval.org<br />
oktober<br />
Minnesota<br />
2012<br />
www.danskevalueringsselskab.dk
Side 32<br />
Om <strong>Dansk</strong> EvalueringsSelskab<br />
DES er åbent for alle med interesse for evaluering. Det kan eksempelvis være personer,<br />
som:<br />
1. Forsker og underviser i evaluering<br />
2. Er opdragsgiver til evalueringer<br />
3. Gennemfører interne evalueringer<br />
4. Gennemfører eksterne evalueringer<br />
5. Andre personer med interesse for evaluering, eksempelvis studerende.<br />
Formålet med DES er at være en platform for erfaringsudveksling og diskussion af evalueringsfaglige<br />
problemstillinger, herunder:<br />
1. Udviklingen inden for evalueringsteori- og metode<br />
2. Nyttiggørelse af evalueringsresultater<br />
3. Faglig udvikling<br />
4. Standarder for god evalueringspraksis.<br />
Deltagelse i selskabet rummer følgende fordele<br />
1. Adgang til at diskutere faglige problemstillinger med andre personer, som arbejder<br />
med området.<br />
2. Mulighed for at deltage i arbejdsgrupper.<br />
3. Deltagelse i evalueringskonferencer til en reduceret pris.<br />
4. Gratis adgang til gå-hjem-møder. Oplæggene kan komme fra såvel foreningens<br />
medlemmer som fra eksterne oplægsholdere.<br />
5. Gratis nyhedsbrev.<br />
Medlemskab<br />
Tegning af medlemskab sker ved at udfylde og indsende en tilmeldingsblanket, som kan<br />
findes på www.danskevalueringsselskab.dk. Medlemskabet gælder for resten af kalenderåret.<br />
Medlemskabet kan både tegnes personligt eller som firma/institution. Prisen er kr. 825 pr.<br />
år for et personligt medlemskab, kr. 4.125 pr. år for et firma/institutionsmedlemskab og kr.<br />
275 pr. år for studerende. Spørgsmål kan rettes til selskabets sekretariat, Marie Louise<br />
Møller, des@eva.dk.<br />
www.danskevalueringsselskab.dk
Side 33<br />
Bestyrelsen<br />
Peter Rhode (Formand)<br />
Bianca Albers (Næstformand)<br />
Center for Kvalitetsudvikling<br />
Servicestyrelsen, Socialministeriet<br />
Region Midtjylland<br />
Skibhusvej 52 B, 3. sal<br />
Regionshuset Århus, Olof Palmes Allé 15 5000 Odense C<br />
8200 Århus N Tlf.: 72 42 37 24<br />
Tlf.: 87 28 49 10<br />
E-mail: bal@servicestyrelsen.dk<br />
E-mail: peter.rhode@stab.rm.dk<br />
Solgerd Just Mikkelsen (Kasserer)<br />
Steffen Bohni Nielsen<br />
Danmarks Tekniske Universitet,<br />
Rambøll Management<br />
DTU – Økonomicenter<br />
Nørregade 7A<br />
Nils Koppels Allé, Bygn. 403<br />
1165 København K<br />
2800 Kgs. Lyngby Tlf: 33 97 81 03<br />
Tlf.: 45 25 19 60<br />
Email: sni@r-m.com<br />
Email: sjm@mek.dtu.dk<br />
Poul Skov Dahl<br />
Dorte Kabell<br />
NIRAS Konsulenterne<br />
Kabell Konsulting APS<br />
Buchwaldsgade 35, 3. sal Søllerød Park 2, 1-8<br />
5000 Odense SV 2840 Holte<br />
Tlf: 63 12 50 91 Tlf.: 45 56 67 37<br />
E-mail: psd@niraskon.dk<br />
E-mail: dk@kabell-konsulting.dk<br />
Tim Jeppesen<br />
Tanja Miller<br />
Det Kommunale og Regionale<br />
CEPRA (Videncenter for evaluering i<br />
Evalueringsinstitut (KREVI)<br />
praksis), CVU Nordjylland<br />
Olof Palmes Allé 13<br />
Sohngårdsholmsvej 51 A<br />
8200 Århus N 9000 Aalborg<br />
Tlf.: 72 26 99 71 Tlf.: 70 23 50 03<br />
Email: tj@krevi.dk<br />
E-mail: tm@cvu-nord.dk<br />
www.danskevalueringsselskab.dk
Side 34<br />
Ole Gregersen<br />
Tue Vinter-Jørgensen<br />
SFI, Det Nationale Forskningscenter for Velfærd Danmarks Evalueringsinstitut (EVA)<br />
Herluf Trolles Gade 11<br />
Østbanegade 55, 3. sal<br />
1052 København K 2100 København Ø<br />
Tlf.: 33 48 08 70 Tlf.: 35 25 46 59<br />
E-mail: og@sfi.dk<br />
E-mail: tvj@eva.dk<br />
Sekretariatet<br />
Elisabeth Friis Fredskilde<br />
<strong>Dansk</strong> EvalueringsSelskab<br />
Sundhedscentret, Frederiksberg Kommune Att.: Marie Louise Møller<br />
Peter Bangs Vej 1, opg. G<br />
c/o Danmarks Evalueringsinstitut<br />
2000 Frederiksberg Østbanegade 55, 3., 2100 KBH Ø<br />
Tlf.: 38 38 45 09 Tlf. 35 25 66 45<br />
E-mail: elfr01@frederiksberg.dk<br />
E-mail: des@eva.dk<br />
www.danskevalueringsselskab.dk