Effektmåling af praksisundersøgelser

Ankestyrelsen

Effektmåling af

praksisundersøgelser

2006

Indholdsfortegnelse

Side Kapitel

3 Sammenfatning

7 Kapitel 1

Baggrunden for projektet

11 Kapitel 2

Generelt om praksisundersøgelser

17 Kapitel 3

Effektmåling

19 Kapitel 4

Identifikation af effekter

25 Kapitel 5

Statistisk usikkerhed

30 Kapitel 6

Model til effektmåling

35 Kapitel 7

Udmøntning

40 Kapitel 8

Kvantificering af sagsvurderingerne

43 Kapitel 9

Forslag til effektmålingsscenarie

48 Bilag

Bilag 1 Lovgrundlag

Bilag 2 Samarbejdsaftalen mellem Ankestyrelsen og de sociale nævn

Bilag 3 Katalog over emner for praksisundersøgelser

Bilag 4 Ankestyrelsens og de sociale nævns praksisundersøgelser i 2005

Bilag 5 Udkast til skabelon til måleskema (arbejdsgruppe 2)

Bilag 6 Manual for måling af sagerne i praksisundersøgelser (arbejdsgruppe 2)

Bilag 7 Uddybning af logistiske regressionsmodel

Bilag 8 Vejledende retningslinier til struktur i praksisundersøgelserne (arbejdsgruppe

Sammenfatning

Praksisundersøgelser gennemføres som led i Ankestyrelsens og de sociale nævns

forpligtelse til at koordinere, at afgørelser, der kan indbringes for Ankestyrelsen og

de sociale nævn, træffes i overensstemmelse med lovgivningen og praksis. Ankestyrelsen

har de senere år oplevet en stigende interesse for praksisundersøgelserne,

både som et instrument til at afdække kommunerne praksis, og som et opfølgnings-

og overvågningsinstrument. De er anerkendt som et unikt og fagligt meget

velunderbygget redskab, som går tæt på den kommunale sagsbehandling.

Der gennemføres imidlertid på nuværende tidspunkt ikke en systematisk måling af,

hvorvidt praksisundersøgelserne har en effekt på kvaliteten af kommunernes sagsbehandling,

hverken i Ankestyrelsen eller i nævnene. Effektmåling af praksisundersøgelserne

vurderes at være relevant til at give information om det relativt omkostningstunge

redskab.

I forhold til ønsket om at kunne måle effekten af praksisundersøgelserne er der

behov for at udvikle en metode til systematisk effektmåling på baggrund af praksisundersøgelserne.

Ankestyrelsen har i den forbindelse fået midler af Socialministeriet til at gennemføre

et udviklingsprojekt i samarbejde med SFI med henblik på

• At udvikle praksisundersøgelsernes design med henblik på en bedre opfølgning

• At udvikle effektmål

• At gennemføre effektmåling af praksisundersøgelser

I nærværende rapport afrapporteres projektet. Rapporten indledes med en beskrivelse

af baggrunden for projektet samt et generelt kapitel om praksisundersøgelser.

Der vil i det følgende være en gennemgang af de væsentligste konklusioner i de øvrige

kapitler i rapporten.

Effektmåling – kapitel 3

I kapitlet præsenteres effektmålingsbegrebet. Effektmåling af praksisundersøgelser

vurderes at være relevant for at få information og viden om, hvorvidt praksisundersøgelserne

har en adfærdsændrende virkning på de kommunale aktører. Et af

formålene med praksisundersøgelserne er, at de skal føre til øget kvalitet i sagsbehandlingen.

En metode til at gennemføre effektmåling af praksisundersøgelserne er ved at udvælge

en testgruppe og en kontrolgruppe og via statistiske metoder vurdere, om

det at have deltaget i praksisundersøgelser giver en signifikant forbedring i sagsbehandlingen

i forhold til ikke at have deltaget.

Identifikation af effekter – kapitel 4

I kapitlet fremhæves 3 typer af effekter, hvorigennem det kan tænkes, at praksisundersøgelserne

kan påvirke sagsbehandlingen i kommunerne. Det drejer sig om

• Deltagelseseffekt (skyldes forbedret sagsbehandlingskvalitet deltagelse i

praksisundersøgelser?)

• Informationseffekt (skyldes forbedret sagsbehandlingskvalitet, at kommunen

er informeret om praksisundersøgelsernes resultater generelt?)

• Offentliggørelseseffekt (skyldes forbedret sagsbehandlingskvalitet, at den

enkelte kommunes resultater bliver offentliggjort?)

Det vurderes, at alene deltagelseseffekten vil være mulig at identificere, såfremt der

udelukkende foreligger de oplysninger, som fås gennem praksisundersøgelserne.

Hvis der derimod indhentes supplerende oplysninger fra kommunerne i forbindelse

med praksisundersøgelserne, vurderes det muligt også at måle informationseffekter.

Det vurderes ikke muligt at måle offentliggørelseseffekten.

For at kunne måle deltagelseseffekter og informationseffekter forudsætter det, at

de valgte kommunegrupper er grundlæggende ens. Det vurderes ikke problematisk

at sammensætte kommunegrupperne, der skal indgå i effektmåling, så de er grundlæggende

ens.

Ved brug af supplerende spørgsmål til kommunerne vil det i øvrigt være muligt at

måle effekten på kommunernes sagsbehandling af eventuelt igangsatte initiativer i

kommunerne.

Statistisk usikkerhed – kapitel 5

For at kunne vurdere, om udviklingen i sagsbehandlingskvaliteten skyldes deltagelse

i praksisundersøgelser, er det vigtigt, at der er statistisk sikkerhed for, at de observerede

fejlandele i kommunerne ikke bygger på tilfældige udsving, men er sigende

for den faktiske fejltendens i kommunerne. I kapitlet gennemgås begrebet

statistisk usikkerhed. Det konkluderes, at den statistiske usikkerhed kan mindskes

ved at øge sagsantallet i undersøgelsen samt ved at vurdere sagerne på flere

spørgsmål.

Model til effektmåling – kapitel 6

Ved brug af den logistiske regressionsmodel opstilles der i kapitlet forskellige effektmål.

Ved beregning af konfidensintervaller kan det afgøres, om en given udvikling

har været signifikant, eller det blot er tilfældigt, at der er observeret en udvikling.

Fundamentale ændringer i lovgivningen i perioden mellem de praksisundersøgelser,

som indgår i effektmåling, kan have betydning for fortolkning af effektmålene,

men det må bero på en konkret vurdering ved tilrettelæggelsen og gennemførelsen

af den enkelte effektmåling.

Udmøntning – kapitel 7

I dette kapitel opstilles de grundlæggende betingelser og forudsætninger for, at effektmålingen

kan udmøntes.

På grund af forskellige problemstillinger i bevillings- og afslagssager foreslås det, at

de to sagstyper adskilles, således at der i den enkelte praksisundersøgelse fremover

kun indgår enten bevillingssager eller afslagssager. Det er Ankestyrelsens vurdering,

at det vil indebære et kvalitetsløft i forhold til især vurdering af kommunernes

praksis i afslagssagerne.

I Ankestyrelsens praksisundersøgelser er der hidtil blevet indkaldt både kommunale

afgørelser og afgørelser fra nævnene. Fremover vil praksisundersøgelserne primært

fokusere på kommunesager, mens der ca. hvert andet år vil blive gennemført

en praksisundersøgelse udelukkende med nævnssager.

Med ønsket om at reducere den statistiske usikkerhed i effektmålingen, er det forventningen,

at Ankestyrelsen fremover kan håndtere 150 sager pr. undersøgelse,

mens de sociale nævn samt beskæftigelsesankenævnene forventes at kunne håndtere

80 sager i gennemsnit pr. undersøgelse.

Af hensyn til de statistiske analyser er det nødvendigt, at data fra alle praksisundersøgelser

samles centralt i Ankestyrelsen. Da nævnene ikke anvender E-survey, opretter

Ankestyrelsen måleskemaerne for nævnene, og der oprettes en udtræksfunktion,

så nævnene selv kan trække data ud til brug for afrapportering af undersøgelserne.

Kvantificering af sagsvurderingerne – kapitel 8

For at kunne gennemføre effektmåling og statistiske tests er det nødvendigt at

kvantificere sagsvurderingerne. Der er i kapitlet opstillet et forslag til karaktersystem,

hvor hver enkelt sag gives scorer i henhold til den vurderede sagsbehandlingskvalitet.

Desuden skal der foretages en vægtning af spørgsmålene i de måleskemaer,

som skal anvendes til vurderingerne. Det endelige karaktersystem og

vægtning kan ikke fastlægges, førend nye måleskemaer mv. er afprøvet i praksis.

Der lægges imidlertid op til, at der i måleskemaerne så vidt muligt anvendes graduerede

svarmuligheder for at fastholde så meget information om sagerne samt kunne

give kommunerne så nuanceret tilbagemelding på sagerne som muligt.

Som led i en kvalitetssikring foreslås det, at der nedsættes en intern arbejdsgruppe i

Ankestyrelsen til at gennemgå måleskemaer samt karaktergivning og vægtning, inden

de enkelte undersøgelser i nævnene og Ankestyrelsen igangsættes. Derudover

foreslås der iværksat en censorordning i nævnene, således at der i forbindelse med

hver praksisundersøgelse udveksles et antal sager med statsforvaltningen i naboregionen,

som foretager en prøvemåling. Det vil sikre, at der er overensstemmelse i

vurderingerne.

Ligeledes som led i kvalitetssikringen foreslås, at der fremover i Ankestyrelsen afholdes

2 møder i møderækken årligt med nævnssekretariaterne for både de sociale

nævn og beskæftigelsesankenævnene frem for det ene, som afholdes på nuværende

tidspunkt. Formålet med 2 møder årligt vil være at sikre ens forståelse af kvaliteten.

Forslag til effektmålingsscenarie – kapitel 9

Der opstilles et forslag til, hvordan en effektmåling kan gennemføres med inddragelse

af udvalgte kommuner i 2006 og 2008. Testgruppen og kontrolgruppen foreslås

valgt ud fra den kommende Region Hovedstaden. Dels sker der færrest kommunesammenlægninger

her, og dels vil det være nemmere at afholde eventuelle

sparringsmøder. Desuden forudsætter effektmålingen, at de to kommunegrupper

er grundlæggende ens, så kommuneopdelingen tager hensyn til befolkningsantal og

antallet af kommunesammenlægninger.

Ankestyrelsen gennemfører den første praksisundersøgelse, mens Statsforvaltning

Hovedstaden og Ankestyrelsen gennemfører de opfølgende praksisundersøgelser.

Det nye koncept for praksisundersøgelser vil blive afprøvet på de første praksisundersøgelser

i 2006 i både Ankestyrelsen og nævnene. Den sidste af Ankestyrelsens

praksisundersøgelser i 2006 udvælges til at indgå i effektmålingen. Som emne

foreslås sygedagpengeområdet.

Effektmålingsscenariet vil påvirke de sociale nævn i København og Frederiksberg

og statsamterne i København, Frederiksborg samt på Bornholm, idet de fra 2007

vil blive samlet under Statsforvaltning Hovedstaden.

Ovenstående effektmålingsscenarie måler effekten af Ankestyrelsens praksisundersøgelser.

Det vil være oplagt, at en senere effektmåling måler effekten af en praksisundersøgelse

udarbejdet af det sociale nævn eller et af de kommende beskæftigelsesankenævn.

1 Baggrunden for projektet om

effektmåling

1.1 Baggrunden for projektet om effektmåling

Ankestyrelsen har de senere år oplevet en stigende interesse for praksisundersøgelser,

både som et instrument til at afdække kommunernes praksis, og som

et overvågningsinstrument. Førtidspensions- og anbringelsesreformen er to

eksempler på det voksende politiske ønske om at bruge praksisundersøgelser

til at dokumentere og koordinere den kommunale sagsbehandling.

Der gennemføres imidlertid ikke systematisk effektmåling af praksisundersøgelser

på nuværende tidspunkt, hverken i Ankestyrelsen eller i de sociale nævn.

Der eksisterer derfor kun en begrænset viden om effekten af praksisundersøgelser.

Ankestyrelsen har imidlertid anekdotisk belæg for, at en række kommuner

i forbindelse med konkrete praksisundersøgelser har ændret deres praksis

og interne retningslinier. Men der foreligger ikke viden om den samlede effekt

på den kommunale praksis.

De sociale nævn har forsøgt at måle effekterne af Ankestyrelsens praksisundersøgelser

gennem regionale praksisundersøgelser som opfølgning på Ankestyrelsens

praksisundersøgelser. I de pågældende undersøgelser er resultaterne

sammenlignet direkte med resultaterne fra Ankestyrelsens landsdækkende

praksisundersøgelse. Denne metode har begrænset anvendelighed, da det er en

forudsætning for at kunne måle for eksempel deltagelseseffekten af en praksisundersøgelse,

at undersøgelsen gentages med deltagelse af de samme kommuner

som i den oprindelige undersøgelse. Dertil kommer, at antallet af sager i en

nævnsundersøgelse ikke er tilstrækkeligt til at kunne sige noget generelt om effekten

af en praksisundersøgelse.

SFI gennemførte i 2001 en undersøgelse af Ankestyrelsens praksiskoordinerende

indsats på førtidspensionsområdet 1 . Undersøgelsen handlede om, hvordan

de redskaber, som Ankestyrelsen anvender i det praksiskoordinerende arbejde,

virker. Undersøgelsen var således ikke kun begrænset til praksisundersøgelserne,

men omhandlede ligeledes praksiskoordinerende redskaber som for

eksempel telefonisk rådgivning, regionale møder, statistikker og principielle afgørelser.

1 Benchmarking på førtidspensionsområdet – virker Den Sociale Ankestyrelses praksiskoordinering? København

2001.

I undersøgelsen var den forventede effekt af praksisundersøgelserne, at de berørte

medarbejdere i de kommuner, hvor praksisundersøgelserne er gennemført,

ville ændre adfærd i overensstemmelse med anbefalingerne fra Ankestyrelsen,

og at variationen i afgørelsespraksis mellem kommunerne dermed ville

mindskes, det vil sige, at afvigelser fra det forventede antal tilkendelser af førtidspension

ville blive mindre.

I undersøgelsen undersøgte man således, hvorvidt Ankestyrelsens gennemførelse

af praksisundersøgelserne havde en effekt på kommunernes afgørelsespraksis

ved at mindske antallet af tilkendelser, eller ved at antallet af tilkendelser

nærmede sig det forventede antal tilkendelser.

Undersøgelsen viste, at det var svært at identificere klare landsdækkende effekter

af praksisundersøgelserne, hvorimod det tydede på, at der var en effekt for

de involverede kommuner. Konklusionerne i SFI’s undersøgelse var, at der var

tale om en forholdsvis svag effekt.

Hvor SFI-undersøgelsen vurderede effekten i forhold til praksisundersøgelsernes

indvirkning på tilkendelseshyppigheden, er det hensigten i nærværende

projekt at vurdere praksisundersøgelsernes eventuelle effekt på kvaliteten af

den kommunale sagsbehandling.

Med praksisundersøgelsernes nuværende design er det imidlertid ikke muligt at

anvende dem til en sådan systematisk effektmåling. Problemet med designet er

især, at det er vanskeligt at sammenligne de enkelte praksisundersøgelser, eftersom

spørgsmålene ikke er identiske i alle undersøgelserne. Effektmåling forudsætter

desuden en forøget kvantificering af praksisundersøgelserne.

Der er på den baggrund behov for at udvikle en metode til systematisk effektmåling

af praksisundersøgelserne og deres indvirkning på kvaliteten af kommunernes

sagsbehandling. Det indebærer samtidig, at der skal ske en udvikling

af den metode, der i dag bruges til at gennemføre praksisundersøgelser.

Ankestyrelsen har fået midler af Socialministeriet til at gennemføre et udviklingsprojekt

i samarbejde med SFI om at udvikle praksisundersøgelsernes design

med henblik på en bedre opfølgning ved at udvikle effektmål og gennemføre

effektmåling.

Der er samtidig bevilget midler til et projekt om benchmarking af de kommuner

som deltager i praksisundersøgelserne. Dette projekt er afrapporteret selvstændigt,

jf. rapport om benchmarking af kommunernes sagsbehandling, men

de to projekter skal ses i en sammenhæng.

1.2 Mål for effektmålingsprojektet

Ankestyrelsens praksisundersøgelser er anerkendt som et unikt og fagligt meget

velunderbygget redskab. Der er imidlertid som nævnt behov for i højere

grad at kunne måle effekten af undersøgelserne. Det skyldes især, at

• Praksisundersøgelser er et meget centralt, men relativt ressourcekrævende

redskab

• Brugbare effektmål er en forudsætning for at kunne udvikle og målrette

praksisundersøgelserne

Effektmålingsprojektet skal på den baggrund opstille modeller for, hvorledes

der kan effektmåles på praksisundersøgelser.

Effektmåling stiller krav til praksisundersøgelsernes gennemførelse og design.

Eksempelvis vil der være behov for at overveje, hvorledes kommuner og sager

udtrækkes, således at der sikres den tilstrækkelige repræsentativitet. Endvidere

vil der være behov for, at Ankestyrelsens vurderinger i højere grad gradueres

og kvantificeres, således at det er muligt at sammenligne vurderinger af de enkelte

målepunkter, og således at det er lettere at følge en udvikling over årene.

Effektmålingsprojektet skal derfor blandt andet overveje, hvorledes måleskemaerne

skal opbygges, og hvorledes sagsbehandlernes vurderinger af de forskellige

elementer af sagerne skal fremgå af måleskemaerne.

Det vil forøge anvendeligheden af effektmålingen, hvis nævnenes praksisundersøgelser

kan inddrages. Det vil fordre, at nævnene måler sagerne på samme

måde som Ankestyrelsen. Det vil endvidere kræve, at nævnene udvælger

kommuner og sager under hensyntagen til de samme krav om repræsentativitet

som Ankestyrelsen.

Fælles design og fælles opfølgningsramme for såvel regionale som nationale

praksisundersøgelser vil derfor være hensigtsmæssigt. I forbindelse med effektmåling

er det afgørende, at der sker en ensartet måling af sagerne i de praksisundersøgelser,

der indgår i effektmålingen. Som led i projektet er derfor behov

for at udarbejde en manual for måling af sager i forbindelse med praksisundersøgelser.

1.3 Organisering af effektmålingsprojekt

På baggrund af ovenstående blev nedsat to arbejdsgrupper, der skulle udvikle

praksisundersøgelserne med henblik på effektmåling.

I kommissoriet for arbejdsgruppe 1 fremgår det blandt andet, at arbejdsgruppen

skulle

• Beskrive, hvorledes praksisundersøgelserne kan kvantificeres, således at

der kan gennemføres effektmålinger

• Beskrive, hvordan sager og kommuner udvælges i forbindelse med

praksisundersøgelser, således at der kan foretages effektmål

• Etablere grundlaget for, at vurderingerne af sagerne i de sociale nævns

praksisundersøgelser kan anvendes til effektmåling

• Deltage i gennemførelsen/tilrettelæggelsen af den første effektmåling i

2006

Gruppen har haft repræsentanter for SFI og Ankestyrelsen. Gruppen har afrapporteret

løbende til styregruppen for praksiskoordinering i Ankestyrelsen.

Arbejdsgruppens oplæg vil blive sendt i høring hos de sociale nævn, Socialministeriet,

Beskæftigelsesministeriet, Integrationsministeriet og Indenrigsministeriet.

Denne rapport udgør afrapporteringen fra arbejdsgruppe 1.

I kommissoriet for arbejdsgruppe 2 fremgår det, at gruppen skulle afklare en

række praktiske og principielle spørgsmål med henblik på at fremme klarhed

og ensartethed i målingen af sagerne.

Arbejdsgruppen skulle:

• Udarbejde en manual for måling af sagerne - herunder opstille fælles

målepunkter til vurdering af sagerne i praksisundersøgelserne

• Overveje målingen i tvivlstilfælde, for eksempel hvis Ankestyrelsen ikke

har praksis på et område, eller hvis sagen ikke er tilstrækkelig oplyst

• Tage stilling til, om måleskemaerne også skal udsendes til kommunerne

og nævnene, således at de kan foretage en parallel-måling af sagerne

• Overveje strukturen i rapporterne om praksisundersøgelserne, herunder

om de skal opdeles i to dele, idet rapporterne skal kunne bruges

som input både for de politiske beslutningstagere i kommunerne og for

sagsbehandlerne

I gruppen har deltaget repræsentanter for Ankestyrelsen og de sociale

nævn. Produkterne fra gruppens arbejde indgår som bilag i denne rapport.

2 Generelt om praksisundersøgelser

2.1 Indledning

Ankestyrelsen og de sociale nævn har en forpligtelse til at koordinere, at afgørelser,

der kan indbringes for Ankestyrelsen og de sociale nævn, træffes i overensstemmelse

med lovgivningen 2 .

Ankestyrelsen har ansvaret for praksiskoordinering på landsplan, mens nævnene

har ansvaret på regionalt plan. Ankestyrelsen og de sociale nævn skal samarbejde

om koordineringsarbejdet, og der er indgået en samarbejdsaftale, som danner udgangspunkt

for det løbende samarbejde, jf. bilag 2.

Som led i Ankestyrelsens praksiskoordinerende opgave udarbejder styrelsen hvert

år et antal praksisundersøgelser, som har til formål at afdække den kommunale

praksis og reducere praksisspredning i kommuner og nævn. Målet er at sikre, at

borgerne behandles ens, lige meget hvor i landet de er bosat. Praksisundersøgelser

skal derfor ses som et fremadrettet redskab, der kan være med til at styrke borgernes

retssikkerhed.

Praksisundersøgelserne afdækker effektivt den kommunale praksis på et givent

område. Det skyldes, at det i forbindelse med praksisundersøgelser er muligt at

komme meget grundigt ind i de enkelte sager. Praksisundersøgelser er ressourcekrævende,

men giver en viden, der er svær at opnå på anden vis.

De praksiskoordinerende instanser kan ikke i forbindelse med en praksisundersøgelse

tage underinstansernes afgørelser op af egen drift med henblik på at ændre

afgørelsen 3 , ligesom praksiskoordineringen heller ikke bedømmer hensigtsmæssigheden

af kommunernes forretningsgange eller det lokale serviceniveau.

Ankestyrelsen og nævnene retter opmærksomheden på problemerne, anbefaler

indsatsområder over for kommunerne og deltager i en fremadrettet dialog om forbedringsmulighederne.

Det er imidlertid kommunerne, der har ansvaret for planlægningen

og udførelsen af opgaverne på det sociale område. Ligeledes er det

2 Lovgrundlaget herfor er beskrevet i §§ 76 – 79a i lov om retssikkerhed og administration på det

sociale område – Socialministeriets lovbekendtgørelse nr. 847 af 8. september 2005 og §§ 30 – 36 i

Socialministeriets bekendtgørelse nr. 1127 af 25. november 2005 om retssikkerhed og administration

på det sociale område (se bilag 1).

3 Jf. dog § 47 i lov om social service, hvor Ankestyrelsen har beføjelser til at træffe afgørelser uden

klage i visse sager på børn- og ungeområdet.

kommunernes ansvar, at sagsbehandlingen er lovmedholdelig og således hverken

strider mod lovgivningen eller Ankestyrelsens praksis.

2.2 Indholdet i en praksisundersøgelse

Praksisundersøgelser er et redskab, der benyttes med henblik på at få klarhed over,

om myndighedernes afgørelser er i overensstemmelse med lovgivningen.

Praksisundersøgelser fungerer således som en kvalitetssikring af afgørelser. Hvis

undersøgelserne afdækker fejl og mangler i sagsbehandlingen, giver praksisundersøgelserne

samtidig et grundlag for at målrette den fremadrettede vejlednings- og

undervisningsindsats.

En praksisundersøgelse består typisk af:

• Materiel vurdering

• Formalitetsvurdering

• Vejledning/opfølgning

Materiel vurdering

Ved vurderingen af en afgørelses materielle indhold vurderes afgørelsens korrekthed

i forhold til lovgivningen.

Med lovgivningen sigtes ikke alene til reglerne, som de fremgår af love og bekendtgørelser,

men også til den praksis, der kan udledes af Ankestyrelsens principielle

afgørelser, af retspraksis samt af vejledninger og vejledende udtalelser fra

blandt andet Folketingets Ombudsmand og ministerier.

Det er i denne forbindelse afgørende, at de sager, som indsendes, er tilstrækkeligt

oplyste (retssikkerhedslovens § 10 og officialmaksimen). Vurderingen svarer hovedsagelig

til den prøvelse, som Ankestyrelsen og de sociale nævn foretager efter

retssikkerhedslovens § 69 i forbindelse med en klage. Det følger af § 69, at det sociale

nævn og Ankestyrelsen kan efterprøve retlige spørgsmål.

Vurderingen af afgørelsens materielle indhold er kernen i praksisundersøgelser og

er afgørende for, om Ankestyrelsen eller nævnet kan erklære sig enig eller uenig i

de indsendte afgørelser.

Formalitetsvurdering

I formalitetsvurderingen vurderes overholdelse af forvaltningsmæssige og retssikkerhedsmæssige

regler, herunder reglerne om partshøring, aktindsigt, notatpligt,

krav til begrundelse, skriftlighed og hjemmelsgrundlag. Ligeledes indgår en vurdering

af retssikkerhedslovens og særlovgivningens processuelle regler om sagsbehandling

og opfølgning, regler om borgerens inddragelse, helhedsvurdering og vejledning

samt regler i for eksempel sygedagpengeloven om tidlig, samlet vurdering

og 8-ugers vurdering m.v. Det er regler, der understøtter borgerens retssikkerhed

og retter fokus på, at borgeren skal have den rigtige ydelse på det rigtige tidspunkt

– med borgerens involvering og accept.

Vejledning og opfølgning

Sidste led i en praksisundersøgelse er den handlingsrettede vejledning og opfølgning.

Gennemgangen af sagerne kan afdække problemområder i kommunerne og

nævnenes praksis og sagsbehandling. Det kan være såvel den materielle vurdering

som vurderingen af, om de formelle regler er overholdt, der giver anledning til reaktioner

fra Ankestyrelsens eller nævnets side. En praksisundersøgelse giver således

Ankestyrelsen og nævnet et godt grundlag for at tilrettelægge den fremadrettede

praksiskoordinering.

Opfølgningen på en praksisundersøgelse fastlægges ud fra resultaterne af den konkrete

undersøgelse og de lokale behov hos de involverede kommuner og nævn.

Det kan for eksempel være skriftlig afrapportering og skriftlig dialog, dialogmøder

eller efterfølgende deltagelse i vejledningsmøder.

Den efterfølgende dialog er med til at understøtte, at undersøgelsens resultater anvendes

konstruktivt til at forbedre kvaliteten af de fremtidige afgørelser og dermed

også til at sikre ensartethed på såvel regionalt plan som på landsplan.

2.3 Tilrettelæggelse af en praksisundersøgelse i hovedtræk

Ved en praksisundersøgelse indkaldes et antal sager fra de involverede myndigheder,

som herefter gennemgås med henblik på den ovennævnte vurdering og kvalitetssikring

af afgørelserne. Det er juridiske eksperter i henholdsvis Ankestyrelsen

og de sociale nævn, der gennemgår sager, der er afgjort af underinstansen. De sociale

nævn vurderer kommunale sager, mens Ankestyrelsen vurderer såvel kommunale

sager som de sociale nævns sager. Omfanget af en praksisundersøgelse

fastlægges således, at afdækningen bliver så repræsentativ som mulig.

Efter gennemgang af sagerne udarbejdes en rapport, hvor resultaterne af praksisundersøgelsen

er beskrevet. Det er vigtigt at medtage i rapporten, hvilke anbefalinger

og vejlednings- og opfølgningsinitiativer undersøgelsen har givet anledning til.

Kommuner og nævn modtager herudover konkrete tilbagemeldinger på de enkelte

sager, der indgår i Ankestyrelsens undersøgelser. Det er forskelligt, hvordan nævnene

giver tilbagemeldinger til kommunerne i deres praksisundersøgelser.

Herefter følger en dialog med de involverede kommuner og nævn om undersøgelsens

resultater og anbefalinger med henblik på den fremadrettede opfølgning.

Praksisundersøgelserne skal således virke gennem information om undersøgelsernes

resultater og anbefalinger.

Ankestyrelsen tilstræber, at praksisundersøgelserne tilrettelægges med henblik på at

opnå bredest mulig dækning – både for så vidt angår lovområder og for så vidt angår

deltagende kommuner og nævn.

Valg af emne til en praksisundersøgelse kan for eksempel være begrundet i et behov

for at belyse praksis på et område, hvor der er usikkerhed om praksis, eller

hvor praksis har vist sig ikke at være korrekt. Det kan også være begrundet i resultaterne

fra en gennemført undersøgelse eller behov for at konstatere, om tidligere

praksiskoordinering har haft effekt. I visse tilfælde kan det være hensigtsmæssigt at

gennemføre en pilotundersøgelse med henblik på at få erfaringer både metodisk og

indholdsmæssigt.

Emnerne i såvel kataloget som i planen for praksisundersøgelser i 2005, jf. bilag 3

og 4, afspejler, at Ankestyrelsen siden førtidspensionsreformens ikrafttræden 1. januar

2003 har fulgt implementeringen af de nye regler med henblik på, at der så

hurtigt som muligt fastlægges en sikker praksis på området. Dette sker som led i

Ankestyrelsens særlige forpligtelse til, i en 5 års periode efter reformens ikrafttræden,

at prioritere praksiskoordineringen højt på dette område.

2.4 Samarbejdet mellem de sociale nævn og Ankestyrelsen

Ankestyrelsen og de sociale nævn samarbejder om praksiskoordinering, således at

Ankestyrelsen gennemfører praksisundersøgelser på landsplan og nævnene på regionalt

plan. Herved tilvejebringes et landsdækkende kendskab til praksis og det

bedst mulige grundlag for den samlede praksiskoordinerende indsats.

Ankestyrelsen og de sociale nævn har indgået en aftale om, hvordan samarbejdet

som udgangspunkt skal foregå. Samarbejdet udvikles løbende, og den seneste samarbejdsaftale

er fra januar 2004.

Samarbejdsaftalen indeholder følgende elementer:

• Katalog over emner for praksisundersøgelser

• Plan over årets praksisundersøgelser

• Metode for gennemførelse af praksisundersøgelser

• Opfølgning

• Oversigt over afsluttede og igangværende praksisundersøgelser

Katalog over emner for praksisundersøgelser

Ankestyrelsen udarbejder et katalog over emner for praksisundersøgelser i dialog

med de sociale nævn. Emnerne i kataloget besluttes på et møde med de sociale

nævn, se nedenfor.

Plan over årets praksisundersøgelser

Ankestyrelsen udarbejder en plan for det kommende års praksisundersøgelser

inden udgangen af året på grundlag af indmeldinger fra nævnene om påtænkte

emner for kommende praksisundersøgelser.

De sociale nævn og Ankestyrelsen er forpligtet til at gennemføre praksisundersøgelser,

som er fastlagt i planen, med mindre andet aftales konkret med Ankestyrelsen.

Metode for gennemførelse af praksisundersøgelser

Ankestyrelsen skal godkende såvel emne som metode til gennemførelsen af en

praksisundersøgelse. Hidtil har det været den metode, som er beskrevet i bilaget

til samarbejdsaftalen, der som udgangspunkt har skullet anvendes.

Ankestyrelsen kan aftale med et eller flere nævn, at der gennemføres praksisundersøgelser

som regionale opfølgningsundersøgelser og dermed effektmålinger.

Flere nævn kan ligeledes samarbejde om undersøgelserne for at sikre større

bredde i de regionale undersøgelser.

Opfølgning

Såvel Ankestyrelsen som de sociale nævn tilrettelægger og gennemfører opfølgningen

af den enkelte praksisundersøgelse under hensyntagen til resultaterne

af legalitetsvurderingen i den konkrete undersøgelse. Her kan egentlige undervisningsforløb

komme på tale. Sådanne undervisningsforløb har hidtil eventuelt

kunne træde i stedet for en praksisundersøgelse.

Oversigt over afsluttede og igangværende praksisundersøgelser

Ankestyrelsen ajourfører løbende en oversigt over alle afsluttede og igangværende

praksisundersøgelser fordelt på lovområder på Ankestyrelsens hjemmeside.

Ankestyrelsens praksisundersøgelser kan læses på Ankestyrelsens hjemmeside.

De sociale nævns praksisundersøgelser kan læses på statsamternes

hjemmeside.

2.5 Møderække med de sociale nævn

Ankestyrelsen har i 2003 indledt en møderække med de sociale nævn for i dialog

med nævnene løbende at udvikle samarbejdet om den praksiskoordinerende

indsats. Det første møde i denne møderække blev afholdt i september 2003.

På møderne drøftes desuden fælles problemstillinger, ligesom der kan træffes

beslutninger om de praksiskoordinerende tiltag herunder fastlæggelse af de

samlede indsatsområder. Der har siden 2003 været afholdt et årligt møde med

nævnene i september/oktober.

2.6 Det Rådgivende Praksisudvalg

Det Rådgivende Praksisudvalg er nedsat af Ankestyrelsen for at støtte styrelsen

i arbejdet med at koordinere praksis i afgørelserne efter den sociale lovgivning 4 .

Det Rådgivende Praksisudvalgs medlemmer repræsenterer i øvrigt:

• Arbejdsmarkedets interesseorganisationer – DA, LO og FTF

• De samvirkende invalideorganisationer

• Kommuner og amtskommuner

• Statsamtmandsforeningen

• Den Sociale Sikringsstyrelse

Ankestyrelsens chef er formand for udvalget.

I udvalget drøftes Ankestyrelsens praksiskoordinerende opgaver, herunder resultaterne

af de gennemførte praksisundersøgelser samt konsekvenserne heraf.

Udvalget kan således rådgive Ankestyrelsen i den overordnede planlægning og

koordinering af praksisundersøgelserne og den samlede vejledningsindsats.

2.7 Behov for udvikling af praksisundersøgelserne

Måden man indtil nu har gennemført praksisundersøgelser på er velegnet til at

vurdere kvaliteten af den samlede kommunale sagsbehandling på et givent område,

og på baggrund heraf at opstille en række anbefalinger.

I forhold til ønsker om at kunne måle effekten af praksisundersøgelserne er

der imidlertid behov for at kvantificere oplysningerne i praksisundersøgelserne

på en sådan måde, at statistiske metoder kan anvendes. I det følgende vil der

blive redegjort for, hvilke metodemæssige overvejelser det indebærer.

4 Jf. retssikkerhedslovens §§ 80 og 81.

3 Effektmåling

3.1 Indledning

Effektmåling kan forstås som et sæt af metoder til dokumentation af effekten af

igangsatte initiativer og tiltag og er blevet et mere udbredt begreb i takt med ønsket

om at prioritere knappe ressourcer. Der er fokus på at vælge de mest omkostningseffektive

instrumenter, og det afføder et krav til dokumentation og evaluering

af igangsatte initiativer.

Effektmålingsbegrebet udspringer fra den medicinske verden, hvor det at måle effekten

af en behandling er altafgørende for, om en given behandling kan tages i

anvendelse. Der vil i den sammenhæng være en gruppe, som er blevet udsat for

behandlingen og en kontrolgruppe, som ikke er blevet behandlet. Herefter kan det

måles, om den gruppe, som har været udsat for behandlingen, har fået det signifikant

bedre end gruppen, som ikke modtog behandling.

Som nævnt i kapitel 2 gennemføres praksisundersøgelserne som led i Ankestyrelsens

og nævnenes forpligtigelse til at koordinere praksis på landsplan og det regionale

plan. Formålet med praksisundersøgelserne er at vurdere legaliteten af kommunernes

afgørelser og udgør dermed en kvalitetsvurdering af kommunernes sagsbehandling.

Effektmåling i relation til praksisundersøgelser kan oversættes med, at praksisundersøgelserne

er et redskab, hvormed en eventuel effekt på kommunernes sagsbehandling

kan måles. Praksisundersøgelserne tager så at sige temperaturen på den

kommunale sagsbehandling. Det er således et unikt redskab, som går meget tæt på

sagsbehandlingen. Da selve det at gennemføre praksisundersøgelserne er et relativt

omkostningsfuldt instrument, er det relevant at undersøge, om praksisundersøgelserne

i sig selv har betydning for kvaliteten af sagsbehandlingen.

Som ved enhver anden metode til effektmåling er det afgørende, at datagrundlaget

er veldokumenteret og velunderbygget, så resultaterne ikke bygger på et for spinkelt

grundlag. Datagrundlaget for praksisundersøgelserne udgør for hver praksisundersøgelse

det sæt af vurderinger, som Ankestyrelsen og de sociale nævn foretager

af de enkelte indkaldte sager.

Formålet med dette effektmålingsprojekt er at udvikle statistiske metoder til at måle,

om praksisundersøgelserne har en effekt på kvaliteten i den kommunale sags-

ehandling. Kvaliteten i den kommunale sagsbehandling udledes ud fra det måleskema,

som anvendes til at vurdere de sager, som indgår i praksisundersøgelserne.

3.2 Rammen for effektmåling

Ved at overføre effektmålingsterminologien inden for den medicinske verden på

praksisundersøgelser vil ”behandlingen” være en praksisundersøgelse foretaget det

ene år, mens ”målingen” det andet år ligeledes er en praksisundersøgelse. Praksisundersøgelserne

er således både en indsats samt et redskab til at måle effekt. Det

giver anledning til særlige udfordringer og gør, at effektmåling af praksisundersøgelserne

adskiller sig fra den gængse måde at anskue begrebet på.

På samme måde som med medicinske behandlinger er det nødvendigt at have en

kontrolgruppe. En måling af, om praksisundersøgelser har en effekt på den kommunale

sagsbehandling, vil således kunne følge nedenstående skema, jf. tabel 3.1:

Tabel 3.1 Metode til effektmåling af praksisundersøgelse

År 1 År 2

Kommunegruppe

gruppe)

1 (test- Deltager i praksisundersøgelse Deltager i praksisundersøgelse

Kommunegruppe 2 (kon- Deltager ikke i praksisunder- Deltager i praksisundersøgelse

trolgruppe)søgelser

På baggrund af resultaterne fra praksisundersøgelserne kan det udledes, om det at

have deltaget i en praksisundersøgelse har en signifikant effekt på sagsbehandlingskvaliteten

for de to kommunegrupper.

3.3 Sammenfatning

Effektmåling af praksisundersøgelser er relevant for at få information og viden

om, hvorvidt praksisundersøgelserne har en adfærdsændrende virkning på de

kommunale aktører. Et af formålene med praksisundersøgelserne er, at de skal føre

til øget kvalitet i sagsbehandlingen.

En metode til at gennemføre effektmåling af praksisundersøgelserne er ved at udvælge

en testgruppe og en kontrolgruppe og via statistiske metoder vurdere, om

det at have deltaget i praksisundersøgelser giver en signifikant forbedring i sagsbehandlingen

i forhold til ikke at have deltaget.

4 Identifikation af effekter

4.1 Typer af effekter

I dette afsnit opstilles først en række kanaler, hvorigennem det kan tænkes, at

praksisundersøgelserne kan påvirke sagsbehandlingen.

Dernæst forklares, hvilke antagelser man må gøre sig, for at en konkret statistisk

måling kan tolkes som en effekt af praksisundersøgelsen.

Praksisundersøgelserne kan tænkes at forbedre sagsbehandlingen gennem information

om resultaterne af praksisundersøgelserne. Sagsbehandlerne bliver via afrapportering

af praksisundersøgelserne informeret om sager, som ikke er i overensstemmelse

med praksis og gældende lovbestemmelser, og dernæst bestræber de sig

ideelt set på at forbedre sagsbehandlingen. Denne effekt kan kaldes informationseffekten.

Som nævnt kræver effektmålingen en gruppe, der er blevet ”behandlet” og en kontrolgruppe,

der ikke er ”behandlet”. Problemet med måling af ovennævnte informationseffekter

er, at alle kommuner umiddelbart bliver ”behandlet” i den forstand,

at alle kommuner har mulighed for at lære af de offentliggjorte resultater af

praksisundersøgelserne. For at måle informationseffekter, kan der derfor indsamles

supplerende oplysninger via spørgeskemaer i tilknytning til praksisundersøgelserne

5 . De supplerende oplysninger skal afsløre kommunernes kendskab til resultaterne

fra de foregående praksisundersøgelser. 6

Man kan også forestille sig, at der er en særlig effekt for de kommuner, der deltager

i praksisundersøgelser. Disse kommuner og sagsbehandlere er formentlig særligt

opmærksomme på, om sagsbehandlingen af mangelfuld. Man kan derfor tale

om en deltagelseseffekt. Den effekt kan sandsynligvis måles uden supplerende spørgsmål.

Det kan ligeledes tænkes, at praksisundersøgelserne kan have en offentliggørelseseffekt,

hvor sagsbehandlerne og kommunerne gør sig ekstra umage, hvis de ved, at kommunens

resultat bliver offentliggjort, fordi de ikke ønsker at blive fremhævet som

en kommune med ringe sagsbehandlingskvalitet. Hidtil har Ankestyrelsen ikke of-

5 Indsamling af supplerende/generelle oplysninger er anvendt i forbindelse med Ankestyrelsens

praksisundersøgelse ”Førtidspension efter arbejdsevnemetoden”, Ankestyrelsen 2005. Her blev der

spurgt til kommunens retningslinier for udarbejdelse af ressourceprofil.

6 Man kunne også udnytte spørgeskemaerne til at belyse, hvad kommunerne gør for at forbedre

sagsbehandlingen.

fentliggjort vurderingen af den enkelte kommunes sager 7 , hvorfor det er sandsynligt,

at denne effekt ikke hidtil har været væsentlig. Effekten kan blive større, hvis

fejlhyppigheder for kommuner bliver offentliggjort i fremtiden i forbindelse med

eksempelvis benchmarking.

Slutteligt kan informationseffekter tænkes at gå på tværs af sagsområder. Mange af

sagsbehandlingsprincipperne og spørgsmålene i praksisundersøgelserne er de

samme fra sagsområde til sagsområde, så det er meget sandsynligt, at sagsbehandlere

på et område kan lære af mangler vedrørende for eksempel dokumentation fra

et andet område. Man kan også forestille sig deltagelseseffekter på tværs af sagsområder:

måske bliver en kommune bedre til at sagsbehandle på hjemmehjælpsområdet,

hvis den har deltaget i en praksisundersøgelse om førtidspension.

4.2 Hvilke typer effekter kan man forvente at identificere

statistisk?

Hvilke typer af effekter, der kan forventes at blive identificeret gennem de statistiske

modeller, afhænger som nævnt af, om der stilles supplerende spørgsmål til

sagsbehandlerne eller den kommunale ledelse eller ej.

4.2.1 Statistiske opgørelser uden spørgeskemaoplysninger

Hvis det udelukkende er vurderingerne fra Ankestyrelsens og nævnenes juridiske

eksperter, der er til rådighed, bliver problemstillingen at undersøge, om fejlhyppigheden

i en praksisundersøgelse er påvirket af, om kommunerne tidligere har deltaget

i en praksisundersøgelse. 8

En uddybning af eksemplet fra afsnit 3.2 kan illustrere, hvordan man kan måle den

direkte effekt af praksisundersøgelserne. Antag, at der ses på et enkelt spørgsmål i

en praksisundersøgelse af for eksempel førtidspension. Kommunegruppe 1 (testgruppen)

bliver undersøgt i 2006 og 2008, mens en anden gruppe af kommuner

(kontrolgruppen) kun bliver undersøgt i 2008. Resultatet er som i tabel 4.1.

Tabel 4.1 Fejlprocenter på kommunegrupper og på tidspunkt for en udvalgt praksisundersøgelse

Kommunegruppe 2006 2008

1 Testgruppe Fejlprocent = 17 Fejlprocent = 6

2 Kontrolgruppe Ikke undersøgt Fejlprocent = 15

De tre differencer mellem de tre procenttal (17, 6 og 15) er interessante at se på.

Hvad de tre statistiske opgørelser egentlig måler, afhænger af, hvad man antager,

der ellers ville være sket med kommunernes fejlprocent mellem 2006 og 2008. Tabel

4.2 viser en sammenfatning af, hvordan antagelser og tolkninger af statistiske

opgørelser hænger sammen.

7 Praksisundersøgelserne er udarbejdet i anonymiseret form, men den enkelte kommune har fået

specifik tilbagemelding på de sager, de har indsendt.

8 I terminologien fra effektmålingsteori er den første praksisundersøgelse ”behandlingen”, og den

anden praksisundersøgelse målingen af effekten af første praksisundersøgelse.

Tabel 4.2 Sammenhæng mellem antagelser og tolkning af statistiske opgørelser

Statistiske opgørelser (effektmål)

Antagelser

A1: Kun kommunernes deltagelse

i den pågældende praksisundersøgelse

i 2006 påvirker

fejlprocenten i 2008

A2: Kommunerne er grundlæggende

ens.

Fejlprocenten kan over tid påvirkes

af mange forhold, der påvirker

alle kommuner, men

kommuneforskelle i fejlprocenter

i 2008 skyldes alene

kommunernes tidligere deltagelse

i den pågældende praksisundersøgelse

i 2006

A3: Kommunerne er grundlæggende

ens.

Fejlprocenten kan over tid påvirkes

alene af deltagelse i

praksisundersøgelser og gennem

information om praksisundersøgelser.

Som i A2 skyldes

kommuneforskelle i fejlprocenter

i 2008 alene kommunernes

tidligere deltagelse i den

pågældende PU i 2006

E1 = 6-17 = -11

pct.

E2 = 6-15

= - 9 pct.

Deltagelseseffekt Forskel på kommuner

i de to grupper

i 2008

Sum af deltagelseseffekt

og ”naturlig

udvikling”

Sum af deltagelseseffekt

og informationseffekt

E3 = 17-15 = 2 pct.

Forskel på kommuner

i de to grupper i

2006

Deltagelseseffekt ”Naturlig udvikling”

i fejlprocent,

der ville være sket

under alle omstændigheder

Deltagelseseffekt Som under A2, men

”naturlig udvikling”

tolkes nu som informationseffekt

Hvis det antages, at alene kommunernes deltagelse i praksisundersøgelser kan påvirke

sagsbehandlingen over tid (antagelse A1), vil effektmålet af typen E1 måle

deltagelseseffekten. Her ses udelukkende på ændringen i testgruppens fejlprocent

mellem 2006 og 2008. Antagelse A1 er imidlertid urealistisk, idet man sagtens kan

forestille sig, at fejlprocenten ændres for kommuner, der ikke deltager i den pågældende

praksisundersøgelse. E1 er derfor ikke rimeligt som effektmål.

I antagelse A2 er antagelsen en anden, nemlig at kommunerne grundlæggende er

ens. Med antagelsen om ens kommuner undgås imidlertid den strenge antagelse

om, at fejlprocenten kun er påvirket af deltagelse i tidligere praksisundersøgelser

(A1). Formentlig er antagelsen om grundlæggende ens kommuner ikke så streng,

fordi man kan vælge kommunerne, der deltager i undersøgelserne, tilfældigt. Det er

de valgte kommunegrupper, der skal være ens – enkelte må godt have deres særpræg,

blot særprægene jævnes ud på gruppeniveauet.

Antagelsen om grundlæggende ens kommuner betyder, at man implicit gætter på,

at kommunegruppe 2 (kontrolgruppen) havde samme fejlprocent i 2006 som

kommunegruppe 1, nemlig 17 pct. Man kan derfor beregne en ”naturlig udvikling”

over tid for kontrolgruppen på 17 – 15 = 2 pct. Denne naturlige udvikling skyldes

andre forhold end deltagelsen i praksisundersøgelser.

Effektmålet E2 sammenligner testgruppens og kontrolgruppens fejlprocenter i

2008 og denne forskel måler, under antagelse A2, deltagelseseffekten.

Under antagelse A3 påstås det, at i fravær af praksisundersøgelser generelt, ville der

ikke være ændring i fejlprocenten over tid. Denne antagelse er mere streng end antagelse

A2, idet den ”naturlige udvikling” påstås at skyldes information om andre

praksisundersøgelser (effektmål E3).

Umiddelbart synes A1 og A3 at være for urimelige antagelser at gøre. Derved synes

det kun at være muligt at måle deltagereffekter via E2, såfremt der ikke foreligger

supplerende oplysninger om den enkelte kommune.

Det, som er interessant i forbindelse med ovenstående illustration er, om de beregnede

forskelle i fejlsandsynligheder er statistisk signifikante. Det vil sige, om det

statistisk kan påvises, at der rent faktisk er sket en forbedring eller forringelse i

sagsbehandlingen, eller om de fundne effekter blot er udtryk for tilfældige udsving.

En metode til at afgøre dette gennemgås i kapitel 6.

4.2.2 Statistiske opgørelser baseret på spørgeskemaundersøgelser

Som diskuteret i foregående afsnit, kan informationseffekten næppe identificeres,

med mindre måleskemaerne suppleres med spørgeskemaundersøgelser i kommunerne.

Der kan for eksempel indhentes information om sagsbehandlernes kendskab

til resultaterne af tidligere praksisundersøgelser.

I tabel 4.3 er angivet, hvordan spørgeskemaundersøgelser kan bruges til effektmåling.

Tabel 4.3 Skitse af statistisk model for effektmåling

Fejlhyppighed .. .. undersøges statistisk som

funktion af ..

1. Sagsbehandlers kendskab til resultater

fra praksisundersøgelser

2. Øvrige kendetegn ved sagsbehandler

(for eksempel erfaring/uddannelse)

3. Kommunens/ socialchefens

kendskab til praksisundersøgelser

4. Øvrige kendetegn ved kommunen

(for eksempel andel med høj

uddannelse, størrelse)

5. Har sagsbehandleren/kommunen

tidligere deltaget i

praksisundersøgelse?

Hvis der er informationseffekter fra praksisundersøgelserne, vil det formentlig give

sig udslag i, at sagsbehandlere, der siger, at de kender til resultater fra tidligere

praksisundersøgelser, har færre fejlbehæftede sager end sagsbehandlere, der ikke

kender til praksisundersøgelser. Man skulle derfor forvente, at punkt 1 i tabellen

har statistisk betydning.

Det første problem i denne type måling er, at sagsbehandlere, der har sat sig ind i

resultater fra praksisundersøgelserne, måske er dygtige generelt, og derfor ville ha-

ve en relativt lille fejlandel, selv om de ikke havde læst om tidligere praksisundersøgelser.

Der er med andre ord et ”selektionsproblem” i metoden 9 . Man kan til

dels korrigere for dette ved at indføre andre karakteristika for sagsbehandleren, for

eksempel oplysninger om vedkommendes uddannelsesniveau eller erfaring – jf.

punkt 4 i tabellen. En del af selektionsproblemet består imidlertid, for selv om

man korrigerer for eksempel for uddannelse, så vil der stadig være forskel på sagsbehandlere

10 .

Informationseffekten foregår måske ikke via sagsbehandleren som individ, men

snarere gennem kommunen generelt. Måske er det socialchefen, der orienterer sig

om resultater fra praksisundersøgelsen og viderebringer konklusioner. Derfor kan

det måske være på ledelsesplan, at der skal indhentes oplysninger (punkt 3).

Endelig kan man via spørgeskemaer få oplysning om deltagelseseffekten ved direkte

at spørge sagsbehandleren/kommunen, om de tidligere har deltaget i praksisundersøgelser

(punkt 5). Svaret kan betragtes som et alternativt til at finde oplysninger

om dette via Ankestyrelsens egne data om, hvilke kommuner, der har deltaget

tidligere.

4.2.3 Effekt af igangsatte initiativer

Anvendelsen af spørgeskemainformationer kan yderligere anvendes til at analysere

effekten af igangsatte initiativer.

Effektmåling af praksisundersøgelser adskiller sig ved, at det at foretage praksisundersøgelser

både er en behandling og en måling. Det kan diskuteres, om det at blive

målt i sig selv kan påvirke fejlprocenten.

Kan måling være en behandling?

Er det sandsynligt, at den omstændighed at en person får målt sit blodtryk, kan få blodtrykket til

at falde? Målingen giver den pågældende nogle signaler om, hvordan tilstanden er. Ud fra en viden

om, hvad normaltilstanden er, vil den pågældende få at vide, om det kræver behandling. Det

vil således være behandlingen eller ændret adfærd hos den pågældende, der kan betyde, at blodtrykket

er faldet ved næste måling.

Praksisundersøgelserne indeholder imidlertid anbefalinger om, hvor kommunerne

skal være særligt opmærksomme. Intuitivt må det forventes, at der kun vil være

marginale påvirkninger af selve målingen (gennemførelsen af praksisundersøgelsen),

mens det er de igangsatte initiativer, som danner grundlaget for en forbedret

sagsbehandling. Initiativerne kan enten være foranlediget af praksisundersøgelserne

eller af andre forhold i kommunen.

Ved direkte kausalitet mellem praksisundersøgelsernes anbefalinger og de igangsatte

initiativer vil effekten imidlertid kunne fortolkes som effekt af praksisundersøgelserne.

Det vil kræve supplerende spørgsmål til kommunerne for at få svar på,

9 Det vil sige, at det ikke er tilfældigt, hvem som lærer af praksisundersøgelser.

10 Der findes statistiske metoder til, i hvert fald delvist, at kontrollere for sådanne selektionsproblemer

(instrumentvariabelmetoder og metoder med randomiserede parametre), men de vurderes at

være relativt komplicerede at skulle anvendes i rutinemæssige effektvurderinger. Det er dog ikke

fuldkommen udelukket, at sådanne metoder vil bliver brugt.

om de har igangsat initiativer alene på baggrund af praksisundersøgelsernes anbefalinger.

4.3 Sammenfatning

Der kan fremhæves 3 typer af effekter, hvorigennem det kan tænkes, at praksisundersøgelserne

kan påvirke sagsbehandlingen i kommunerne

• Deltagelseseffekt

• Informationseffekt

• Offentliggørelseseffekt

Det vurderes, at alene deltagelseseffekten vil være mulig at identificere, såfremt der

udelukkende foreligger de oplysninger, som fås gennem praksisundersøgelserne.

Hvis der derimod indhentes supplerende oplysninger fra kommunerne i forbindelse

med praksisundersøgelserne, vurderes det muligt også at måle informationseffekter.

Det vurderes ikke muligt at måle offentliggørelseseffekten.

For at kunne måle deltagelseseffekter og informationseffekter forudsætter det, at

de valgte kommunegrupper er grundlæggende ens. Det vurderes ikke problematisk

at sammensætte kommunegrupperne, der skal indgå i effektmåling, så de er grundlæggende

ens.

Ved brug af supplerende spørgsmål til kommunerne vil det i øvrigt være muligt at

måle effekten på kommunernes sagsbehandling af eventuelt igangsatte initiativer i

kommunerne.

5 Statistisk usikkerhed

Det relevante i forbindelse med effektmålingsprojektet er at kunne afgøre, om en

given udvikling i sagsbehandlingskvaliteten, målt som fejlprocenter, skyldes deltagelsen

i praksisundersøgelserne, eller om udviklingen blot skyldes tilfældige udsving.

En faktor, som har betydning for at kunne afgøre dette, er det samlede antal

sager, som vurderes i de praksisundersøgelser, der skal indgå i effektmålingen. Det

skal således sikres, at der vurderes et repræsentativt udsnit af sager.

Nedenfor gennemgås sammenhængen mellem antallet af sager og den statistiske

usikkerhed, der vil være forbundet med den fundne udvikling i sagsbehandlingskvaliteten.

5.1.1 Stikprøveteori og statistisk usikkerhed

Ofte er det af tidsmæssige, økonomiske eller andre ressourcemæssige årsager ikke

muligt at inddrage for eksempel hele befolkningen eller alle kommunale sager, når

et givent område ønskes undersøgt. Derfor udtages en stikprøve af den samlede

population. Formålet med udvælgelsen af en stikprøve er oftest at estimere/skønne

et gennemsnit over populationens enheder. For praksisundersøgelser

svarer det til, at man ud fra den observerede gennemsnitlige fejlprocent i en stikprøve

af sager, ønsker at beregne et skøn for den gennemsnitlige fejlprocent i det

samlede antal sager inden for et givent lovområde eller for hele kommunen.

Et ofte stillet spørgsmål inden for stikprøveteori er, hvor stor en stikprøve der skal

vælges. Svaret afhænger af, hvilken præcision man ønsker. Det er klart, at man

med en stikprøvestørrelse, der er lig med populationsstørrelsen, vil kunne få en

præcision, der er 100 procent. Gennemsnittet af en given variabel i stikprøven vil

svare til gennemsnittet af den samme variabel i hele populationen.

Hvor stor en præcision, der ønskes, afhænger naturligvis af undersøgelsens art. I

en politisk meningsmåling er det eksempelvis afgørende at vide, om et givent politisk

parti kan klare spærregrænsen på 2 procent. Man skal derfor være temmelig

sikker på, at den stemmeprocent, man finder i stikprøven, med høj sandsynlighed

svarer til den, man ville finde ved at spørge hele befolkningen.

Med hensyn til præcision er der to dele at tage stilling til. Ud fra den observerede

fejlprocent i et antal sager kan det beregnes, i hvilket interval den sande fejlprocent

(fejlprocenten i alle sager) vil ligge. Det kan således være et krav, at man med en vis

sandsynlighed højst må ramme 5 procentpoint ved siden af. Herudover kan det

være et krav, at man med 95 procent sandsynlighed skal kunne sige, at den observerede

fejlprocent ligger inden for det angivne interval. I nogle tilfælde vil det være

nok kun at være 80 procent sikker på, at man har ramt rigtigt. Med de forskellige

krav til præcision kan en stikprøvestørrelse således beregnes.

5.1.2 Statistisk usikkerhed i praksisundersøgelser

I praksisundersøgelserne vurderes det, om de indkaldte sager er behandlet i overensstemmelse

med lovgivningen samt gældende praksis. Ud fra denne betragtning

registreres der i praksisundersøgelserne fejlhyppigheder.

Som nævnt ovenfor er et traditionelt spørgsmål inden for stikprøveteori, hvor stor

en stikprøve (n) skal være, for at man for eksempel med 95 pct. sikkerhed kan sige,

at den sande fejlprocent p (fejlprocenten i alle sager), ligger i et interval [p 1;p 2] omkring

den observerede/skønnede fejlprocent pˆ . Intervallet, det såkaldte konfidensinterval,

skal tolkes som, at p 1 er det mindste man kan tro, at den sande fejlprocent

er, mens p 2 er det højeste man kan tro, at den sande fejlprocent er.

Hvordan konfidensintervallet beregnes, afhænger af den valgte metode.

I den hypergeometriske fordeling beregnes konfidensintervallet tilnærmelsesvist

på følgende måde:

⎡

N − n pˆ

( 1−

pˆ

)

N − n pˆ

( 1−

pˆ

) ⎤

[ p ] = ⎢ ˆ −

p z1−α

; p + z1−α

⎥

⎣ N −1

n −1

N −1

n −1

⎦

Hvor standardafvigelse

( pˆ

) =

N − n pˆ

( 1−

pˆ

)

N −1

n −1

std og hvor z 1-α/2 er fraktiler i nor-

malfordelingen. For et 95 pct. konfidensinterval er z 1- α /2 = 1,96, mens den for et

90 pct. konfidensinterval er 1,645.

Hvis stikprøven udgør hele populationen (man har fat i alle kommunens sager på

området), vil der ikke være nogen usikkerhed omkring den skønnede fejlprocent

og p= pˆ .

For et 95 procent konfidensinterval kan formlen tilnærmelsesvist skrives

[ p p ] = [ pˆ

−1,

96 ⋅ std(

pˆ

); pˆ

+ z;

pˆ

+ 1,

96 ⋅ std(

pˆ

) ]

Således at den sande fejlprocent ligger inden for et interval omkring den skønnede

fejlprocent på ca. +/- 2 gange standardafvigelsen.

I den hypergeometriske model afhænger usikkerheden af den samlede population.

Dette er umiddelbart den mest intuitive måde at illustrere usikkerheden for den

enkelte kommune, da usikkerheden afhænger af, hvor mange sager kommunen

behandler inden for det givne område. Der er imidlertid nogle svagheder ved at

anvende den hypergeometriske tilgang.

I modellen kan usikkerheden mindskes ved, at stikprøvens andel af den samlede

population øges. Det kan ske ved, at der udtages en større stikprøve (det vil sige, at

der indhentes flere sager i praksisundersøgelserne), men også ved at populationen

for en given stikprøve er mindre. For kommuner med en lille andel afgørelser årligt,

vil modellen mere sikkert kunne estimere fejlprocenten. Usikkerhedsintervallet

for kommuner med få sager vil således være mere snævert, og det vil lettere kunne

afgøres, om kommunen afviger signifikant fra gennemsnittet.

De kommuner, som et givent år behandler færre sager på et givent område, vil derfor

nemmere kunne udpeges som signifikant gode eller dårlige i forhold til kommuner,

som behandler mange sager. Da kommunen ikke kan påvirke det samlede

antal afgørelser på et givent år, vil denne metode indebære en forskelsbehandling

af kommunerne.

Herudover kendes det samlede antal sager i den enkelte kommune pr. lovområde

ikke, så hvis denne tilgang skal anvendes, skal der skønnes over den samlede population.

Det vil give endnu en usikkerhed i beregningerne.

En anden tilgang vil være at anvende en binomialfordeling. I denne model estimeres

på samme vis som i den hypergeometriske model et konfidensinterval, hvori

den sande fejlprocent med 95 pct. sandsynlighed vil ligge. Den sande fejlprocent

fortolkes her som fejlprocenten, såfremt kommunerne behandlede uendeligt mange

sager. På den måde ligestiller man kommunerne ved at finde en tendens til fejl i

den enkelte kommune.

Konfidensintervallet i en binomialfordeling beregnes på stort set samme måde

som i den hypergeometriske model, blot beregnes standardafvigelse tilnærmelsesvist

som

Std(

det vil sige uden den samlede population N.

pˆ

( 1−

pˆ

)

Selve estimatet af fejlprocenten vil være den samme, som i den hypergeometriske

model, men konfidensintervallerne vil være mere vide. Det vil sige, at usikkerheden

vil være større.

Usikkerheden kan, som i den hypergeometriske model, mindskes ved at inddrage

flere observationer. Det kan gøres ved at indhente flere sager, men der er også mulighed

for at foretage vurderingen af sagerne på mere end ét spørgsmål, jf. nedenfor.

5.1.3 Eksempel til illustration af statistisk usikkerhed

På baggrund af ovenstående betragtninger kan der foretages et forhåndsskøn over

det antal sager, der kræves, førend at man med rimelighed kan sige, at stikprøvens

resultat er dækkende for alle kommunens sager. I boks 1 illustreres statistisk usikkerhed

i binomialfordelingen.

Boks 1 Illustration af statistisk usikkerhed

Figur 1 viser kravet til stikprøven i en binomialfordeling afhængig af, hvor stor en afvigelse man

kan acceptere i et bånd omkring den målte fejlprocent. Sammenhængen er afbildet for forskellige

fejlsandsynligheder.

Figur 1 Sammenhængen mellem stikprøvens størrelse og standardafvigelse for forskellige

fejlsandsynligheder

Standardafvigelse

0,14

0,12

0,1

0,08

0,06

0,04

0,02

0 50 100 150 200 250 300

5 pct. 10 pct. 20 pct.

Antal sager

Et fornuftigt krav at stille til praksisundersøgelsernes præcision kan være, at den sande fejlprocent

med 95 procent sandsynlighed skal ligge i et bånd omkring den målte på +/- 5 procentpoint,

hvilket svarer til en standardafvigelse på ca. 0,025. I figur 1 kan det aflæses, at der dermed

skal indhentes ca. 70 sager, hvis den sande fejlprocent er omkring 5 pct. Hvis den sande fejlprocent

derimod er 20 procent skal der indhentes 175 sager for at nå den ønskede præcision.

Da det ikke på forhånd vides, hvor mange sager som vil være fejlbehæftede, vil det først være efter

gennemførelsen af en praksisundersøgelse, at den faktiske statistiske usikkerhed kan beregnes.

Da det med nogenlunde sikkerhed ønskes at kunne afgøre, om en afvigelse fra

gennemsnittet kan afvises som tilfældig, stiller det krav til antallet af sager i praksisundersøgelserne.

5.2 Ulemper ved ovenstående modeller

Usikkerheden kan i den hypergeometriske og binomialmodellen mindskes ved at

indhente flere observationer fra de enkelte kommuner. Det kan imidlertid være

problematisk for kommunerne at fremfinde et stort antal sager, og ressourcemæssigt

vil det være krævende at måle et stort antal sager.

En anden måde, hvorpå den statistiske usikkerhed kan mindskes uden at øge antallet

af sager i den enkelte praksisundersøgelse, er ved at vurdere de enkelte sager på

flere uafhængige spørgsmål. Hvis der udtages en stikprøve på 10 sager for en

kommune, og der sammenlignes på 3 uafhængige spørgsmål, vil det svare til at ha-

ve en stikprøve på 30 sager, hvilket reducerer usikkerheden, jf. ovenstående beregninger.

For at kunne give et så realistisk billede som muligt af den kommunale

sagsbehandling er denne faktor af stor betydning.

Binomialfordelingsmodellen (og den hypergeometriske model) giver ikke mulighed

for at inddrage flere spørgsmål, som vil kunne mindske usikkerheden. De giver ej

heller mulighed for at inddrage flere faktorer end kommunefaktoren til at forklare

antallet af fejl.

For at kunne inddrage flere faktorer kan en multivariat model som for eksempel

den logistiske regressionsmodel anvendes. Denne model estimerer, på samme

vis som binomialfordelingen, den enkelte kommunes tendens til at lave fejl, såfremt

de behandler uendeligt mange sager. Med den logistiske regressionsmodel

estimeres en sandsynlighed for, at den næste sag, der afgøres i den enkelte kommune,

er fejlbehæftet. Det er således, ligesom binomialmodellen, en mere fremadrettet

model og mere dækkende for den enkelte kommunes sagsbehandlingsniveau

end den hypergeometriske model.

På baggrund af ovenstående betragtningerne anvendes i det følgende den logistiske

regressionsmodel, da den vurderes at give det mest sande billede af en sammenligning

af kommunernes sagsbehandling.

Hvad angår den statistiske usikkerhed er det netop målet, at effektmålingen ikke

foretages på baggrund af tilfældige udsving for den enkelte kommune. Der bliver

således i afrapporteringen taget højde for den statistiske usikkerhed for den enkelte

kommune.

5.3 Sammenfatning

For at kunne vurdere, om en udvikling i kommunernes sagsbehandling skyldes deltagelse

i praksisundersøgelser, er det vigtigt, at der er statistisk sikkerhed for, at de

observerede fejlandele i kommunerne ikke bygger på tilfældige udsving, men er sigende

for den faktiske fejlandel i kommunen. Den statistiske usikkerhed kan mindskes

ved at øge sagsagsantallet i praksisundersøgelserne og/eller ved at vurdere sagerne

på flere spørgsmål.

Den logistiske regressionsmodel kan håndtere, at der inddrages flere spørgsmål,

hvorfor denne model foreslås anvendt som model til effektmåling.

6 Effektmålingsmodel

6.1 Model til effektmåling

Som nævnt i forrige kapitel vurderes det hensigtsmæssigt at anvende den logistiske

regressionsmodel til at estimere, om udviklingen i sagsbehandlingskvaliteten skyldes

praksisundersøgelserne, og om den er statistisk signifikant. I forhold til mere

simple tests (i binomialfordelingen) tillader modellen, at der inddrages andre faktorer,

som kan have betydning for effekten. Det kan være udvidelser som for eksempel

kommunernes kendskab til resultaterne i tidligere praksisundersøgelser, antallet

af sager i kommunen, ressourcer afsat til området eller typen af spørgsmål,

der er set på. Udvidelserne kræver som nævnt ovenfor, at kommunerne svarer på

supplerende spørgsmål om forholdene i kommunen.

Modellen, som anvendes, kan opskrives som

"fejltendens" = β0 + βpu pu + βt + βs

D t s

Hvor D pu er en dummyvariabel, som antager værdien 1 for testgruppen, som har

deltaget i den første praksisundersøgelse og 0 for kontrolgruppen, som ikke har

deltaget i den første praksisundersøgelse. t angiver perioden, og s er et andet karakteristika

ved kommunen, som har behandlet sagen (uddybes nedenfor). β'erne udgør

de parametre, som ønskes estimeret 11 . I modellen undersøges om det at have

deltaget i en praksisundersøgelse påvirker kommunernes fejltendens.

I relation til eksemplet i afsnit 4.2 kan de forskellige effektmål udledes fra modellen.

6.1.1 Effektmål uden spørgeskemainformation

Uden supplerende informationer fra kommunerne kan følgende effektmål, som

måler deltagelseseffekten, udledes:

Effektmål af typen E1: Udviklingen over tid for testgruppen antages for dette effektmål

alene at være påvirket af deltagelsen i praksisundersøgelser. Dette kan estimeres

via

" fejltendens" = β 0 + βt

11 Se bilag 7 for mere detaljeret gennemgang af den logistiske regressionsmodel.

Parameteren β 0 fanger, om fejltendensen i testgruppen ændres over tid. Estimeres

en negativ parameter, vil fejltendensen være faldet over tid. Ændringen er statistisk

signifikant, hvis konfidensintervallet for parameteren ikke omfatter 0. Parameterestimaterne

kan omregnes til fejlsandsynligheder. Antagelsen om, at udviklingen

over tid alene skyldes deltagelse i praksisundersøgelser, er ikke realistisk.

Effektmål af typen E2: Der ses alene på tidspunkt t=1, og de to kommunegrupper

sammenlignes

" fejltendens" = β 0 + β

pu D pu

Parameteren β pu fanger, om fejltendensen er lavere for testgruppen end for kontrolgruppen.

På samme måde som ovenfor kan det ved hjælp af konfidensintervallerne

afgøres, om tendensen er signifikant eller ej. Det antages her, at kommunegrupperne

er grundlæggende ens, og at fejlprocenten for kontrolgruppen var den

samme som for testgruppen på tidspunkt t=0. Desuden antages, at forskelle i fejlprocenter

mellem testgruppen og kontrolgruppen alene skyldes tidligere deltagelse

i praksisundersøgelser. Det vurderes at være realistisk ud fra, at kommunegrupperne

frit kan vælges.

Eksempel

Da effektmål E2 vurderes at være det mest realistiske effektmål, opstilles der i det

nedenstående et eksempel på estimation af effektmålet.

Der tages udgangspunkt i et tænkt datasæt, hvor 100 sager fra testgruppen undersøges

på tidspunkt 0, og 100 sager undersøges fra både testgruppen og kontrolgruppen

på tidspunkt 1. Det antages samtidig, at fejlsandsynlighederne er som i tabel

6.1 12 .

Tabel 6.1

Kommunegruppe Tidspunkt 0 Tidspunkt 1

1 Testgruppe Fejlprocent = 17 Fejlprocent = 6

2 Kontrolgruppe Ikke undersøgt Fejlprocent = 15

Ved estimation af modellen for effektmål E2 fås estimaterne, som vist i tabel 6.2.

Tabel 6.2 Estimation af effektmål E2

Variabel Parameter Parameter estimat

Nedre konfidensinterval

Øvre konfidensinterval

Intercept β0 -1.7346 -2.2225 -1.2965

D βpu -1.0169 -1.9009 -0.2170

Det negative estimat til D pu (β pu ) afspejler, at testgruppen har en lavere fejlsandsynlighed

end kontrolgruppen. Estimaterne anvendes til at omregne til fejlsandsynligheder,

jf. bilag 7. Resultatet fremgår af tabel 6.3.

12 Tabellen er den samme som tabel 4.1. Der tages således udgangspunkt i samme eksempel.

Tabel 6.3. Omregning til sandsynligheder for effektmål E2

Variabel Fejlsandsynlighed

for kontrolgruppe

(t=1)

Fejlsandsynlighed

for testgruppe

(t=1)

Middelskøn

for

forskel i

fejlsandsynlighed

Nedre

konfidensinterval

for forskel

Øvre konfidensinterval

for

forskel

Konfidensintervalletsbredde

Dpu 15 6 9 (=15-6) 3 12 9

Tabellen skal tolkes således, at de kommuner, som tidligere har deltaget i en praksisundersøgelse,

har en fejlprocent, som med 95 pct. sikkerhed ligger mellem 3 og

12 pct. lavere end i de kommuner, som ikke tidligere har deltaget i en praksisundersøgelse.

Som middelskøn beregnes deltagelseseffekten at være 9 pct.

Forskellen mellem grupperne er statistisk signifikant, idet konfidensintervallet ikke

indeholder 0. Det antages her, at kontrolgruppen havde samme fejlprocent, som

testgruppen på tidspunkt 0, og at forskellen i fejlsandsynligheden mellem de to

grupper på tidspunkt 1 udelukkende skyldes, at testgruppen har deltaget i en praksisundersøgelse

på tidspunkt 0.

6.1.2 Effektmål med spørgeskemainformation

Med supplerende oplysninger fra kommunerne kan den fulde model over begge

perioder og begge kommunegrupper estimeres

"fejltendens" = β0 + βpu pu + βt + βs

D t s

Parameteren til variablen s afspejler betydningen af andre karakteristika ved kommunen.

Årsagen til at inddrage sådanne karakteristika kan være, at de er af selvstændig

interesse eller, at de er statistisk korreleret med dummyen for deltagelse i

praksisundersøgelser.

Variabler af selvstændig interesse kunne for eksempel være antal sager, der er behandlet

pr. år, eller mængden af ressourcer, der er afsat til sagsbehandling i forhold

til antal sager. Det kan også være oplysninger om, hvor godt kommunen informerer

sig om resultaterne af praksisundersøgelserne. I så fald kan parameteren til s

tolkes som et mål for informationseffekten af praksisundersøgelser (hvor parameteren

til deltagelsesdummyen fanger deltagelseseffekten).

Imidlertid er det uklart, om s, på grund af det tidligere nævnte selektionsproblem,

virkelig fanger en sådan informationseffekt. Det skyldes, at det sagtens kan tænkes,

at det er de ”dygtige” kommuner, der sørger for at holde sig underrettet om praksisundersøgelserne,

og at disse kommuner under alle omstændigheder har få fejl og

mangler i sagsbehandlingen. Derved fanger s ikke blot informationseffekten, men

også nogle særegne træk for dygtige kommuner.

Hvis der gennemsnitligt set er forskel på s blandt behandlings- og kontrolgruppen,

kan parameteren til deltagelsesdummyen fange noget af effekten via s, hvis variab-

len ikke er med i estimationen. Der er måske ikke den store risiko for en sådan

korrelation mellem s og deltagelse, for de deltagende kommuner er valgt tilfældigt.

6.1.3 Vurdering på flere spørgsmål

I mange tilfælde kan det være nødvendigt at se på flere spørgsmål i samme analyse

for at øge antallet af observationer og dermed den statistiske sikkerhed. I eksemplet

i afsnit 6.1.1 blev der beregnet et ret bredt bånd for effekten, selv om der blev

undersøgt et relativt stort antal sager. Hvis der ses på to spørgsmål (for eksempel

om dokumentation er til stede, og om afgørelsen er korrekt) og lader Ds1 være en

dummy for det aktuelle spørgsmål (for eksempel dokumentationsspørgsmålet),

kunne en model være som følger

"fejltendens" = β0 + βpuDpu + βs1Ds1

Her fanger parameteren β s1

, om der lettere sker fejl i dokumentationsspørgsmålet

end i korrekthedsspørgsmålet (i så fald er parameteren positiv). De to spørgsmål

kunne også være fra to forskellige praksisundersøgelser. Modellen viser, hvordan

to forskellige spørgsmål kan analyseres i et trin. Modellens antagelse er blot, at effekten

fra deltagelse i praksisundersøgelser er den samme i de to spørgsmål.

Inddragelse af flere spørgsmål svarer til, at der indhentes flere sager og dermed

indgår flere observationer. Tabel 6.4 viser, at konfidensintervallet (og dermed usikkerheden)

indsnævres, jo flere sager der inddrages i effektmålingen eller ved at

inddrage flere spørgsmål.

Tabel 6.4. Vurdering på flere spørgsmål

N Konfidensintervallets bredde

50 13

100 9

300 6,5

450 5

Note: Der er taget udgangspunkt i eksemplet til beregning af effektmål E2

For N=450 svarer det stort set til, at der indgår 150 sager fra hver kommunegruppe,

som vurderes på 3 uafhængige spørgsmål.

6.2 Lovændringer

Såfremt der sker fundamentale lovændringer for det område, som er valgt som udgangspunkt

for effektmålingen, kan det have betydning for fortolkningerne. Der

skal så vidt muligt undgås at vælge områder til effektmåling, som på forhånd vides

at gennemgå større lovændringer.

For effektmåling E2 vil det imidlertid være mindre problematisk end ved effektmål

E1.

Ved effektmål E2 sammenlignes testgruppen og kontrolgruppen til t=1, hvor lovændringerne

er trådt i kraft. Begge grupper vil således deltage med sager, som er

afgjort ud fra samme forudsætninger (ny lovgivning), og forskellen kan stadig antages

at skyldes, at testgruppen tidligere har deltaget i en praksisundersøgelse.

Det eneste, som kan gøre billedet uskarpt er, hvis det tænkes, at testgruppens fejlprocent

til t=1 ville have været højere uden lovændringer. Dermed vil forskellen

mellem de to grupper være højere end med lovændring, og der vil blive beregnet

en større effekt af deltagelsen i en tidligere være praksisundersøgelse.

Ved effektmål E1, som ikke vil blive anvendt, analyseres resultaterne udelukkende

over tid for testgruppen, og det kan ikke adskilles, hvad er skyldes lovændring og

hvad der skyldes deltagelsen i en tidligere praksisundersøgelse.

6.3 Sammenfatning

Via den logistiske regressionsmodel opstilles de forskellige effektmål, og ved hjælp

af beregning af konfidensintervaller kan det afgøres, om en given udvikling har været

signifikant, eller det blot er tilfældigt, at der er observeret en udvikling.

Modellen kan anvendes til at inddrage information fra flere spørgsmål samtidigt.

Det vil mindske den statistiske usikkerhed i beregningerne af effekterne.

Fundamentale ændringer i lovgivningen i perioden mellem de praksisundersøgelser,

som indgår i effektmåling, kan have betydning for beregningerne, men det må

bero på en konkret vurdering ved tilrettelæggelsen og gennemførelsen af den enkelte

effektmåling.

7 Udmøntning

7.1 Krav til antallet af sager i fremtidige praksisundersøgelser

På baggrund af betragtningerne i afsnittet om statistisk usikkerhed kan der opstilles

nogle retningslinjer for, hvor mange sager det er nødvendigt at inddrage i praksisundersøgelserne

for, at målingerne giver et robust resultat. Der skal dels tages hensyn

til, at den statistiske usikkerhed ønskes minimeret samt hvilket antal sager, det

vil være rimeligt for Ankestyrelsen og nævnene at vurdere i en praksisundersøgelse.

7.1.1 Antal sager og sagstype i Ankestyrelsens praksisundersøgelser

Ankestyrelsen har i de senere år i den enkelte praksisundersøgelse indkaldt mellem

ca. 100 og 145 sager fra et antal kommuner og fra de sociale nævn. Blandt de indhentede

sager har været både bevillingssager og afslagssager. Da sagerne ikke må

være ankede, er der ikke overraskende blandt kommunesagerne en klar overvægt af

bevillingssager (90 pct.) jf. tabel 7.1 nedenfor.

Tabel 7.1 Antal kommunesager i Ankestyrelsens praksisundersøgelser fordelt på bevillingssager

og afslagssager

2003 - 2005

Sager i gennemsnit pr. undersøgelse

Kommunesager antal procent antal procent

- Bevillingssager 581 90 83 90

- Afslagssager 62 10 9 10

Kommunesager i alt 643 100 92 100

Når Ankestyrelsen hidtil har gennemført praksisundersøgelser, er sagerne indkaldt

efter retningslinjer, der sikrede en tilfældig udvælgelse. Ankestyrelsen har oftest

anmodet om såvel bevillingssager som afslagssager, hvor den første sag vedrørte

den seneste afgørelse forud for en bestemt dato, sag nr. 2 den næstsidste afgørelse

forud for en bestemt dato, og så fremdeles indtil det ønskede antal sager var fundet.

Der skulle ikke sendes afgørelser, som var anket og behandlet af det sociale

nævn.

Tallene i tabellen stammer fra i alt 7 praksisundersøgelser, som Ankestyrelsen har

gennemført i perioden fra 2003 til 2004/2005. Der er gennemført yderligere 3

praksisundersøgelser i perioden. Disse er ikke medtaget i tabellen, da det enten ikke

fremgår, hvor mange kommunale sager, der var henholdsvis bevillingssager og

afslagssager, eller undersøgelsen var tilrettelagt med enten kun bevillingssager, eller

Ankestyrelsen havde anmodet om et bestemt antal afslagssager.

De sociale nævn indkalder betydelig færre sager i deres praksisundersøgelser - i

gennemsnit omkring 35 – 40 sager - men har tilsvarende en klar overvægt af bevillingssager.

Der knytter sig forskellige problemstillinger til henholdsvis bevillingssager og afslagssager.

Det har derfor været problematisk for sagsbehandlerne at vurdere både

afslagssager og bevillingssager i forhold til samme spørgsmål/svar i måleskemaerne.

Dertil kommer, at der er tegn på, at ikke alle kommuner systematisk registrerer sine

afslagssager på alle områder. Afslagssagerne fremfindes derfor ofte pr. hukommelse,

hvilket ikke sikrer den tilfældighed og repræsentativitet i udvælgelsen af disse

sager, der burde være.

Det anbefales derfor fremover at adskille de kommunale bevillingssager fra de

kommunale afslagssager, således at der i den enkelte praksisundersøgelse fremover

kun indgår enten afslagssager eller bevillingssager. Derved opnås et renere snit i

datagrundlaget og derved et klarere budskab i afrapporteringen. I overensstemmelse

med den hidtidige fordeling af de to typer sager, jf. tabel 6.1 ovenfor, kan der

fremover gennemføres et mindre antal praksisundersøgelser udelukkende med afslagssager.

Mod denne fremgangsmåde taler, at der fremover vil være færre praksisundersøgelser,

der vurderer kvaliteten af kommunernes sagsbehandling for så vidt angår

afslagssagerne. Det kan ligeledes anføres, at hovedparten af praksisundersøgelserne

fremover i højere grad vil have fokus på ydelsesniveauet for borgere, der modtager

hjælp, frem for ydelsesniveauet for borgere, der har fået afslag på hjælp.

Det er dog vigtigt at understrege, at det er hensigten, at der også fremover vil være

praksisundersøgelser, der gennemgår afslagssagerne, men at disse koncentreres i

praksisundersøgelser, der udelukkende omhandler afslagssager. Det er Ankestyrelsens

vurdering, at denne fremgangsmåde indebærer et kvalitetsløft i forhold til vurdering

af kommunernes praksis i afslagssagerne, idet det dels vil være muligt at

indhente et større antal sager, hvor borgeren har fået afslag, der kan sættes større

fokus på problemerne i disse sager, og dels kan anbefalingerne til kommunerne i

højere grad målrettes denne type sager.

Samtidig er det værd at bemærke, at ankesystemet generelt samler op på afslagssagerne

og dermed sikrer borgernes retssikkerhed i forhold til såvel afgørelsernes

materielle korrekthed som i forhold til kommunernes overholdelse af formelle

sagsbehandlingsregler.

Der knytter sig tilsvarende forskellige problemstillinger til sagerne alt efter, om der

er tale om en kommunesag eller en nævnssag. Sagerne fra de sociale nævn udgør

omkring en femtedel af det samlede antal sager, der indgår i en praksisundersøgelse,

jf. tabel 7.2 nedenfor. Det bemærkes dog, at der i de igangværende praksisundersøgelser

(2005) er indkaldt i alt 466 sager. Heraf udgør kommunesagerne 324 sager,

svarende til 70 pct. og sagerne fra de sociale nævn udgør 142, svarende til 30 pct.

Tabel 7.2 Antal sager i Ankestyrelsens praksisundersøgelser fordelt på kommunesager og

nævnssager

10 undersøgelser i Sager i gennemsnit pr. Fordelingen i procent

Myndighed

perioden

2003 – 2004

undersøgelse

antal antal procent

Kommunesager 945 95 79

Nævnssager 254 25 21

Sager i alt 1199 120 100

Ved fremover, som med bevillings- og afslagssagerne, at lade enkelte praksisundersøgelser

omhandle kun nævnssager, kan man sætte bedre fokus på relevante indsatsområder

for nævnene. Det reducerede antal nævn betyder ligeledes, at der kan

indkaldes flere sager pr. nævn.

Adskillelsen af kommune- og nævnssager betyder også, at man i kommuneundersøgelserne

kan øge antallet af kommunale sager, der kan indgå i effektmålingen.

Det er vigtigt, når der skal effektmåles på baggrund af praksisundersøgelserne, at

der er et godt grundlag for sammenligningen. I de hidtidige praksisundersøgelser er

der ofte indkaldt mellem 2 og 5 sager pr. kommune og i alt ca. 100 kommunesager.

Det er for lidt i forhold til den statistiske usikkerhed til at foretage effektmåling på

baggrund af et bestemt spørgsmål i en bestemt praksisundersøgelse, jf. kap. 6. Det

er forventningen, at antallet af kommunale sager kan øges til 150 i de praksisundersøgelser,

som Ankestyrelsen foretager, hvilket kan styrke effektmålingen.

7.2.2 Antal sager i nævnenes praksisundersøgelser

Hvad angår antallet af sager i nævnenes praksisundersøgelser, forudsættes det,

• at det formentlig vil være rimeligt at antage, at nævnene med statsforvaltningernes

oprettelse i gennemsnit kan håndtere omkring 80 sager pr. praksisundersøgelse

Derudover forekommer det rimeligt, at tage hensyn til at statsforvaltningerne har

forskellig størrelse.

I 2004 indhentede de sociale nævn i gennemsnit ca. 35 -40 sager pr. praksisundersøgelse,

svarende til 5 - 600 sager i alt 13 .

Det forekommer realistisk, at nævnene fremover i gennemsnit indhenter ca. 80 sager

pr. praksisundersøgelse, svarende til 800 sager pr. år. Dels under hensyn til, at

statsforvaltningerne bliver væsentlig større end de tidligere statsamter, dels for at

imødegå behovet for et større antal sager pr. praksisundersøgelse, og endelig under

henvisning til de nye beskæftigelsesankenævn, som får tilført nye opgaver.

13 Beregningen er foretaget på baggrund af de nævn, som har udarbejdet praksisundersøgelser i

2004.

Ud fra de nævnte hensyn kan en fordelingsnøgle, hvor der tages hensyn til statsforvaltningernes

forskellige størrelse, se ud som i tabel 7.3.

Tabel 7.3 Antal sager i statsforvaltningernes praksisundersøgelser

Statsforvaltning Befolkningsgrundlag1) Antal

kommuner

Antal sager

2007 -

Antal sager i

20042) Antal Procent

Pr. undersøgelse

Pr. år

Pr. undersøgelse

Pr. år

Hovedstaden 1.629.153 30 29 120 240 90 180

Midtjylland 1.206.821 22 19 90 180 70 140

Nordjylland 579.147 11 11 50 100 40 80

Syddanmark 1.179.748 22 22 90 180 70 140

Sjælland 801.452 15 17 60 120 50 100

I alt 5.396.321 100 98 410 820 320 640

1) befolkningstallet er fra Danmarks Statistik (2004)

2) Der er tale om en teknisk beregning ud fra de nævn, som i 2004 gennemførte praksisundersøgelser

De to sidste kolonner i tabellen viser fordelingen, hvis det hidtidige antal sager i

praksisundersøgelserne i højere grad fastholdes.

7.2 Krav til dataindsamling – registrering af data

Da effektmålingen og de efterfølgende statistiske analyser skal gennemføres i Ankestyrelsen,

er det afgørende, at resultaterne fra praksisundersøgelser, udarbejdet i

såvel Ankestyrelsen som nævnene, samles centralt i Ankestyrelsen. I Ankestyrelsens

praksisundersøgelser anvender de juridiske eksperter og kommunerne SASprogrammet

E-survey til indberetning af sagsvurderingerne. Da nævnene ikke anvender

SAS til registrering af sagsvurderingerne, skal det på en hensigtsmæssig

måde sikres, at data kan samles centralt.

En model kan være, at Ankestyrelsen opretter skemaerne i E-survey, som lægges

på Ankestyrelsen hjemmeside. Såfremt kommunerne fortsat skal udfylde måleskemaerne

14 skal det ske på samme måde i både Ankestyrelsens og nævnenes undersøgelser,

og nævnene får mulighed for elektronisk indtastning på samme vis.

Nævnene kan herefter ved hjælp af en udtræksfunktion selv trække data ud i Excel

og behandle data til afrapportering af undersøgelserne.

Det forudsættes, at statsforvaltningerne gennemfører ca. 10 praksisundersøgelser

årligt. Der skal således oprettes 10 skemaer årligt for nævnene, hvilket vurderes at

svare til ca. 1/12 årsværk afhængig af antallet af spørgsmål. I opstartsfasen vil der

yderligere blive behov for vejledning i brug af udtræksfunktionen mv. På sigt vil

mange af måleskemaerne kunne genbruges og kræve færre ressourcer.

7.3 Sammenfatning

For fremover at kunne anvende praksisundersøgelserne til effektmåling, er det

nødvendigt at sikre, at antallet af sager i de enkelte praksisundersøgelser øges.

14 Spørgsmålet om parallelmåling i kommunerne er blevet drøftet i arbejdsgruppe 2. Det foreslås af

arbejdsgruppen, at kommunerne fortsat parallelmåler sagerne.

På grund af forskellige problemstillinger i bevillings- og afslagssager foreslås det, at

de to sagstyper adskilles, således at der i den enkelte praksisundersøgelse fremover

kun indgår enten bevillingssager eller afslagssager. Det er Ankestyrelsens vurdering,

at det vil indebære et kvalitetsløft i forhold til vurdering af kommunernes

praksis i afslagssagerne.

I Ankestyrelsens praksisundersøgelser er der hidtil indkaldt både kommunale afgørelser

og afgørelser fra nævnene. Fremover vil praksisundersøgelserne primært fokusere

på kommunesager, mens der ca. hvert andet år vil blive gennemført en

praksisundersøgelse udelukkende med nævnssager.

Det er forventningen, at Ankestyrelsen fremover kan håndtere 150 sager, mens

nævnene forventes at kunne håndtere 80 sager i gennemsnit pr. undersøgelse.

Af hensyn til de statistiske analyser er det nødvendigt, at data fra alle praksisundersøgelse

samles centralt i Ankestyrelsen. Da nævnene ikke anvender E-survey, opretter

Ankestyrelsen måleskemaerne for nævnene, og der oprettes en udtræksfunktion,

så nævnene selv kan trække data ud vil brug for afrapportering af undersøgelserne.

8 Kvantificering af sagsvurderinger

8.1 Kvantificering af sagsvurderingerne

En væsentlig forudsætning for, at der kan gennemføres effektmåling, er at

sagsvurderingerne kan kvantificeres. Det kan for eksempel ske ved, at der konstrueres

et karaktersystem, der kan anvendes til at måle sagsbehandlingskvaliteten i

kommunerne.

8.1.1 Forslag til karaktersystem

Nedenstående er et forslag til, hvordan karaktersystemet kan opbygges. Karaktersystemet

vil blive afprøvet sammen med de af arbejdsgruppe 2 udarbejdede måleskemaer

15 ved en test, som ikke er gennemført ved færdiggørelsen af denne rapport.

Desuden vil hele konceptet blive afprøvet ved de første praksisundersøgelser

i 2006. Der kan således forekomme justeringer i karaktersystemet.

Det foreslås, at sagerne vurderes enkeltvis, som det er gjort hidtil, på deres formelle

og materielle korrekthed. Måleskemaerne skal indeholde et antal spørgsmål for

hvert lovområde, som er dækkende for korrektheden af den formelle og materielle

del i sagen, jf. tabel 8.1.

Tabel 8.1. Eksempel på kvantificering

Kommune A Formelle kor-

Materielle kor- Gennemsnit

rekthedrekthed

Spørgsmål 1 0 Spørgsmål 1 75

Spørgsmål 2 75 Spørgsmål 2 100

Spørgsmål 3 100 Spørgsmål 3 0

Spørgsmål 4 25 Spørgsmål 4 0

Gennemsnit 50 43,75 46,88

De 4 spørgsmål antages her at have graduerede svarmuligheder med 4 kategorier i

hver. Det vil sige, at den juridiske ekspert, som vurderer sagen, for eksempel svarer

ud fra kategorierne ”slet ikke”, ”i ringe grad”, ”i nogen grad”, ”i høj grad”. Svarene

værdisættes efterfølgende med værdierne 0, 25, 50 og 100. Herefter beregnes en

gennemsnitlig score pr. spørgsmål.

Det vurderes væsentligt med graduerede svarmuligheder for at fastholde så meget

information som muligt og for at kunne give kommunerne en mere nuanceret tilbagemelding

af sagsbehandlingen.

15 Produkterne fra arbejdsgruppe 2 er vedlagt som bilag 5-6.

Hvis der i stedet kun er to svarmuligheder, kan de værdisættes med 0 eller 100. Alternativt

kan de værdisættes med 25 og 50, hvis det vurderes, at en eventuel fejl ikke

skal have så stor konsekvens for den samlede vurdering af sagen. Den vurdering

skal foretages i samarbejde med de juridiske eksperter i forbindelse med tilrettelæggelsen

af måleskemaet.

8.1.2 Vægtning

Der kan vise sig et behov for at vægte svarene på spørgsmålene forskelligt. Vægtningen

foretages i samarbejde med de juridiske eksperter. Vægtene kan sættes på

forhånd, således at hvis der er svaret efter et bestemt mønster i udvalgte spørgsmål,

bliver sagen vurderet som rigtig. Der kan også foretages en subjektiv vurdering

af den samlede sagsbehandling. Det er endnu uafklaret, hvordan vægtningen

bliver indarbejdet. Det kan sandsynligvis ikke afgøres, før de første sagsvurderinger

foreligger i 2006.

8.2 Krav til måleskemaerne

Ankestyrelsen har i samarbejde med nævnene udarbejdet en manual samt grundskabelon

for måleskema for sagsvurderingerne i praksisundersøgelserne. Manual

samt måleskema indgår i produkterne fra arbejdsgruppe 2.

Manual og måleskema er udarbejdet blandt andet efter nedenstående retningslinjer,

som er nødvendige for at alle praksisundersøgelser kan anvendes i effektmåling:

• Der skal være et fælles måleskema for de praksisundersøgelser, der indgår i

effektmåling

• Detaljeringsgraden i spørgeskemaerne skal være omtrent som i de hidtidige

undersøgelser

• Der skal opstilles et antal hovedspørgsmål (for eksempel 5 hovedspørgsmål,

men gerne flere), som vedrører den formelle og materielle korrekthed

af sagsbehandlingen. Spørgsmålene skal være dækkende for alle emneområder.

Herudover skal der være mindst 2 underspørgsmål, som relaterer sig

til det enkelte hovedspørgsmål. Der kan derudover tilføjes spørgsmål, som

kun er relevante for det område, der undersøges

• Svarmulighederne skal så vidt muligt være graduerede. Der skal være et lige

antal svarmuligheder, således at svaret indeholder en reel stillingtagen. For

eksempel kan besvarelsen af et spørgsmål om, hvorvidt oplysningsgrundlaget

har været tilstrækkeligt have fire svarmuligheder i form af ’Fuldt ud’,

’Nogenlunde’, ’Mangelfuldt’ og ’Slet ikke’

8.3 Kvalitetssikring i målingen

For at sikre, at måleskemaerne udformes efter principperne i projektet, kan det

overvejes, at alle måleskemaer – såvel Ankestyrelsens som nævnenes - godkendes i

Ankestyrelsen af en til formålet nedsat intern arbejdsgruppe. Arbejdsgruppen skal

således sørge for, at måleskemaerne stemmer overens med konceptet, og at

spørgsmålene kan kvantificeres i overensstemmelse med det udviklede karaktersystem.

Ensartethed i målingen af sagerne kan løbende sikres ved, at der oprettes en form

for censorordning, hvor nogle af sagerne i nævnsundersøgelserne gennemgås af et

andet nævn for at sikre, at vurderingen af sagerne foretages ens over hele landet og

efter den til formålet udarbejdede manual.

Samtidig foreslås det, et der indkaldes til 2 årlige møder i møderækken. Det ene

møde foreslås at være et arbejdsmøde, hvor konkrete sagseksempler gennemgås

for at sikre, at der er enighed omkring sagsvurderingen.

En praksisundersøgelse med inddragelse af afgørelser fra statsforvaltningerne

hvert andet år kan muligvis, i sammenhæng med den ovenfor nævnte censorordning,

erstatte nævnenes nuværende kvalitetsmåling på det sociale område, der på

nuværende tidspunkt gennemføres hvert andet år.

8.4 Sammenfatning

For at kunne gennemføre effektmåling og statistiske tests er det nødvendigt at

kvanitificere sagsvurderingerne. Der er opstillet et forslag til karaktersystem, hvor

hver enkelt sag give en score afhængig af den vurderede sagsbehandlingskvalitet.

Der anvendes i måleskemaerne så vidt muligt graduerede svarmuligheder for at

fastholde så meget information om sagerne samt kunne give kommunerne så nuanceret

tilbagemelding på sagerne som muligt.

Som led i en kvalitetssikring foreslås det, at der nedsættes en intern arbejdsgruppe i

Ankestyrelsen til at gennemgå måleskemaer samt karaktergivning og vægtning, inden

de enkelte undersøgelser i nævnene og Ankestyrelsen igangsættes. Derudover

foreslås der iværksat en censorordning i nævnene, således at der i forbindelse med

hver praksisundersøgelse udveksles et antal sager med statsforvaltningen i naboregionen,

som foretager en prøvemåling. Det vil sikre, at der er overensstemmelse i

vurderingerne.

Herudover foreslås det, at der fremover afholdes 2 møder i møderækken årligt

med nævnene frem for det ene, som afholdes på nuværende tidspunkt. Formålet

med et ekstra møde vil være at sikre ens forståelse af kvaliteten.

9 Forslag til effektmålingsscenarie

Effektmålingsprojektet fordrer, at Ankestyrelsen i højere grad koordinerer de

praksisundersøgelser, som fremover udarbejdes i Ankestyrelsen og de sociale

nævn, og som skal indgå i effektmåling. En højere grad af koordination kan opnås

ved, at der opstilles en plan, som fastlægger krav for de kommende års praksisundersøgelser.

Nedenfor vil et forslag til en sådan plan samt de bagvedliggende begrundelser

og forudsætninger blive gennemgået.

9.1 Praksisundersøgelser i 2006

Udgangspunktet for planen er, at den første effektmåling vil berøre et udsnit af

praksisundersøgelser i 2006, 2007 og 2008.

Effektmålingen forudsætter, at der udvælges en kommunegruppe (testgruppen),

som deltager i praksisundersøgelser 2 år i træk, mens en anden kommunegruppe

(kontrolgruppen) friholdes ved den første praksisundersøgelse, men deltager i den

anden, jf. kap. 4. Det foreslås, at den første effektmåling gennemføres for udvalgte

praksisundersøgelser i 2006 og 2008.

Da det skal være muligt for kommunerne at reflektere over den første praksisundersøgelses

resultater, skal afgørelserne i sagerne, som indhentes i forbindelse med

den opfølgende praksisundersøgelse, ikke ligge for tæt på afgørelserne i sagerne fra

den første praksisundersøgelse.

Det foreslås, at det nye koncept for måleskemaer og kvantificering af sagsvurderingerne

afprøves på de første praksisundersøgelser, der gennemføres i 2006, således

at den praksisundersøgelse, som i 2006 skal indgå i effektmålingen, bliver en af

de sidste af Ankestyrelsens 4 undersøgelser i 2006. Det giver mulighed for at få justeret

eventuelle uhensigtsmæssigheder, inden konceptet for alvor skal anvendes i

effektmålingen.

Da effektmålingsmodellerne forudsætter, at kommunegrupperne grundlæggende er

ens, er både testgruppen og kontrolgruppen valgt ud fra den kommende Region

Hovedstaden. Valget har samtidig den fordel, at der relativt nemt vil kunne afholdes

sparringsmøder omkring den konkrete målemetode/vurdering af sagerne, hvis

det skulle vise sig nødvendigt.

Tabel 9.1 og 9.2 viser et forslag til fordeling af kommuner, der skal indgå i henholdsvis

testgruppen og kontrolgruppen:

Tabel 9.1

Testgruppen

Ny kommune Nuværende kommuner Nuværende statsamt Indbyggertal

1 Gentofte København 68.704

2 Helsingør Frederiksborg 60.927

3 Hvidovre København 49.952

4 Høje Taastrup København 45.556

5 Frederikssund Slangerup1) , Frederiks- Frederiksborg 43.798

6 Tårnby

sund, Skibby, Jægerspris

København 39.535

7 Fredensborg Fredensborg-

Humlebæk, Karlebo

Frederiksborg 39.414

8 Egedal Ledøje-Smørum,

stykke, Stenløse

Øl- København/Frederiksborg 39.267

9 Frederiksværk- Frederiksværk, Hunde- Frederiksborg 30.223

Hundested

sted

10 Hørsholm Frederiksborg 24.292

11 Glostrup København 29.785

12 Dragør København 13.156

13 Herlev København 27.166

14 Lyngby-Taarbæk København 51.611

I alt 563.386

1) Slangerup kommune bliver fra 2007 delt mellem Frederikssund og Hillerød kommuner, som hører under

henholdsvis testgruppen og kontrolgruppen. Da Slangerup ikke kan deles i 2006, vil hele kommunen i 2006

indgå i testgruppen.

Tabel 9.2

Kontrolgruppen

Ny kommune Nuværende kommuner Nuværende statsamt Indbyggertal

1 Frederiksberg Sociale nævn i Frb. og Kbh. 91.886

2 Gladsaxe København 61.993

3 Rudersdal Birkerød, Søllerød København/Frederiksborg 53.621

4 Ballerup København 46.610

5 Hillerød Hillerød, Skævinge, Frederiksborg 44.551

Uvelse sogn (Slangerup)

6 Gribskov Græsted-Gilleleje, Hel- Frederiksborg 40.409

singe

7 Furesø Værløse, Farum København/Frederiksborg 37.076

8 Rødovre København 36.391

9 Brøndby København 34.513

10 Albertslund København 28.146

11 Allerød Frederiksborg 23.458

12 Ishøj København 20.668

13 Vallensbæk København 12.260

14 Bornholm Bornholm 43.337

I alt 574.919

Som nævnt kræver effektmålingsmodellerne, at testgruppen og kontrolgruppen er

grundlæggende ens. Derfor er alle kommunerne på nær Københavns kommune

valgt fra den kommende Region Hovedstaden. Fordelingen mellem testgruppe og

kontrolgruppe opfylder således følgende:

• Samme antal kommuner

• Omtrent samme befolkningsgrundlag

• Samme antal sammenlægninger

• Samme geografiske beliggenhed

9.2 Effektmålingen

Effektmålingen foreslås at følge nedenstående model:

Ankestyrelsen gennemfører en praksisundersøgelse i 2006 med deltagelse af de 14

kommuner fra testgruppen. Der indkaldes som udgangspunkt ca. 10 sager fra hver

af de nye kommuner, så der i alt vurderes ca. 140 sager. Hvis en ny kommune består

af sammenlægning af flere kommuner, indkaldes der omkring 3 sager fra hver

af sammenlægningskommunerne.

I 2006 og 2007 friholdes kommunerne i kontrolgruppen fra at deltage i praksisundersøgelser.

I 2008 skal der gennemføres praksisundersøgelser med deltagelse af både testgruppen

og kontrolgruppen. Det foreslås, at Ankestyrelsen inddrager kontrolgruppen,

mens Statsforvaltning Hovedstaden inddrager testgruppen. Som tabel 7.3 viste,

forventes det, at Statsforvaltning Hovedstaden fremover kan håndtere ca. 120 sager

i en praksisundersøgelse. I forbindelse med effektmålingen vil det være en fordel,

at det samme antal sager indgår, og det foreslås derfor, at Statsforvaltning Hovedstaden

til formålet inddrager 140 sager, det vil sige 20 sager mere, end det befolkningsmæssige

grundlag i Region Hovedstaden tilsiger.

Fordelingen af praksisundersøgelser til effektmålingen fremgår af tabel 9.3.

Tabel 9.3 Fordeling af praksisundersøgelser, der skal indgå i effektmåling

2006 2007 2008

Ankestyrelsen inddrager

Ankestyrelsen inddrager kon-

testgruppen

trolgruppen

Kontrolgruppen friholdes Kontrolgruppen friholdes Statsforvaltning Hovedstaden

inddrager testgruppen

9.2.1 Øvrige praksisundersøgelser i 2006 og 2007

Ovenstående model vil udover Statsforvaltning Hovedstaden få konsekvenser for

en del af de øvrige statsamter/statsforvaltninger i 2006 og 2007. Bornholms kommune

indgår i kontrolgruppen og Statsamtet Bornholm skal derfor ikke udarbejde

praksisundersøgelse i 2006. Fra 2007 hører Bornholms kommune under Statsforvaltning

Hovedstaden og friholdes derfor i de praksisundersøgelser, som statsforvaltningen

udarbejder i 2007.

De sociale nævn i København og Frederiksberg har i 2006 kun mulighed for at inddrage

Københavns Kommune. Med det største befolkningsgrundlag samt opdelingen i

lokalcentre forventes det ikke at være problematisk 16 .

16 Der vil være en risiko for, at det vil blive opfattet som tilsyn med en enkelt kommune, men det

vil fortsat være muligt med en form for anonymisering, idet det ikke nødvendigvis skal oplyses, fra

hvilke lokalcentre sagerne indhentes.

Statsamtet Frederiksborg kan gennemføre praksisundersøgelse med inddragelse af de

kommuner i hovedgruppen, som i 2006 fortsat hører under statsamtet. Det vil sige

Helsingør, Frederikssund, Skibby, Jægerspris, Fredensborg-Humlebæk, Karlebo,

Ølstykke, Stenløse, Frederiksværk, Hundested og Hørsholm.

Slangerup kommune bliver fra 2007 delt mellem de nye Frederikssund og Hillerød

kommuner. Størstedelen af Slangerup kommune kommer til at høre under den nye

Frederikssund kommune, som indgår i testgruppen. Hele Slangerup kommune

kommer derfor til at indgå i testgruppen i 2006.

Statsamtet København må på samme vis udelukkende inddrage de kommuner, som

indgår i hovedgruppen, og som i 2006 fortsat hører under statsamtet. Det vil sige

Gentofte, Hvidovre, Høje Taastrup, Tårnby, Ledøje-Smørum, Glostrup, Dragør,

Herlev og Lyngby-Taarbæk.

Ankestyrelsens øvrige praksisundersøgelser i 2006 skal gennemføres med samme

kriterier som for statsamterne i København, Frederiksberg og Bornholm og i 2007

med samme kriterier som for Statsforvaltning Hovedstaden. Det vil sige, at kontrolgruppen

ikke inddrages.

I 2006 har de resterende statsamter frit valg i forhold til kommuneudvælgelse og

lovområde. Selvom de resterende statsamters praksisundersøgelser ikke direkte

kommer til at indgå i effektmålingen vil det være hensigtsmæssigt, hvis alle praksisundersøgelser

fra 2006 udarbejdes efter det nye koncept. 2006 vil således blive

et testår, hvor det sikres, at manualen til måling af sagerne og måleskemaerne anvendes

i overensstemmelse med forudsætningerne i projektet.

9.2.2 Valg af lovområde til effektmåling

Det vurderes hensigtsmæssigt, at der til effektmålingen vælges et område, hvor der

er relativt mange afgørelser årligt. Det forventes at skabe færrest problemer for

kommunerne at fremfinde sagerne på det valgte lovområde. Førtidspensionsområdet

er et relativt stort område, men har efterhånden været fokus i en del praksisundersøgelser.

Det foreslås derfor, at sygedagpengeområdet vælges som grundlag for

effektmålingen.

For at kunne isolere effekten af praksisundersøgelser inden for et bestemt lovområde,

vil det være mest hensigtsmæssigt, at statsamterne i København og Frederiksborg

i 2006 og 2007 ikke vælger samme lovområde, som i den praksisundersøgelse,

der udvælges til effektmålingen.

9.3 Sammenfatning

Der opstilles et forslag til, hvordan en effektmåling kan gennemføres med inddragelse

af udvalgte kommuner i 2006 og 2008. Testgruppen og kontrolgruppen foreslås

valgt ud fra den kommende Region Hovedstaden. Dels sker der færrest sammenlægninger

her, og dels vil det være nemmere at afholde eventuelle sparringsmøder.

Ankestyrelsen gennemfører den første praksisundersøgelse, mens

Statsforvaltning Hovedstaden og Ankestyrelsen gennemfører de opfølgende praksisundersøgelser.

Det nye koncept for praksisundersøgelser vil blive afprøvet på de første praksisundersøgelser

i 2006 i både Ankestyrelsen og nævnene. Den sidste af Ankestyrelsens

praksisundersøgelser i 2006 udvælges til at indgå i effektmålingen. Som emne

foreslås sygedagpengeområdet.

Effektmålingsscenariet vil påvirke de sociale nævn i København og Fredriksberg,

statsamterne i København, Frederiksborg samt på Bornholm, idet de fra 2007 vil

blive samlet under Statsforvaltning Hovedstaden.

Ovenstående effektmålingsscenarie måler effekten af Ankestyrelsens praksisundersøgelser.

Det vil være oplagt, at en senere effektmåling måler effekten af en praksisundersøgelse

udarbejdet af det sociale nævn eller et af de kommende beskæftigelsesankenævn.

Bilag 1 Lovgrundlag

Lovgrundlaget for praksiskoordinering

Uddrag af lov om retssikkerhed og administration på det sociale område, lovbekendtgørelse

nr. 847 af 8. september 2005:

Koordinering af praksis

§ 76. Ankestyrelsen har pligt til på landsplan at koordinere, at afgørelser, som efter

de sociale love kan indbringes for Ankestyrelsen og de sociale nævn, træffes i

overensstemmelse med lovgivningen.

Stk. 2. Som et led i denne koordinering

1) vejleder Ankestyrelsen om ankeinstansernes praksis i sager efter den sociale lovgivning

2) følger Ankestyrelsen kommunernes, amtskommunernes og de sociale nævns

praksis.

§ 77. Socialministeriet og Beskæftigelsesministeriet kan anmode Ankestyrelsen om

at gennemgå kommunernes, amtskommunernes eller nævnenes afgørelser.

§ 78. Det sociale nævn har pligt til inden for sit område at koordinere, at afgørelser,

som efter de sociale love kan indbringes for det sociale nævn, træffes i overensstemmelse

med lovgivningen.

Stk. 2. Som et led i denne koordinering

1) vejleder nævnet om ankeinstansernes praksis i sager efter den sociale lovgivning

2) følger nævnet kommunernes, amtskommunernes og de sociale nævns praksis.

§ 79. Ankestyrelsen og det sociale nævn skal samarbejde om deres koordinationsopgave

efter § 76 og § 78. Som led i denne opgave kan Ankestyrelsen og de sociale

nævn indhente sager til gennemsyn. Oplysninger om afgørelser kan indhentes i såvel

skriftlig som i elektronisk form.

§ 79 a. Kommunalbestyrelsen og amtsrådet behandler Ankestyrelsens og de sociale

nævns undersøgelser af kommunens eller amtskommunens praksis på et møde.

Uddrag af bekendtgørelse om retssikkerhed og administration på det sociale område,

nr. 1127 af 25. november 2005:

Praksiskoordinering

§ 32. Ankestyrelsen har pligt til på landsplan at koordinere, at afgørelser, som efter

de sociale love kan indbringes for Ankestyrelsen og de sociale nævn, træffes i

overensstemmelse med lovgivningen.

Stk. 2. Det sociale nævn har pligt til inden for sit område at koordinere, at afgørelser,

som efter de sociale love kan indbringes for nævnet, træffes i overensstemmelse

med lovgivningen.

§ 33. Ankestyrelsen og nævnene gennemgår som led i opgaven med at koordinere

praksis en række ensartede typer af sager i forhold til gældende ret, som fastlagt

ved lov, bekendtgørelser og landsdækkende praksis.

Samarbejde og vejledning

§ 34. Ankestyrelsen og nævnene samarbejder om praksiskoordineringen. Nævnene

foretager efter drøftelse med Ankestyrelsen praksiskoordinering inden for amtet

(Københavns og Frederiksberg Kommuner samt Bornholms Regionskommune).

§ 35. Hvis Ankestyrelsens og nævnenes undersøgelser viser, at kommunernes og

amtskommunernes praksis ikke er i overensstemmelse med gældende ret, skal de

problemer, som undersøgelsen har vist, drøftes af Ankestyrelsen og nævnene med

kommunerne og amtskommunerne. Ankestyrelsen kan tilsvarende drøfte resultatet

af en undersøgelse af nævnenes praksis med nævnene.

§ 36. Ankestyrelsen og nævnene kan ikke som led i opgaven med at koordinere

praksis tage underinstansernes afgørelser op af egen drift.

Stk. 2. Ankestyrelsen og nævnene kan dog i sager omfattet af § 47 i lov om social

service tage sager op af egen drift.

§ 37. Ankestyrelsen udsender generel vejledning om praksis inden for Ankestyrelsens

kompetenceområde og offentliggør i anonymiseret form afgørelser, som har

principiel eller generel betydning.

Stk. 2. Ankestyrelsen yder af egen drift eller efter anmodning konkret vejledning

til nævnene om styrelsens praksis samt om fortolkning af retsregler. Vejledning

kan også ske i forbindelse med praksiskoordinering.

§ 38. De sociale nævn vejleder af egen drift eller efter anmodning inden for deres

område kommunerne og amtskommunerne om praksis. Vejledningen kan også ske

i forbindelse med praksiskoordinering.

Bilag 2 Samarbejdsaftalen mellem Ankestyrelsen

og de sociale nævn

Ankestyrelsen og de sociale nævn samarbejder om praksiskoordineringen, således at Ankestyrelsen

gennemfører praksisundersøgelser på landsplan og nævnene på regionalt plan.

Herved tilvejebringes et landsdækkende kendskab til praksis og det bedst mulige grundlag

for den samlede praksiskoordinerende indsats.

Ankestyrelsen og de sociale nævn drøftede samarbejdet på et møde i september måned

2003 og aftalte nedenfor beskrevne fremgangsmåde i forbindelse med gennemførelse af

praksisundersøgelser.

Indledningsvis skal det nævnes, at når der i denne aftale nævnes "praksisundersøgelser"

gælder det som udgangspunkt også for undervisningsforløb, som kan træde i stedet for en

praksisundersøgelse.

Det fremtidige samarbejde indeholder følgende elementer:

1. Katalog over emner for praksisundersøgelser

2. Plan over årets praksisundersøgelser

3. Metode for gennemførelse af en praksisundersøgelse

4. Opfølgning

5. Oversigt over afsluttede praksisundersøgelser

6. Status over årets praksisundersøgelser

Ad 1. Katalog over emner for praksisundersøgelser

Ankestyrelsen udarbejder et katalog over emner for praksisundersøgelser i dialog med de

sociale nævn. En gang årligt foretages en høring i nævnene med henblik på ajourføring af

emnelisten, og kataloget aftales efterfølgende.

Ad 2. Plan for årets praksisundersøgelser

Der udarbejdes en plan for det kommende års samlede praksisundersøgelser inden udgangen

af året.

Ankestyrelsen udarbejder planen på grundlag af indmeldinger fra nævnene om påtænkte

emner for kommende praksisundersøgelser. Emnerne skal vælges fra det aftalte katalog.

De sociale nævn og Ankestyrelsen forpligtes til at gennemføre praksisundersøgelser, som

fastlagt i planen, med mindre andet aftales konkret med Ankestyrelsen.

Såvel planen som kataloget vil være tilgængeligt på Ankestyrelsens hjemmeside under

Praksisundersøgelser.

Ad 3. Metode for gennemførelse af en praksisundersøgelse

Ankestyrelsen godkender såvel emne til en undersøgelse som metoden for gennemførelsen

af denne. Som udgangspunkt anvendes den metode, der er beskrevet i vedlagte bilag 1.

Som led i opfølgningen på Ankestyrelsens praksisundersøgelser, kan Ankestyrelsen aftale

med et eller flere nævn, at der gennemføres praksisundersøgelser som regionale effektmålinger.

Desuden kan flere nævn samarbejde om gennemførelsen af undersøgelserne for at

sikre større bredde i de regionale undersøgelser.

Ad 4. Opfølgning

Såvel Ankestyrelsen som de sociale nævn tilrettelægger og gennemfører en opfølgning af

den enkelte praksisundersøgelse - alt efter hvad legalitetsvurderingen i den konkrete praksisundersøgelse

har afdækket af mangler af materiel eller formel karakter. Her kan egentlige

undervisningsforløb – ud over de normale temamøder mm. – komme på tale. Sådanne

undervisningsforløb kan eventuelt træde i stedet for en praksisundersøgelse.

Ad 5. Oversigt over afsluttede og igangværende praksisundersøgelser

Ankestyrelsen ajourfører løbende en oversigt over alle afsluttede og igangværende praksisundersøgelser

– såvel Ankestyrelsens som de sociale nævns – fordelt på lovområder og

suppleret med et Danmarkskort på Ankestyrelsens hjemmeside

www.dsa.dk/praksiskoordinering. På hjemmesiden kan man også klikke sig ind på de enkelte

amter og se, hvilke praksisundersøgelser, statsamtet har gennemført eller igangsat.

Ankestyrelsens praksisundersøgelser kan læses på Ankestyrelsens hjemmeside. De sociale

nævn vil ligeledes gøre deres praksisundersøgelser tilgængelige på statsamternes hjemmesider.

Ankestyrelsen vil på sin hjemmeside etablere links til statsamternes hjemmesider.

Ad 6. Status over årets praksisundersøgelser

Ankestyrelsen udarbejder en årlig status over Ankestyrelsens og de sociale nævns praksisundersøgelser.

Bilag 1 til samarbejdsaftalen

Metode for gennemførelse af praksisundersøgelser

Formålet med praksisundersøgelser er at vurdere korrektheden af underinstansens afgørelser

med henblik på at sikre ensartethed og ligebehandling på landsplan.

1. Kvalitetssikring

Praksisundersøgelser er en kvalitetssikring af afgørelser efter den sociale lovgivning. I kvalitetssikringen

indgår

• Materiel vurdering (af afgørelsernes indhold)

• Formalitetsvurdering (af væsentlige sagsbehandlingsregler)

• Vejledning og opfølgning.

Materiel vurdering af afgørelsernes indhold

Ved vurderingen af afgørelsernes materielle indhold vurderes afgørelsernes korrekthed i

forhold til lovgivningen, den praksis, der kan udledes af Ankestyrelsens principielle afgørelser,

af retspraksis samt af vejledende udtalelser fra blandt andet Folketingets Ombudsmand

og ministerier.

Vurderingen af afgørelsernes materielle indhold er kernen i praksisundersøgelserne og er

afgørende for, om Ankestyrelsen eller nævnet kan erklære sig enig eller uenig i de indsendte

afgørelser. Ankestyrelsen eller nævnet bør kun erklære sig uenig i en afgørelse, hvis det

kan dokumenteres, at den klart er i strid med lovgivningen og Ankestyrelsens praksis.

Vurdering af de formelle regler

I formalitetsvurderingen vurderes overholdelsen af forvaltningsmæssige og retssikkerhedsmæssige

regler, herunder reglerne om partshøring, aktindsigt, notatpligt, krav til begrundelse,

skriftlighed og hjemmelsgrundlag. Ligeledes indgår en vurdering af retssikkerhedslovens

og særlovgivningens processuelle regler om sagsbehandling og opfølgning, regler

om borgerens inddragelse, helhedsvurdeering og vejledning samt regler i fx sygedagpengeloven

om tidlig, samlet vurdering og 8-ugers vurdering. Det er regler, der understøtter

borgerens retssikkerhed og retter fokus på, at borgeren skal have den rigtige ydelse på

det rigtige tidspunkt – og med borgerens involvering og accept.

Vejledning og opfølgning

Sidste led i en praksisundersøgelse er den handlingsrettede vejledning og opfølgning.

Gennemgangen af sagerne kan afdække problemområder i kommunernes og nævnenes

praksis og sagsbehandling, som trænger til et kvalitetsløft. Det kan være såvel den materielle

vurdering som den formelle vurdering, der giver anledning til reaktioner. En praksisundersøgelse

giver således Anekstyrelsen og nævnet et godt grundlag for at målrette den

fremadrettede praksiskoorinering.

Det kan f.eks. være

• Skriftlig afrapportering og skriftlig dialog

•

• Skriftlig afrapportering med dialogmøder

• Skriftlig afrapportering med efterfølgende deltagelse i vejledningsmøde

• Undervisning

• Udarbejdelse af skabeloner for elementer i sagsbehandling.

Den efterfølgende dialog er med til at sikre, at undersøgelsens præmisser og resultater er

accepteret af kommuner, amtskommuner og nævn. Endvidere er dialogen med til at understøtte,

at undersøgelsens resultater anvendes konstruktivt til at forbedre kvaliteten af de

fremtidige afgørelser.

2. Inden praksisundersøgelsen iværksættes

Som det fremgår af samarbejdsaftalen mellem Ankestyrelsen og de sociale nævn godkender

Ankestyrelsen såvel emne som metode for undersøgelsen. Ankestyrelsen kan i stedet

for en praksisundersøgelse godkende, at et nævn gennemfører et egentligt undervisningsforløb.

Inden iværksættelsen af undersøgelsen kontakter nævnet således Ankestyrelsen

med henblik på den konkrete tilrettelæggelse.

Emnet for undersøgelsen fremgår af den aftalte plan for det kommende års praksisundersøgelser.

Der kan dog konkret aftales et andet emne.

De sociale nævn kan enten gennemføre en undersøgelse alene eller gå sammen med et eller

flere nævn.

3. Antal kommuner og antal sager

Undersøgelsens omfang tilrettelægges således, at afdækningen bliver så repræsentativ som

mulig. Udgangspunktet er, at nævnet indkalder sager i alle kommuner. Hvis nævnet kun

indrager et udsnit af kommunerne i amtet, bør det sikres, at antallet af kommuner er stort

nok til, at undersøgelsen bliver bredt dækkende. Praksisundersøgelser indgår ikke i statsamtets

tilsyn med den enkelte kommune, og undersøgelser rettet mod enkelte kommuner

bør undgås.

Der udvælges et antal sager, der er oprettet og afgjort i en nærmere afgrænset periode –

evt. i kronologisk rækkefølge.

4. Indkaldelse af sager

I indkaldelsesskrivelsen beskrives bl.a.

• Formålet med undersøgelsen

• Omfanget af undersøgelsen, herunder antal kommuner, der deltager

• Udvælgelsen og antal sager, der skal indsendes – fx om indsendelsen skal ske i

kronologisk eller omvendt kronologisk rækkefølge fra et bestemt tidspunkt

• Hvad der skal indsendes – dvs. alle de sagsakter, der ligger til grund for kommunens

afgørelse. Hvis der indsendes kopi af sagens akter, bør disse makuleres efter

afslutning af undersøgelsen

• Plan for afrapportering og opfølgning

• Tidsplan for undersøgelsen som helhed

• Kontaktperson i nævnet.

5. Gennemgang af sagerne

Til gennemgang af sagerne udarbejdes et skema med henblik på at sikre ensartethed i vurderingen

af sagerne og undgå fortolkningsmæssige forskelle. Ankestyrelsen stiller gerne de

arbejdsskemaer, som er anvendt i Ankestyrelsens praksisundersøgelser, til rådighed.

Skemaerne tilpasses den konkrete undersøgelse. Skemaet vil lette den efterfølgende sammenfatning

og tilbagemelding til den enkelte kommune.

De enkelte sager gennemgås herefter med henblik på kvalitetssikring, som omtalt ovenfor.

Nævnet kan alene erklære sig uenig i en afgørelse, hvis afgørelsen er klart i strid med lovgivningen

og Ankestyrelsens praksis. Det er ikke nok, at nævnet efter en konkret vurdering

ville have ændret afgørelsen, hvis den havde været behandlet som en klagesag.

6. Afrapportering

Nævnet udarbejder efter gennemgangen af sagerne et udkast til rapport, som danner

grundlag for en dialog med de involverede kommuner.

Det er hensigtsmæssigt, at rapporten indeholder et resumé af undersøgelsens resultater, ligesom

tabeller og figurer over resultaterne gør rapporten mere læsevenlig. Det er vigtigt,

at rapporten også indeholder den handlingsrettede del, således at det fremgår, hvilke anbefalinger

nævnet vil give kommunerne på baggrund af resultaterne i undersøgelsen, og

hvordan nævnet konkret har tænkt sig at tilrettelægge den fremadrettede vejledning.

I forbindelse med den foreløbige orientering om undersøgelsens resultater returneres de

indsendte skemaer, som nævnet har anvendt ved gennemgangen af de enkelte sager. Skemaerne

returneres dog alene til den kommune, hvorfra sagerne er indhentet.

Inden rapporten offentliggøres, sendes den til Ankestyrelsen med henblik på eventuelle

kommentarer. Nævnene anmodes samtidig om at indsende et indlæg om undersøgelsen til

Ankestyrelsen, som kan bringes i "Nyt fra Ankestyrelsen". Denne undersøgelse kan bidrage

til, at resultaterne af undersøgelsen kan få videre betydning som generel vejledning også

for andre kommuner og nævn.

Bilag 3 Katalog over emner for praksisundersøgelser

2006

Lov om aktiv socialpolitik

• Revalidering - særligt anvendelsen af arbejdsevnemetoden

• Revalidering – om overgang fra kontanthjælpssystemet til revalidering

• Fleksjob - særligt anvendelsen af arbejdsevnemetoden

• Ledighedsydelse

• Arbejdsevnevurderingen ved visitation til revalidering, fleksjob og pension

• Tillæg til svage unge, jf. lovens § 25 f.

• Længerevarende kontanthjælpsmodtagere med fokus på unge med helbredsproblemer

• Kontanthjælpsmodtagere med fokus på matchgrupperne

Lov om aktiv beskæftigelsesindsats

• Revalidering - særligt anvendelsen af arbejdsevnemetoden

• Revalidering – om overgang fra kontanthjælpssystemet til revalidering

• Fleksjob - særligt anvendelsen af arbejdsevnemetoden

• Ledighedsydelse

• Arbejdsevnevurderingen ved visitation til revalidering, fleksjob og pension

• Kontanthjælpsmodtagere med fokus på matchgrupperne

Lov om social pension

• Førtidspension - særligt anvendelsen af arbejdsevnemetoden

• Arbejdsevnevurderingen ved visitation til revalidering, fleksjob og pension

• Forhøjelse af pension tilkendt i sager påbegyndt før 1. januar 2003.

• Personlige tillæg til folkepensionister

• Personlige tillæg til førtidspensionister, der har fået tilkendt førtidspension før 1. januar

2003

Lov om social service

• Opfølgning på anbringelsesreformen inden for de centrale temaer

• Frivillige støtteforanstaltninger til børn og unge (forebyggende foranstaltninger), jf. servicelovens

§ 40

• Foreløbige handleplaner for unge med voldskriminalitet eller anden alvorlig kriminalitet,

jf. § 58, stk. 6 og 7

• Merudgiftsydelsen efter § 84, særligt anvendelsen af funktionsevnemetoden

• Personlig og praktisk bistand § 71 og § 75

• Ledsageordning § 78

• Hjælpemidler/forbrugsgoder §§ 97 og 98

• Magtanvendelse § 109

• Hjælpeordninger efter § 77

• Støtte til køb af bil efter § 99

Lov om dagpenge ved sygdom eller fødsel

• Anvendelsen af arbejdsevnemetoden i sager om længerevarende sygedagpenge

• Afgørelser om barselsorlov

• Standsning af sygedagpenge

• Visitation og opfølgning efter kap. 10a

• Sygedagpenge i forbindelse med graviditet

Integrationsministeriets område

• Administration af rådighedsreglerne i medfør af integrationsloven

• Administration af reglerne om hjælp i særlige tilfælde i medfør af integrationsloven

• Administration af reglerne om anvisning af en permanent bolig til flygtninge i medfør af

integrationsloven

Lov om retssikkerhed og administration på det sociale område

• Tidlig samlet vurdering i forsørgelsessager efter rtl. §§ 6 og 7

• Nævnenes prøvelse af kommunernes skønsmæssige afgørelser efter rtl. § 69

Andre områder

• Boligstøttelovgivning - efterregulering af boligstøtte

• Effektmåling af nævnenes og Ankestyrelsens praksiskoordinerende indsats

• Remonstration (foretages i tilknytning til en materiel vurdering af konkrete sagsområder)

• Forvaltningsret (foretages i tilknytning til en materiel vurdering af konkrete sagsområder)

Bilag 4 Plan over Ankestyrelsens og de

sociale nævns praksisundersøgelser

i 2005

Lovområde Emne

Lov om aktiv socialpolitik og

lov om aktiv beskæftigelsespolitik

Ankestyrelsen Enkeltudgifter til personer der modtager starthjælp.

Ankestyrelsen Fleksjob, herunder om der har været foretaget tilstrækkelige

forsøg på at finde et fleksjob inden overgang til ledighedsydelse.

Statsamtet Vestsjælland Opfølgning på tidligere undersøgelse fra 2003 med tilhørende

undervisning om enkeltydelser efter aktivlovens § 81.

Statsamtet Sønderjylland Kommunernes opfølgning i sager, hvor en person er visiteret

til fleksjob, og hvor der udbetales ledighedsydelse.

Statsamtet Ringkøbing Revalidering og anvendelsen af arbejdsevnemetoden.

Lov om social service

Ankestyrelsen Støtte til køb af bil, jf. § 99 i lov om social service

Statsamtet Roskilde Servicelovens § 97 om hjælpemidler

Statsamtet København Opfølgning på Ankestyrelsens undersøgelse om frivillige foranstaltninger

efter servicelovens § 40.

Statsamtet Ribe Magtanvendelses, servicelovens § 109 e.

Statsamtet Nordjylland Personlig og praktisk hjælp, servicelovens §§ 71 og 75. Effektmåling

i forlængelse af praksisundersøgelser i 2002 om tilbagebetaling

af pension og undervisningsforløb i 2003 om tilbagebetaling

af sociale ydelser.

Lov om social service

Statsamtet Bornholm Merudgifter ved forsørgelsen efter servicelovens § 84.

Statsamtet Århus Ledsageordningen efter servicelovens § 78 – evt. som opfølgning

på Ankestyrelsens praksisundersøgelse om samme fra

2003.

Lov om social pension

Statsamtet Vejle Opfølgning på undervisningsforløb fra 2004 i form af praksisundersøgelse

om kommunernes anvendelse af pensionsreglerne.

Den Sociale Sikringsstyrelse Anvendelse af arbejdsevnemetoden hvor kommunen har truffet

afgørelse i henhold til § 18 i pensionsloven. En opfølgning

på tilsvarende undersøgelse fra 2004.

Lov om dagpenge ved sygdom

eller fødsel

Statsamtet Storstrøm Standsning af sygedagpenge efter dagpengelovens § 8, stk. 1.

Statsamtet Frederiksborg Undervisningsprojekt, dagpengelovens §§ 5, 8 og 22 samt reglerne

om opfølgning og ressourceprofil. Dertil kommer sagsbehandlingsregler

i forvaltningsloven og retssikkerhedsloven.

Andre områder

Statsamtet Fyn Remonstration i tilknytning til en materiel vurdering af konkrete

sagsområder.

Statsamtet Viborg Efterregulering af boligstøtte med særlig fokus på forvaltningslovens

regler om begrundelse, partshøring, notatpligt og retssikkerhedslovens

§ 4 om borgerens medvirken.

Bilag 5 Arbejdsgruppe 2: Udkast til skabelon

til måleskema

Ankestyrelsen

Arbejdsgruppe 2 om gennemførelse af praksisundersøgelser

9. december 2005

FORSLAG

(Journal nr.)

Måleskema til undersøgelse af kommunernes praksis om …

Lov om …..

Kommune

Kommune nr.

Sagsnr.

Sagsbehandler (initialer)

1.1. Borgerens fødselsdato

1.2. Køn

Evt. flere individuelle spørgsmål ud fra, hvad der er

det væsentlige at få belyst

2.1. Dato for kommunens afgørelse

2.2. Hvad går kommunens afgørelse ud på

2.3. Hvad er der søgt om

Medtages kun, hvis der kan være afvigelser i forhold

til foregående spørgsmål, f.eks. hvis der er tale

om beløb

Evt. flere individuelle spørgsmål ud fra, hvad der er

det væsentlige at få belyst

Evt. bemærkninger

Identifikation af sagen

1. Grundoplysninger

1. Mand

2. Kvinde

2. Oplysninger om kommunens afgørelse

Afhængig af undersøgelsens indhold anføres de forskellige

svarmuligheder, dvs. arten af det bevilge-

de/iværksatte/påbudte

Afhængig af undersøgelsens indhold anføres de forskellige

svarmuligheder, dvs. arten af det ansøgte

3. Den materielle vurdering af kommunens afgørelse

3.1. Er afgørelsen samlet set rigtig 1. Ja, afgørelsen er i overensstemmelse med

regler og praksis

2. Nej, afgørelsen ville blive ændret eller sagen

hjemvist i en klagesag

Bemærkninger:

3.2. I hvilket omfang er sagen oplyst 1. Ingen oplysninger mangler

2. Enkelte mindre væsentlige oplysninger

mangler

3. Flere og/eller væsentlige oplysninger

mangler

4. Afgørende oplysninger mangler

Bemærkninger:

3.3. Er borgeren omfattet af personkredsen 1. Klart omfattet

2. Nogenlunde sikkert omfattet

3. Ikke omfattet

4. Sagen er ikke tilstrækkeligt oplyst, til at

dette punkt kan vurderes

3.4. Er betingelse xx (øvrig materiel betingelse)

for ydelsen/foranstaltningen opfyldt

3.4. Er betingelse yy (øvrig materiel betingelse)

for ydelsen/foranstaltningen opfyldt

Evt. flere spørgsmål til øvrige materielle betingelser

eller flere individuelle spørgsmål ud fra, hvad der er

det væsentlige at få belyst

Bemærkninger:

1. Klart opfyldt

2. Nogenlunde sikkert opfyldt

3. Ikke opfyldt

4. Sagen er ikke tilstrækkeligt oplyst, til at

dette punkt kan vurderes

Bemærkninger:

1. Klart opfyldt

2. Nogenlunde sikkert opfyldt

3. Ikke opfyldt

4. Sagen er ikke tilstrækkeligt oplyst, til at

dette punkt kan vurderes

Bemærkninger:

4. Vurdering af særlige sagsbehandlingsregler

4.1. Er den lovpligtige sagsbehandlingsmetode

anvendt

Der henvises til §… i lov….

4.2. Har borgeren været inddraget efter de

regler, der gælder for området

Der henvises til §… i lov….

Evt. flere individuelle spørgsmål ud fra, hvad der er

det væsentlige at få belyst:

1. Klart anvendt

2. Nogenlunde anvendt

3. Ikke anvendt

4. Sagen er ikke tilstrækkeligt oplyst, til at

dette punkt kan vurderes

Bemærkninger:

1. Klart inddraget

2. Nogenlunde inddraget

3. Ikke inddraget

4. Sagen er ikke tilstrækkeligt oplyst, til at

dette punkt kan vurderes

Bemærkninger

5. Vurdering af formelle regler i øvrigt

(Bevillingssager)

5.1. Hvilken form har afgørelsen 1. Skriftlig afgørelse

2. Skriftligt notat i kommunens journal

3. Anden form

5.2. Fremgår det, hvilken afgørelse der er

truffet

5.3. Fremgår det, med hvilken hjemmel afgørelsen

er truffet

5.4. Giver sagen i øvrigt anledning til bemærkninger

om formaliteten

Bemærkninger:

1. Helt klart

2. Nogenlunde

3. Slet ikke

4. Sagen er ikke tilstrækkeligt oplyst, til at

dette punkt kan vurderes

Bemærkninger:

1. Helt klart

2. Nogenlunde

3. Slet ikke

4. Sagen er ikke tilstrækkeligt oplyst, til at

dette punkt kan vurderes

Bemærkninger:

1. Ja

2. Nej

Bemærkninger:

5. Vurdering af formelle regler i øvrigt

(Afslagssager)

5.1. Hvilken form har afgørelsen 1. Skriftlig afgørelse

2. Skriftligt notat i kommunens journal

3. Anden form

5.2. Er begrundelsen for afgørelsen i overensstemmelse

med FVL §§ 22-24, eller opfylder

det skriftlige notat kravet om, at det

skal fremgå, hvilken afgørelse der er truffet

med hvilken hjemmel

5.3. Er klagevejledningen korrekt.

Der henvises til FVL § 25

Bemærkninger

1. Helt klart

2. Nogenlunde

3. Slet ikke

4. Sagen er ikke tilstrækkeligt oplyst, til at

dette punkt kan vurderes

Bemærkninger:

1. Helt klart

2. Nogenlunde

3. Slet ikke

4. Sagen er ikke tilstrækkeligt oplyst, til at

dette punkt kan vurderes

Bemærkninger:

5.4. Har der været foretaget partshøring 1. Ja

2. Nej

3. Partshøring skulle ikke være foretaget

5.5. Giver sagen i øvrigt anledning til bemærkninger

om formaliteten

Bemærkninger:

1. Ja

2. Nej

Bemærkninger:

6. Vurdering af kommunens generelle retningslinjer

6.1. Har kommunen vedtaget retningslinjer

på området

6.2. Hvis ja, er retningslinjerne da i overensstemmelse

med regler og praksis

1. Ja

2. Nej

Bemærkninger:

1. Helt klart

2. Nogenlunde

3. Slet ikke

4. Sagen er ikke tilstrækkeligt oplyst, til at

6.3. Hvis ja, er afgørelsen da i overensstemmelse

med retningslinjerne

dette punkt kan vurderes

Bemærkninger:

1. Helt klart

2. Nogenlunde

3. Slet ikke

4. Sagen er ikke tilstrækkeligt oplyst, til at

dette punkt kan vurderes

Bemærkninger:

Bilag 6 Arbejdsgruppe 2: Manual for måling

af sager i praksisundersøgelser

Generelle bemærkninger til praksisundersøgelser

Formålet med en praksisundersøgelse er at vurdere korrektheden af underinstansens

afgørelser for at sikre ensartethed og ligebehandling på landsplan. I denne

vurdering indgår både en materiel vurdering og en formalitetsvurdering.

Praksisundersøgelsen omfatter en række spørgsmål, som har til formål at belyse

kvaliteten af kommunernes afgørelser.

For at målrette arbejdet med praksisundersøgelserne og for at kunne bruge dem til

benchmarking mellem kommunerne og effektundersøgelser, er det besluttet, at

Ankestyrelsen og de sociale nævn skal bruge en fælles skabelon for måleskema og

manual til alle undersøgelser.

Måleskemaets generelle spørgsmål skal bruges i alle praksisundersøgelserne og

svarmulighederne må ikke ændres.

Ankestyrelsen og nævnene skal således i hver praksisundersøgelse tage udgangspunkt

i det fælles måleskema og den fælles manual, men derudover skal det individuelt

i den enkelte undersøgelse overvejes, i hvilket omfang det er relevant at tilføje

spørgsmål og vejledning.

Der bør i øvrigt ske udveksling af de individuelle spørgsmål og retningslinjer, der

anvendes i undersøgelserne, således at Ankestyrelsen og nævnene kan benytte

samme spørgsmål i det omfang, temaet for undersøgelserne er det samme.

Fremover vil praksisundersøgelserne være målrettet mod enten bevillingssager eller

afslagssager.

Kommunen vil derfor blive bedt om at sende afgørelser af den ene eller den anden

kategori.

I tilfælde, hvor det klart fremgår, at en indsendt sag hører til den forkerte kategori,

skal sagen sendes tilbage, og kommunen skal indsende en ny sag.

Tjekliste til kommunen

Inden indhentelse af sagerne fra kommunen udarbejdes en tjekliste over de oplysninger,

som er vigtige at få frem i hver sag. Tjeklisten gives til kommunen, således

at der ikke er tvivl om, hvilke oplysninger der bør være i hver sag.

Det er for eksempel oplysning om, hvad der er søgt om. Det kan også være oplysninger

fra kommunens journal, herunder for eksempel faktuelle oplysninger om

familien, antal børn mv., eller oplysninger om væsentlige sagsbehandlingsskridt, for

eksempel om der er foretaget eller har været overvejet partshøring i sagen. Det kan

endvidere være kommunens klagevejledning, som ofte ikke vedlægges den enkelte

sag, fordi der er tale om en standard, som bruges i alle sager.

Det skal overfor kommunen understreges, at alle oplysninger skal medsendes, og

at eventuelle grundoplysninger, for eksempel fra kommunens elektroniske registrering,

som ikke fremgår af journaloplysningerne i den enkelte sag, også skal medsendes.

Herefter må Ankestyrelsen og nævnene ved undersøgelsen gå ud fra, at kommunen

har indsendt alle de oplysninger, der er i sagen. Hvis en oplysning derfor ikke

fremgår af sagen, skal sagen vurderes uden oplysningen. Der må ikke ved vurderingen

fortolkes en formodning ind om sagens fakta, hvis det ikke fremgår af sagen.

Generelle bemærkninger til måleskemaet

Af hensyn til ensartetheden må der ikke ændres i de fælles spørgsmål, der indgår i

skabelonen. Kun der hvor det fremgår af skemaet, må/skal der tilføjes individuelle

spørgsmål eller uddybes i de fælles spørgsmål, så de kommer til at passe til den

konkrete undersøgelse. Hvis nye individuelle spørgsmål indføjes, skal de indgå i

nummereringen efter de fælles spørgsmål.

Der må heller ikke ændres i svarmulighederne. Ved tilføjelse af nye spørgsmål, skal

der i videst muligt omfang anvendes samme svarmuligheder, som i de fælles

spørgsmål.

Manualen skal følges for så vidt angår de fælles spørgsmål. I det omfang, der indføjes

individuelle spørgsmål i undersøgelsen, kan der tilføjes individuel vejledning i

den manual, der konkret følger den enkelte undersøgelse.

Det skal i den enkelte undersøgelse overvejes, om det kan præciseres, hvad svarmulighederne

indebærer for undersøgelsen. Der skal i videst muligt omfang tilføjes

bemærkninger herom i manualen. Især er det vigtigt at få beskrevet, hvad der menes

med vurderingen ”nogenlunde”. Beskrivelsen må relatere sig til emnet for

praksisundersøgelsen.

Der er udarbejdet to skabeloner for måleskemaer. De to skabeloner skal bruges i

alle praksisundersøgelser af kommunernes afgørelser. Der er et skema til brug i

forbindelse med sager, hvor kommunen har imødekommet borgerens ansøgning

(bevillingsskema), og et skema til brug i sager, hvor kommunen har givet afslag på

det ansøgte (afslagsskema). Afslagsskemaet bruges også i undersøgelser af sager

om foranstaltninger, for eksempel efter børne- og ungereglerne, og i sager om tilbagebetaling.

I de tilfælde, hvor en afgørelse både rummer en delvis bevilling og et delvist afslag,

benyttes som udgangspunkt det skema, der svarer til den kategori, som undersø-

gelsen vedrører. Hvis mange sager indeholder delvise afgørelser af begge slags, må

det overvejes at udfylde begge skemaer for hver sag i målingen.

Måleskemaet er inddelt i 5 afsnit:

1. Grundoplysninger om sagen

2. Oplysninger om kommunens afgørelse

3. Den materielle vurdering af kommunens afgørelse

4. Vurdering af særlige sagsbehandlingsregler

5. Vurdering af formelle regler i øvrigt

6. Vurdering af kommunens generelle retningslinjer

Der er i forbindelse med alle spørgsmål et bemærkningsfelt, som skal benyttes til

uddybning af afkrydsningen.

For at sikre en ensartet måling anbefales det at foretage en fælles prøvemåling af et

par sager, det vil sige en måling, hvor alle de, der skal deltage i undersøgelsen i fællesskab

gennemgår et par sager og bliver enige om retningslinier for vurderingen.

Det anbefales samtidig, at der foretages en efterfølgende kontrolmåling af sager,

der afviger fra den normale pointfordeling i målingen.

1. Grundoplysninger om sagen

Der er tale om en bruttoliste med statistiske oplysninger, som kan være relevante

at kende ved vurderingen af korrektheden af en afgørelse.

Spørgsmålet om fødselsdato og køn skal altid indgå af hensyn til en entydig identifikation.

Afhængig af undersøgelsens indhold kan øvrige spørgsmål tilføjes, for eksempel

familiens forsørgelsesgrundlag og antal børn.

Man bør være bevidst om ikke at bruge flere spørgsmål end nødvendigt. En praksisundersøgelse

er ikke en statistisk undersøgelse af en befolkningsgruppe, og den

skal ikke forsøges brugt som sådan.

2. Oplysninger om kommunens afgørelse

Afsnittet indeholder spørgsmål om kommunens afgørelse. Det ønskes belyst, hvilken

type afgørelse kommunen har truffet i forhold til det, der er søgt om.

Der kan for eksempel medtages spørgsmål om størrelsen af det søgte og det bevilgede

beløb, hvis det er relevant for undersøgelsen. Afhængig af undersøgelsens

indhold uddybes spørgsmålene, for eksempel med relevante valgmuligheder til oplysninger

om indholdet af det ansøgte. Der kan også føjes flere spørgsmål til.

Spørgsmålene afgrænses afhængig af undersøgelsens indhold.

3. Den materielle vurdering af kommunens afgørelse

I afsnittet stilles spørgsmål, der skal klarlægge, om afgørelsen indholdsmæssigt er i

overensstemmelse med lovgivningen og praksis.

Ved vurderingen af en afgørelses materielle indhold vurderes afgørelsens korrekthed

i forhold til lovgivningen. Med lovgivningen sigtes ikke alene til regler i en lov,

men også til den praksis, som kan udledes af Ankestyrelsens principielle afgørelser,

domstolspraksis samt vejledende udtalelser fra blandt andet Folketingets Ombudsmand

og ministerier.

Især i forbindelse med ny lovgivning går der en vis tid, inden Ankestyrelsen har

truffet afgørelser og dermed udmeldt praksis på området. Udgangspunktet er, at

der først foretages praksisundersøgelser på et område, når praksis er klarlagt.

Imidlertid vil det i nogle tilfælde være nødvendigt at foretage undersøgelser, for

eksempel til belysning af nye regler, inden der er fastlagt en praksis fra Ankestyrelsen.

Hvis det er Ankestyrelsen, der foretager en sådan undersøgelse, må konsekvensen

være, at afgørelser, der ikke er i strid med reglerne på området, bliver vurderet som

rigtige, selv om fortolkningen af reglerne er tvivlsom.

Hvis det er nævnet, der foretager undersøgelsen, og der er områder, hvor Ankestyrelsen

ikke har udmeldt praksis, vil nævnet i nogle tilfælde have en praksis på området.

Der kan have været tale om klagesager, som ikke er anket videre til Ankestyrelsen.

Hvis denne praksis er kendt af den kommune, der undersøges, vil kommunen

være forpligtet til at følge nævnets afgørelse. Svaret på spørgsmålet skal i sådanne

tilfælde være, at afgørelsen ikke er rigtig, idet ”den ville blive ændret eller sagen

hjemvist i en klagesag”, hvis kommunen ikke har fulgt nævnets praksis. I sådanne

tilfælde må der indgå bemærkninger herom i måleskemaet og rapporten.

I mange praksisundersøgelser har der hidtil ved vurderingen af rigtigheden været

brugt tre svarkategorier:

- i overensstemmelse med regler og praksis

- åbenbart i strid med regler og praksis

- i tvivl

Til kategorien ”i tvivl” er henregnet tilfælde, hvor oplysningsgrundlaget har været

mangelfuldt.

Fremover skal svarkategorien ”i tvivl” ikke bruges i målingerne. Det signalerer for

meget usikkerhed i vurderingen i forhold til, at kommunerne skal handle på baggrund

af praksisundersøgelserne.

Hvis der mangler oplysninger, må konklusionen være, at afgørelsen er truffet uden

disse oplysninger. Skulle sagen bedømmes som en klagesag, ville sagen blive hjemvist

til ny behandling i kommunen. Kommunens afgørelse har derfor været mangelfuld.

Fremover skal vurderingen af oplysningsgrundlaget indgå i den materielle vurdering

af sagens rigtighed. Vurderingen af oplysningsgrundlaget indgår som et parameter

i vurderingen af, om afgørelsen samlet set er i overensstemmelse med regler

og praksis. Det er ikke tilfældet, hvis oplysningsgrundlaget er så mangelfuldt, at sagen,

hvis det havde været en klagesag, ville være blevet hjemvist. Betragtningen er,

at kommunen faktisk har truffet en afgørelse. Denne afgørelse kan ikke betegnes

som rigtig, når reaktionen, hvis det havde været en klagesag, ville være at statuere

ugyldighed og hjemvise til ny behandling i kommunen.

Graden af ”forkerthed” i henholdsvis en hjemvisning og en egentlig omgørelse,

fordi afgørelsen er i strid med regler og praksis, er forskellig, og vurderingen heraf

kommer til udtryk i den efterfølgende vægtning af svarene på spørgsmålene. Det

skal fremgå af rapporten, hvad årsagen er til, at sagen vurderes til at være afgjort

forkert.

Bemærkningsfeltet skal under alle omstændigheder udfyldes, idet det er vigtigt, at

vide, hvorfor sagen er vurderet som den er, især hvis resultatet er, at den ikke er

helt i overensstemmelse med regler og praksis.

Udover spørgsmål om ”afgørelsen samlet set er i overensstemmelse med regler og

praksis” indgår der spørgsmål om oplysningsgrundlag, personkreds og øvrige betingelser

for ydelsen. Meningen er at disse spørgsmål skal give en uddybende forklaring

på, hvad det er, der er problemet i sagen, hvis der er problemer. Ved de

forskellige spørgsmål gives der mulighed for at få belyst sagen fra flere sider.

I spørgsmål 3.3. spørges til, om borgeren er omfattet af personkredsen. I stort set

alle regler indgår spørgsmål om personkreds. Spørgsmålet er derfor medtaget som

et standardspørgsmål.

I spørgsmål 3.4. og 3.5. spørges til de øvrige materielle betingelser. Meningen er, at

de relevante betingelser i den konkrete praksisundersøgelse sættes ind i stedet for

”xx” og ”yy”. I det omfang, der er behov indføjes flere spørgsmål.

Svarmulighederne er forskellige i de forskellige spørgsmål. På spørgsmålet om afgørelsen

samlet set er rigtig, er det kun muligt at svare ja eller nej. Afgørelsen kan

ikke være en smule rigtig eller en smule forkert. Det må logisk set være enten eller,

når man som ankemyndighed skal forholde sig til en afgørelse.

Derimod foretages der en graduering i de efterfølgende uddybende spørgsmål, således

at det på den måde bliver muligt mere præcist at få belyst graden af ”forkerthed”.

Hvis svaret på spørgsmålet, om afgørelsen samlet set er rigtig, er ”ja”, skal svaret

på de efterfølgende spørgsmål være 1 eller 2. Hvis der svares 1 er afgørelsen helt

som den skal være. Hvis der svares 2 er der mindre ”skønhedsfejl” uden at afgørelsen

af den grund må vurderes til at ville være blevet ændret eller sagen hjemvist.

Hvis der svares ”nej” til, at afgørelsen samlet set er rigtig, skal svarene på de efterfølgende

spørgsmål være 3 eller 4, afhængig af om vurderingen skyldes, at afgørelsen

på det punkt er klart forkert, eller at der mangler oplysninger.

Udover de obligatoriske spørgsmål kan der efter behov i den enkelte undersøgelse

føjes flere spørgsmål til.

4. Vurdering af særlige sagsbehandlingsregler

Dette afsnit anvendes kun, hvis der på lovområdet er særlige sagsbehandlingsregler,

der skal iagttages ved afgørelsen.

Der fokuseres i dette afsnit på formaliteten i sager, hvor der er regler, der stiller

krav til sagsbehandlingen. Det kan for eksempel være anvendelse af ressourceprofiler.

Hvis kravene ikke er overholdt, eller der ikke er tilstrækkelige oplysninger om

det, vil det komme frem i besvarelsen af spørgsmål 4.1. Sagen kan derimod godt

være fuldt oplyst og rigtigt afgjort, og dermed vil fejl af denne type ikke komme

klart frem i besvarelsen af spørgsmålene i afsnit 3.

Spørgsmålene kan vælges fra, og nye spørgsmål kan vælges til efter behov. Hvis

spørgsmål 4.1 anvendes bør det overvejes at indføje underspørgsmål, som uddyber

brugen af metoden.

Med mindre, der er særregler om inddragelse af borgeren på et område, bør

spørgsmålet om borgeren har været inddraget ikke medtages, selv om betingelsen

fremgår af retssikkerhedslovens § 4. Der er kun udmeldt praksis om bestemmelsen

i tilfælde, hvor den er anvendt i sammenhæng med særregler.

5. Vurdering af formelle regler i øvrigt

I dette afsnit afhænger spørgsmålene af, om der er tale om bevillingssager eller afslagssager.

I begge tilfælde spørges til, hvilken form afgørelsen har.

Hvis svaret på spørgsmål 5.1 er ”3. Anden form” skal det tilføjes i bemærkningsfeltet,

hvilken form der så er brugt.

Det må i den forbindelse understreges, at det ikke er en forvaltningsretlig fejl, at

afgørelsen ikke er meddelt skriftligt. Der er ikke i loven bestemte formkrav til en

afgørelse.

Imidlertid vil det i mange tilfælde, især hvis der er tale om særligt indgribende afgørelser,

være god forvaltningsskik at meddele afgørelsen skriftligt.

Et krav om at en kommunal afgørelse på det sociale område skal foreligge som et

skriftligt notat i sagen kan støttes på:

• En almindelig ulovbestemt retsgrundsætning om at alle væsentlige forhold

og ekspeditioner i en sag skal fremgå af sagen og akterne. En afgørelse må

anses at være en meget væsentlig ekspedition i sagen. Forvaltningen, herunder

for eksempel en ny sagsbehandler ved sagsbehandlerskift, skal kunne

få et overblik over sagen, og borgeren skal kunne få dokumenteret, at der

er givet en bevilling og det nærmere omfang af bevillingen.

• Legalitetsprincippet eller princippet om lovmæssig forvaltning.

• Krav om dokumentation i forbindelse med revision.

Endelig kan man argumentere for, at pligten for kommunerne til at skrive et notat

om en afgørelse, som er givet mundtligt, indirekte følger af retssikkerhedslovens §

76, stk. 2, pkt. 2, og § 78, stk. 2, pkt. 2. Efter denne bestemmelse skal Ankestyrelsen

og nævnene følge kommunerne og amtskommunernes praksis. En forudsætning

for dette er, at kommuner og amtskommuner kan dokumentere, hvilken afgørelse

der er truffet i sagen og med hvilken hjemmel.

Hvis der er tale om bevillingssager, spørges der kun til, om det fremgår, hvilken

afgørelse, der er truffet, og med hvilken hjemmel. Der gælder ikke andre formkrav

til afgørelsen.

Hvis der er tale om afslagssager spørges især til forvaltningsretlige regler.

Med hensyn til forståelsen af indholdet af de forvaltningsretlige regler, der spørges

til i måleskemaet, kan i vidt omfang henvises til Ankestyrelsens pjece om ”At skrive

en afgørelse”.

Vurdering af kommunens generelle retningslinjer

Det afhænger af en individuel overvejelse af behovet, om afsnittet skal indgå i målingen.

Afsnittet vil typisk skulle indgå, hvis der er særlige lovkrav om, at kommunen skal

udarbejde generelle retningslinjer på et område, for eksempel kvalitetsstandarder i

forbindelse med hjemmehjælp.

Hvis der ikke er særlige lovkrav, kan det i visse tilfælde alligevel være interessant at

spørge til kommunens retningslinjer, for eksempel spørgsmålet om rådighedsbeløb

i forbindelse med hjælp til enkeltudgifter.

Bilag 7 Uddybning af logistiske estimation

Der kan ikke direkte måles en ”tendens til at lave fejl”, men kun om konkrete sager

er fejlbehæftet eller ej, det vil sige, om fejlvariablen er 0 eller 1. Sandsynligheden

for at lave fejl estimeres. Sandsynligheder er tal, der ligger mellem 0 og 1. Får

at få et matematisk udtryk, der ligger mellem 0 og 1, benyttes rent matematisk om-

formningen af ligningen i kapitel 5

(2)

exp("tendens til fejl")

Sandsynlighed for fejl =

1+ exp("tendens til fejl")

Det vil sige, at (1) kan sættes ind i (2), så

exp( β k + β k + β k )

Sandsynlighed for fejl = P =

1+ exp( β k + β k + β k )

(3) 1 1 2 2 3 3

I (3) er den diffuse ”tendens” substitueret bort.

1 1 2 2 3 3

Rent statistisk findes de ukendte β ’er ved at sammenholde sandsynligheden for

fejl, P , med alle fejl-sagerne, og sandsynligheden for at en sag er rigtig – der jo er

1- P – med de rigtige sager. Det vil sige, det statistiske problem er:

Find β ’er så størst mulig overensstemmelse mellem

Fejl i sag og P , og rigtig sag og (1- P )

Hvis fejlvariablen kaldes F s for sag nummer s og har værdien 1, hvis der er fejl

og 0 hvis sagen er rigtig (som i tabel 1a), så er problemet: maksimer l over β ’erne,

hvor

(4)

antal sager

∑

l = F ⋅ ln( P) + (1 −F ) ⋅ln(1 −P)

s s s s

( P s er fejlsandsynlighed for sag nummer s , der findes ved ligning (3)).

Uafhængighedstest

Som nævnt kan der testes på flere spørgsmål, hvis to spørgsmål fra samme praksisundersøgelse

er uafhængige. Uafhængighedstestet tager udgangspunkt i kontingenstabeller

af formen:

Tabel 1 Antal sager fordelt på fejl og spørgsmål

Spørgsmål 2, fejl I alt

Ja Nej

Spørgsmål 1, fejl

Ja Fejl i begge spørgsmål Kun fejl i spm. 1 Fejl i spm. 1

Nej Kun fejl i spm. 2 Ingen fejl Rigtige i spm. 1

I alt Fejl i spm. 2 Rigtige i spm. 2 Sager i alt

Der er uafhængighed, hvis fordelingen i kolonne 3 og 4 svarer til fordelingen i sidste

kolonne og fordelingen i række 3 og 4 svarer til fordelingen i sidste række.

Omvendt er der afhængighed, hvis der er mange for mange fejl i diagonalen. Hvis

man imidlertid blot ser på tabel 1 for alle sager samlet, vil kommuneforskelle også

give sig udtryk i afhængighed. Derfor er det nødvendigt med en tabel for hver

kommune svarende til tabel 1 og på passende facon lægge afvigelserne sammen for

hver kommune/tabel. Testet er et såkaldt Cochran-Mantel-Haenszel test.

Bilag 8 Vejledende retningslinier til

struktur i praksisundersøgelserne

Folketinget har vedtaget et lovforslag om forelæggelse af praksisundersøgelser for

kommunalbestyrelsen. I lyset af den vedtagne lov er der behov for, at Ankestyrelsen

overvejer den fremtidige struktur for afrapporteringen af praksisundersøgelserne.

Nedenfor gennemgås sådanne overvejelser.

Det er tanken, at den nedenfor skitserede struktur i første omgang alene finder anvendelse

på de praksisundersøgelser, hvor det er kommunernes sager, der bliver

vurderet. Der vil på et senere tidspunkt blive taget stilling til, hvilken struktur rapporterne

om praksisundersøgelser med nævnssager skal have.

Formålet med rapporterne er at afrapportere resultaterne af den gennemgang af

sagerne, der har fundet sted. Gennemgangen er foretaget af juridiske eksperter i

Ankestyrelsen og de sociale nævn, og er foretaget i forhold til det overordnede

formål med praksisundersøgelserne: at vurdere legaliteten af kommunernes afgørelser.

Legalitetsvurderingen indebærer såvel en materiel som en formel vurdering

af sagerne i forhold til gældende lovgivning, praksis mv., det vil sige, at resultatet er

udtryk for, i hvilket omfang kommunernes sagsbehandling er i overensstemmelse

med gældende ret.

Praksisundersøgelserne er dermed også en kvalitetsvurdering af kommunernes

sagsbehandling. Det er hensigten, at rapporterne skal indeholde en afrapportering i

henhold hertil.

Målgrupper

En væsentlig målgruppe er og har altid været kommunalbestyrelsen, som har det

overordnede ansvar for, at der udføres lovmæssig forvaltning i deres kommune.

Denne målgruppe er, med lovforslaget om, at praksisundersøgelserne fra den 1.

januar 2006 skal forelægges kommunalbestyrelserne, blevet yderligere aktualiseret.

Derudover må det antages, at også ministre, folketingspolitikere og embedsmændene

i ministerierne ønsker viden om den faktiske retsanvendelse, der finder sted i

kommunerne. Praksisundersøgelserne er således et redskab, der kan anvendes til at

følge implementering af lovgivning.

Kommunalbestyrelser, Folketing og ministerier synes især at have behov for viden

om:

- Resultaterne af undersøgelsen

- Anbefalinger på baggrund af undersøgelsens resultater

o Anbefalingerne er udarbejdet på baggrund af en række konstaterede

mangler i de indsendte sager, og er anbefalinger til kommunerne

om, hvor ankeinstansen finder behov for øget fokus

- En kort perspektiverende del, hvor emnet for praksisundersøgelsen sættes

ind i en ramme i forhold til omverdenen.

o I praksisundersøgelsen om fleksjob kan der fx medtages et afsnit

med oplysninger om det samlede antal fleksjobbere på landsplan,

fremhæve paralleller i forhold til andre undersøgelser på området

o Afrapportering af eventuelle generelle spørgsmål. Det kan være

spørgsmål, kommunen har svaret på i forbindelse med indsendelse

af sagerne om fx kommunens samlede ressourceforbrug i årsværk,

oplysninger om antal sager på området om året

- En præsentation af de deltagende kommuner i forhold til den målte kvalitet

af de indsendte sager

Derudover er de kommunale sagsbehandlere og deres administrative ledere en afgørende

målgruppe. Denne gruppe har en interesse i at vide, dels hvordan ankeinstansen

har vurderet legaliteten og kvaliteten af netop deres sagsbehandling, dels at

vide hvordan ankeinstansen i det hele taget vurderer legaliteten og kvaliteten af det

sagsområde som praksisundersøgelsen omhandler.

Sagsbehandlere og deres administrative ledelse synes især at have behov for viden

om:

- Resultaterne af undersøgelsen

- Anbefalinger på baggrund af undersøgelsens resultater i forhold til de enkelte

sager

- Eksempler fra sagerne der danner baggrund for anbefalingerne

- Viden om hvorfor sagsbehandlingen ikke er tilstrækkelig god, og hvordan

bliver den bedre

o hvad skal sagsbehandlerne være særligt opmærksomme på

o gennemgang af de væsentligste retsregler på området i forhold til

de fundne problemer

o gennemgang af SM´ere på området i forhold til problemerne

Ovenstående bør opdeles i forhold til den materielle og den formelle vurdering.

Hidtidig og fremtidig struktur

Hidtil har rapporterne primært rettet sig mod sagsbehandlerne og deres administrative

ledere. De enkelte rapporter har ikke alle haft samme struktur, men har oftest

indeholdt et resumé med Ankestyrelsens anbefalinger, et metodeafsnit med

oplysninger om antal deltagende kommuner og nævn og en afrapportering i forhold

til henholdsvis materielle og formelle problemstillinger i sagerne, dokumenteret

ved hjælp af tabeller med undersøgelsens resultater og eksempler fra sagerne.

I de hidtidige praksisundersøgelser kan resumeet siges både at have givet et overblik

og i et vist omfang videregivet mere detaljerede oplysninger. Tilsvarende har

apporternes kapitler både haft et element af overblikstabeller og detaljeret gennemgang

af sagerne.

Med henblik på at strukturere rapporterne i forhold til målgrupperne kan det overvejes

at gøre resumeet mere fokuseret på overblikket og samtidig gøre kapitlerne

mere fokuserede på indholdet af sagsgennemgangen. Det indebærer ikke nødvendigvis

de store ændringer af rapporterne.

Praksisundersøgelserne skal fortsat være et redskab for sagsbehandlerne, der kan

bidrage til at forbedre deres sagsbehandling. Dette kan ske som hidtil ved, at der

som led i afrapporteringen bliver givet konkrete tilbagemeldinger på, hvordan den

enkelte sag er vurderet. I rapportens kapitler kan der ske en nedtoning af dokumentation

i form af tabeller med undersøgelsens samlede resultater. Kapitlerne vil

til gengæld være præget af eksempler fra sagerne, der illustrerer de problemstillinger

Ankestyrelsen har formuleret sine anbefalinger i forhold til.

Praksisundersøgelser skal desuden være et anvendeligt redskab for beslutningstagere

mv. Rapporternes resumé skal derfor være kort og overskueligt og koncentreres

om hovedbudskaberne, herunder anbefalinger til, hvordan kommunerne kan forbedre

deres sagsbehandling på det pågældende sagsområde.

Derudover kan kommunalbestyrelsen have en interesse i at få viden om, hvordan

kvaliteten af deres kommunes sagsbehandling ligger i forhold til de øvrige deltagere

i undersøgelsen. Endelig har politikerne en interesse i at få viden om, hvilke generelle

problemer der måtte være på et givent lovområde.

Det indstilles, at rapporterne der skal udarbejdes i forbindelse med Ankestyrelsens to

igangværende praksisundersøgelser på forsøgsbasis udarbejdes efter den nedenfor

foreslåede struktur 17 . På baggrund af erfaringerne med disse to rapporter vil den

endelige struktur herefter blive fastlagt.

Med de nødvendige tilpasninger som følge af at disse praksisundersøgelser også indeholder

nævnssager.

Fremtidig struktur i rapporterne

En struktur på baggrund af det foranstående kan herefter se således ud:

I Beslutningstagerrettet del

1. Undersøgelsens resultater, herunder

a. Resumé

b. Resultaterne af undersøgelsen opgjort i tal fremstillet ved hjælp af

overskuelige tabeller.

c. Anbefalinger

2. Undersøgelsens baggrund

a. En kort perspektiverende del, hvor blandt andet årsagen til, at området

er eller bør være genstand for evt. politisk bevågenhed fremhæves.

Formålet med reglerne kan evt. fremhæves. Herudover kan

væsentlige pointer fra undersøgelsens resultater analyses ved hjælp

af statistisk dokumentation og inddragelse af resultater fra andre

undersøgelser

3. En præsentation af de deltagende kommuner på baggrund af undersøgelsens

resultater

II Sagsbehandlerrettet del

4. Viden om hvorfor sagsbehandlingen ikke er tilstrækkelig god, og hvordan

bliver den bedre

a. Anbefalinger der vedrører den materielle vurdering, hvad skal

sagsbehandlerne være særligt opmærksomme på

i. Eksempler fra sagerne der danner baggrund for anbefalingerne

ii. Eksemplerne samles i forhold til de problemstillinger de

vedrører

iii. gennemgang af de væsentligste retsregler på området i forhold

til de fundne problemer

b. Anbefalinger der vedrører den formelle vurdering, hvad skal sagsbehandlerne

være særligt opmærksomme på

i. Eksempler fra sagerne der danner baggrund for anbefalingerne.

Eksemplerne samles i forhold til de problemstillinger

de vedrører

ii. Eksemplerne samles i forhold til de problemstillinger de

vedrører

iii. Gennemgang af de væsentligste retsregler på området i forhold

til de fundne problemer

c. gennemgang af praksis på området i forhold til problemerne

(SM´ere, nævnspraksis, Ombudsmandspraksis m.v.)

5. En bilagsdel bestående af:

a. Undersøgelsens omfang, - antal kommuner og antal sager

b. Eventuelle tabeller

c. Metodeafsnit

d. Regelgrundlaget

e. Relevante SM´ere

f. Måleskema

Effektmåling af praksisundersøgelser - Ankestyrelsen

products

Features

Resources

Developer

Company

Pro Features

Help & Support

Integrations

Plans & Pricing

Company

Effektmåling af praksisundersøgelser - Ankestyrelsen

Delete template?

Save as template?

products

Features

Resources

Developer

Company

Pro Features

Help & Support

Integrations

Plans & Pricing

Company