Effektmåling af praksisundersøgelser - Ankestyrelsen
Ankestyrelsen
Effektmåling af
praksisundersøgelser
2006
Indholdsfortegnelse
2
Side Kapitel
3 Sammenfatning
7 Kapitel 1
Baggrunden for projektet
11 Kapitel 2
Generelt om praksisundersøgelser
17 Kapitel 3
Effektmåling
19 Kapitel 4
Identifikation af effekter
25 Kapitel 5
Statistisk usikkerhed
30 Kapitel 6
Model til effektmåling
35 Kapitel 7
Udmøntning
40 Kapitel 8
Kvantificering af sagsvurderingerne
43 Kapitel 9
Forslag til effektmålingsscenarie
48 Bilag
Bilag 1 Lovgrundlag
Bilag 2 Samarbejdsaftalen mellem Ankestyrelsen og de sociale nævn
Bilag 3 Katalog over emner for praksisundersøgelser
Bilag 4 Ankestyrelsens og de sociale nævns praksisundersøgelser i 2005
Bilag 5 Udkast til skabelon til måleskema (arbejdsgruppe 2)
Bilag 6 Manual for måling af sagerne i praksisundersøgelser (arbejdsgruppe 2)
Bilag 7 Uddybning af logistiske regressionsmodel
Bilag 8 Vejledende retningslinier til struktur i praksisundersøgelserne (arbejdsgruppe
2)
Sammenfatning
Praksisundersøgelser gennemføres som led i Ankestyrelsens og de sociale nævns
forpligtelse til at koordinere, at afgørelser, der kan indbringes for Ankestyrelsen og
de sociale nævn, træffes i overensstemmelse med lovgivningen og praksis. Ankestyrelsen
har de senere år oplevet en stigende interesse for praksisundersøgelserne,
både som et instrument til at afdække kommunerne praksis, og som et opfølgnings-
og overvågningsinstrument. De er anerkendt som et unikt og fagligt meget
velunderbygget redskab, som går tæt på den kommunale sagsbehandling.
Der gennemføres imidlertid på nuværende tidspunkt ikke en systematisk måling af,
hvorvidt praksisundersøgelserne har en effekt på kvaliteten af kommunernes sagsbehandling,
hverken i Ankestyrelsen eller i nævnene. Effektmåling af praksisundersøgelserne
vurderes at være relevant til at give information om det relativt omkostningstunge
redskab.
I forhold til ønsket om at kunne måle effekten af praksisundersøgelserne er der
behov for at udvikle en metode til systematisk effektmåling på baggrund af praksisundersøgelserne.
Ankestyrelsen har i den forbindelse fået midler af Socialministeriet til at gennemføre
et udviklingsprojekt i samarbejde med SFI med henblik på
• At udvikle praksisundersøgelsernes design med henblik på en bedre opfølgning
• At udvikle effektmål
• At gennemføre effektmåling af praksisundersøgelser
I nærværende rapport afrapporteres projektet. Rapporten indledes med en beskrivelse
af baggrunden for projektet samt et generelt kapitel om praksisundersøgelser.
Der vil i det følgende være en gennemgang af de væsentligste konklusioner i de øvrige
kapitler i rapporten.
Effektmåling – kapitel 3
I kapitlet præsenteres effektmålingsbegrebet. Effektmåling af praksisundersøgelser
vurderes at være relevant for at få information og viden om, hvorvidt praksisundersøgelserne
har en adfærdsændrende virkning på de kommunale aktører. Et af
formålene med praksisundersøgelserne er, at de skal føre til øget kvalitet i sagsbehandlingen.
En metode til at gennemføre effektmåling af praksisundersøgelserne er ved at udvælge
en testgruppe og en kontrolgruppe og via statistiske metoder vurdere, om
3
det at have deltaget i praksisundersøgelser giver en signifikant forbedring i sagsbehandlingen
i forhold til ikke at have deltaget.
Identifikation af effekter – kapitel 4
I kapitlet fremhæves 3 typer af effekter, hvorigennem det kan tænkes, at praksisundersøgelserne
kan påvirke sagsbehandlingen i kommunerne. Det drejer sig om
4
• Deltagelseseffekt (skyldes forbedret sagsbehandlingskvalitet deltagelse i
praksisundersøgelser?)
• Informationseffekt (skyldes forbedret sagsbehandlingskvalitet, at kommunen
er informeret om praksisundersøgelsernes resultater generelt?)
• Offentliggørelseseffekt (skyldes forbedret sagsbehandlingskvalitet, at den
enkelte kommunes resultater bliver offentliggjort?)
Det vurderes, at alene deltagelseseffekten vil være mulig at identificere, såfremt der
udelukkende foreligger de oplysninger, som fås gennem praksisundersøgelserne.
Hvis der derimod indhentes supplerende oplysninger fra kommunerne i forbindelse
med praksisundersøgelserne, vurderes det muligt også at måle informationseffekter.
Det vurderes ikke muligt at måle offentliggørelseseffekten.
For at kunne måle deltagelseseffekter og informationseffekter forudsætter det, at
de valgte kommunegrupper er grundlæggende ens. Det vurderes ikke problematisk
at sammensætte kommunegrupperne, der skal indgå i effektmåling, så de er grundlæggende
ens.
Ved brug af supplerende spørgsmål til kommunerne vil det i øvrigt være muligt at
måle effekten på kommunernes sagsbehandling af eventuelt igangsatte initiativer i
kommunerne.
Statistisk usikkerhed – kapitel 5
For at kunne vurdere, om udviklingen i sagsbehandlingskvaliteten skyldes deltagelse
i praksisundersøgelser, er det vigtigt, at der er statistisk sikkerhed for, at de observerede
fejlandele i kommunerne ikke bygger på tilfældige udsving, men er sigende
for den faktiske fejltendens i kommunerne. I kapitlet gennemgås begrebet
statistisk usikkerhed. Det konkluderes, at den statistiske usikkerhed kan mindskes
ved at øge sagsantallet i undersøgelsen samt ved at vurdere sagerne på flere
spørgsmål.
Model til effektmåling – kapitel 6
Ved brug af den logistiske regressionsmodel opstilles der i kapitlet forskellige effektmål.
Ved beregning af konfidensintervaller kan det afgøres, om en given udvikling
har været signifikant, eller det blot er tilfældigt, at der er observeret en udvikling.
Fundamentale ændringer i lovgivningen i perioden mellem de praksisundersøgelser,
som indgår i effektmåling, kan have betydning for fortolkning af effektmålene,
men det må bero på en konkret vurdering ved tilrettelæggelsen og gennemførelsen
af den enkelte effektmåling.
Udmøntning – kapitel 7
I dette kapitel opstilles de grundlæggende betingelser og forudsætninger for, at effektmålingen
kan udmøntes.
På grund af forskellige problemstillinger i bevillings- og afslagssager foreslås det, at
de to sagstyper adskilles, således at der i den enkelte praksisundersøgelse fremover
kun indgår enten bevillingssager eller afslagssager. Det er Ankestyrelsens vurdering,
at det vil indebære et kvalitetsløft i forhold til især vurdering af kommunernes
praksis i afslagssagerne.
I Ankestyrelsens praksisundersøgelser er der hidtil blevet indkaldt både kommunale
afgørelser og afgørelser fra nævnene. Fremover vil praksisundersøgelserne primært
fokusere på kommunesager, mens der ca. hvert andet år vil blive gennemført
en praksisundersøgelse udelukkende med nævnssager.
Med ønsket om at reducere den statistiske usikkerhed i effektmålingen, er det forventningen,
at Ankestyrelsen fremover kan håndtere 150 sager pr. undersøgelse,
mens de sociale nævn samt beskæftigelsesankenævnene forventes at kunne håndtere
80 sager i gennemsnit pr. undersøgelse.
Af hensyn til de statistiske analyser er det nødvendigt, at data fra alle praksisundersøgelser
samles centralt i Ankestyrelsen. Da nævnene ikke anvender E-survey, opretter
Ankestyrelsen måleskemaerne for nævnene, og der oprettes en udtræksfunktion,
så nævnene selv kan trække data ud til brug for afrapportering af undersøgelserne.
Kvantificering af sagsvurderingerne – kapitel 8
For at kunne gennemføre effektmåling og statistiske tests er det nødvendigt at
kvantificere sagsvurderingerne. Der er i kapitlet opstillet et forslag til karaktersystem,
hvor hver enkelt sag gives scorer i henhold til den vurderede sagsbehandlingskvalitet.
Desuden skal der foretages en vægtning af spørgsmålene i de måleskemaer,
som skal anvendes til vurderingerne. Det endelige karaktersystem og
vægtning kan ikke fastlægges, førend nye måleskemaer mv. er afprøvet i praksis.
Der lægges imidlertid op til, at der i måleskemaerne så vidt muligt anvendes graduerede
svarmuligheder for at fastholde så meget information om sagerne samt kunne
give kommunerne så nuanceret tilbagemelding på sagerne som muligt.
Som led i en kvalitetssikring foreslås det, at der nedsættes en intern arbejdsgruppe i
Ankestyrelsen til at gennemgå måleskemaer samt karaktergivning og vægtning, inden
de enkelte undersøgelser i nævnene og Ankestyrelsen igangsættes. Derudover
foreslås der iværksat en censorordning i nævnene, således at der i forbindelse med
hver praksisundersøgelse udveksles et antal sager med statsforvaltningen i naboregionen,
som foretager en prøvemåling. Det vil sikre, at der er overensstemmelse i
vurderingerne.
5
Ligeledes som led i kvalitetssikringen foreslås, at der fremover i Ankestyrelsen afholdes
2 møder i møderækken årligt med nævnssekretariaterne for både de sociale
nævn og beskæftigelsesankenævnene frem for det ene, som afholdes på nuværende
tidspunkt. Formålet med 2 møder årligt vil være at sikre ens forståelse af kvaliteten.
Forslag til effektmålingsscenarie – kapitel 9
Der opstilles et forslag til, hvordan en effektmåling kan gennemføres med inddragelse
af udvalgte kommuner i 2006 og 2008. Testgruppen og kontrolgruppen foreslås
valgt ud fra den kommende Region Hovedstaden. Dels sker der færrest kommunesammenlægninger
her, og dels vil det være nemmere at afholde eventuelle
sparringsmøder. Desuden forudsætter effektmålingen, at de to kommunegrupper
er grundlæggende ens, så kommuneopdelingen tager hensyn til befolkningsantal og
antallet af kommunesammenlægninger.
Ankestyrelsen gennemfører den første praksisundersøgelse, mens Statsforvaltning
Hovedstaden og Ankestyrelsen gennemfører de opfølgende praksisundersøgelser.
Det nye koncept for praksisundersøgelser vil blive afprøvet på de første praksisundersøgelser
i 2006 i både Ankestyrelsen og nævnene. Den sidste af Ankestyrelsens
praksisundersøgelser i 2006 udvælges til at indgå i effektmålingen. Som emne
foreslås sygedagpengeområdet.
Effektmålingsscenariet vil påvirke de sociale nævn i København og Frederiksberg
og statsamterne i København, Frederiksborg samt på Bornholm, idet de fra 2007
vil blive samlet under Statsforvaltning Hovedstaden.
Ovenstående effektmålingsscenarie måler effekten af Ankestyrelsens praksisundersøgelser.
Det vil være oplagt, at en senere effektmåling måler effekten af en praksisundersøgelse
udarbejdet af det sociale nævn eller et af de kommende beskæftigelsesankenævn.
6
1 Baggrunden for projektet om
effektmåling
1.1 Baggrunden for projektet om effektmåling
Ankestyrelsen har de senere år oplevet en stigende interesse for praksisundersøgelser,
både som et instrument til at afdække kommunernes praksis, og som
et overvågningsinstrument. Førtidspensions- og anbringelsesreformen er to
eksempler på det voksende politiske ønske om at bruge praksisundersøgelser
til at dokumentere og koordinere den kommunale sagsbehandling.
Der gennemføres imidlertid ikke systematisk effektmåling af praksisundersøgelser
på nuværende tidspunkt, hverken i Ankestyrelsen eller i de sociale nævn.
Der eksisterer derfor kun en begrænset viden om effekten af praksisundersøgelser.
Ankestyrelsen har imidlertid anekdotisk belæg for, at en række kommuner
i forbindelse med konkrete praksisundersøgelser har ændret deres praksis
og interne retningslinier. Men der foreligger ikke viden om den samlede effekt
på den kommunale praksis.
De sociale nævn har forsøgt at måle effekterne af Ankestyrelsens praksisundersøgelser
gennem regionale praksisundersøgelser som opfølgning på Ankestyrelsens
praksisundersøgelser. I de pågældende undersøgelser er resultaterne
sammenlignet direkte med resultaterne fra Ankestyrelsens landsdækkende
praksisundersøgelse. Denne metode har begrænset anvendelighed, da det er en
forudsætning for at kunne måle for eksempel deltagelseseffekten af en praksisundersøgelse,
at undersøgelsen gentages med deltagelse af de samme kommuner
som i den oprindelige undersøgelse. Dertil kommer, at antallet af sager i en
nævnsundersøgelse ikke er tilstrækkeligt til at kunne sige noget generelt om effekten
af en praksisundersøgelse.
SFI gennemførte i 2001 en undersøgelse af Ankestyrelsens praksiskoordinerende
indsats på førtidspensionsområdet 1 . Undersøgelsen handlede om, hvordan
de redskaber, som Ankestyrelsen anvender i det praksiskoordinerende arbejde,
virker. Undersøgelsen var således ikke kun begrænset til praksisundersøgelserne,
men omhandlede ligeledes praksiskoordinerende redskaber som for
eksempel telefonisk rådgivning, regionale møder, statistikker og principielle afgørelser.
1 Benchmarking på førtidspensionsområdet – virker Den Sociale Ankestyrelses praksiskoordinering? København
2001.
7
8
I undersøgelsen var den forventede effekt af praksisundersøgelserne, at de berørte
medarbejdere i de kommuner, hvor praksisundersøgelserne er gennemført,
ville ændre adfærd i overensstemmelse med anbefalingerne fra Ankestyrelsen,
og at variationen i afgørelsespraksis mellem kommunerne dermed ville
mindskes, det vil sige, at afvigelser fra det forventede antal tilkendelser af førtidspension
ville blive mindre.
I undersøgelsen undersøgte man således, hvorvidt Ankestyrelsens gennemførelse
af praksisundersøgelserne havde en effekt på kommunernes afgørelsespraksis
ved at mindske antallet af tilkendelser, eller ved at antallet af tilkendelser
nærmede sig det forventede antal tilkendelser.
Undersøgelsen viste, at det var svært at identificere klare landsdækkende effekter
af praksisundersøgelserne, hvorimod det tydede på, at der var en effekt for
de involverede kommuner. Konklusionerne i SFI’s undersøgelse var, at der var
tale om en forholdsvis svag effekt.
Hvor SFI-undersøgelsen vurderede effekten i forhold til praksisundersøgelsernes
indvirkning på tilkendelseshyppigheden, er det hensigten i nærværende
projekt at vurdere praksisundersøgelsernes eventuelle effekt på kvaliteten af
den kommunale sagsbehandling.
Med praksisundersøgelsernes nuværende design er det imidlertid ikke muligt at
anvende dem til en sådan systematisk effektmåling. Problemet med designet er
især, at det er vanskeligt at sammenligne de enkelte praksisundersøgelser, eftersom
spørgsmålene ikke er identiske i alle undersøgelserne. Effektmåling forudsætter
desuden en forøget kvantificering af praksisundersøgelserne.
Der er på den baggrund behov for at udvikle en metode til systematisk effektmåling
af praksisundersøgelserne og deres indvirkning på kvaliteten af kommunernes
sagsbehandling. Det indebærer samtidig, at der skal ske en udvikling
af den metode, der i dag bruges til at gennemføre praksisundersøgelser.
Ankestyrelsen har fået midler af Socialministeriet til at gennemføre et udviklingsprojekt
i samarbejde med SFI om at udvikle praksisundersøgelsernes design
med henblik på en bedre opfølgning ved at udvikle effektmål og gennemføre
effektmåling.
Der er samtidig bevilget midler til et projekt om benchmarking af de kommuner
som deltager i praksisundersøgelserne. Dette projekt er afrapporteret selvstændigt,
jf. rapport om benchmarking af kommunernes sagsbehandling, men
de to projekter skal ses i en sammenhæng.
1.2 Mål for effektmålingsprojektet
Ankestyrelsens praksisundersøgelser er anerkendt som et unikt og fagligt meget
velunderbygget redskab. Der er imidlertid som nævnt behov for i højere
grad at kunne måle effekten af undersøgelserne. Det skyldes især, at
• Praksisundersøgelser er et meget centralt, men relativt ressourcekrævende
redskab
• Brugbare effektmål er en forudsætning for at kunne udvikle og målrette
praksisundersøgelserne
Effektmålingsprojektet skal på den baggrund opstille modeller for, hvorledes
der kan effektmåles på praksisundersøgelser.
Effektmåling stiller krav til praksisundersøgelsernes gennemførelse og design.
Eksempelvis vil der være behov for at overveje, hvorledes kommuner og sager
udtrækkes, således at der sikres den tilstrækkelige repræsentativitet. Endvidere
vil der være behov for, at Ankestyrelsens vurderinger i højere grad gradueres
og kvantificeres, således at det er muligt at sammenligne vurderinger af de enkelte
målepunkter, og således at det er lettere at følge en udvikling over årene.
Effektmålingsprojektet skal derfor blandt andet overveje, hvorledes måleskemaerne
skal opbygges, og hvorledes sagsbehandlernes vurderinger af de forskellige
elementer af sagerne skal fremgå af måleskemaerne.
Det vil forøge anvendeligheden af effektmålingen, hvis nævnenes praksisundersøgelser
kan inddrages. Det vil fordre, at nævnene måler sagerne på samme
måde som Ankestyrelsen. Det vil endvidere kræve, at nævnene udvælger
kommuner og sager under hensyntagen til de samme krav om repræsentativitet
som Ankestyrelsen.
Fælles design og fælles opfølgningsramme for såvel regionale som nationale
praksisundersøgelser vil derfor være hensigtsmæssigt. I forbindelse med effektmåling
er det afgørende, at der sker en ensartet måling af sagerne i de praksisundersøgelser,
der indgår i effektmålingen. Som led i projektet er derfor behov
for at udarbejde en manual for måling af sager i forbindelse med praksisundersøgelser.
9
10
1.3 Organisering af effektmålingsprojekt
På baggrund af ovenstående blev nedsat to arbejdsgrupper, der skulle udvikle
praksisundersøgelserne med henblik på effektmåling.
I kommissoriet for arbejdsgruppe 1 fremgår det blandt andet, at arbejdsgruppen
skulle
• Beskrive, hvorledes praksisundersøgelserne kan kvantificeres, således at
der kan gennemføres effektmålinger
• Beskrive, hvordan sager og kommuner udvælges i forbindelse med
praksisundersøgelser, således at der kan foretages effektmål
• Etablere grundlaget for, at vurderingerne af sagerne i de sociale nævns
praksisundersøgelser kan anvendes til effektmåling
• Deltage i gennemførelsen/tilrettelæggelsen af den første effektmåling i
2006
Gruppen har haft repræsentanter for SFI og Ankestyrelsen. Gruppen har afrapporteret
løbende til styregruppen for praksiskoordinering i Ankestyrelsen.
Arbejdsgruppens oplæg vil blive sendt i høring hos de sociale nævn, Socialministeriet,
Beskæftigelsesministeriet, Integrationsministeriet og Indenrigsministeriet.
Denne rapport udgør afrapporteringen fra arbejdsgruppe 1.
I kommissoriet for arbejdsgruppe 2 fremgår det, at gruppen skulle afklare en
række praktiske og principielle spørgsmål med henblik på at fremme klarhed
og ensartethed i målingen af sagerne.
Arbejdsgruppen skulle:
• Udarbejde en manual for måling af sagerne - herunder opstille fælles
målepunkter til vurdering af sagerne i praksisundersøgelserne
• Overveje målingen i tvivlstilfælde, for eksempel hvis Ankestyrelsen ikke
har praksis på et område, eller hvis sagen ikke er tilstrækkelig oplyst
• Tage stilling til, om måleskemaerne også skal udsendes til kommunerne
og nævnene, således at de kan foretage en parallel-måling af sagerne
• Overveje strukturen i rapporterne om praksisundersøgelserne, herunder
om de skal opdeles i to dele, idet rapporterne skal kunne bruges
som input både for de politiske beslutningstagere i kommunerne og for
sagsbehandlerne
I gruppen har deltaget repræsentanter for Ankestyrelsen og de sociale
nævn. Produkterne fra gruppens arbejde indgår som bilag i denne rapport.
2 Generelt om praksisundersøgelser
2.1 Indledning
Ankestyrelsen og de sociale nævn har en forpligtelse til at koordinere, at afgørelser,
der kan indbringes for Ankestyrelsen og de sociale nævn, træffes i overensstemmelse
med lovgivningen 2 .
Ankestyrelsen har ansvaret for praksiskoordinering på landsplan, mens nævnene
har ansvaret på regionalt plan. Ankestyrelsen og de sociale nævn skal samarbejde
om koordineringsarbejdet, og der er indgået en samarbejdsaftale, som danner udgangspunkt
for det løbende samarbejde, jf. bilag 2.
Som led i Ankestyrelsens praksiskoordinerende opgave udarbejder styrelsen hvert
år et antal praksisundersøgelser, som har til formål at afdække den kommunale
praksis og reducere praksisspredning i kommuner og nævn. Målet er at sikre, at
borgerne behandles ens, lige meget hvor i landet de er bosat. Praksisundersøgelser
skal derfor ses som et fremadrettet redskab, der kan være med til at styrke borgernes
retssikkerhed.
Praksisundersøgelserne afdækker effektivt den kommunale praksis på et givent
område. Det skyldes, at det i forbindelse med praksisundersøgelser er muligt at
komme meget grundigt ind i de enkelte sager. Praksisundersøgelser er ressourcekrævende,
men giver en viden, der er svær at opnå på anden vis.
De praksiskoordinerende instanser kan ikke i forbindelse med en praksisundersøgelse
tage underinstansernes afgørelser op af egen drift med henblik på at ændre
afgørelsen 3 , ligesom praksiskoordineringen heller ikke bedømmer hensigtsmæssigheden
af kommunernes forretningsgange eller det lokale serviceniveau.
Ankestyrelsen og nævnene retter opmærksomheden på problemerne, anbefaler
indsatsområder over for kommunerne og deltager i en fremadrettet dialog om forbedringsmulighederne.
Det er imidlertid kommunerne, der har ansvaret for planlægningen
og udførelsen af opgaverne på det sociale område. Ligeledes er det
2 Lovgrundlaget herfor er beskrevet i §§ 76 – 79a i lov om retssikkerhed og administration på det
sociale område – Socialministeriets lovbekendtgørelse nr. 847 af 8. september 2005 og §§ 30 – 36 i
Socialministeriets bekendtgørelse nr. 1127 af 25. november 2005 om retssikkerhed og administration
på det sociale område (se bilag 1).
3 Jf. dog § 47 i lov om social service, hvor Ankestyrelsen har beføjelser til at træffe afgørelser uden
klage i visse sager på børn- og ungeområdet.
11
kommunernes ansvar, at sagsbehandlingen er lovmedholdelig og således hverken
strider mod lovgivningen eller Ankestyrelsens praksis.
2.2 Indholdet i en praksisundersøgelse
Praksisundersøgelser er et redskab, der benyttes med henblik på at få klarhed over,
om myndighedernes afgørelser er i overensstemmelse med lovgivningen.
Praksisundersøgelser fungerer således som en kvalitetssikring af afgørelser. Hvis
undersøgelserne afdækker fejl og mangler i sagsbehandlingen, giver praksisundersøgelserne
samtidig et grundlag for at målrette den fremadrettede vejlednings- og
undervisningsindsats.
En praksisundersøgelse består typisk af:
• Materiel vurdering
• Formalitetsvurdering
• Vejledning/opfølgning
Materiel vurdering
Ved vurderingen af en afgørelses materielle indhold vurderes afgørelsens korrekthed
i forhold til lovgivningen.
Med lovgivningen sigtes ikke alene til reglerne, som de fremgår af love og bekendtgørelser,
men også til den praksis, der kan udledes af Ankestyrelsens principielle
afgørelser, af retspraksis samt af vejledninger og vejledende udtalelser fra
blandt andet Folketingets Ombudsmand og ministerier.
Det er i denne forbindelse afgørende, at de sager, som indsendes, er tilstrækkeligt
oplyste (retssikkerhedslovens § 10 og officialmaksimen). Vurderingen svarer hovedsagelig
til den prøvelse, som Ankestyrelsen og de sociale nævn foretager efter
retssikkerhedslovens § 69 i forbindelse med en klage. Det følger af § 69, at det sociale
nævn og Ankestyrelsen kan efterprøve retlige spørgsmål.
Vurderingen af afgørelsens materielle indhold er kernen i praksisundersøgelser og
er afgørende for, om Ankestyrelsen eller nævnet kan erklære sig enig eller uenig i
de indsendte afgørelser.
12
Formalitetsvurdering
I formalitetsvurderingen vurderes overholdelse af forvaltningsmæssige og retssikkerhedsmæssige
regler, herunder reglerne om partshøring, aktindsigt, notatpligt,
krav til begrundelse, skriftlighed og hjemmelsgrundlag. Ligeledes indgår en vurdering
af retssikkerhedslovens og særlovgivningens processuelle regler om sagsbehandling
og opfølgning, regler om borgerens inddragelse, helhedsvurdering og vejledning
samt regler i for eksempel sygedagpengeloven om tidlig, samlet vurdering
og 8-ugers vurdering m.v. Det er regler, der understøtter borgerens retssikkerhed
og retter fokus på, at borgeren skal have den rigtige ydelse på det rigtige tidspunkt
– med borgerens involvering og accept.
Vejledning og opfølgning
Sidste led i en praksisundersøgelse er den handlingsrettede vejledning og opfølgning.
Gennemgangen af sagerne kan afdække problemområder i kommunerne og
nævnenes praksis og sagsbehandling. Det kan være såvel den materielle vurdering
som vurderingen af, om de formelle regler er overholdt, der giver anledning til reaktioner
fra Ankestyrelsens eller nævnets side. En praksisundersøgelse giver således
Ankestyrelsen og nævnet et godt grundlag for at tilrettelægge den fremadrettede
praksiskoordinering.
Opfølgningen på en praksisundersøgelse fastlægges ud fra resultaterne af den konkrete
undersøgelse og de lokale behov hos de involverede kommuner og nævn.
Det kan for eksempel være skriftlig afrapportering og skriftlig dialog, dialogmøder
eller efterfølgende deltagelse i vejledningsmøder.
Den efterfølgende dialog er med til at understøtte, at undersøgelsens resultater anvendes
konstruktivt til at forbedre kvaliteten af de fremtidige afgørelser og dermed
også til at sikre ensartethed på såvel regionalt plan som på landsplan.
2.3 Tilrettelæggelse af en praksisundersøgelse i hovedtræk
Ved en praksisundersøgelse indkaldes et antal sager fra de involverede myndigheder,
som herefter gennemgås med henblik på den ovennævnte vurdering og kvalitetssikring
af afgørelserne. Det er juridiske eksperter i henholdsvis Ankestyrelsen
og de sociale nævn, der gennemgår sager, der er afgjort af underinstansen. De sociale
nævn vurderer kommunale sager, mens Ankestyrelsen vurderer såvel kommunale
sager som de sociale nævns sager. Omfanget af en praksisundersøgelse
fastlægges således, at afdækningen bliver så repræsentativ som mulig.
Efter gennemgang af sagerne udarbejdes en rapport, hvor resultaterne af praksisundersøgelsen
er beskrevet. Det er vigtigt at medtage i rapporten, hvilke anbefalinger
og vejlednings- og opfølgningsinitiativer undersøgelsen har givet anledning til.
Kommuner og nævn modtager herudover konkrete tilbagemeldinger på de enkelte
sager, der indgår i Ankestyrelsens undersøgelser. Det er forskelligt, hvordan nævnene
giver tilbagemeldinger til kommunerne i deres praksisundersøgelser.
13
Herefter følger en dialog med de involverede kommuner og nævn om undersøgelsens
resultater og anbefalinger med henblik på den fremadrettede opfølgning.
Praksisundersøgelserne skal således virke gennem information om undersøgelsernes
resultater og anbefalinger.
Ankestyrelsen tilstræber, at praksisundersøgelserne tilrettelægges med henblik på at
opnå bredest mulig dækning – både for så vidt angår lovområder og for så vidt angår
deltagende kommuner og nævn.
Valg af emne til en praksisundersøgelse kan for eksempel være begrundet i et behov
for at belyse praksis på et område, hvor der er usikkerhed om praksis, eller
hvor praksis har vist sig ikke at være korrekt. Det kan også være begrundet i resultaterne
fra en gennemført undersøgelse eller behov for at konstatere, om tidligere
praksiskoordinering har haft effekt. I visse tilfælde kan det være hensigtsmæssigt at
gennemføre en pilotundersøgelse med henblik på at få erfaringer både metodisk og
indholdsmæssigt.
Emnerne i såvel kataloget som i planen for praksisundersøgelser i 2005, jf. bilag 3
og 4, afspejler, at Ankestyrelsen siden førtidspensionsreformens ikrafttræden 1. januar
2003 har fulgt implementeringen af de nye regler med henblik på, at der så
hurtigt som muligt fastlægges en sikker praksis på området. Dette sker som led i
Ankestyrelsens særlige forpligtelse til, i en 5 års periode efter reformens ikrafttræden,
at prioritere praksiskoordineringen højt på dette område.
2.4 Samarbejdet mellem de sociale nævn og Ankestyrelsen
Ankestyrelsen og de sociale nævn samarbejder om praksiskoordinering, således at
Ankestyrelsen gennemfører praksisundersøgelser på landsplan og nævnene på regionalt
plan. Herved tilvejebringes et landsdækkende kendskab til praksis og det
bedst mulige grundlag for den samlede praksiskoordinerende indsats.
Ankestyrelsen og de sociale nævn har indgået en aftale om, hvordan samarbejdet
som udgangspunkt skal foregå. Samarbejdet udvikles løbende, og den seneste samarbejdsaftale
er fra januar 2004.
Samarbejdsaftalen indeholder følgende elementer:
14
• Katalog over emner for praksisundersøgelser
• Plan over årets praksisundersøgelser
• Metode for gennemførelse af praksisundersøgelser
• Opfølgning
• Oversigt over afsluttede og igangværende praksisundersøgelser
Katalog over emner for praksisundersøgelser
Ankestyrelsen udarbejder et katalog over emner for praksisundersøgelser i dialog
med de sociale nævn. Emnerne i kataloget besluttes på et møde med de sociale
nævn, se nedenfor.
Plan over årets praksisundersøgelser
Ankestyrelsen udarbejder en plan for det kommende års praksisundersøgelser
inden udgangen af året på grundlag af indmeldinger fra nævnene om påtænkte
emner for kommende praksisundersøgelser.
De sociale nævn og Ankestyrelsen er forpligtet til at gennemføre praksisundersøgelser,
som er fastlagt i planen, med mindre andet aftales konkret med Ankestyrelsen.
Metode for gennemførelse af praksisundersøgelser
Ankestyrelsen skal godkende såvel emne som metode til gennemførelsen af en
praksisundersøgelse. Hidtil har det været den metode, som er beskrevet i bilaget
til samarbejdsaftalen, der som udgangspunkt har skullet anvendes.
Ankestyrelsen kan aftale med et eller flere nævn, at der gennemføres praksisundersøgelser
som regionale opfølgningsundersøgelser og dermed effektmålinger.
Flere nævn kan ligeledes samarbejde om undersøgelserne for at sikre større
bredde i de regionale undersøgelser.
Opfølgning
Såvel Ankestyrelsen som de sociale nævn tilrettelægger og gennemfører opfølgningen
af den enkelte praksisundersøgelse under hensyntagen til resultaterne
af legalitetsvurderingen i den konkrete undersøgelse. Her kan egentlige undervisningsforløb
komme på tale. Sådanne undervisningsforløb har hidtil eventuelt
kunne træde i stedet for en praksisundersøgelse.
Oversigt over afsluttede og igangværende praksisundersøgelser
Ankestyrelsen ajourfører løbende en oversigt over alle afsluttede og igangværende
praksisundersøgelser fordelt på lovområder på Ankestyrelsens hjemmeside.
Ankestyrelsens praksisundersøgelser kan læses på Ankestyrelsens hjemmeside.
De sociale nævns praksisundersøgelser kan læses på statsamternes
hjemmeside.
2.5 Møderække med de sociale nævn
Ankestyrelsen har i 2003 indledt en møderække med de sociale nævn for i dialog
med nævnene løbende at udvikle samarbejdet om den praksiskoordinerende
indsats. Det første møde i denne møderække blev afholdt i september 2003.
På møderne drøftes desuden fælles problemstillinger, ligesom der kan træffes
beslutninger om de praksiskoordinerende tiltag herunder fastlæggelse af de
samlede indsatsområder. Der har siden 2003 været afholdt et årligt møde med
nævnene i september/oktober.
15
16
2.6 Det Rådgivende Praksisudvalg
Det Rådgivende Praksisudvalg er nedsat af Ankestyrelsen for at støtte styrelsen
i arbejdet med at koordinere praksis i afgørelserne efter den sociale lovgivning 4 .
Det Rådgivende Praksisudvalgs medlemmer repræsenterer i øvrigt:
• Arbejdsmarkedets interesseorganisationer – DA, LO og FTF
• De samvirkende invalideorganisationer
• Kommuner og amtskommuner
• Statsamtmandsforeningen
• Den Sociale Sikringsstyrelse
Ankestyrelsens chef er formand for udvalget.
I udvalget drøftes Ankestyrelsens praksiskoordinerende opgaver, herunder resultaterne
af de gennemførte praksisundersøgelser samt konsekvenserne heraf.
Udvalget kan således rådgive Ankestyrelsen i den overordnede planlægning og
koordinering af praksisundersøgelserne og den samlede vejledningsindsats.
2.7 Behov for udvikling af praksisundersøgelserne
Måden man indtil nu har gennemført praksisundersøgelser på er velegnet til at
vurdere kvaliteten af den samlede kommunale sagsbehandling på et givent område,
og på baggrund heraf at opstille en række anbefalinger.
I forhold til ønsker om at kunne måle effekten af praksisundersøgelserne er
der imidlertid behov for at kvantificere oplysningerne i praksisundersøgelserne
på en sådan måde, at statistiske metoder kan anvendes. I det følgende vil der
blive redegjort for, hvilke metodemæssige overvejelser det indebærer.
4 Jf. retssikkerhedslovens §§ 80 og 81.
3 Effektmåling
3.1 Indledning
Effektmåling kan forstås som et sæt af metoder til dokumentation af effekten af
igangsatte initiativer og tiltag og er blevet et mere udbredt begreb i takt med ønsket
om at prioritere knappe ressourcer. Der er fokus på at vælge de mest omkostningseffektive
instrumenter, og det afføder et krav til dokumentation og evaluering
af igangsatte initiativer.
Effektmålingsbegrebet udspringer fra den medicinske verden, hvor det at måle effekten
af en behandling er altafgørende for, om en given behandling kan tages i
anvendelse. Der vil i den sammenhæng være en gruppe, som er blevet udsat for
behandlingen og en kontrolgruppe, som ikke er blevet behandlet. Herefter kan det
måles, om den gruppe, som har været udsat for behandlingen, har fået det signifikant
bedre end gruppen, som ikke modtog behandling.
Som nævnt i kapitel 2 gennemføres praksisundersøgelserne som led i Ankestyrelsens
og nævnenes forpligtigelse til at koordinere praksis på landsplan og det regionale
plan. Formålet med praksisundersøgelserne er at vurdere legaliteten af kommunernes
afgørelser og udgør dermed en kvalitetsvurdering af kommunernes sagsbehandling.
Effektmåling i relation til praksisundersøgelser kan oversættes med, at praksisundersøgelserne
er et redskab, hvormed en eventuel effekt på kommunernes sagsbehandling
kan måles. Praksisundersøgelserne tager så at sige temperaturen på den
kommunale sagsbehandling. Det er således et unikt redskab, som går meget tæt på
sagsbehandlingen. Da selve det at gennemføre praksisundersøgelserne er et relativt
omkostningsfuldt instrument, er det relevant at undersøge, om praksisundersøgelserne
i sig selv har betydning for kvaliteten af sagsbehandlingen.
Som ved enhver anden metode til effektmåling er det afgørende, at datagrundlaget
er veldokumenteret og velunderbygget, så resultaterne ikke bygger på et for spinkelt
grundlag. Datagrundlaget for praksisundersøgelserne udgør for hver praksisundersøgelse
det sæt af vurderinger, som Ankestyrelsen og de sociale nævn foretager
af de enkelte indkaldte sager.
Formålet med dette effektmålingsprojekt er at udvikle statistiske metoder til at måle,
om praksisundersøgelserne har en effekt på kvaliteten i den kommunale sags-
17
ehandling. Kvaliteten i den kommunale sagsbehandling udledes ud fra det måleskema,
som anvendes til at vurdere de sager, som indgår i praksisundersøgelserne.
3.2 Rammen for effektmåling
Ved at overføre effektmålingsterminologien inden for den medicinske verden på
praksisundersøgelser vil ”behandlingen” være en praksisundersøgelse foretaget det
ene år, mens ”målingen” det andet år ligeledes er en praksisundersøgelse. Praksisundersøgelserne
er således både en indsats samt et redskab til at måle effekt. Det
giver anledning til særlige udfordringer og gør, at effektmåling af praksisundersøgelserne
adskiller sig fra den gængse måde at anskue begrebet på.
På samme måde som med medicinske behandlinger er det nødvendigt at have en
kontrolgruppe. En måling af, om praksisundersøgelser har en effekt på den kommunale
sagsbehandling, vil således kunne følge nedenstående skema, jf. tabel 3.1:
Tabel 3.1 Metode til effektmåling af praksisundersøgelse
År 1 År 2
Kommunegruppe
gruppe)
1 (test- Deltager i praksisundersøgelse Deltager i praksisundersøgelse
Kommunegruppe 2 (kon- Deltager ikke i praksisunder- Deltager i praksisundersøgelse
trolgruppe)søgelser
På baggrund af resultaterne fra praksisundersøgelserne kan det udledes, om det at
have deltaget i en praksisundersøgelse har en signifikant effekt på sagsbehandlingskvaliteten
for de to kommunegrupper.
3.3 Sammenfatning
Effektmåling af praksisundersøgelser er relevant for at få information og viden
om, hvorvidt praksisundersøgelserne har en adfærdsændrende virkning på de
kommunale aktører. Et af formålene med praksisundersøgelserne er, at de skal føre
til øget kvalitet i sagsbehandlingen.
En metode til at gennemføre effektmåling af praksisundersøgelserne er ved at udvælge
en testgruppe og en kontrolgruppe og via statistiske metoder vurdere, om
det at have deltaget i praksisundersøgelser giver en signifikant forbedring i sagsbehandlingen
i forhold til ikke at have deltaget.
18
4 Identifikation af effekter
4.1 Typer af effekter
I dette afsnit opstilles først en række kanaler, hvorigennem det kan tænkes, at
praksisundersøgelserne kan påvirke sagsbehandlingen.
Dernæst forklares, hvilke antagelser man må gøre sig, for at en konkret statistisk
måling kan tolkes som en effekt af praksisundersøgelsen.
Praksisundersøgelserne kan tænkes at forbedre sagsbehandlingen gennem information
om resultaterne af praksisundersøgelserne. Sagsbehandlerne bliver via afrapportering
af praksisundersøgelserne informeret om sager, som ikke er i overensstemmelse
med praksis og gældende lovbestemmelser, og dernæst bestræber de sig
ideelt set på at forbedre sagsbehandlingen. Denne effekt kan kaldes informationseffekten.
Som nævnt kræver effektmålingen en gruppe, der er blevet ”behandlet” og en kontrolgruppe,
der ikke er ”behandlet”. Problemet med måling af ovennævnte informationseffekter
er, at alle kommuner umiddelbart bliver ”behandlet” i den forstand,
at alle kommuner har mulighed for at lære af de offentliggjorte resultater af
praksisundersøgelserne. For at måle informationseffekter, kan der derfor indsamles
supplerende oplysninger via spørgeskemaer i tilknytning til praksisundersøgelserne
5 . De supplerende oplysninger skal afsløre kommunernes kendskab til resultaterne
fra de foregående praksisundersøgelser. 6
Man kan også forestille sig, at der er en særlig effekt for de kommuner, der deltager
i praksisundersøgelser. Disse kommuner og sagsbehandlere er formentlig særligt
opmærksomme på, om sagsbehandlingen af mangelfuld. Man kan derfor tale
om en deltagelseseffekt. Den effekt kan sandsynligvis måles uden supplerende spørgsmål.
Det kan ligeledes tænkes, at praksisundersøgelserne kan have en offentliggørelseseffekt,
hvor sagsbehandlerne og kommunerne gør sig ekstra umage, hvis de ved, at kommunens
resultat bliver offentliggjort, fordi de ikke ønsker at blive fremhævet som
en kommune med ringe sagsbehandlingskvalitet. Hidtil har Ankestyrelsen ikke of-
5 Indsamling af supplerende/generelle oplysninger er anvendt i forbindelse med Ankestyrelsens
praksisundersøgelse ”Førtidspension efter arbejdsevnemetoden”, Ankestyrelsen 2005. Her blev der
spurgt til kommunens retningslinier for udarbejdelse af ressourceprofil.
6 Man kunne også udnytte spørgeskemaerne til at belyse, hvad kommunerne gør for at forbedre
sagsbehandlingen.
19
fentliggjort vurderingen af den enkelte kommunes sager 7 , hvorfor det er sandsynligt,
at denne effekt ikke hidtil har været væsentlig. Effekten kan blive større, hvis
fejlhyppigheder for kommuner bliver offentliggjort i fremtiden i forbindelse med
eksempelvis benchmarking.
Slutteligt kan informationseffekter tænkes at gå på tværs af sagsområder. Mange af
sagsbehandlingsprincipperne og spørgsmålene i praksisundersøgelserne er de
samme fra sagsområde til sagsområde, så det er meget sandsynligt, at sagsbehandlere
på et område kan lære af mangler vedrørende for eksempel dokumentation fra
et andet område. Man kan også forestille sig deltagelseseffekter på tværs af sagsområder:
måske bliver en kommune bedre til at sagsbehandle på hjemmehjælpsområdet,
hvis den har deltaget i en praksisundersøgelse om førtidspension.
4.2 Hvilke typer effekter kan man forvente at identificere
statistisk?
Hvilke typer af effekter, der kan forventes at blive identificeret gennem de statistiske
modeller, afhænger som nævnt af, om der stilles supplerende spørgsmål til
sagsbehandlerne eller den kommunale ledelse eller ej.
4.2.1 Statistiske opgørelser uden spørgeskemaoplysninger
Hvis det udelukkende er vurderingerne fra Ankestyrelsens og nævnenes juridiske
eksperter, der er til rådighed, bliver problemstillingen at undersøge, om fejlhyppigheden
i en praksisundersøgelse er påvirket af, om kommunerne tidligere har deltaget
i en praksisundersøgelse. 8
En uddybning af eksemplet fra afsnit 3.2 kan illustrere, hvordan man kan måle den
direkte effekt af praksisundersøgelserne. Antag, at der ses på et enkelt spørgsmål i
en praksisundersøgelse af for eksempel førtidspension. Kommunegruppe 1 (testgruppen)
bliver undersøgt i 2006 og 2008, mens en anden gruppe af kommuner
(kontrolgruppen) kun bliver undersøgt i 2008. Resultatet er som i tabel 4.1.
Tabel 4.1 Fejlprocenter på kommunegrupper og på tidspunkt for en udvalgt praksisundersøgelse
Kommunegruppe 2006 2008
1 Testgruppe Fejlprocent = 17 Fejlprocent = 6
2 Kontrolgruppe Ikke undersøgt Fejlprocent = 15
De tre differencer mellem de tre procenttal (17, 6 og 15) er interessante at se på.
Hvad de tre statistiske opgørelser egentlig måler, afhænger af, hvad man antager,
der ellers ville være sket med kommunernes fejlprocent mellem 2006 og 2008. Tabel
4.2 viser en sammenfatning af, hvordan antagelser og tolkninger af statistiske
opgørelser hænger sammen.
7 Praksisundersøgelserne er udarbejdet i anonymiseret form, men den enkelte kommune har fået
specifik tilbagemelding på de sager, de har indsendt.
8 I terminologien fra effektmålingsteori er den første praksisundersøgelse ”behandlingen”, og den
anden praksisundersøgelse målingen af effekten af første praksisundersøgelse.
20
Tabel 4.2 Sammenhæng mellem antagelser og tolkning af statistiske opgørelser
Statistiske opgørelser (effektmål)
Antagelser
A1: Kun kommunernes deltagelse
i den pågældende praksisundersøgelse
i 2006 påvirker
fejlprocenten i 2008
A2: Kommunerne er grundlæggende
ens.
Fejlprocenten kan over tid påvirkes
af mange forhold, der påvirker
alle kommuner, men
kommuneforskelle i fejlprocenter
i 2008 skyldes alene
kommunernes tidligere deltagelse
i den pågældende praksisundersøgelse
i 2006
A3: Kommunerne er grundlæggende
ens.
Fejlprocenten kan over tid påvirkes
alene af deltagelse i
praksisundersøgelser og gennem
information om praksisundersøgelser.
Som i A2 skyldes
kommuneforskelle i fejlprocenter
i 2008 alene kommunernes
tidligere deltagelse i den
pågældende PU i 2006
E1 = 6-17 = -11
pct.
E2 = 6-15
= - 9 pct.
Deltagelseseffekt Forskel på kommuner
i de to grupper
i 2008
Sum af deltagelseseffekt
og ”naturlig
udvikling”
Sum af deltagelseseffekt
og informationseffekt
E3 = 17-15 = 2 pct.
Forskel på kommuner
i de to grupper i
2006
Deltagelseseffekt ”Naturlig udvikling”
i fejlprocent,
der ville være sket
under alle omstændigheder
Deltagelseseffekt Som under A2, men
”naturlig udvikling”
tolkes nu som informationseffekt
Hvis det antages, at alene kommunernes deltagelse i praksisundersøgelser kan påvirke
sagsbehandlingen over tid (antagelse A1), vil effektmålet af typen E1 måle
deltagelseseffekten. Her ses udelukkende på ændringen i testgruppens fejlprocent
mellem 2006 og 2008. Antagelse A1 er imidlertid urealistisk, idet man sagtens kan
forestille sig, at fejlprocenten ændres for kommuner, der ikke deltager i den pågældende
praksisundersøgelse. E1 er derfor ikke rimeligt som effektmål.
I antagelse A2 er antagelsen en anden, nemlig at kommunerne grundlæggende er
ens. Med antagelsen om ens kommuner undgås imidlertid den strenge antagelse
om, at fejlprocenten kun er påvirket af deltagelse i tidligere praksisundersøgelser
(A1). Formentlig er antagelsen om grundlæggende ens kommuner ikke så streng,
fordi man kan vælge kommunerne, der deltager i undersøgelserne, tilfældigt. Det er
de valgte kommunegrupper, der skal være ens – enkelte må godt have deres særpræg,
blot særprægene jævnes ud på gruppeniveauet.
Antagelsen om grundlæggende ens kommuner betyder, at man implicit gætter på,
at kommunegruppe 2 (kontrolgruppen) havde samme fejlprocent i 2006 som
kommunegruppe 1, nemlig 17 pct. Man kan derfor beregne en ”naturlig udvikling”
over tid for kontrolgruppen på 17 – 15 = 2 pct. Denne naturlige udvikling skyldes
andre forhold end deltagelsen i praksisundersøgelser.
21
Effektmålet E2 sammenligner testgruppens og kontrolgruppens fejlprocenter i
2008 og denne forskel måler, under antagelse A2, deltagelseseffekten.
Under antagelse A3 påstås det, at i fravær af praksisundersøgelser generelt, ville der
ikke være ændring i fejlprocenten over tid. Denne antagelse er mere streng end antagelse
A2, idet den ”naturlige udvikling” påstås at skyldes information om andre
praksisundersøgelser (effektmål E3).
Umiddelbart synes A1 og A3 at være for urimelige antagelser at gøre. Derved synes
det kun at være muligt at måle deltagereffekter via E2, såfremt der ikke foreligger
supplerende oplysninger om den enkelte kommune.
Det, som er interessant i forbindelse med ovenstående illustration er, om de beregnede
forskelle i fejlsandsynligheder er statistisk signifikante. Det vil sige, om det
statistisk kan påvises, at der rent faktisk er sket en forbedring eller forringelse i
sagsbehandlingen, eller om de fundne effekter blot er udtryk for tilfældige udsving.
En metode til at afgøre dette gennemgås i kapitel 6.
4.2.2 Statistiske opgørelser baseret på spørgeskemaundersøgelser
Som diskuteret i foregående afsnit, kan informationseffekten næppe identificeres,
med mindre måleskemaerne suppleres med spørgeskemaundersøgelser i kommunerne.
Der kan for eksempel indhentes information om sagsbehandlernes kendskab
til resultaterne af tidligere praksisundersøgelser.
I tabel 4.3 er angivet, hvordan spørgeskemaundersøgelser kan bruges til effektmåling.
Tabel 4.3 Skitse af statistisk model for effektmåling
Fejlhyppighed .. .. undersøges statistisk som
funktion af ..
22
1. Sagsbehandlers kendskab til resultater
fra praksisundersøgelser
2. Øvrige kendetegn ved sagsbehandler
(for eksempel erfaring/uddannelse)
3. Kommunens/ socialchefens
kendskab til praksisundersøgelser
4. Øvrige kendetegn ved kommunen
(for eksempel andel med høj
uddannelse, størrelse)
5. Har sagsbehandleren/kommunen
tidligere deltaget i
praksisundersøgelse?
Hvis der er informationseffekter fra praksisundersøgelserne, vil det formentlig give
sig udslag i, at sagsbehandlere, der siger, at de kender til resultater fra tidligere
praksisundersøgelser, har færre fejlbehæftede sager end sagsbehandlere, der ikke
kender til praksisundersøgelser. Man skulle derfor forvente, at punkt 1 i tabellen
har statistisk betydning.
Det første problem i denne type måling er, at sagsbehandlere, der har sat sig ind i
resultater fra praksisundersøgelserne, måske er dygtige generelt, og derfor ville ha-
ve en relativt lille fejlandel, selv om de ikke havde læst om tidligere praksisundersøgelser.
Der er med andre ord et ”selektionsproblem” i metoden 9 . Man kan til
dels korrigere for dette ved at indføre andre karakteristika for sagsbehandleren, for
eksempel oplysninger om vedkommendes uddannelsesniveau eller erfaring – jf.
punkt 4 i tabellen. En del af selektionsproblemet består imidlertid, for selv om
man korrigerer for eksempel for uddannelse, så vil der stadig være forskel på sagsbehandlere
10 .
Informationseffekten foregår måske ikke via sagsbehandleren som individ, men
snarere gennem kommunen generelt. Måske er det socialchefen, der orienterer sig
om resultater fra praksisundersøgelsen og viderebringer konklusioner. Derfor kan
det måske være på ledelsesplan, at der skal indhentes oplysninger (punkt 3).
Endelig kan man via spørgeskemaer få oplysning om deltagelseseffekten ved direkte
at spørge sagsbehandleren/kommunen, om de tidligere har deltaget i praksisundersøgelser
(punkt 5). Svaret kan betragtes som et alternativt til at finde oplysninger
om dette via Ankestyrelsens egne data om, hvilke kommuner, der har deltaget
tidligere.
4.2.3 Effekt af igangsatte initiativer
Anvendelsen af spørgeskemainformationer kan yderligere anvendes til at analysere
effekten af igangsatte initiativer.
Effektmåling af praksisundersøgelser adskiller sig ved, at det at foretage praksisundersøgelser
både er en behandling og en måling. Det kan diskuteres, om det at blive
målt i sig selv kan påvirke fejlprocenten.
Kan måling være en behandling?
Er det sandsynligt, at den omstændighed at en person får målt sit blodtryk, kan få blodtrykket til
at falde? Målingen giver den pågældende nogle signaler om, hvordan tilstanden er. Ud fra en viden
om, hvad normaltilstanden er, vil den pågældende få at vide, om det kræver behandling. Det
vil således være behandlingen eller ændret adfærd hos den pågældende, der kan betyde, at blodtrykket
er faldet ved næste måling.
Praksisundersøgelserne indeholder imidlertid anbefalinger om, hvor kommunerne
skal være særligt opmærksomme. Intuitivt må det forventes, at der kun vil være
marginale påvirkninger af selve målingen (gennemførelsen af praksisundersøgelsen),
mens det er de igangsatte initiativer, som danner grundlaget for en forbedret
sagsbehandling. Initiativerne kan enten være foranlediget af praksisundersøgelserne
eller af andre forhold i kommunen.
Ved direkte kausalitet mellem praksisundersøgelsernes anbefalinger og de igangsatte
initiativer vil effekten imidlertid kunne fortolkes som effekt af praksisundersøgelserne.
Det vil kræve supplerende spørgsmål til kommunerne for at få svar på,
9 Det vil sige, at det ikke er tilfældigt, hvem som lærer af praksisundersøgelser.
10 Der findes statistiske metoder til, i hvert fald delvist, at kontrollere for sådanne selektionsproblemer
(instrumentvariabelmetoder og metoder med randomiserede parametre), men de vurderes at
være relativt komplicerede at skulle anvendes i rutinemæssige effektvurderinger. Det er dog ikke
fuldkommen udelukket, at sådanne metoder vil bliver brugt.
23
om de har igangsat initiativer alene på baggrund af praksisundersøgelsernes anbefalinger.
4.3 Sammenfatning
Der kan fremhæves 3 typer af effekter, hvorigennem det kan tænkes, at praksisundersøgelserne
kan påvirke sagsbehandlingen i kommunerne
24
• Deltagelseseffekt
• Informationseffekt
• Offentliggørelseseffekt
Det vurderes, at alene deltagelseseffekten vil være mulig at identificere, såfremt der
udelukkende foreligger de oplysninger, som fås gennem praksisundersøgelserne.
Hvis der derimod indhentes supplerende oplysninger fra kommunerne i forbindelse
med praksisundersøgelserne, vurderes det muligt også at måle informationseffekter.
Det vurderes ikke muligt at måle offentliggørelseseffekten.
For at kunne måle deltagelseseffekter og informationseffekter forudsætter det, at
de valgte kommunegrupper er grundlæggende ens. Det vurderes ikke problematisk
at sammensætte kommunegrupperne, der skal indgå i effektmåling, så de er grundlæggende
ens.
Ved brug af supplerende spørgsmål til kommunerne vil det i øvrigt være muligt at
måle effekten på kommunernes sagsbehandling af eventuelt igangsatte initiativer i
kommunerne.
5 Statistisk usikkerhed
Det relevante i forbindelse med effektmålingsprojektet er at kunne afgøre, om en
given udvikling i sagsbehandlingskvaliteten, målt som fejlprocenter, skyldes deltagelsen
i praksisundersøgelserne, eller om udviklingen blot skyldes tilfældige udsving.
En faktor, som har betydning for at kunne afgøre dette, er det samlede antal
sager, som vurderes i de praksisundersøgelser, der skal indgå i effektmålingen. Det
skal således sikres, at der vurderes et repræsentativt udsnit af sager.
Nedenfor gennemgås sammenhængen mellem antallet af sager og den statistiske
usikkerhed, der vil være forbundet med den fundne udvikling i sagsbehandlingskvaliteten.
5.1.1 Stikprøveteori og statistisk usikkerhed
Ofte er det af tidsmæssige, økonomiske eller andre ressourcemæssige årsager ikke
muligt at inddrage for eksempel hele befolkningen eller alle kommunale sager, når
et givent område ønskes undersøgt. Derfor udtages en stikprøve af den samlede
population. Formålet med udvælgelsen af en stikprøve er oftest at estimere/skønne
et gennemsnit over populationens enheder. For praksisundersøgelser
svarer det til, at man ud fra den observerede gennemsnitlige fejlprocent i en stikprøve
af sager, ønsker at beregne et skøn for den gennemsnitlige fejlprocent i det
samlede antal sager inden for et givent lovområde eller for hele kommunen.
Et ofte stillet spørgsmål inden for stikprøveteori er, hvor stor en stikprøve der skal
vælges. Svaret afhænger af, hvilken præcision man ønsker. Det er klart, at man
med en stikprøvestørrelse, der er lig med populationsstørrelsen, vil kunne få en
præcision, der er 100 procent. Gennemsnittet af en given variabel i stikprøven vil
svare til gennemsnittet af den samme variabel i hele populationen.
Hvor stor en præcision, der ønskes, afhænger naturligvis af undersøgelsens art. I
en politisk meningsmåling er det eksempelvis afgørende at vide, om et givent politisk
parti kan klare spærregrænsen på 2 procent. Man skal derfor være temmelig
sikker på, at den stemmeprocent, man finder i stikprøven, med høj sandsynlighed
svarer til den, man ville finde ved at spørge hele befolkningen.
Med hensyn til præcision er der to dele at tage stilling til. Ud fra den observerede
fejlprocent i et antal sager kan det beregnes, i hvilket interval den sande fejlprocent
(fejlprocenten i alle sager) vil ligge. Det kan således være et krav, at man med en vis
sandsynlighed højst må ramme 5 procentpoint ved siden af. Herudover kan det
være et krav, at man med 95 procent sandsynlighed skal kunne sige, at den observerede
fejlprocent ligger inden for det angivne interval. I nogle tilfælde vil det være
25
nok kun at være 80 procent sikker på, at man har ramt rigtigt. Med de forskellige
krav til præcision kan en stikprøvestørrelse således beregnes.
5.1.2 Statistisk usikkerhed i praksisundersøgelser
I praksisundersøgelserne vurderes det, om de indkaldte sager er behandlet i overensstemmelse
med lovgivningen samt gældende praksis. Ud fra denne betragtning
registreres der i praksisundersøgelserne fejlhyppigheder.
Som nævnt ovenfor er et traditionelt spørgsmål inden for stikprøveteori, hvor stor
en stikprøve (n) skal være, for at man for eksempel med 95 pct. sikkerhed kan sige,
at den sande fejlprocent p (fejlprocenten i alle sager), ligger i et interval [p 1;p 2] omkring
den observerede/skønnede fejlprocent pˆ . Intervallet, det såkaldte konfidensinterval,
skal tolkes som, at p 1 er det mindste man kan tro, at den sande fejlprocent
er, mens p 2 er det højeste man kan tro, at den sande fejlprocent er.
Hvordan konfidensintervallet beregnes, afhænger af den valgte metode.
I den hypergeometriske fordeling beregnes konfidensintervallet tilnærmelsesvist
på følgende måde:
26
⎡
N − n pˆ
( 1−
pˆ
)
N − n pˆ
( 1−
pˆ
) ⎤
[ p ] = ⎢ ˆ −
ˆ
1;
p2
p z1−α
; p + z1−α
⎥
⎣ N −1
n −1
N −1
n −1
⎦
Hvor standardafvigelse
( pˆ
) =
N − n pˆ
( 1−
pˆ
)
N −1
n −1
std og hvor z 1-α/2 er fraktiler i nor-
malfordelingen. For et 95 pct. konfidensinterval er z 1- α /2 = 1,96, mens den for et
90 pct. konfidensinterval er 1,645.
Hvis stikprøven udgør hele populationen (man har fat i alle kommunens sager på
området), vil der ikke være nogen usikkerhed omkring den skønnede fejlprocent
og p= pˆ .
For et 95 procent konfidensinterval kan formlen tilnærmelsesvist skrives
[ p p ] = [ pˆ
−1,
96 ⋅ std(
pˆ
); pˆ
+ z;
pˆ
+ 1,
96 ⋅ std(
pˆ
) ]
1;
2
Således at den sande fejlprocent ligger inden for et interval omkring den skønnede
fejlprocent på ca. +/- 2 gange standardafvigelsen.
I den hypergeometriske model afhænger usikkerheden af den samlede population.
Dette er umiddelbart den mest intuitive måde at illustrere usikkerheden for den
enkelte kommune, da usikkerheden afhænger af, hvor mange sager kommunen
behandler inden for det givne område. Der er imidlertid nogle svagheder ved at
anvende den hypergeometriske tilgang.
I modellen kan usikkerheden mindskes ved, at stikprøvens andel af den samlede
population øges. Det kan ske ved, at der udtages en større stikprøve (det vil sige, at
der indhentes flere sager i praksisundersøgelserne), men også ved at populationen
for en given stikprøve er mindre. For kommuner med en lille andel afgørelser årligt,
vil modellen mere sikkert kunne estimere fejlprocenten. Usikkerhedsintervallet
for kommuner med få sager vil således være mere snævert, og det vil lettere kunne
afgøres, om kommunen afviger signifikant fra gennemsnittet.
De kommuner, som et givent år behandler færre sager på et givent område, vil derfor
nemmere kunne udpeges som signifikant gode eller dårlige i forhold til kommuner,
som behandler mange sager. Da kommunen ikke kan påvirke det samlede
antal afgørelser på et givent år, vil denne metode indebære en forskelsbehandling
af kommunerne.
Herudover kendes det samlede antal sager i den enkelte kommune pr. lovområde
ikke, så hvis denne tilgang skal anvendes, skal der skønnes over den samlede population.
Det vil give endnu en usikkerhed i beregningerne.
En anden tilgang vil være at anvende en binomialfordeling. I denne model estimeres
på samme vis som i den hypergeometriske model et konfidensinterval, hvori
den sande fejlprocent med 95 pct. sandsynlighed vil ligge. Den sande fejlprocent
fortolkes her som fejlprocenten, såfremt kommunerne behandlede uendeligt mange
sager. På den måde ligestiller man kommunerne ved at finde en tendens til fejl i
den enkelte kommune.
Konfidensintervallet i en binomialfordeling beregnes på stort set samme måde
som i den hypergeometriske model, blot beregnes standardafvigelse tilnærmelsesvist
som
Std(
p)
=
det vil sige uden den samlede population N.
pˆ
( 1−
pˆ
)
n
Selve estimatet af fejlprocenten vil være den samme, som i den hypergeometriske
model, men konfidensintervallerne vil være mere vide. Det vil sige, at usikkerheden
vil være større.
Usikkerheden kan, som i den hypergeometriske model, mindskes ved at inddrage
flere observationer. Det kan gøres ved at indhente flere sager, men der er også mulighed
for at foretage vurderingen af sagerne på mere end ét spørgsmål, jf. nedenfor.
5.1.3 Eksempel til illustration af statistisk usikkerhed
På baggrund af ovenstående betragtninger kan der foretages et forhåndsskøn over
det antal sager, der kræves, førend at man med rimelighed kan sige, at stikprøvens
resultat er dækkende for alle kommunens sager. I boks 1 illustreres statistisk usikkerhed
i binomialfordelingen.
27
Boks 1 Illustration af statistisk usikkerhed
Figur 1 viser kravet til stikprøven i en binomialfordeling afhængig af, hvor stor en afvigelse man
kan acceptere i et bånd omkring den målte fejlprocent. Sammenhængen er afbildet for forskellige
fejlsandsynligheder.
28
Figur 1 Sammenhængen mellem stikprøvens størrelse og standardafvigelse for forskellige
fejlsandsynligheder
Standardafvigelse
0,14
0,12
0,1
0,08
0,06
0,04
0,02
0
0 50 100 150 200 250 300
5 pct. 10 pct. 20 pct.
Antal sager
Et fornuftigt krav at stille til praksisundersøgelsernes præcision kan være, at den sande fejlprocent
med 95 procent sandsynlighed skal ligge i et bånd omkring den målte på +/- 5 procentpoint,
hvilket svarer til en standardafvigelse på ca. 0,025. I figur 1 kan det aflæses, at der dermed
skal indhentes ca. 70 sager, hvis den sande fejlprocent er omkring 5 pct. Hvis den sande fejlprocent
derimod er 20 procent skal der indhentes 175 sager for at nå den ønskede præcision.
Da det ikke på forhånd vides, hvor mange sager som vil være fejlbehæftede, vil det først være efter
gennemførelsen af en praksisundersøgelse, at den faktiske statistiske usikkerhed kan beregnes.
Da det med nogenlunde sikkerhed ønskes at kunne afgøre, om en afvigelse fra
gennemsnittet kan afvises som tilfældig, stiller det krav til antallet af sager i praksisundersøgelserne.
5.2 Ulemper ved ovenstående modeller
Usikkerheden kan i den hypergeometriske og binomialmodellen mindskes ved at
indhente flere observationer fra de enkelte kommuner. Det kan imidlertid være
problematisk for kommunerne at fremfinde et stort antal sager, og ressourcemæssigt
vil det være krævende at måle et stort antal sager.
En anden måde, hvorpå den statistiske usikkerhed kan mindskes uden at øge antallet
af sager i den enkelte praksisundersøgelse, er ved at vurdere de enkelte sager på
flere uafhængige spørgsmål. Hvis der udtages en stikprøve på 10 sager for en
kommune, og der sammenlignes på 3 uafhængige spørgsmål, vil det svare til at ha-
ve en stikprøve på 30 sager, hvilket reducerer usikkerheden, jf. ovenstående beregninger.
For at kunne give et så realistisk billede som muligt af den kommunale
sagsbehandling er denne faktor af stor betydning.
Binomialfordelingsmodellen (og den hypergeometriske model) giver ikke mulighed
for at inddrage flere spørgsmål, som vil kunne mindske usikkerheden. De giver ej
heller mulighed for at inddrage flere faktorer end kommunefaktoren til at forklare
antallet af fejl.
For at kunne inddrage flere faktorer kan en multivariat model som for eksempel
den logistiske regressionsmodel anvendes. Denne model estimerer, på samme
vis som binomialfordelingen, den enkelte kommunes tendens til at lave fejl, såfremt
de behandler uendeligt mange sager. Med den logistiske regressionsmodel
estimeres en sandsynlighed for, at den næste sag, der afgøres i den enkelte kommune,
er fejlbehæftet. Det er således, ligesom binomialmodellen, en mere fremadrettet
model og mere dækkende for den enkelte kommunes sagsbehandlingsniveau
end den hypergeometriske model.
På baggrund af ovenstående betragtningerne anvendes i det følgende den logistiske
regressionsmodel, da den vurderes at give det mest sande billede af en sammenligning
af kommunernes sagsbehandling.
Hvad angår den statistiske usikkerhed er det netop målet, at effektmålingen ikke
foretages på baggrund af tilfældige udsving for den enkelte kommune. Der bliver
således i afrapporteringen taget højde for den statistiske usikkerhed for den enkelte
kommune.
5.3 Sammenfatning
For at kunne vurdere, om en udvikling i kommunernes sagsbehandling skyldes deltagelse
i praksisundersøgelser, er det vigtigt, at der er statistisk sikkerhed for, at de
observerede fejlandele i kommunerne ikke bygger på tilfældige udsving, men er sigende
for den faktiske fejlandel i kommunen. Den statistiske usikkerhed kan mindskes
ved at øge sagsagsantallet i praksisundersøgelserne og/eller ved at vurdere sagerne
på flere spørgsmål.
Den logistiske regressionsmodel kan håndtere, at der inddrages flere spørgsmål,
hvorfor denne model foreslås anvendt som model til effektmåling.
29
6 Effektmålingsmodel
6.1 Model til effektmåling
Som nævnt i forrige kapitel vurderes det hensigtsmæssigt at anvende den logistiske
regressionsmodel til at estimere, om udviklingen i sagsbehandlingskvaliteten skyldes
praksisundersøgelserne, og om den er statistisk signifikant. I forhold til mere
simple tests (i binomialfordelingen) tillader modellen, at der inddrages andre faktorer,
som kan have betydning for effekten. Det kan være udvidelser som for eksempel
kommunernes kendskab til resultaterne i tidligere praksisundersøgelser, antallet
af sager i kommunen, ressourcer afsat til området eller typen af spørgsmål,
der er set på. Udvidelserne kræver som nævnt ovenfor, at kommunerne svarer på
supplerende spørgsmål om forholdene i kommunen.
Modellen, som anvendes, kan opskrives som
30
"fejltendens" = β0 + βpu pu + βt + βs
D t s
Hvor D pu er en dummyvariabel, som antager værdien 1 for testgruppen, som har
deltaget i den første praksisundersøgelse og 0 for kontrolgruppen, som ikke har
deltaget i den første praksisundersøgelse. t angiver perioden, og s er et andet karakteristika
ved kommunen, som har behandlet sagen (uddybes nedenfor). β'erne udgør
de parametre, som ønskes estimeret 11 . I modellen undersøges om det at have
deltaget i en praksisundersøgelse påvirker kommunernes fejltendens.
I relation til eksemplet i afsnit 4.2 kan de forskellige effektmål udledes fra modellen.
6.1.1 Effektmål uden spørgeskemainformation
Uden supplerende informationer fra kommunerne kan følgende effektmål, som
måler deltagelseseffekten, udledes:
Effektmål af typen E1: Udviklingen over tid for testgruppen antages for dette effektmål
alene at være påvirket af deltagelsen i praksisundersøgelser. Dette kan estimeres
via
" fejltendens" = β 0 + βt
11 Se bilag 7 for mere detaljeret gennemgang af den logistiske regressionsmodel.
Parameteren β 0 fanger, om fejltendensen i testgruppen ændres over tid. Estimeres
en negativ parameter, vil fejltendensen være faldet over tid. Ændringen er statistisk
signifikant, hvis konfidensintervallet for parameteren ikke omfatter 0. Parameterestimaterne
kan omregnes til fejlsandsynligheder. Antagelsen om, at udviklingen
over tid alene skyldes deltagelse i praksisundersøgelser, er ikke realistisk.
Effektmål af typen E2: Der ses alene på tidspunkt t=1, og de to kommunegrupper
sammenlignes
" fejltendens" = β 0 + β
pu D pu
Parameteren β pu fanger, om fejltendensen er lavere for testgruppen end for kontrolgruppen.
På samme måde som ovenfor kan det ved hjælp af konfidensintervallerne
afgøres, om tendensen er signifikant eller ej. Det antages her, at kommunegrupperne
er grundlæggende ens, og at fejlprocenten for kontrolgruppen var den
samme som for testgruppen på tidspunkt t=0. Desuden antages, at forskelle i fejlprocenter
mellem testgruppen og kontrolgruppen alene skyldes tidligere deltagelse
i praksisundersøgelser. Det vurderes at være realistisk ud fra, at kommunegrupperne
frit kan vælges.
Eksempel
Da effektmål E2 vurderes at være det mest realistiske effektmål, opstilles der i det
nedenstående et eksempel på estimation af effektmålet.
Der tages udgangspunkt i et tænkt datasæt, hvor 100 sager fra testgruppen undersøges
på tidspunkt 0, og 100 sager undersøges fra både testgruppen og kontrolgruppen
på tidspunkt 1. Det antages samtidig, at fejlsandsynlighederne er som i tabel
6.1 12 .
Tabel 6.1
Kommunegruppe Tidspunkt 0 Tidspunkt 1
1 Testgruppe Fejlprocent = 17 Fejlprocent = 6
2 Kontrolgruppe Ikke undersøgt Fejlprocent = 15
Ved estimation af modellen for effektmål E2 fås estimaterne, som vist i tabel 6.2.
Tabel 6.2 Estimation af effektmål E2
Variabel Parameter Parameter estimat
Nedre konfidensinterval
Øvre konfidensinterval
Intercept β0 -1.7346 -2.2225 -1.2965
D βpu -1.0169 -1.9009 -0.2170
Det negative estimat til D pu (β pu ) afspejler, at testgruppen har en lavere fejlsandsynlighed
end kontrolgruppen. Estimaterne anvendes til at omregne til fejlsandsynligheder,
jf. bilag 7. Resultatet fremgår af tabel 6.3.
12 Tabellen er den samme som tabel 4.1. Der tages således udgangspunkt i samme eksempel.
31
Tabel 6.3. Omregning til sandsynligheder for effektmål E2
32
Variabel Fejlsandsynlighed
for kontrolgruppe
(t=1)
Fejlsandsynlighed
for testgruppe
(t=1)
Middelskøn
for
forskel i
fejlsandsynlighed
Nedre
konfidensinterval
for forskel
Øvre konfidensinterval
for
forskel
Konfidensintervalletsbredde
Dpu 15 6 9 (=15-6) 3 12 9
Tabellen skal tolkes således, at de kommuner, som tidligere har deltaget i en praksisundersøgelse,
har en fejlprocent, som med 95 pct. sikkerhed ligger mellem 3 og
12 pct. lavere end i de kommuner, som ikke tidligere har deltaget i en praksisundersøgelse.
Som middelskøn beregnes deltagelseseffekten at være 9 pct.
Forskellen mellem grupperne er statistisk signifikant, idet konfidensintervallet ikke
indeholder 0. Det antages her, at kontrolgruppen havde samme fejlprocent, som
testgruppen på tidspunkt 0, og at forskellen i fejlsandsynligheden mellem de to
grupper på tidspunkt 1 udelukkende skyldes, at testgruppen har deltaget i en praksisundersøgelse
på tidspunkt 0.
6.1.2 Effektmål med spørgeskemainformation
Med supplerende oplysninger fra kommunerne kan den fulde model over begge
perioder og begge kommunegrupper estimeres
"fejltendens" = β0 + βpu pu + βt + βs
D t s
Parameteren til variablen s afspejler betydningen af andre karakteristika ved kommunen.
Årsagen til at inddrage sådanne karakteristika kan være, at de er af selvstændig
interesse eller, at de er statistisk korreleret med dummyen for deltagelse i
praksisundersøgelser.
Variabler af selvstændig interesse kunne for eksempel være antal sager, der er behandlet
pr. år, eller mængden af ressourcer, der er afsat til sagsbehandling i forhold
til antal sager. Det kan også være oplysninger om, hvor godt kommunen informerer
sig om resultaterne af praksisundersøgelserne. I så fald kan parameteren til s
tolkes som et mål for informationseffekten af praksisundersøgelser (hvor parameteren
til deltagelsesdummyen fanger deltagelseseffekten).
Imidlertid er det uklart, om s, på grund af det tidligere nævnte selektionsproblem,
virkelig fanger en sådan informationseffekt. Det skyldes, at det sagtens kan tænkes,
at det er de ”dygtige” kommuner, der sørger for at holde sig underrettet om praksisundersøgelserne,
og at disse kommuner under alle omstændigheder har få fejl og
mangler i sagsbehandlingen. Derved fanger s ikke blot informationseffekten, men
også nogle særegne træk for dygtige kommuner.
Hvis der gennemsnitligt set er forskel på s blandt behandlings- og kontrolgruppen,
kan parameteren til deltagelsesdummyen fange noget af effekten via s, hvis variab-
len ikke er med i estimationen. Der er måske ikke den store risiko for en sådan
korrelation mellem s og deltagelse, for de deltagende kommuner er valgt tilfældigt.
6.1.3 Vurdering på flere spørgsmål
I mange tilfælde kan det være nødvendigt at se på flere spørgsmål i samme analyse
for at øge antallet af observationer og dermed den statistiske sikkerhed. I eksemplet
i afsnit 6.1.1 blev der beregnet et ret bredt bånd for effekten, selv om der blev
undersøgt et relativt stort antal sager. Hvis der ses på to spørgsmål (for eksempel
om dokumentation er til stede, og om afgørelsen er korrekt) og lader Ds1 være en
dummy for det aktuelle spørgsmål (for eksempel dokumentationsspørgsmålet),
kunne en model være som følger
"fejltendens" = β0 + βpuDpu + βs1Ds1
Her fanger parameteren β s1
, om der lettere sker fejl i dokumentationsspørgsmålet
end i korrekthedsspørgsmålet (i så fald er parameteren positiv). De to spørgsmål
kunne også være fra to forskellige praksisundersøgelser. Modellen viser, hvordan
to forskellige spørgsmål kan analyseres i et trin. Modellens antagelse er blot, at effekten
fra deltagelse i praksisundersøgelser er den samme i de to spørgsmål.
Inddragelse af flere spørgsmål svarer til, at der indhentes flere sager og dermed
indgår flere observationer. Tabel 6.4 viser, at konfidensintervallet (og dermed usikkerheden)
indsnævres, jo flere sager der inddrages i effektmålingen eller ved at
inddrage flere spørgsmål.
Tabel 6.4. Vurdering på flere spørgsmål
N Konfidensintervallets bredde
50 13
100 9
300 6,5
450 5
Note: Der er taget udgangspunkt i eksemplet til beregning af effektmål E2
For N=450 svarer det stort set til, at der indgår 150 sager fra hver kommunegruppe,
som vurderes på 3 uafhængige spørgsmål.
6.2 Lovændringer
Såfremt der sker fundamentale lovændringer for det område, som er valgt som udgangspunkt
for effektmålingen, kan det have betydning for fortolkningerne. Der
skal så vidt muligt undgås at vælge områder til effektmåling, som på forhånd vides
at gennemgå større lovændringer.
For effektmåling E2 vil det imidlertid være mindre problematisk end ved effektmål
E1.
Ved effektmål E2 sammenlignes testgruppen og kontrolgruppen til t=1, hvor lovændringerne
er trådt i kraft. Begge grupper vil således deltage med sager, som er
33
afgjort ud fra samme forudsætninger (ny lovgivning), og forskellen kan stadig antages
at skyldes, at testgruppen tidligere har deltaget i en praksisundersøgelse.
Det eneste, som kan gøre billedet uskarpt er, hvis det tænkes, at testgruppens fejlprocent
til t=1 ville have været højere uden lovændringer. Dermed vil forskellen
mellem de to grupper være højere end med lovændring, og der vil blive beregnet
en større effekt af deltagelsen i en tidligere være praksisundersøgelse.
Ved effektmål E1, som ikke vil blive anvendt, analyseres resultaterne udelukkende
over tid for testgruppen, og det kan ikke adskilles, hvad er skyldes lovændring og
hvad der skyldes deltagelsen i en tidligere praksisundersøgelse.
6.3 Sammenfatning
Via den logistiske regressionsmodel opstilles de forskellige effektmål, og ved hjælp
af beregning af konfidensintervaller kan det afgøres, om en given udvikling har været
signifikant, eller det blot er tilfældigt, at der er observeret en udvikling.
Modellen kan anvendes til at inddrage information fra flere spørgsmål samtidigt.
Det vil mindske den statistiske usikkerhed i beregningerne af effekterne.
Fundamentale ændringer i lovgivningen i perioden mellem de praksisundersøgelser,
som indgår i effektmåling, kan have betydning for beregningerne, men det må
bero på en konkret vurdering ved tilrettelæggelsen og gennemførelsen af den enkelte
effektmåling.
34
7 Udmøntning
7.1 Krav til antallet af sager i fremtidige praksisundersøgelser
På baggrund af betragtningerne i afsnittet om statistisk usikkerhed kan der opstilles
nogle retningslinjer for, hvor mange sager det er nødvendigt at inddrage i praksisundersøgelserne
for, at målingerne giver et robust resultat. Der skal dels tages hensyn
til, at den statistiske usikkerhed ønskes minimeret samt hvilket antal sager, det
vil være rimeligt for Ankestyrelsen og nævnene at vurdere i en praksisundersøgelse.
7.1.1 Antal sager og sagstype i Ankestyrelsens praksisundersøgelser
Ankestyrelsen har i de senere år i den enkelte praksisundersøgelse indkaldt mellem
ca. 100 og 145 sager fra et antal kommuner og fra de sociale nævn. Blandt de indhentede
sager har været både bevillingssager og afslagssager. Da sagerne ikke må
være ankede, er der ikke overraskende blandt kommunesagerne en klar overvægt af
bevillingssager (90 pct.) jf. tabel 7.1 nedenfor.
Tabel 7.1 Antal kommunesager i Ankestyrelsens praksisundersøgelser fordelt på bevillingssager
og afslagssager
2003 - 2005
Sager i gennemsnit pr. undersøgelse
Kommunesager antal procent antal procent
- Bevillingssager 581 90 83 90
- Afslagssager 62 10 9 10
Kommunesager i alt 643 100 92 100
Når Ankestyrelsen hidtil har gennemført praksisundersøgelser, er sagerne indkaldt
efter retningslinjer, der sikrede en tilfældig udvælgelse. Ankestyrelsen har oftest
anmodet om såvel bevillingssager som afslagssager, hvor den første sag vedrørte
den seneste afgørelse forud for en bestemt dato, sag nr. 2 den næstsidste afgørelse
forud for en bestemt dato, og så fremdeles indtil det ønskede antal sager var fundet.
Der skulle ikke sendes afgørelser, som var anket og behandlet af det sociale
nævn.
Tallene i tabellen stammer fra i alt 7 praksisundersøgelser, som Ankestyrelsen har
gennemført i perioden fra 2003 til 2004/2005. Der er gennemført yderligere 3
praksisundersøgelser i perioden. Disse er ikke medtaget i tabellen, da det enten ikke
fremgår, hvor mange kommunale sager, der var henholdsvis bevillingssager og
afslagssager, eller undersøgelsen var tilrettelagt med enten kun bevillingssager, eller
Ankestyrelsen havde anmodet om et bestemt antal afslagssager.
35
De sociale nævn indkalder betydelig færre sager i deres praksisundersøgelser - i
gennemsnit omkring 35 – 40 sager - men har tilsvarende en klar overvægt af bevillingssager.
Der knytter sig forskellige problemstillinger til henholdsvis bevillingssager og afslagssager.
Det har derfor været problematisk for sagsbehandlerne at vurdere både
afslagssager og bevillingssager i forhold til samme spørgsmål/svar i måleskemaerne.
Dertil kommer, at der er tegn på, at ikke alle kommuner systematisk registrerer sine
afslagssager på alle områder. Afslagssagerne fremfindes derfor ofte pr. hukommelse,
hvilket ikke sikrer den tilfældighed og repræsentativitet i udvælgelsen af disse
sager, der burde være.
Det anbefales derfor fremover at adskille de kommunale bevillingssager fra de
kommunale afslagssager, således at der i den enkelte praksisundersøgelse fremover
kun indgår enten afslagssager eller bevillingssager. Derved opnås et renere snit i
datagrundlaget og derved et klarere budskab i afrapporteringen. I overensstemmelse
med den hidtidige fordeling af de to typer sager, jf. tabel 6.1 ovenfor, kan der
fremover gennemføres et mindre antal praksisundersøgelser udelukkende med afslagssager.
Mod denne fremgangsmåde taler, at der fremover vil være færre praksisundersøgelser,
der vurderer kvaliteten af kommunernes sagsbehandling for så vidt angår
afslagssagerne. Det kan ligeledes anføres, at hovedparten af praksisundersøgelserne
fremover i højere grad vil have fokus på ydelsesniveauet for borgere, der modtager
hjælp, frem for ydelsesniveauet for borgere, der har fået afslag på hjælp.
Det er dog vigtigt at understrege, at det er hensigten, at der også fremover vil være
praksisundersøgelser, der gennemgår afslagssagerne, men at disse koncentreres i
praksisundersøgelser, der udelukkende omhandler afslagssager. Det er Ankestyrelsens
vurdering, at denne fremgangsmåde indebærer et kvalitetsløft i forhold til vurdering
af kommunernes praksis i afslagssagerne, idet det dels vil være muligt at
indhente et større antal sager, hvor borgeren har fået afslag, der kan sættes større
fokus på problemerne i disse sager, og dels kan anbefalingerne til kommunerne i
højere grad målrettes denne type sager.
Samtidig er det værd at bemærke, at ankesystemet generelt samler op på afslagssagerne
og dermed sikrer borgernes retssikkerhed i forhold til såvel afgørelsernes
materielle korrekthed som i forhold til kommunernes overholdelse af formelle
sagsbehandlingsregler.
Der knytter sig tilsvarende forskellige problemstillinger til sagerne alt efter, om der
er tale om en kommunesag eller en nævnssag. Sagerne fra de sociale nævn udgør
omkring en femtedel af det samlede antal sager, der indgår i en praksisundersøgelse,
jf. tabel 7.2 nedenfor. Det bemærkes dog, at der i de igangværende praksisundersøgelser
(2005) er indkaldt i alt 466 sager. Heraf udgør kommunesagerne 324 sager,
svarende til 70 pct. og sagerne fra de sociale nævn udgør 142, svarende til 30 pct.
36
Tabel 7.2 Antal sager i Ankestyrelsens praksisundersøgelser fordelt på kommunesager og
nævnssager
10 undersøgelser i Sager i gennemsnit pr. Fordelingen i procent
Myndighed
perioden
2003 – 2004
undersøgelse
antal antal procent
Kommunesager 945 95 79
Nævnssager 254 25 21
Sager i alt 1199 120 100
Ved fremover, som med bevillings- og afslagssagerne, at lade enkelte praksisundersøgelser
omhandle kun nævnssager, kan man sætte bedre fokus på relevante indsatsområder
for nævnene. Det reducerede antal nævn betyder ligeledes, at der kan
indkaldes flere sager pr. nævn.
Adskillelsen af kommune- og nævnssager betyder også, at man i kommuneundersøgelserne
kan øge antallet af kommunale sager, der kan indgå i effektmålingen.
Det er vigtigt, når der skal effektmåles på baggrund af praksisundersøgelserne, at
der er et godt grundlag for sammenligningen. I de hidtidige praksisundersøgelser er
der ofte indkaldt mellem 2 og 5 sager pr. kommune og i alt ca. 100 kommunesager.
Det er for lidt i forhold til den statistiske usikkerhed til at foretage effektmåling på
baggrund af et bestemt spørgsmål i en bestemt praksisundersøgelse, jf. kap. 6. Det
er forventningen, at antallet af kommunale sager kan øges til 150 i de praksisundersøgelser,
som Ankestyrelsen foretager, hvilket kan styrke effektmålingen.
7.2.2 Antal sager i nævnenes praksisundersøgelser
Hvad angår antallet af sager i nævnenes praksisundersøgelser, forudsættes det,
• at det formentlig vil være rimeligt at antage, at nævnene med statsforvaltningernes
oprettelse i gennemsnit kan håndtere omkring 80 sager pr. praksisundersøgelse
Derudover forekommer det rimeligt, at tage hensyn til at statsforvaltningerne har
forskellig størrelse.
I 2004 indhentede de sociale nævn i gennemsnit ca. 35 -40 sager pr. praksisundersøgelse,
svarende til 5 - 600 sager i alt 13 .
Det forekommer realistisk, at nævnene fremover i gennemsnit indhenter ca. 80 sager
pr. praksisundersøgelse, svarende til 800 sager pr. år. Dels under hensyn til, at
statsforvaltningerne bliver væsentlig større end de tidligere statsamter, dels for at
imødegå behovet for et større antal sager pr. praksisundersøgelse, og endelig under
henvisning til de nye beskæftigelsesankenævn, som får tilført nye opgaver.
13 Beregningen er foretaget på baggrund af de nævn, som har udarbejdet praksisundersøgelser i
2004.
37
Ud fra de nævnte hensyn kan en fordelingsnøgle, hvor der tages hensyn til statsforvaltningernes
forskellige størrelse, se ud som i tabel 7.3.
Tabel 7.3 Antal sager i statsforvaltningernes praksisundersøgelser
Statsforvaltning Befolkningsgrundlag1) Antal
kommuner
Antal sager
2007 -
Antal sager i
20042) Antal Procent
Pr. undersøgelse
Pr. år
Pr. undersøgelse
Pr. år
Hovedstaden 1.629.153 30 29 120 240 90 180
Midtjylland 1.206.821 22 19 90 180 70 140
Nordjylland 579.147 11 11 50 100 40 80
Syddanmark 1.179.748 22 22 90 180 70 140
Sjælland 801.452 15 17 60 120 50 100
I alt 5.396.321 100 98 410 820 320 640
1) befolkningstallet er fra Danmarks Statistik (2004)
2) Der er tale om en teknisk beregning ud fra de nævn, som i 2004 gennemførte praksisundersøgelser
De to sidste kolonner i tabellen viser fordelingen, hvis det hidtidige antal sager i
praksisundersøgelserne i højere grad fastholdes.
7.2 Krav til dataindsamling – registrering af data
Da effektmålingen og de efterfølgende statistiske analyser skal gennemføres i Ankestyrelsen,
er det afgørende, at resultaterne fra praksisundersøgelser, udarbejdet i
såvel Ankestyrelsen som nævnene, samles centralt i Ankestyrelsen. I Ankestyrelsens
praksisundersøgelser anvender de juridiske eksperter og kommunerne SASprogrammet
E-survey til indberetning af sagsvurderingerne. Da nævnene ikke anvender
SAS til registrering af sagsvurderingerne, skal det på en hensigtsmæssig
måde sikres, at data kan samles centralt.
En model kan være, at Ankestyrelsen opretter skemaerne i E-survey, som lægges
på Ankestyrelsen hjemmeside. Såfremt kommunerne fortsat skal udfylde måleskemaerne
14 skal det ske på samme måde i både Ankestyrelsens og nævnenes undersøgelser,
og nævnene får mulighed for elektronisk indtastning på samme vis.
Nævnene kan herefter ved hjælp af en udtræksfunktion selv trække data ud i Excel
og behandle data til afrapportering af undersøgelserne.
Det forudsættes, at statsforvaltningerne gennemfører ca. 10 praksisundersøgelser
årligt. Der skal således oprettes 10 skemaer årligt for nævnene, hvilket vurderes at
svare til ca. 1/12 årsværk afhængig af antallet af spørgsmål. I opstartsfasen vil der
yderligere blive behov for vejledning i brug af udtræksfunktionen mv. På sigt vil
mange af måleskemaerne kunne genbruges og kræve færre ressourcer.
7.3 Sammenfatning
For fremover at kunne anvende praksisundersøgelserne til effektmåling, er det
nødvendigt at sikre, at antallet af sager i de enkelte praksisundersøgelser øges.
14 Spørgsmålet om parallelmåling i kommunerne er blevet drøftet i arbejdsgruppe 2. Det foreslås af
arbejdsgruppen, at kommunerne fortsat parallelmåler sagerne.
38
På grund af forskellige problemstillinger i bevillings- og afslagssager foreslås det, at
de to sagstyper adskilles, således at der i den enkelte praksisundersøgelse fremover
kun indgår enten bevillingssager eller afslagssager. Det er Ankestyrelsens vurdering,
at det vil indebære et kvalitetsløft i forhold til vurdering af kommunernes
praksis i afslagssagerne.
I Ankestyrelsens praksisundersøgelser er der hidtil indkaldt både kommunale afgørelser
og afgørelser fra nævnene. Fremover vil praksisundersøgelserne primært fokusere
på kommunesager, mens der ca. hvert andet år vil blive gennemført en
praksisundersøgelse udelukkende med nævnssager.
Det er forventningen, at Ankestyrelsen fremover kan håndtere 150 sager, mens
nævnene forventes at kunne håndtere 80 sager i gennemsnit pr. undersøgelse.
Af hensyn til de statistiske analyser er det nødvendigt, at data fra alle praksisundersøgelse
samles centralt i Ankestyrelsen. Da nævnene ikke anvender E-survey, opretter
Ankestyrelsen måleskemaerne for nævnene, og der oprettes en udtræksfunktion,
så nævnene selv kan trække data ud vil brug for afrapportering af undersøgelserne.
39
8 Kvantificering af sagsvurderinger
8.1 Kvantificering af sagsvurderingerne
En væsentlig forudsætning for, at der kan gennemføres effektmåling, er at
sagsvurderingerne kan kvantificeres. Det kan for eksempel ske ved, at der konstrueres
et karaktersystem, der kan anvendes til at måle sagsbehandlingskvaliteten i
kommunerne.
8.1.1 Forslag til karaktersystem
Nedenstående er et forslag til, hvordan karaktersystemet kan opbygges. Karaktersystemet
vil blive afprøvet sammen med de af arbejdsgruppe 2 udarbejdede måleskemaer
15 ved en test, som ikke er gennemført ved færdiggørelsen af denne rapport.
Desuden vil hele konceptet blive afprøvet ved de første praksisundersøgelser
i 2006. Der kan således forekomme justeringer i karaktersystemet.
Det foreslås, at sagerne vurderes enkeltvis, som det er gjort hidtil, på deres formelle
og materielle korrekthed. Måleskemaerne skal indeholde et antal spørgsmål for
hvert lovområde, som er dækkende for korrektheden af den formelle og materielle
del i sagen, jf. tabel 8.1.
Tabel 8.1. Eksempel på kvantificering
Kommune A Formelle kor-
Materielle kor- Gennemsnit
rekthedrekthed
Spørgsmål 1 0 Spørgsmål 1 75
Spørgsmål 2 75 Spørgsmål 2 100
Spørgsmål 3 100 Spørgsmål 3 0
Spørgsmål 4 25 Spørgsmål 4 0
Gennemsnit 50 43,75 46,88
De 4 spørgsmål antages her at have graduerede svarmuligheder med 4 kategorier i
hver. Det vil sige, at den juridiske ekspert, som vurderer sagen, for eksempel svarer
ud fra kategorierne ”slet ikke”, ”i ringe grad”, ”i nogen grad”, ”i høj grad”. Svarene
værdisættes efterfølgende med værdierne 0, 25, 50 og 100. Herefter beregnes en
gennemsnitlig score pr. spørgsmål.
Det vurderes væsentligt med graduerede svarmuligheder for at fastholde så meget
information som muligt og for at kunne give kommunerne en mere nuanceret tilbagemelding
af sagsbehandlingen.
15 Produkterne fra arbejdsgruppe 2 er vedlagt som bilag 5-6.
40
Hvis der i stedet kun er to svarmuligheder, kan de værdisættes med 0 eller 100. Alternativt
kan de værdisættes med 25 og 50, hvis det vurderes, at en eventuel fejl ikke
skal have så stor konsekvens for den samlede vurdering af sagen. Den vurdering
skal foretages i samarbejde med de juridiske eksperter i forbindelse med tilrettelæggelsen
af måleskemaet.
8.1.2 Vægtning
Der kan vise sig et behov for at vægte svarene på spørgsmålene forskelligt. Vægtningen
foretages i samarbejde med de juridiske eksperter. Vægtene kan sættes på
forhånd, således at hvis der er svaret efter et bestemt mønster i udvalgte spørgsmål,
bliver sagen vurderet som rigtig. Der kan også foretages en subjektiv vurdering
af den samlede sagsbehandling. Det er endnu uafklaret, hvordan vægtningen
bliver indarbejdet. Det kan sandsynligvis ikke afgøres, før de første sagsvurderinger
foreligger i 2006.
8.2 Krav til måleskemaerne
Ankestyrelsen har i samarbejde med nævnene udarbejdet en manual samt grundskabelon
for måleskema for sagsvurderingerne i praksisundersøgelserne. Manual
samt måleskema indgår i produkterne fra arbejdsgruppe 2.
Manual og måleskema er udarbejdet blandt andet efter nedenstående retningslinjer,
som er nødvendige for at alle praksisundersøgelser kan anvendes i effektmåling:
• Der skal være et fælles måleskema for de praksisundersøgelser, der indgår i
effektmåling
• Detaljeringsgraden i spørgeskemaerne skal være omtrent som i de hidtidige
undersøgelser
• Der skal opstilles et antal hovedspørgsmål (for eksempel 5 hovedspørgsmål,
men gerne flere), som vedrører den formelle og materielle korrekthed
af sagsbehandlingen. Spørgsmålene skal være dækkende for alle emneområder.
Herudover skal der være mindst 2 underspørgsmål, som relaterer sig
til det enkelte hovedspørgsmål. Der kan derudover tilføjes spørgsmål, som
kun er relevante for det område, der undersøges
• Svarmulighederne skal så vidt muligt være graduerede. Der skal være et lige
antal svarmuligheder, således at svaret indeholder en reel stillingtagen. For
eksempel kan besvarelsen af et spørgsmål om, hvorvidt oplysningsgrundlaget
har været tilstrækkeligt have fire svarmuligheder i form af ’Fuldt ud’,
’Nogenlunde’, ’Mangelfuldt’ og ’Slet ikke’
8.3 Kvalitetssikring i målingen
For at sikre, at måleskemaerne udformes efter principperne i projektet, kan det
overvejes, at alle måleskemaer – såvel Ankestyrelsens som nævnenes - godkendes i
Ankestyrelsen af en til formålet nedsat intern arbejdsgruppe. Arbejdsgruppen skal
således sørge for, at måleskemaerne stemmer overens med konceptet, og at
spørgsmålene kan kvantificeres i overensstemmelse med det udviklede karaktersystem.
41
Ensartethed i målingen af sagerne kan løbende sikres ved, at der oprettes en form
for censorordning, hvor nogle af sagerne i nævnsundersøgelserne gennemgås af et
andet nævn for at sikre, at vurderingen af sagerne foretages ens over hele landet og
efter den til formålet udarbejdede manual.
Samtidig foreslås det, et der indkaldes til 2 årlige møder i møderækken. Det ene
møde foreslås at være et arbejdsmøde, hvor konkrete sagseksempler gennemgås
for at sikre, at der er enighed omkring sagsvurderingen.
En praksisundersøgelse med inddragelse af afgørelser fra statsforvaltningerne
hvert andet år kan muligvis, i sammenhæng med den ovenfor nævnte censorordning,
erstatte nævnenes nuværende kvalitetsmåling på det sociale område, der på
nuværende tidspunkt gennemføres hvert andet år.
8.4 Sammenfatning
For at kunne gennemføre effektmåling og statistiske tests er det nødvendigt at
kvanitificere sagsvurderingerne. Der er opstillet et forslag til karaktersystem, hvor
hver enkelt sag give en score afhængig af den vurderede sagsbehandlingskvalitet.
Der anvendes i måleskemaerne så vidt muligt graduerede svarmuligheder for at
fastholde så meget information om sagerne samt kunne give kommunerne så nuanceret
tilbagemelding på sagerne som muligt.
Som led i en kvalitetssikring foreslås det, at der nedsættes en intern arbejdsgruppe i
Ankestyrelsen til at gennemgå måleskemaer samt karaktergivning og vægtning, inden
de enkelte undersøgelser i nævnene og Ankestyrelsen igangsættes. Derudover
foreslås der iværksat en censorordning i nævnene, således at der i forbindelse med
hver praksisundersøgelse udveksles et antal sager med statsforvaltningen i naboregionen,
som foretager en prøvemåling. Det vil sikre, at der er overensstemmelse i
vurderingerne.
Herudover foreslås det, at der fremover afholdes 2 møder i møderækken årligt
med nævnene frem for det ene, som afholdes på nuværende tidspunkt. Formålet
med et ekstra møde vil være at sikre ens forståelse af kvaliteten.
42
9 Forslag til effektmålingsscenarie
Effektmålingsprojektet fordrer, at Ankestyrelsen i højere grad koordinerer de
praksisundersøgelser, som fremover udarbejdes i Ankestyrelsen og de sociale
nævn, og som skal indgå i effektmåling. En højere grad af koordination kan opnås
ved, at der opstilles en plan, som fastlægger krav for de kommende års praksisundersøgelser.
Nedenfor vil et forslag til en sådan plan samt de bagvedliggende begrundelser
og forudsætninger blive gennemgået.
9.1 Praksisundersøgelser i 2006
Udgangspunktet for planen er, at den første effektmåling vil berøre et udsnit af
praksisundersøgelser i 2006, 2007 og 2008.
Effektmålingen forudsætter, at der udvælges en kommunegruppe (testgruppen),
som deltager i praksisundersøgelser 2 år i træk, mens en anden kommunegruppe
(kontrolgruppen) friholdes ved den første praksisundersøgelse, men deltager i den
anden, jf. kap. 4. Det foreslås, at den første effektmåling gennemføres for udvalgte
praksisundersøgelser i 2006 og 2008.
Da det skal være muligt for kommunerne at reflektere over den første praksisundersøgelses
resultater, skal afgørelserne i sagerne, som indhentes i forbindelse med
den opfølgende praksisundersøgelse, ikke ligge for tæt på afgørelserne i sagerne fra
den første praksisundersøgelse.
Det foreslås, at det nye koncept for måleskemaer og kvantificering af sagsvurderingerne
afprøves på de første praksisundersøgelser, der gennemføres i 2006, således
at den praksisundersøgelse, som i 2006 skal indgå i effektmålingen, bliver en af
de sidste af Ankestyrelsens 4 undersøgelser i 2006. Det giver mulighed for at få justeret
eventuelle uhensigtsmæssigheder, inden konceptet for alvor skal anvendes i
effektmålingen.
Da effektmålingsmodellerne forudsætter, at kommunegrupperne grundlæggende er
ens, er både testgruppen og kontrolgruppen valgt ud fra den kommende Region
Hovedstaden. Valget har samtidig den fordel, at der relativt nemt vil kunne afholdes
sparringsmøder omkring den konkrete målemetode/vurdering af sagerne, hvis
det skulle vise sig nødvendigt.
Tabel 9.1 og 9.2 viser et forslag til fordeling af kommuner, der skal indgå i henholdsvis
testgruppen og kontrolgruppen:
43
Tabel 9.1
Testgruppen
Ny kommune Nuværende kommuner Nuværende statsamt Indbyggertal
1 Gentofte København 68.704
2 Helsingør Frederiksborg 60.927
3 Hvidovre København 49.952
4 Høje Taastrup København 45.556
5 Frederikssund Slangerup1) , Frederiks- Frederiksborg 43.798
6 Tårnby
sund, Skibby, Jægerspris
København 39.535
7 Fredensborg Fredensborg-
Humlebæk, Karlebo
Frederiksborg 39.414
8 Egedal Ledøje-Smørum,
stykke, Stenløse
Øl- København/Frederiksborg 39.267
9 Frederiksværk- Frederiksværk, Hunde- Frederiksborg 30.223
44
Hundested
sted
10 Hørsholm Frederiksborg 24.292
11 Glostrup København 29.785
12 Dragør København 13.156
13 Herlev København 27.166
14 Lyngby-Taarbæk København 51.611
I alt 563.386
1) Slangerup kommune bliver fra 2007 delt mellem Frederikssund og Hillerød kommuner, som hører under
henholdsvis testgruppen og kontrolgruppen. Da Slangerup ikke kan deles i 2006, vil hele kommunen i 2006
indgå i testgruppen.
Tabel 9.2
Kontrolgruppen
Ny kommune Nuværende kommuner Nuværende statsamt Indbyggertal
1 Frederiksberg Sociale nævn i Frb. og Kbh. 91.886
2 Gladsaxe København 61.993
3 Rudersdal Birkerød, Søllerød København/Frederiksborg 53.621
4 Ballerup København 46.610
5 Hillerød Hillerød, Skævinge, Frederiksborg 44.551
Uvelse sogn (Slangerup)
6 Gribskov Græsted-Gilleleje, Hel- Frederiksborg 40.409
singe
7 Furesø Værløse, Farum København/Frederiksborg 37.076
8 Rødovre København 36.391
9 Brøndby København 34.513
10 Albertslund København 28.146
11 Allerød Frederiksborg 23.458
12 Ishøj København 20.668
13 Vallensbæk København 12.260
14 Bornholm Bornholm 43.337
I alt 574.919
Som nævnt kræver effektmålingsmodellerne, at testgruppen og kontrolgruppen er
grundlæggende ens. Derfor er alle kommunerne på nær Københavns kommune
valgt fra den kommende Region Hovedstaden. Fordelingen mellem testgruppe og
kontrolgruppe opfylder således følgende:
• Samme antal kommuner
• Omtrent samme befolkningsgrundlag
• Samme antal sammenlægninger
• Samme geografiske beliggenhed
9.2 Effektmålingen
Effektmålingen foreslås at følge nedenstående model:
Ankestyrelsen gennemfører en praksisundersøgelse i 2006 med deltagelse af de 14
kommuner fra testgruppen. Der indkaldes som udgangspunkt ca. 10 sager fra hver
af de nye kommuner, så der i alt vurderes ca. 140 sager. Hvis en ny kommune består
af sammenlægning af flere kommuner, indkaldes der omkring 3 sager fra hver
af sammenlægningskommunerne.
I 2006 og 2007 friholdes kommunerne i kontrolgruppen fra at deltage i praksisundersøgelser.
I 2008 skal der gennemføres praksisundersøgelser med deltagelse af både testgruppen
og kontrolgruppen. Det foreslås, at Ankestyrelsen inddrager kontrolgruppen,
mens Statsforvaltning Hovedstaden inddrager testgruppen. Som tabel 7.3 viste,
forventes det, at Statsforvaltning Hovedstaden fremover kan håndtere ca. 120 sager
i en praksisundersøgelse. I forbindelse med effektmålingen vil det være en fordel,
at det samme antal sager indgår, og det foreslås derfor, at Statsforvaltning Hovedstaden
til formålet inddrager 140 sager, det vil sige 20 sager mere, end det befolkningsmæssige
grundlag i Region Hovedstaden tilsiger.
Fordelingen af praksisundersøgelser til effektmålingen fremgår af tabel 9.3.
Tabel 9.3 Fordeling af praksisundersøgelser, der skal indgå i effektmåling
2006 2007 2008
Ankestyrelsen inddrager
Ankestyrelsen inddrager kon-
testgruppen
trolgruppen
Kontrolgruppen friholdes Kontrolgruppen friholdes Statsforvaltning Hovedstaden
inddrager testgruppen
9.2.1 Øvrige praksisundersøgelser i 2006 og 2007
Ovenstående model vil udover Statsforvaltning Hovedstaden få konsekvenser for
en del af de øvrige statsamter/statsforvaltninger i 2006 og 2007. Bornholms kommune
indgår i kontrolgruppen og Statsamtet Bornholm skal derfor ikke udarbejde
praksisundersøgelse i 2006. Fra 2007 hører Bornholms kommune under Statsforvaltning
Hovedstaden og friholdes derfor i de praksisundersøgelser, som statsforvaltningen
udarbejder i 2007.
De sociale nævn i København og Frederiksberg har i 2006 kun mulighed for at inddrage
Københavns Kommune. Med det største befolkningsgrundlag samt opdelingen i
lokalcentre forventes det ikke at være problematisk 16 .
16 Der vil være en risiko for, at det vil blive opfattet som tilsyn med en enkelt kommune, men det
vil fortsat være muligt med en form for anonymisering, idet det ikke nødvendigvis skal oplyses, fra
hvilke lokalcentre sagerne indhentes.
45
Statsamtet Frederiksborg kan gennemføre praksisundersøgelse med inddragelse af de
kommuner i hovedgruppen, som i 2006 fortsat hører under statsamtet. Det vil sige
Helsingør, Frederikssund, Skibby, Jægerspris, Fredensborg-Humlebæk, Karlebo,
Ølstykke, Stenløse, Frederiksværk, Hundested og Hørsholm.
Slangerup kommune bliver fra 2007 delt mellem de nye Frederikssund og Hillerød
kommuner. Størstedelen af Slangerup kommune kommer til at høre under den nye
Frederikssund kommune, som indgår i testgruppen. Hele Slangerup kommune
kommer derfor til at indgå i testgruppen i 2006.
Statsamtet København må på samme vis udelukkende inddrage de kommuner, som
indgår i hovedgruppen, og som i 2006 fortsat hører under statsamtet. Det vil sige
Gentofte, Hvidovre, Høje Taastrup, Tårnby, Ledøje-Smørum, Glostrup, Dragør,
Herlev og Lyngby-Taarbæk.
Ankestyrelsens øvrige praksisundersøgelser i 2006 skal gennemføres med samme
kriterier som for statsamterne i København, Frederiksberg og Bornholm og i 2007
med samme kriterier som for Statsforvaltning Hovedstaden. Det vil sige, at kontrolgruppen
ikke inddrages.
I 2006 har de resterende statsamter frit valg i forhold til kommuneudvælgelse og
lovområde. Selvom de resterende statsamters praksisundersøgelser ikke direkte
kommer til at indgå i effektmålingen vil det være hensigtsmæssigt, hvis alle praksisundersøgelser
fra 2006 udarbejdes efter det nye koncept. 2006 vil således blive
et testår, hvor det sikres, at manualen til måling af sagerne og måleskemaerne anvendes
i overensstemmelse med forudsætningerne i projektet.
9.2.2 Valg af lovområde til effektmåling
Det vurderes hensigtsmæssigt, at der til effektmålingen vælges et område, hvor der
er relativt mange afgørelser årligt. Det forventes at skabe færrest problemer for
kommunerne at fremfinde sagerne på det valgte lovområde. Førtidspensionsområdet
er et relativt stort område, men har efterhånden været fokus i en del praksisundersøgelser.
Det foreslås derfor, at sygedagpengeområdet vælges som grundlag for
effektmålingen.
For at kunne isolere effekten af praksisundersøgelser inden for et bestemt lovområde,
vil det være mest hensigtsmæssigt, at statsamterne i København og Frederiksborg
i 2006 og 2007 ikke vælger samme lovområde, som i den praksisundersøgelse,
der udvælges til effektmålingen.
9.3 Sammenfatning
Der opstilles et forslag til, hvordan en effektmåling kan gennemføres med inddragelse
af udvalgte kommuner i 2006 og 2008. Testgruppen og kontrolgruppen foreslås
valgt ud fra den kommende Region Hovedstaden. Dels sker der færrest sammenlægninger
her, og dels vil det være nemmere at afholde eventuelle sparringsmøder.
Ankestyrelsen gennemfører den første praksisundersøgelse, mens
46
Statsforvaltning Hovedstaden og Ankestyrelsen gennemfører de opfølgende praksisundersøgelser.
Det nye koncept for praksisundersøgelser vil blive afprøvet på de første praksisundersøgelser
i 2006 i både Ankestyrelsen og nævnene. Den sidste af Ankestyrelsens
praksisundersøgelser i 2006 udvælges til at indgå i effektmålingen. Som emne
foreslås sygedagpengeområdet.
Effektmålingsscenariet vil påvirke de sociale nævn i København og Fredriksberg,
statsamterne i København, Frederiksborg samt på Bornholm, idet de fra 2007 vil
blive samlet under Statsforvaltning Hovedstaden.
Ovenstående effektmålingsscenarie måler effekten af Ankestyrelsens praksisundersøgelser.
Det vil være oplagt, at en senere effektmåling måler effekten af en praksisundersøgelse
udarbejdet af det sociale nævn eller et af de kommende beskæftigelsesankenævn.
47
Bilag 1 Lovgrundlag
Lovgrundlaget for praksiskoordinering
Uddrag af lov om retssikkerhed og administration på det sociale område, lovbekendtgørelse
nr. 847 af 8. september 2005:
Koordinering af praksis
§ 76. Ankestyrelsen har pligt til på landsplan at koordinere, at afgørelser, som efter
de sociale love kan indbringes for Ankestyrelsen og de sociale nævn, træffes i
overensstemmelse med lovgivningen.
Stk. 2. Som et led i denne koordinering
1) vejleder Ankestyrelsen om ankeinstansernes praksis i sager efter den sociale lovgivning
og
2) følger Ankestyrelsen kommunernes, amtskommunernes og de sociale nævns
praksis.
§ 77. Socialministeriet og Beskæftigelsesministeriet kan anmode Ankestyrelsen om
at gennemgå kommunernes, amtskommunernes eller nævnenes afgørelser.
§ 78. Det sociale nævn har pligt til inden for sit område at koordinere, at afgørelser,
som efter de sociale love kan indbringes for det sociale nævn, træffes i overensstemmelse
med lovgivningen.
Stk. 2. Som et led i denne koordinering
1) vejleder nævnet om ankeinstansernes praksis i sager efter den sociale lovgivning
og
2) følger nævnet kommunernes, amtskommunernes og de sociale nævns praksis.
§ 79. Ankestyrelsen og det sociale nævn skal samarbejde om deres koordinationsopgave
efter § 76 og § 78. Som led i denne opgave kan Ankestyrelsen og de sociale
nævn indhente sager til gennemsyn. Oplysninger om afgørelser kan indhentes i såvel
skriftlig som i elektronisk form.
§ 79 a. Kommunalbestyrelsen og amtsrådet behandler Ankestyrelsens og de sociale
nævns undersøgelser af kommunens eller amtskommunens praksis på et møde.
Uddrag af bekendtgørelse om retssikkerhed og administration på det sociale område,
nr. 1127 af 25. november 2005:
48
Praksiskoordinering
§ 32. Ankestyrelsen har pligt til på landsplan at koordinere, at afgørelser, som efter
de sociale love kan indbringes for Ankestyrelsen og de sociale nævn, træffes i
overensstemmelse med lovgivningen.
Stk. 2. Det sociale nævn har pligt til inden for sit område at koordinere, at afgørelser,
som efter de sociale love kan indbringes for nævnet, træffes i overensstemmelse
med lovgivningen.
§ 33. Ankestyrelsen og nævnene gennemgår som led i opgaven med at koordinere
praksis en række ensartede typer af sager i forhold til gældende ret, som fastlagt
ved lov, bekendtgørelser og landsdækkende praksis.
Samarbejde og vejledning
§ 34. Ankestyrelsen og nævnene samarbejder om praksiskoordineringen. Nævnene
foretager efter drøftelse med Ankestyrelsen praksiskoordinering inden for amtet
(Københavns og Frederiksberg Kommuner samt Bornholms Regionskommune).
§ 35. Hvis Ankestyrelsens og nævnenes undersøgelser viser, at kommunernes og
amtskommunernes praksis ikke er i overensstemmelse med gældende ret, skal de
problemer, som undersøgelsen har vist, drøftes af Ankestyrelsen og nævnene med
kommunerne og amtskommunerne. Ankestyrelsen kan tilsvarende drøfte resultatet
af en undersøgelse af nævnenes praksis med nævnene.
§ 36. Ankestyrelsen og nævnene kan ikke som led i opgaven med at koordinere
praksis tage underinstansernes afgørelser op af egen drift.
Stk. 2. Ankestyrelsen og nævnene kan dog i sager omfattet af § 47 i lov om social
service tage sager op af egen drift.
§ 37. Ankestyrelsen udsender generel vejledning om praksis inden for Ankestyrelsens
kompetenceområde og offentliggør i anonymiseret form afgørelser, som har
principiel eller generel betydning.
Stk. 2. Ankestyrelsen yder af egen drift eller efter anmodning konkret vejledning
til nævnene om styrelsens praksis samt om fortolkning af retsregler. Vejledning
kan også ske i forbindelse med praksiskoordinering.
§ 38. De sociale nævn vejleder af egen drift eller efter anmodning inden for deres
område kommunerne og amtskommunerne om praksis. Vejledningen kan også ske
i forbindelse med praksiskoordinering.
49
Bilag 2 Samarbejdsaftalen mellem Ankestyrelsen
og de sociale nævn
Ankestyrelsen og de sociale nævn samarbejder om praksiskoordineringen, således at Ankestyrelsen
gennemfører praksisundersøgelser på landsplan og nævnene på regionalt plan.
Herved tilvejebringes et landsdækkende kendskab til praksis og det bedst mulige grundlag
for den samlede praksiskoordinerende indsats.
Ankestyrelsen og de sociale nævn drøftede samarbejdet på et møde i september måned
2003 og aftalte nedenfor beskrevne fremgangsmåde i forbindelse med gennemførelse af
praksisundersøgelser.
Indledningsvis skal det nævnes, at når der i denne aftale nævnes "praksisundersøgelser"
gælder det som udgangspunkt også for undervisningsforløb, som kan træde i stedet for en
praksisundersøgelse.
Det fremtidige samarbejde indeholder følgende elementer:
50
1. Katalog over emner for praksisundersøgelser
2. Plan over årets praksisundersøgelser
3. Metode for gennemførelse af en praksisundersøgelse
4. Opfølgning
5. Oversigt over afsluttede praksisundersøgelser
6. Status over årets praksisundersøgelser
Ad 1. Katalog over emner for praksisundersøgelser
Ankestyrelsen udarbejder et katalog over emner for praksisundersøgelser i dialog med de
sociale nævn. En gang årligt foretages en høring i nævnene med henblik på ajourføring af
emnelisten, og kataloget aftales efterfølgende.
Ad 2. Plan for årets praksisundersøgelser
Der udarbejdes en plan for det kommende års samlede praksisundersøgelser inden udgangen
af året.
Ankestyrelsen udarbejder planen på grundlag af indmeldinger fra nævnene om påtænkte
emner for kommende praksisundersøgelser. Emnerne skal vælges fra det aftalte katalog.
De sociale nævn og Ankestyrelsen forpligtes til at gennemføre praksisundersøgelser, som
fastlagt i planen, med mindre andet aftales konkret med Ankestyrelsen.
Såvel planen som kataloget vil være tilgængeligt på Ankestyrelsens hjemmeside under
Praksisundersøgelser.
Ad 3. Metode for gennemførelse af en praksisundersøgelse
Ankestyrelsen godkender såvel emne til en undersøgelse som metoden for gennemførelsen
af denne. Som udgangspunkt anvendes den metode, der er beskrevet i vedlagte bilag 1.
Som led i opfølgningen på Ankestyrelsens praksisundersøgelser, kan Ankestyrelsen aftale
med et eller flere nævn, at der gennemføres praksisundersøgelser som regionale effektmålinger.
Desuden kan flere nævn samarbejde om gennemførelsen af undersøgelserne for at
sikre større bredde i de regionale undersøgelser.
Ad 4. Opfølgning
Såvel Ankestyrelsen som de sociale nævn tilrettelægger og gennemfører en opfølgning af
den enkelte praksisundersøgelse - alt efter hvad legalitetsvurderingen i den konkrete praksisundersøgelse
har afdækket af mangler af materiel eller formel karakter. Her kan egentlige
undervisningsforløb – ud over de normale temamøder mm. – komme på tale. Sådanne
undervisningsforløb kan eventuelt træde i stedet for en praksisundersøgelse.
Ad 5. Oversigt over afsluttede og igangværende praksisundersøgelser
Ankestyrelsen ajourfører løbende en oversigt over alle afsluttede og igangværende praksisundersøgelser
– såvel Ankestyrelsens som de sociale nævns – fordelt på lovområder og
suppleret med et Danmarkskort på Ankestyrelsens hjemmeside
www.dsa.dk/praksiskoordinering. På hjemmesiden kan man også klikke sig ind på de enkelte
amter og se, hvilke praksisundersøgelser, statsamtet har gennemført eller igangsat.
Ankestyrelsens praksisundersøgelser kan læses på Ankestyrelsens hjemmeside. De sociale
nævn vil ligeledes gøre deres praksisundersøgelser tilgængelige på statsamternes hjemmesider.
Ankestyrelsen vil på sin hjemmeside etablere links til statsamternes hjemmesider.
Ad 6. Status over årets praksisundersøgelser
Ankestyrelsen udarbejder en årlig status over Ankestyrelsens og de sociale nævns praksisundersøgelser.
Bilag 1 til samarbejdsaftalen
Metode for gennemførelse af praksisundersøgelser
Formålet med praksisundersøgelser er at vurdere korrektheden af underinstansens afgørelser
med henblik på at sikre ensartethed og ligebehandling på landsplan.
1. Kvalitetssikring
Praksisundersøgelser er en kvalitetssikring af afgørelser efter den sociale lovgivning. I kvalitetssikringen
indgår
• Materiel vurdering (af afgørelsernes indhold)
• Formalitetsvurdering (af væsentlige sagsbehandlingsregler)
• Vejledning og opfølgning.
Materiel vurdering af afgørelsernes indhold
Ved vurderingen af afgørelsernes materielle indhold vurderes afgørelsernes korrekthed i
forhold til lovgivningen, den praksis, der kan udledes af Ankestyrelsens principielle afgørelser,
af retspraksis samt af vejledende udtalelser fra blandt andet Folketingets Ombudsmand
og ministerier.
51
Vurderingen af afgørelsernes materielle indhold er kernen i praksisundersøgelserne og er
afgørende for, om Ankestyrelsen eller nævnet kan erklære sig enig eller uenig i de indsendte
afgørelser. Ankestyrelsen eller nævnet bør kun erklære sig uenig i en afgørelse, hvis det
kan dokumenteres, at den klart er i strid med lovgivningen og Ankestyrelsens praksis.
Vurdering af de formelle regler
I formalitetsvurderingen vurderes overholdelsen af forvaltningsmæssige og retssikkerhedsmæssige
regler, herunder reglerne om partshøring, aktindsigt, notatpligt, krav til begrundelse,
skriftlighed og hjemmelsgrundlag. Ligeledes indgår en vurdering af retssikkerhedslovens
og særlovgivningens processuelle regler om sagsbehandling og opfølgning, regler
om borgerens inddragelse, helhedsvurdeering og vejledning samt regler i fx sygedagpengeloven
om tidlig, samlet vurdering og 8-ugers vurdering. Det er regler, der understøtter
borgerens retssikkerhed og retter fokus på, at borgeren skal have den rigtige ydelse på
det rigtige tidspunkt – og med borgerens involvering og accept.
Vejledning og opfølgning
Sidste led i en praksisundersøgelse er den handlingsrettede vejledning og opfølgning.
Gennemgangen af sagerne kan afdække problemområder i kommunernes og nævnenes
praksis og sagsbehandling, som trænger til et kvalitetsløft. Det kan være såvel den materielle
vurdering som den formelle vurdering, der giver anledning til reaktioner. En praksisundersøgelse
giver således Anekstyrelsen og nævnet et godt grundlag for at målrette den
fremadrettede praksiskoorinering.
Det kan f.eks. være
52
• Skriftlig afrapportering og skriftlig dialog
•
• Skriftlig afrapportering med dialogmøder
• Skriftlig afrapportering med efterfølgende deltagelse i vejledningsmøde
• Undervisning
• Udarbejdelse af skabeloner for elementer i sagsbehandling.
Den efterfølgende dialog er med til at sikre, at undersøgelsens præmisser og resultater er
accepteret af kommuner, amtskommuner og nævn. Endvidere er dialogen med til at understøtte,
at undersøgelsens resultater anvendes konstruktivt til at forbedre kvaliteten af de
fremtidige afgørelser.
2. Inden praksisundersøgelsen iværksættes
Som det fremgår af samarbejdsaftalen mellem Ankestyrelsen og de sociale nævn godkender
Ankestyrelsen såvel emne som metode for undersøgelsen. Ankestyrelsen kan i stedet
for en praksisundersøgelse godkende, at et nævn gennemfører et egentligt undervisningsforløb.
Inden iværksættelsen af undersøgelsen kontakter nævnet således Ankestyrelsen
med henblik på den konkrete tilrettelæggelse.
Emnet for undersøgelsen fremgår af den aftalte plan for det kommende års praksisundersøgelser.
Der kan dog konkret aftales et andet emne.
De sociale nævn kan enten gennemføre en undersøgelse alene eller gå sammen med et eller
flere nævn.
3. Antal kommuner og antal sager
Undersøgelsens omfang tilrettelægges således, at afdækningen bliver så repræsentativ som
mulig. Udgangspunktet er, at nævnet indkalder sager i alle kommuner. Hvis nævnet kun
indrager et udsnit af kommunerne i amtet, bør det sikres, at antallet af kommuner er stort
nok til, at undersøgelsen bliver bredt dækkende. Praksisundersøgelser indgår ikke i statsamtets
tilsyn med den enkelte kommune, og undersøgelser rettet mod enkelte kommuner
bør undgås.
Der udvælges et antal sager, der er oprettet og afgjort i en nærmere afgrænset periode –
evt. i kronologisk rækkefølge.
4. Indkaldelse af sager
I indkaldelsesskrivelsen beskrives bl.a.
• Formålet med undersøgelsen
• Omfanget af undersøgelsen, herunder antal kommuner, der deltager
• Udvælgelsen og antal sager, der skal indsendes – fx om indsendelsen skal ske i
kronologisk eller omvendt kronologisk rækkefølge fra et bestemt tidspunkt
• Hvad der skal indsendes – dvs. alle de sagsakter, der ligger til grund for kommunens
afgørelse. Hvis der indsendes kopi af sagens akter, bør disse makuleres efter
afslutning af undersøgelsen
• Plan for afrapportering og opfølgning
• Tidsplan for undersøgelsen som helhed
• Kontaktperson i nævnet.
5. Gennemgang af sagerne
Til gennemgang af sagerne udarbejdes et skema med henblik på at sikre ensartethed i vurderingen
af sagerne og undgå fortolkningsmæssige forskelle. Ankestyrelsen stiller gerne de
arbejdsskemaer, som er anvendt i Ankestyrelsens praksisundersøgelser, til rådighed.
Skemaerne tilpasses den konkrete undersøgelse. Skemaet vil lette den efterfølgende sammenfatning
og tilbagemelding til den enkelte kommune.
De enkelte sager gennemgås herefter med henblik på kvalitetssikring, som omtalt ovenfor.
Nævnet kan alene erklære sig uenig i en afgørelse, hvis afgørelsen er klart i strid med lovgivningen
og Ankestyrelsens praksis. Det er ikke nok, at nævnet efter en konkret vurdering
ville have ændret afgørelsen, hvis den havde været behandlet som en klagesag.
6. Afrapportering
Nævnet udarbejder efter gennemgangen af sagerne et udkast til rapport, som danner
grundlag for en dialog med de involverede kommuner.
53
Det er hensigtsmæssigt, at rapporten indeholder et resumé af undersøgelsens resultater, ligesom
tabeller og figurer over resultaterne gør rapporten mere læsevenlig. Det er vigtigt,
at rapporten også indeholder den handlingsrettede del, således at det fremgår, hvilke anbefalinger
nævnet vil give kommunerne på baggrund af resultaterne i undersøgelsen, og
hvordan nævnet konkret har tænkt sig at tilrettelægge den fremadrettede vejledning.
I forbindelse med den foreløbige orientering om undersøgelsens resultater returneres de
indsendte skemaer, som nævnet har anvendt ved gennemgangen af de enkelte sager. Skemaerne
returneres dog alene til den kommune, hvorfra sagerne er indhentet.
Inden rapporten offentliggøres, sendes den til Ankestyrelsen med henblik på eventuelle
kommentarer. Nævnene anmodes samtidig om at indsende et indlæg om undersøgelsen til
Ankestyrelsen, som kan bringes i "Nyt fra Ankestyrelsen". Denne undersøgelse kan bidrage
til, at resultaterne af undersøgelsen kan få videre betydning som generel vejledning også
for andre kommuner og nævn.
54
Bilag 3 Katalog over emner for praksisundersøgelser
2006
Lov om aktiv socialpolitik
• Revalidering - særligt anvendelsen af arbejdsevnemetoden
• Revalidering – om overgang fra kontanthjælpssystemet til revalidering
• Fleksjob - særligt anvendelsen af arbejdsevnemetoden
• Ledighedsydelse
• Arbejdsevnevurderingen ved visitation til revalidering, fleksjob og pension
• Tillæg til svage unge, jf. lovens § 25 f.
• Længerevarende kontanthjælpsmodtagere med fokus på unge med helbredsproblemer
• Kontanthjælpsmodtagere med fokus på matchgrupperne
Lov om aktiv beskæftigelsesindsats
• Revalidering - særligt anvendelsen af arbejdsevnemetoden
• Revalidering – om overgang fra kontanthjælpssystemet til revalidering
• Fleksjob - særligt anvendelsen af arbejdsevnemetoden
• Ledighedsydelse
• Arbejdsevnevurderingen ved visitation til revalidering, fleksjob og pension
• Kontanthjælpsmodtagere med fokus på matchgrupperne
Lov om social pension
• Førtidspension - særligt anvendelsen af arbejdsevnemetoden
• Arbejdsevnevurderingen ved visitation til revalidering, fleksjob og pension
• Forhøjelse af pension tilkendt i sager påbegyndt før 1. januar 2003.
• Personlige tillæg til folkepensionister
• Personlige tillæg til førtidspensionister, der har fået tilkendt førtidspension før 1. januar
2003
Lov om social service
• Opfølgning på anbringelsesreformen inden for de centrale temaer
• Frivillige støtteforanstaltninger til børn og unge (forebyggende foranstaltninger), jf. servicelovens
§ 40
• Foreløbige handleplaner for unge med voldskriminalitet eller anden alvorlig kriminalitet,
jf. § 58, stk. 6 og 7
• Merudgiftsydelsen efter § 84, særligt anvendelsen af funktionsevnemetoden
• Personlig og praktisk bistand § 71 og § 75
• Ledsageordning § 78
• Hjælpemidler/forbrugsgoder §§ 97 og 98
• Magtanvendelse § 109
• Hjælpeordninger efter § 77
• Støtte til køb af bil efter § 99
55
Lov om dagpenge ved sygdom eller fødsel
56
• Anvendelsen af arbejdsevnemetoden i sager om længerevarende sygedagpenge
• Afgørelser om barselsorlov
• Standsning af sygedagpenge
• Visitation og opfølgning efter kap. 10a
• Sygedagpenge i forbindelse med graviditet
Integrationsministeriets område
• Administration af rådighedsreglerne i medfør af integrationsloven
• Administration af reglerne om hjælp i særlige tilfælde i medfør af integrationsloven
• Administration af reglerne om anvisning af en permanent bolig til flygtninge i medfør af
integrationsloven
Lov om retssikkerhed og administration på det sociale område
• Tidlig samlet vurdering i forsørgelsessager efter rtl. §§ 6 og 7
• Nævnenes prøvelse af kommunernes skønsmæssige afgørelser efter rtl. § 69
Andre områder
• Boligstøttelovgivning - efterregulering af boligstøtte
• Effektmåling af nævnenes og Ankestyrelsens praksiskoordinerende indsats
• Remonstration (foretages i tilknytning til en materiel vurdering af konkrete sagsområder)
• Forvaltningsret (foretages i tilknytning til en materiel vurdering af konkrete sagsområder)
Bilag 4 Plan over Ankestyrelsens og de
sociale nævns praksisundersøgelser
i 2005
Lovområde Emne
Lov om aktiv socialpolitik og
lov om aktiv beskæftigelsespolitik
Ankestyrelsen Enkeltudgifter til personer der modtager starthjælp.
Ankestyrelsen Fleksjob, herunder om der har været foretaget tilstrækkelige
forsøg på at finde et fleksjob inden overgang til ledighedsydelse.
Statsamtet Vestsjælland Opfølgning på tidligere undersøgelse fra 2003 med tilhørende
undervisning om enkeltydelser efter aktivlovens § 81.
Statsamtet Sønderjylland Kommunernes opfølgning i sager, hvor en person er visiteret
til fleksjob, og hvor der udbetales ledighedsydelse.
Statsamtet Ringkøbing Revalidering og anvendelsen af arbejdsevnemetoden.
Lov om social service
Ankestyrelsen Støtte til køb af bil, jf. § 99 i lov om social service
Statsamtet Roskilde Servicelovens § 97 om hjælpemidler
Statsamtet København Opfølgning på Ankestyrelsens undersøgelse om frivillige foranstaltninger
efter servicelovens § 40.
Statsamtet Ribe Magtanvendelses, servicelovens § 109 e.
Statsamtet Nordjylland Personlig og praktisk hjælp, servicelovens §§ 71 og 75. Effektmåling
i forlængelse af praksisundersøgelser i 2002 om tilbagebetaling
af pension og undervisningsforløb i 2003 om tilbagebetaling
af sociale ydelser.
Lov om social service
Statsamtet Bornholm Merudgifter ved forsørgelsen efter servicelovens § 84.
Statsamtet Århus Ledsageordningen efter servicelovens § 78 – evt. som opfølgning
på Ankestyrelsens praksisundersøgelse om samme fra
2003.
Lov om social pension
Statsamtet Vejle Opfølgning på undervisningsforløb fra 2004 i form af praksisundersøgelse
om kommunernes anvendelse af pensionsreglerne.
Den Sociale Sikringsstyrelse Anvendelse af arbejdsevnemetoden hvor kommunen har truffet
afgørelse i henhold til § 18 i pensionsloven. En opfølgning
på tilsvarende undersøgelse fra 2004.
Lov om dagpenge ved sygdom
eller fødsel
Statsamtet Storstrøm Standsning af sygedagpenge efter dagpengelovens § 8, stk. 1.
Statsamtet Frederiksborg Undervisningsprojekt, dagpengelovens §§ 5, 8 og 22 samt reglerne
om opfølgning og ressourceprofil. Dertil kommer sagsbehandlingsregler
i forvaltningsloven og retssikkerhedsloven.
Andre områder
Statsamtet Fyn Remonstration i tilknytning til en materiel vurdering af konkrete
sagsområder.
Statsamtet Viborg Efterregulering af boligstøtte med særlig fokus på forvaltningslovens
regler om begrundelse, partshøring, notatpligt og retssikkerhedslovens
§ 4 om borgerens medvirken.
57
Bilag 5 Arbejdsgruppe 2: Udkast til skabelon
til måleskema
Ankestyrelsen
Arbejdsgruppe 2 om gennemførelse af praksisundersøgelser
9. december 2005
FORSLAG
(Journal nr.)
Måleskema til undersøgelse af kommunernes praksis om …
Lov om …..
Kommune
Kommune nr.
Sagsnr.
Sagsbehandler (initialer)
1.1. Borgerens fødselsdato
1.2. Køn
Evt. flere individuelle spørgsmål ud fra, hvad der er
det væsentlige at få belyst
2.1. Dato for kommunens afgørelse
2.2. Hvad går kommunens afgørelse ud på
2.3. Hvad er der søgt om
Medtages kun, hvis der kan være afvigelser i forhold
til foregående spørgsmål, f.eks. hvis der er tale
om beløb
Evt. flere individuelle spørgsmål ud fra, hvad der er
det væsentlige at få belyst
Evt. bemærkninger
58
Identifikation af sagen
1. Grundoplysninger
1. Mand
2. Kvinde
2. Oplysninger om kommunens afgørelse
Afhængig af undersøgelsens indhold anføres de forskellige
svarmuligheder, dvs. arten af det bevilge-
de/iværksatte/påbudte
Afhængig af undersøgelsens indhold anføres de forskellige
svarmuligheder, dvs. arten af det ansøgte
3. Den materielle vurdering af kommunens afgørelse
3.1. Er afgørelsen samlet set rigtig 1. Ja, afgørelsen er i overensstemmelse med
regler og praksis
2. Nej, afgørelsen ville blive ændret eller sagen
hjemvist i en klagesag
Bemærkninger:
3.2. I hvilket omfang er sagen oplyst 1. Ingen oplysninger mangler
2. Enkelte mindre væsentlige oplysninger
mangler
3. Flere og/eller væsentlige oplysninger
mangler
4. Afgørende oplysninger mangler
Bemærkninger:
3.3. Er borgeren omfattet af personkredsen 1. Klart omfattet
2. Nogenlunde sikkert omfattet
3. Ikke omfattet
4. Sagen er ikke tilstrækkeligt oplyst, til at
dette punkt kan vurderes
3.4. Er betingelse xx (øvrig materiel betingelse)
for ydelsen/foranstaltningen opfyldt
3.4. Er betingelse yy (øvrig materiel betingelse)
for ydelsen/foranstaltningen opfyldt
Evt. flere spørgsmål til øvrige materielle betingelser
eller flere individuelle spørgsmål ud fra, hvad der er
det væsentlige at få belyst
Bemærkninger:
1. Klart opfyldt
2. Nogenlunde sikkert opfyldt
3. Ikke opfyldt
4. Sagen er ikke tilstrækkeligt oplyst, til at
dette punkt kan vurderes
Bemærkninger:
1. Klart opfyldt
2. Nogenlunde sikkert opfyldt
3. Ikke opfyldt
4. Sagen er ikke tilstrækkeligt oplyst, til at
dette punkt kan vurderes
Bemærkninger:
4. Vurdering af særlige sagsbehandlingsregler
4.1. Er den lovpligtige sagsbehandlingsmetode
anvendt
Der henvises til §… i lov….
4.2. Har borgeren været inddraget efter de
regler, der gælder for området
Der henvises til §… i lov….
Evt. flere individuelle spørgsmål ud fra, hvad der er
det væsentlige at få belyst:
1. Klart anvendt
2. Nogenlunde anvendt
3. Ikke anvendt
4. Sagen er ikke tilstrækkeligt oplyst, til at
dette punkt kan vurderes
Bemærkninger:
1. Klart inddraget
2. Nogenlunde inddraget
3. Ikke inddraget
4. Sagen er ikke tilstrækkeligt oplyst, til at
dette punkt kan vurderes
Bemærkninger
5. Vurdering af formelle regler i øvrigt
(Bevillingssager)
5.1. Hvilken form har afgørelsen 1. Skriftlig afgørelse
2. Skriftligt notat i kommunens journal
3. Anden form
59
5.2. Fremgår det, hvilken afgørelse der er
truffet
5.3. Fremgår det, med hvilken hjemmel afgørelsen
er truffet
5.4. Giver sagen i øvrigt anledning til bemærkninger
om formaliteten
60
Bemærkninger:
1. Helt klart
2. Nogenlunde
3. Slet ikke
4. Sagen er ikke tilstrækkeligt oplyst, til at
dette punkt kan vurderes
Bemærkninger:
1. Helt klart
2. Nogenlunde
3. Slet ikke
4. Sagen er ikke tilstrækkeligt oplyst, til at
dette punkt kan vurderes
Bemærkninger:
1. Ja
2. Nej
Bemærkninger:
5. Vurdering af formelle regler i øvrigt
(Afslagssager)
5.1. Hvilken form har afgørelsen 1. Skriftlig afgørelse
2. Skriftligt notat i kommunens journal
3. Anden form
5.2. Er begrundelsen for afgørelsen i overensstemmelse
med FVL §§ 22-24, eller opfylder
det skriftlige notat kravet om, at det
skal fremgå, hvilken afgørelse der er truffet
med hvilken hjemmel
5.3. Er klagevejledningen korrekt.
Der henvises til FVL § 25
Bemærkninger
1. Helt klart
2. Nogenlunde
3. Slet ikke
4. Sagen er ikke tilstrækkeligt oplyst, til at
dette punkt kan vurderes
Bemærkninger:
1. Helt klart
2. Nogenlunde
3. Slet ikke
4. Sagen er ikke tilstrækkeligt oplyst, til at
dette punkt kan vurderes
Bemærkninger:
5.4. Har der været foretaget partshøring 1. Ja
2. Nej
3. Partshøring skulle ikke være foretaget
5.5. Giver sagen i øvrigt anledning til bemærkninger
om formaliteten
Bemærkninger:
1. Ja
2. Nej
Bemærkninger:
6. Vurdering af kommunens generelle retningslinjer
6.1. Har kommunen vedtaget retningslinjer
på området
6.2. Hvis ja, er retningslinjerne da i overensstemmelse
med regler og praksis
1. Ja
2. Nej
Bemærkninger:
1. Helt klart
2. Nogenlunde
3. Slet ikke
4. Sagen er ikke tilstrækkeligt oplyst, til at
6.3. Hvis ja, er afgørelsen da i overensstemmelse
med retningslinjerne
dette punkt kan vurderes
Bemærkninger:
1. Helt klart
2. Nogenlunde
3. Slet ikke
4. Sagen er ikke tilstrækkeligt oplyst, til at
dette punkt kan vurderes
Bemærkninger:
61
Bilag 6 Arbejdsgruppe 2: Manual for måling
af sager i praksisundersøgelser
Generelle bemærkninger til praksisundersøgelser
Formålet med en praksisundersøgelse er at vurdere korrektheden af underinstansens
afgørelser for at sikre ensartethed og ligebehandling på landsplan. I denne
vurdering indgår både en materiel vurdering og en formalitetsvurdering.
Praksisundersøgelsen omfatter en række spørgsmål, som har til formål at belyse
kvaliteten af kommunernes afgørelser.
For at målrette arbejdet med praksisundersøgelserne og for at kunne bruge dem til
benchmarking mellem kommunerne og effektundersøgelser, er det besluttet, at
Ankestyrelsen og de sociale nævn skal bruge en fælles skabelon for måleskema og
manual til alle undersøgelser.
Måleskemaets generelle spørgsmål skal bruges i alle praksisundersøgelserne og
svarmulighederne må ikke ændres.
Ankestyrelsen og nævnene skal således i hver praksisundersøgelse tage udgangspunkt
i det fælles måleskema og den fælles manual, men derudover skal det individuelt
i den enkelte undersøgelse overvejes, i hvilket omfang det er relevant at tilføje
spørgsmål og vejledning.
Der bør i øvrigt ske udveksling af de individuelle spørgsmål og retningslinjer, der
anvendes i undersøgelserne, således at Ankestyrelsen og nævnene kan benytte
samme spørgsmål i det omfang, temaet for undersøgelserne er det samme.
Fremover vil praksisundersøgelserne være målrettet mod enten bevillingssager eller
afslagssager.
Kommunen vil derfor blive bedt om at sende afgørelser af den ene eller den anden
kategori.
I tilfælde, hvor det klart fremgår, at en indsendt sag hører til den forkerte kategori,
skal sagen sendes tilbage, og kommunen skal indsende en ny sag.
Tjekliste til kommunen
Inden indhentelse af sagerne fra kommunen udarbejdes en tjekliste over de oplysninger,
som er vigtige at få frem i hver sag. Tjeklisten gives til kommunen, således
at der ikke er tvivl om, hvilke oplysninger der bør være i hver sag.
Det er for eksempel oplysning om, hvad der er søgt om. Det kan også være oplysninger
fra kommunens journal, herunder for eksempel faktuelle oplysninger om
62
familien, antal børn mv., eller oplysninger om væsentlige sagsbehandlingsskridt, for
eksempel om der er foretaget eller har været overvejet partshøring i sagen. Det kan
endvidere være kommunens klagevejledning, som ofte ikke vedlægges den enkelte
sag, fordi der er tale om en standard, som bruges i alle sager.
Det skal overfor kommunen understreges, at alle oplysninger skal medsendes, og
at eventuelle grundoplysninger, for eksempel fra kommunens elektroniske registrering,
som ikke fremgår af journaloplysningerne i den enkelte sag, også skal medsendes.
Herefter må Ankestyrelsen og nævnene ved undersøgelsen gå ud fra, at kommunen
har indsendt alle de oplysninger, der er i sagen. Hvis en oplysning derfor ikke
fremgår af sagen, skal sagen vurderes uden oplysningen. Der må ikke ved vurderingen
fortolkes en formodning ind om sagens fakta, hvis det ikke fremgår af sagen.
Generelle bemærkninger til måleskemaet
Af hensyn til ensartetheden må der ikke ændres i de fælles spørgsmål, der indgår i
skabelonen. Kun der hvor det fremgår af skemaet, må/skal der tilføjes individuelle
spørgsmål eller uddybes i de fælles spørgsmål, så de kommer til at passe til den
konkrete undersøgelse. Hvis nye individuelle spørgsmål indføjes, skal de indgå i
nummereringen efter de fælles spørgsmål.
Der må heller ikke ændres i svarmulighederne. Ved tilføjelse af nye spørgsmål, skal
der i videst muligt omfang anvendes samme svarmuligheder, som i de fælles
spørgsmål.
Manualen skal følges for så vidt angår de fælles spørgsmål. I det omfang, der indføjes
individuelle spørgsmål i undersøgelsen, kan der tilføjes individuel vejledning i
den manual, der konkret følger den enkelte undersøgelse.
Det skal i den enkelte undersøgelse overvejes, om det kan præciseres, hvad svarmulighederne
indebærer for undersøgelsen. Der skal i videst muligt omfang tilføjes
bemærkninger herom i manualen. Især er det vigtigt at få beskrevet, hvad der menes
med vurderingen ”nogenlunde”. Beskrivelsen må relatere sig til emnet for
praksisundersøgelsen.
Der er udarbejdet to skabeloner for måleskemaer. De to skabeloner skal bruges i
alle praksisundersøgelser af kommunernes afgørelser. Der er et skema til brug i
forbindelse med sager, hvor kommunen har imødekommet borgerens ansøgning
(bevillingsskema), og et skema til brug i sager, hvor kommunen har givet afslag på
det ansøgte (afslagsskema). Afslagsskemaet bruges også i undersøgelser af sager
om foranstaltninger, for eksempel efter børne- og ungereglerne, og i sager om tilbagebetaling.
I de tilfælde, hvor en afgørelse både rummer en delvis bevilling og et delvist afslag,
benyttes som udgangspunkt det skema, der svarer til den kategori, som undersø-
63
gelsen vedrører. Hvis mange sager indeholder delvise afgørelser af begge slags, må
det overvejes at udfylde begge skemaer for hver sag i målingen.
Måleskemaet er inddelt i 5 afsnit:
64
1. Grundoplysninger om sagen
2. Oplysninger om kommunens afgørelse
3. Den materielle vurdering af kommunens afgørelse
4. Vurdering af særlige sagsbehandlingsregler
5. Vurdering af formelle regler i øvrigt
6. Vurdering af kommunens generelle retningslinjer
Der er i forbindelse med alle spørgsmål et bemærkningsfelt, som skal benyttes til
uddybning af afkrydsningen.
For at sikre en ensartet måling anbefales det at foretage en fælles prøvemåling af et
par sager, det vil sige en måling, hvor alle de, der skal deltage i undersøgelsen i fællesskab
gennemgår et par sager og bliver enige om retningslinier for vurderingen.
Det anbefales samtidig, at der foretages en efterfølgende kontrolmåling af sager,
der afviger fra den normale pointfordeling i målingen.
1. Grundoplysninger om sagen
Der er tale om en bruttoliste med statistiske oplysninger, som kan være relevante
at kende ved vurderingen af korrektheden af en afgørelse.
Spørgsmålet om fødselsdato og køn skal altid indgå af hensyn til en entydig identifikation.
Afhængig af undersøgelsens indhold kan øvrige spørgsmål tilføjes, for eksempel
familiens forsørgelsesgrundlag og antal børn.
Man bør være bevidst om ikke at bruge flere spørgsmål end nødvendigt. En praksisundersøgelse
er ikke en statistisk undersøgelse af en befolkningsgruppe, og den
skal ikke forsøges brugt som sådan.
2. Oplysninger om kommunens afgørelse
Afsnittet indeholder spørgsmål om kommunens afgørelse. Det ønskes belyst, hvilken
type afgørelse kommunen har truffet i forhold til det, der er søgt om.
Der kan for eksempel medtages spørgsmål om størrelsen af det søgte og det bevilgede
beløb, hvis det er relevant for undersøgelsen. Afhængig af undersøgelsens
indhold uddybes spørgsmålene, for eksempel med relevante valgmuligheder til oplysninger
om indholdet af det ansøgte. Der kan også føjes flere spørgsmål til.
Spørgsmålene afgrænses afhængig af undersøgelsens indhold.
3. Den materielle vurdering af kommunens afgørelse
I afsnittet stilles spørgsmål, der skal klarlægge, om afgørelsen indholdsmæssigt er i
overensstemmelse med lovgivningen og praksis.
Ved vurderingen af en afgørelses materielle indhold vurderes afgørelsens korrekthed
i forhold til lovgivningen. Med lovgivningen sigtes ikke alene til regler i en lov,
men også til den praksis, som kan udledes af Ankestyrelsens principielle afgørelser,
domstolspraksis samt vejledende udtalelser fra blandt andet Folketingets Ombudsmand
og ministerier.
Især i forbindelse med ny lovgivning går der en vis tid, inden Ankestyrelsen har
truffet afgørelser og dermed udmeldt praksis på området. Udgangspunktet er, at
der først foretages praksisundersøgelser på et område, når praksis er klarlagt.
Imidlertid vil det i nogle tilfælde være nødvendigt at foretage undersøgelser, for
eksempel til belysning af nye regler, inden der er fastlagt en praksis fra Ankestyrelsen.
Hvis det er Ankestyrelsen, der foretager en sådan undersøgelse, må konsekvensen
være, at afgørelser, der ikke er i strid med reglerne på området, bliver vurderet som
rigtige, selv om fortolkningen af reglerne er tvivlsom.
Hvis det er nævnet, der foretager undersøgelsen, og der er områder, hvor Ankestyrelsen
ikke har udmeldt praksis, vil nævnet i nogle tilfælde have en praksis på området.
Der kan have været tale om klagesager, som ikke er anket videre til Ankestyrelsen.
Hvis denne praksis er kendt af den kommune, der undersøges, vil kommunen
være forpligtet til at følge nævnets afgørelse. Svaret på spørgsmålet skal i sådanne
tilfælde være, at afgørelsen ikke er rigtig, idet ”den ville blive ændret eller sagen
hjemvist i en klagesag”, hvis kommunen ikke har fulgt nævnets praksis. I sådanne
tilfælde må der indgå bemærkninger herom i måleskemaet og rapporten.
I mange praksisundersøgelser har der hidtil ved vurderingen af rigtigheden været
brugt tre svarkategorier:
- i overensstemmelse med regler og praksis
- åbenbart i strid med regler og praksis
- i tvivl
Til kategorien ”i tvivl” er henregnet tilfælde, hvor oplysningsgrundlaget har været
mangelfuldt.
Fremover skal svarkategorien ”i tvivl” ikke bruges i målingerne. Det signalerer for
meget usikkerhed i vurderingen i forhold til, at kommunerne skal handle på baggrund
af praksisundersøgelserne.
Hvis der mangler oplysninger, må konklusionen være, at afgørelsen er truffet uden
disse oplysninger. Skulle sagen bedømmes som en klagesag, ville sagen blive hjemvist
til ny behandling i kommunen. Kommunens afgørelse har derfor været mangelfuld.
Fremover skal vurderingen af oplysningsgrundlaget indgå i den materielle vurdering
af sagens rigtighed. Vurderingen af oplysningsgrundlaget indgår som et parameter
i vurderingen af, om afgørelsen samlet set er i overensstemmelse med regler
65
og praksis. Det er ikke tilfældet, hvis oplysningsgrundlaget er så mangelfuldt, at sagen,
hvis det havde været en klagesag, ville være blevet hjemvist. Betragtningen er,
at kommunen faktisk har truffet en afgørelse. Denne afgørelse kan ikke betegnes
som rigtig, når reaktionen, hvis det havde været en klagesag, ville være at statuere
ugyldighed og hjemvise til ny behandling i kommunen.
Graden af ”forkerthed” i henholdsvis en hjemvisning og en egentlig omgørelse,
fordi afgørelsen er i strid med regler og praksis, er forskellig, og vurderingen heraf
kommer til udtryk i den efterfølgende vægtning af svarene på spørgsmålene. Det
skal fremgå af rapporten, hvad årsagen er til, at sagen vurderes til at være afgjort
forkert.
Bemærkningsfeltet skal under alle omstændigheder udfyldes, idet det er vigtigt, at
vide, hvorfor sagen er vurderet som den er, især hvis resultatet er, at den ikke er
helt i overensstemmelse med regler og praksis.
Udover spørgsmål om ”afgørelsen samlet set er i overensstemmelse med regler og
praksis” indgår der spørgsmål om oplysningsgrundlag, personkreds og øvrige betingelser
for ydelsen. Meningen er at disse spørgsmål skal give en uddybende forklaring
på, hvad det er, der er problemet i sagen, hvis der er problemer. Ved de
forskellige spørgsmål gives der mulighed for at få belyst sagen fra flere sider.
I spørgsmål 3.3. spørges til, om borgeren er omfattet af personkredsen. I stort set
alle regler indgår spørgsmål om personkreds. Spørgsmålet er derfor medtaget som
et standardspørgsmål.
I spørgsmål 3.4. og 3.5. spørges til de øvrige materielle betingelser. Meningen er, at
de relevante betingelser i den konkrete praksisundersøgelse sættes ind i stedet for
”xx” og ”yy”. I det omfang, der er behov indføjes flere spørgsmål.
Svarmulighederne er forskellige i de forskellige spørgsmål. På spørgsmålet om afgørelsen
samlet set er rigtig, er det kun muligt at svare ja eller nej. Afgørelsen kan
ikke være en smule rigtig eller en smule forkert. Det må logisk set være enten eller,
når man som ankemyndighed skal forholde sig til en afgørelse.
Derimod foretages der en graduering i de efterfølgende uddybende spørgsmål, således
at det på den måde bliver muligt mere præcist at få belyst graden af ”forkerthed”.
Hvis svaret på spørgsmålet, om afgørelsen samlet set er rigtig, er ”ja”, skal svaret
på de efterfølgende spørgsmål være 1 eller 2. Hvis der svares 1 er afgørelsen helt
som den skal være. Hvis der svares 2 er der mindre ”skønhedsfejl” uden at afgørelsen
af den grund må vurderes til at ville være blevet ændret eller sagen hjemvist.
Hvis der svares ”nej” til, at afgørelsen samlet set er rigtig, skal svarene på de efterfølgende
spørgsmål være 3 eller 4, afhængig af om vurderingen skyldes, at afgørelsen
på det punkt er klart forkert, eller at der mangler oplysninger.
66
Udover de obligatoriske spørgsmål kan der efter behov i den enkelte undersøgelse
føjes flere spørgsmål til.
4. Vurdering af særlige sagsbehandlingsregler
Dette afsnit anvendes kun, hvis der på lovområdet er særlige sagsbehandlingsregler,
der skal iagttages ved afgørelsen.
Der fokuseres i dette afsnit på formaliteten i sager, hvor der er regler, der stiller
krav til sagsbehandlingen. Det kan for eksempel være anvendelse af ressourceprofiler.
Hvis kravene ikke er overholdt, eller der ikke er tilstrækkelige oplysninger om
det, vil det komme frem i besvarelsen af spørgsmål 4.1. Sagen kan derimod godt
være fuldt oplyst og rigtigt afgjort, og dermed vil fejl af denne type ikke komme
klart frem i besvarelsen af spørgsmålene i afsnit 3.
Spørgsmålene kan vælges fra, og nye spørgsmål kan vælges til efter behov. Hvis
spørgsmål 4.1 anvendes bør det overvejes at indføje underspørgsmål, som uddyber
brugen af metoden.
Med mindre, der er særregler om inddragelse af borgeren på et område, bør
spørgsmålet om borgeren har været inddraget ikke medtages, selv om betingelsen
fremgår af retssikkerhedslovens § 4. Der er kun udmeldt praksis om bestemmelsen
i tilfælde, hvor den er anvendt i sammenhæng med særregler.
5. Vurdering af formelle regler i øvrigt
I dette afsnit afhænger spørgsmålene af, om der er tale om bevillingssager eller afslagssager.
I begge tilfælde spørges til, hvilken form afgørelsen har.
Hvis svaret på spørgsmål 5.1 er ”3. Anden form” skal det tilføjes i bemærkningsfeltet,
hvilken form der så er brugt.
Det må i den forbindelse understreges, at det ikke er en forvaltningsretlig fejl, at
afgørelsen ikke er meddelt skriftligt. Der er ikke i loven bestemte formkrav til en
afgørelse.
Imidlertid vil det i mange tilfælde, især hvis der er tale om særligt indgribende afgørelser,
være god forvaltningsskik at meddele afgørelsen skriftligt.
Et krav om at en kommunal afgørelse på det sociale område skal foreligge som et
skriftligt notat i sagen kan støttes på:
• En almindelig ulovbestemt retsgrundsætning om at alle væsentlige forhold
og ekspeditioner i en sag skal fremgå af sagen og akterne. En afgørelse må
anses at være en meget væsentlig ekspedition i sagen. Forvaltningen, herunder
for eksempel en ny sagsbehandler ved sagsbehandlerskift, skal kunne
67
68
få et overblik over sagen, og borgeren skal kunne få dokumenteret, at der
er givet en bevilling og det nærmere omfang af bevillingen.
• Legalitetsprincippet eller princippet om lovmæssig forvaltning.
• Krav om dokumentation i forbindelse med revision.
Endelig kan man argumentere for, at pligten for kommunerne til at skrive et notat
om en afgørelse, som er givet mundtligt, indirekte følger af retssikkerhedslovens §
76, stk. 2, pkt. 2, og § 78, stk. 2, pkt. 2. Efter denne bestemmelse skal Ankestyrelsen
og nævnene følge kommunerne og amtskommunernes praksis. En forudsætning
for dette er, at kommuner og amtskommuner kan dokumentere, hvilken afgørelse
der er truffet i sagen og med hvilken hjemmel.
Hvis der er tale om bevillingssager, spørges der kun til, om det fremgår, hvilken
afgørelse, der er truffet, og med hvilken hjemmel. Der gælder ikke andre formkrav
til afgørelsen.
Hvis der er tale om afslagssager spørges især til forvaltningsretlige regler.
Med hensyn til forståelsen af indholdet af de forvaltningsretlige regler, der spørges
til i måleskemaet, kan i vidt omfang henvises til Ankestyrelsens pjece om ”At skrive
en afgørelse”.
Vurdering af kommunens generelle retningslinjer
Det afhænger af en individuel overvejelse af behovet, om afsnittet skal indgå i målingen.
Afsnittet vil typisk skulle indgå, hvis der er særlige lovkrav om, at kommunen skal
udarbejde generelle retningslinjer på et område, for eksempel kvalitetsstandarder i
forbindelse med hjemmehjælp.
Hvis der ikke er særlige lovkrav, kan det i visse tilfælde alligevel være interessant at
spørge til kommunens retningslinjer, for eksempel spørgsmålet om rådighedsbeløb
i forbindelse med hjælp til enkeltudgifter.
Bilag 7 Uddybning af logistiske estimation
Der kan ikke direkte måles en ”tendens til at lave fejl”, men kun om konkrete sager
er fejlbehæftet eller ej, det vil sige, om fejlvariablen er 0 eller 1. Sandsynligheden
for at lave fejl estimeres. Sandsynligheder er tal, der ligger mellem 0 og 1. Får
at få et matematisk udtryk, der ligger mellem 0 og 1, benyttes rent matematisk om-
formningen af ligningen i kapitel 5
(2)
exp("tendens til fejl")
Sandsynlighed for fejl =
1+ exp("tendens til fejl")
Det vil sige, at (1) kan sættes ind i (2), så
exp( β k + β k + β k )
Sandsynlighed for fejl = P =
1+ exp( β k + β k + β k )
(3) 1 1 2 2 3 3
I (3) er den diffuse ”tendens” substitueret bort.
1 1 2 2 3 3
Rent statistisk findes de ukendte β ’er ved at sammenholde sandsynligheden for
fejl, P , med alle fejl-sagerne, og sandsynligheden for at en sag er rigtig – der jo er
1- P – med de rigtige sager. Det vil sige, det statistiske problem er:
Find β ’er så størst mulig overensstemmelse mellem
Fejl i sag og P , og rigtig sag og (1- P )
Hvis fejlvariablen kaldes F s for sag nummer s og har værdien 1, hvis der er fejl
og 0 hvis sagen er rigtig (som i tabel 1a), så er problemet: maksimer l over β ’erne,
hvor
(4)
antal sager
∑
l = F ⋅ ln( P) + (1 −F ) ⋅ln(1 −P)
s=
1
s s s s
( P s er fejlsandsynlighed for sag nummer s , der findes ved ligning (3)).
69
Uafhængighedstest
Som nævnt kan der testes på flere spørgsmål, hvis to spørgsmål fra samme praksisundersøgelse
er uafhængige. Uafhængighedstestet tager udgangspunkt i kontingenstabeller
af formen:
Tabel 1 Antal sager fordelt på fejl og spørgsmål
Spørgsmål 2, fejl I alt
Ja Nej
70
Spørgsmål 1, fejl
Ja Fejl i begge spørgsmål Kun fejl i spm. 1 Fejl i spm. 1
Nej Kun fejl i spm. 2 Ingen fejl Rigtige i spm. 1
I alt Fejl i spm. 2 Rigtige i spm. 2 Sager i alt
Der er uafhængighed, hvis fordelingen i kolonne 3 og 4 svarer til fordelingen i sidste
kolonne og fordelingen i række 3 og 4 svarer til fordelingen i sidste række.
Omvendt er der afhængighed, hvis der er mange for mange fejl i diagonalen. Hvis
man imidlertid blot ser på tabel 1 for alle sager samlet, vil kommuneforskelle også
give sig udtryk i afhængighed. Derfor er det nødvendigt med en tabel for hver
kommune svarende til tabel 1 og på passende facon lægge afvigelserne sammen for
hver kommune/tabel. Testet er et såkaldt Cochran-Mantel-Haenszel test.
Bilag 8 Vejledende retningslinier til
struktur i praksisundersøgelserne
Folketinget har vedtaget et lovforslag om forelæggelse af praksisundersøgelser for
kommunalbestyrelsen. I lyset af den vedtagne lov er der behov for, at Ankestyrelsen
overvejer den fremtidige struktur for afrapporteringen af praksisundersøgelserne.
Nedenfor gennemgås sådanne overvejelser.
Det er tanken, at den nedenfor skitserede struktur i første omgang alene finder anvendelse
på de praksisundersøgelser, hvor det er kommunernes sager, der bliver
vurderet. Der vil på et senere tidspunkt blive taget stilling til, hvilken struktur rapporterne
om praksisundersøgelser med nævnssager skal have.
Formålet med rapporterne er at afrapportere resultaterne af den gennemgang af
sagerne, der har fundet sted. Gennemgangen er foretaget af juridiske eksperter i
Ankestyrelsen og de sociale nævn, og er foretaget i forhold til det overordnede
formål med praksisundersøgelserne: at vurdere legaliteten af kommunernes afgørelser.
Legalitetsvurderingen indebærer såvel en materiel som en formel vurdering
af sagerne i forhold til gældende lovgivning, praksis mv., det vil sige, at resultatet er
udtryk for, i hvilket omfang kommunernes sagsbehandling er i overensstemmelse
med gældende ret.
Praksisundersøgelserne er dermed også en kvalitetsvurdering af kommunernes
sagsbehandling. Det er hensigten, at rapporterne skal indeholde en afrapportering i
henhold hertil.
Målgrupper
En væsentlig målgruppe er og har altid været kommunalbestyrelsen, som har det
overordnede ansvar for, at der udføres lovmæssig forvaltning i deres kommune.
Denne målgruppe er, med lovforslaget om, at praksisundersøgelserne fra den 1.
januar 2006 skal forelægges kommunalbestyrelserne, blevet yderligere aktualiseret.
Derudover må det antages, at også ministre, folketingspolitikere og embedsmændene
i ministerierne ønsker viden om den faktiske retsanvendelse, der finder sted i
kommunerne. Praksisundersøgelserne er således et redskab, der kan anvendes til at
følge implementering af lovgivning.
Kommunalbestyrelser, Folketing og ministerier synes især at have behov for viden
om:
- Resultaterne af undersøgelsen
- Anbefalinger på baggrund af undersøgelsens resultater
71
72
o Anbefalingerne er udarbejdet på baggrund af en række konstaterede
mangler i de indsendte sager, og er anbefalinger til kommunerne
om, hvor ankeinstansen finder behov for øget fokus
- En kort perspektiverende del, hvor emnet for praksisundersøgelsen sættes
ind i en ramme i forhold til omverdenen.
o I praksisundersøgelsen om fleksjob kan der fx medtages et afsnit
med oplysninger om det samlede antal fleksjobbere på landsplan,
fremhæve paralleller i forhold til andre undersøgelser på området
o Afrapportering af eventuelle generelle spørgsmål. Det kan være
spørgsmål, kommunen har svaret på i forbindelse med indsendelse
af sagerne om fx kommunens samlede ressourceforbrug i årsværk,
oplysninger om antal sager på området om året
- En præsentation af de deltagende kommuner i forhold til den målte kvalitet
af de indsendte sager
Derudover er de kommunale sagsbehandlere og deres administrative ledere en afgørende
målgruppe. Denne gruppe har en interesse i at vide, dels hvordan ankeinstansen
har vurderet legaliteten og kvaliteten af netop deres sagsbehandling, dels at
vide hvordan ankeinstansen i det hele taget vurderer legaliteten og kvaliteten af det
sagsområde som praksisundersøgelsen omhandler.
Sagsbehandlere og deres administrative ledelse synes især at have behov for viden
om:
- Resultaterne af undersøgelsen
- Anbefalinger på baggrund af undersøgelsens resultater i forhold til de enkelte
sager
- Eksempler fra sagerne der danner baggrund for anbefalingerne
- Viden om hvorfor sagsbehandlingen ikke er tilstrækkelig god, og hvordan
bliver den bedre
o hvad skal sagsbehandlerne være særligt opmærksomme på
o gennemgang af de væsentligste retsregler på området i forhold til
de fundne problemer
o gennemgang af SM´ere på området i forhold til problemerne
Ovenstående bør opdeles i forhold til den materielle og den formelle vurdering.
Hidtidig og fremtidig struktur
Hidtil har rapporterne primært rettet sig mod sagsbehandlerne og deres administrative
ledere. De enkelte rapporter har ikke alle haft samme struktur, men har oftest
indeholdt et resumé med Ankestyrelsens anbefalinger, et metodeafsnit med
oplysninger om antal deltagende kommuner og nævn og en afrapportering i forhold
til henholdsvis materielle og formelle problemstillinger i sagerne, dokumenteret
ved hjælp af tabeller med undersøgelsens resultater og eksempler fra sagerne.
I de hidtidige praksisundersøgelser kan resumeet siges både at have givet et overblik
og i et vist omfang videregivet mere detaljerede oplysninger. Tilsvarende har
apporternes kapitler både haft et element af overblikstabeller og detaljeret gennemgang
af sagerne.
Med henblik på at strukturere rapporterne i forhold til målgrupperne kan det overvejes
at gøre resumeet mere fokuseret på overblikket og samtidig gøre kapitlerne
mere fokuserede på indholdet af sagsgennemgangen. Det indebærer ikke nødvendigvis
de store ændringer af rapporterne.
Praksisundersøgelserne skal fortsat være et redskab for sagsbehandlerne, der kan
bidrage til at forbedre deres sagsbehandling. Dette kan ske som hidtil ved, at der
som led i afrapporteringen bliver givet konkrete tilbagemeldinger på, hvordan den
enkelte sag er vurderet. I rapportens kapitler kan der ske en nedtoning af dokumentation
i form af tabeller med undersøgelsens samlede resultater. Kapitlerne vil
til gengæld være præget af eksempler fra sagerne, der illustrerer de problemstillinger
Ankestyrelsen har formuleret sine anbefalinger i forhold til.
Praksisundersøgelser skal desuden være et anvendeligt redskab for beslutningstagere
mv. Rapporternes resumé skal derfor være kort og overskueligt og koncentreres
om hovedbudskaberne, herunder anbefalinger til, hvordan kommunerne kan forbedre
deres sagsbehandling på det pågældende sagsområde.
Derudover kan kommunalbestyrelsen have en interesse i at få viden om, hvordan
kvaliteten af deres kommunes sagsbehandling ligger i forhold til de øvrige deltagere
i undersøgelsen. Endelig har politikerne en interesse i at få viden om, hvilke generelle
problemer der måtte være på et givent lovområde.
Det indstilles, at rapporterne der skal udarbejdes i forbindelse med Ankestyrelsens to
igangværende praksisundersøgelser på forsøgsbasis udarbejdes efter den nedenfor
foreslåede struktur 17 . På baggrund af erfaringerne med disse to rapporter vil den
endelige struktur herefter blive fastlagt.
17
Med de nødvendige tilpasninger som følge af at disse praksisundersøgelser også indeholder
nævnssager.
73
Fremtidig struktur i rapporterne
En struktur på baggrund af det foranstående kan herefter se således ud:
I Beslutningstagerrettet del
74
1. Undersøgelsens resultater, herunder
a. Resumé
b. Resultaterne af undersøgelsen opgjort i tal fremstillet ved hjælp af
overskuelige tabeller.
c. Anbefalinger
2. Undersøgelsens baggrund
a. En kort perspektiverende del, hvor blandt andet årsagen til, at området
er eller bør være genstand for evt. politisk bevågenhed fremhæves.
Formålet med reglerne kan evt. fremhæves. Herudover kan
væsentlige pointer fra undersøgelsens resultater analyses ved hjælp
af statistisk dokumentation og inddragelse af resultater fra andre
undersøgelser
3. En præsentation af de deltagende kommuner på baggrund af undersøgelsens
resultater
II Sagsbehandlerrettet del
4. Viden om hvorfor sagsbehandlingen ikke er tilstrækkelig god, og hvordan
bliver den bedre
a. Anbefalinger der vedrører den materielle vurdering, hvad skal
sagsbehandlerne være særligt opmærksomme på
i. Eksempler fra sagerne der danner baggrund for anbefalingerne
ii. Eksemplerne samles i forhold til de problemstillinger de
vedrører
iii. gennemgang af de væsentligste retsregler på området i forhold
til de fundne problemer
b. Anbefalinger der vedrører den formelle vurdering, hvad skal sagsbehandlerne
være særligt opmærksomme på
i. Eksempler fra sagerne der danner baggrund for anbefalingerne.
Eksemplerne samles i forhold til de problemstillinger
de vedrører
ii. Eksemplerne samles i forhold til de problemstillinger de
vedrører
iii. Gennemgang af de væsentligste retsregler på området i forhold
til de fundne problemer
c. gennemgang af praksis på området i forhold til problemerne
(SM´ere, nævnspraksis, Ombudsmandspraksis m.v.)
5. En bilagsdel bestående af:
a. Undersøgelsens omfang, - antal kommuner og antal sager
b. Eventuelle tabeller
c. Metodeafsnit
d. Regelgrundlaget
e. Relevante SM´ere
f. Måleskema
75