Skitse til en sammenhængende evalueringsstrategi for det sociale område - Særligt mhp ældreområdet Ole Gregersen Afdelingsleder Socialforskningsinstituttet Temaeftermiddag i Aalborg 8. februar 2006

Disposition Evalueringssystem – hvorfor? Viden til hele styringskæden Den elektroniske journal Randomiserede kontrolgruppeforsøg Hvad skal vi gøre anderledes?

Evalueringssystem – hvorfor? Kvalificere beslutningen om at fortsætte som hidtil eller at gøre noget andet, f.eks. via Effektmåling af den enkelte metode Systematisk benchmarking af kommuner og leverandører Kollektiv udnyttelse af erfaringerne

Kommuneaftalen Et hovedprincip for den fremtidige dialog er, at den offentlige sektor har en forpligtelse til løbende at sikre den bedst mulige ressourceudnyttelse og dokumentere opgaveløsningens effekt, kvalitet og ressourceforbrug (s. 11) Hovedprincipperne (bl.a. ovennævnte) skal udmøntes ved følgende: Styringen skal … i højere grad tag afsæt i mål og rammer og dokumentation for målopfyldelse frem for detailstyring Der etableres et samarbejde mellem regeringen og KL om bedre ressourceudnyttelse, dokumentation af opgaveløsningen og effektmål i kommunerne (s. 12) Et af principperne for styringen af kommunernes opgavevaretagelse er, at den statslige styring tilrettelægges om mål- og rammestyring, baseret på dokumentation af effekt, output og brugertilfredshed frem for detailstyring (s. 13).

Styringskæden Minister og folketing Kommunalbestyrelsen Forvaltningen Lovgivningsmæssig ramme, generel formål og (minimums)krav til indsats Kommunalbestyrelsen Udfyldning af lovgivningsramme: specifikation af ressourcer, krav til indsatsens omfang (visitationskriterier) og kvalitet, samt det forventede resultat Forvaltningen Visitation samt aftaler med leverandører Leverandøren Udføre de aftalte foranstaltninger/leverencer

Vidensproduktion i en løbende evaluering af det sociale område Svar på relevante spørgsmål Minister/Folketing Kommunalbestyrelse Evaluerings- system Forvaltningen Leverandøren Oplysninger om den enkelte sag

Elektronisk journal Eks: Ældreområdet Den ældres tilstand Kontekstuelle faktorer Iværksatte foranstaltninger/indsatser Ressourceforbrug Kunne formodentlig bygge på Fælles Sprog

Vidensproduktion i en løbende evaluering - eksempel: ældreområdet Ankesystemet Ankesager Praksis- undersøgelser (?) Visitator/bestiller den ældres tilstand Kontekstuelle faktorer Iværksatte foranstaltninger (inkl. Forventet varighed og mål) Ressourceforbrug Overvågning af implementering Central database/statistik Indsamle information fra den elektroniske journal til et register Udarbejde statistik Forskning Problemprofiler Ydelsesmønstre Effekt- og effektivitetsstudier Indikatorer for best practise (visitation, indsatser, leverandører) Benchmarking af kommuner og af leverandører Incidensstudier Internationale sammenligninger Overvågning af effekter og effektivitet Succesindikatorer baseret på best practise

Hvordan skaber et sådant system nytteværdi?

Flere randomiserede kontrolgruppeforsøg – hvorfor er der så få på det sociale område? Etik: Hvor etisk forsvarligt er det at undlade en formodet effektfuld indsats over for en kontrolgruppe – bare for at få videnskabelig dokumentation for effekten? Men omvendt: Hvor etisk forsvarligt er det at gennemtvinge eller tilbyde en indsats, man ikke ved virker? Randomiserede forsøg – en mulig strategi I stedet for at sammenligne en given indsats med at gøre ingenting, kan man sammenligne med en anden veldefineret indsats: Det vigtige er, at valget mellem den ene og den anden behandlingsform i forsøgsperioden sker tilfældigt. Organisering: På det sociale område er forskning (effektmåling) adskilt fra praktikken

Hvad skal gøres anderledes? Klart formulerede formål med alle foranstaltninger, der skal evalueres Ensartet registrering af sagen på individniveau (CPR-nr) på tværs af sager, leverandører og kommuner – i elektronisk journal Datafangst til nationale databaser Ingen ny foranstaltning uden kontrolgruppeforsøg, der viser, at foranstaltningen er lige så god eller bedre end hidtidige foranstaltninger Systematisk og målrettet distribution af analyseresultater til styringskædens forskellige aktører