AT SCORE OG MÅLE - MED KVALITET - PÅ DET SOCIALE OMRÅDE OG UDFORDRINGERNE VED IMPLEMENTERING AF MÅLREDSKABER Vibeke Lehmann Nielsen, professor Institut for Statskundskab, Aarhus Universitet og SFI Min baggrund og forudsætninger for at stå her i dag…. Professor i offentlig forvaltning Tilknyttet SFI, afdelingen for børn og familie – kommunernes indsats overfor socialt udsatte børn og unge Konsulent for Århus Kommune i forbindelse med udarbejdelsen af deres resultatdokumentationskoncept – og efterfølgende for KL på pilotprojekter

Struktur på oplæg Om at måle – med kvalitet - på det sociale område Spørgsmål – og diskussion Implementering og implementeringsudfordringer Spørgsmål og diskussion

Formålet med resultatdokumentation/scoring af forandring i psyko-social tilstand Ledelsesinformationsredskab Dialogredskab – med hhv. øvrige professionelle omkring barnet og brugerne/borgerne Hjælperedskab til at sikre gode og dynamiske handleplaner Ikke effektmåling…. !

Præmissen(erne) for at disse formål indfries Målinger med kvalitet – dvs. troværdige og praktisk brugbare data Men dårlige data kan forekomme på to måder

Undgå at vi får ”dårlige data”: Stiller krav til: Selve målingsredskabet, samt Implementeringen af redskabet

Selve redskabet: En fundamental erkendelse At undersøge og måle noget godt kræver 1) at gå på kompromis med det altomfavnende og perfekte OG 2) at kende og erkende begrænsningerne ved det man får undersøgt og målt. Analyse af flerheder (mellem enheder eller over tid) vs. portræt af enkeltheder. (analyse vs. holisme) At tæmme kompleksiteten. For kompleksiteten giver ikke overblik, men overvælder. Men: Analysen skal stadig være troværdigt, relevant og i overensstemmelse med virkeligheden Derfor: At vælge med klogskab og fortolke/handle med ydmyghed At se skoven for bare træer

Problem: I forbindelse med sociale fænomener kan vi sjældent måle det egentlige abstrakte fænomen, som vi er interesseret i. Derfor operationelle definitioner og indikatorer

Validitetskæden Abstrakt begreb: Fx. Det gode børneliv – med handicap Teoretisk definition: Hvordan “undersøgeren” definerer begrebet i ord Operationel definition: Klassifikationsregler om, hvilke data/information undersøgeren ser som relevant som følge af begrebets definition Operationel definition – ofte et spørgsmål om, hvilke underliggende dimensioner, der ligger i begrebet Børne liv – kommer jeg ind på senere Dataindsamling og kodning: Indsamling og brug af information (indikatorer) til at måle/klassificere i h.h.t. den operationelle definition

Så: Hvad er gode indikatorer og gode målinger? De skal måle væsentlige dimensioner ved det grundlæggende sociale fænomen, man er interesseret i Dimensionerne skal ses (eller komme til at kunne ses) som væsentlige for alle relevante aktører Der skal arbejdes systematisk og helhedsorienteret med dem – så man ikke mister helhedsbilledet De skal være overskuelige at arbejde med De skal måle på en sådan måde, at det skaber mulighed for systematisk dataanalyse De skal måle på en sådan måde, at muligheden for ”privat støj” og overfortolkning af ”privat støj” er minimeret så godt som muligt Privat støj – synsninger i stedet for fagprofessionelle normer

Hvad man spørger ind til og hvordan man spørger ind Hvad man spørger ind til og hvordan man spørger ind. Relevans og troværdighed af data/information

Resultatdokumentation i Aarhus Kommune – selve indikatorerne Indikatorer på ”Det gode børneliv” Udvikling og adfærd Familieforhold Daginstitution, skole og beskæftigelse Sundhedsforhold Fritidsforhold og venskaber For børn yderligere: Selvhjulpenhed, tilknytning og kriminalitet For unge yderligere: Hverdagsliv, misbrug og kriminalitet For handicappede børn/unge yderigere: Selvhjulpenhed, livsduelighed, kommunikation Skævt eller bullseye i forhold til fænomenet ”det gode børneliv”?

Resultatdokumentation i Aarhus Kommune – selve målingen Score og dermed resultat/udviklingsmål gående fra 0-4. Hvorfor det? – Hvorfor ikke mere nuanceret? Er det ikke for grove kategorier? Jo mere detaljeret/findelt – jo større risiko for, at vi fortolker på ”privat støj”. Tilliden til nuancernes troværdighed bliver lav. Studier viser, at man får mere usikkerhed i datamaterialet ved store skalaer. Men det er konservativt og forsigtigt! – hvilket man også skal huske i fortolkningen af data.

Spørgsmål?

Implementering af nye initiativer – ledernes og medarbejdernes rolle

Hvorfor overhovedet bekymre sig om implementering? Intet redskab er bedre end: Den måde det bliver anvendt på 2) Den proces, hvormed det bliver indkørt overfor de mennesker, som skal bruge det - fordi et nyt redskab er at bede folk om at ændre praksis

Implementering: Processen, hvor ny viden, tanker, ideer, politikker, beslutninger, lovgivning etc. føres ud i livet. Ofte: Praksisændring…. Man skal gøre noget andet end man plejer

Hvorfor overhovedet bekymre sig om implementering Hvorfor overhovedet bekymre sig om implementering? - Det værdibaserede argument Principal vs. agent De legitimt valgte beslutningstagere Værdier vi i et demokrati knytter til forholdet mellem forvaltningen (de ansatte) og politikerne (de valgte): Politisk loyalitet Responsivitet Ansvarlighed – herunder også en professionel ansvarlighed Principalen er afhængig af agenten i realiseringen af mål/udøvelse af arbejder – og hermed i implementeringen af ny viden/nye metoder Især den sidste kan give konflikt i forhold til de øvrige….

Det store og det lille fællesskab

Implementeringsproblemer: Den klassiske historie …. De vrangvillige medarbejdere – The run-away bureaucracies

Men hvad siger forskningen Men hvad siger forskningen? - Hvad skal der til for, at man – reelt - ændre adfærd? Praktisk muligt Viden og kendskab Tilslutning til målet Tilslutning til midlet (troen på det bagvedliggende årsags-virkningsargument) Tilslutning til arbejdsopgaver Troen på, at det kan betale sig at ændre adfærd Hvorfor: Ellers dekopling og dermed rituel/symbolsk implementering – i værste fald sabotage

Faldgruber og optimizers Praktisk muligt Manglende back-up/teknologiske systemer Manglende koordinering med enheder man er afhængig af Ikke implementere før back-up/it er i orden Tværgående samarbejder. Fora hvor problemer vendes og hvor løsning findes. Hvem er der snitfalder med? Viden og kendskab Udbredt til for få - herunder ikke til aktører man er afhængig af Fortsat uddannelse/info til alle relevante aktører – god kommunikation Tilslutning til målet Ofte ikke relevant i forbindelse med socialpolitik – bred konsensus om det ikke-ønskværdige i fx socialt udsatte børn etc. Tilslutning til midlet a) Eksistensen af grundlæggende tvivlere b) Usikkerhed og svigtende tro fordi resultater udebliver a) Viden om evidens, skarp på argumenter b) Hold gryden i kog: Fx netværk på tværs af enheder, dialoggrupper, ”de gode historier” c) En implementeringsperiode, hvor man øver sig og skaber erfaringer

Faldgruber og optimizers Tilslutning til arbejdsopgave Medarbejdere kan ikke længere identificere sig med arbejdsopgaver Afklaringssamtaler Flytte til andre opgaver Tro på at det kan betale sig at ændre adfærd Svigtende ledelsesmæssig fokus ”Alligevel ny politik om et halvt år” Blot en kamufleret sparplan Fastholdelse af ledelsesfokus fx via institutionaliseret opfølgning/afrapportering Troværdighed og tålmodighed fra politisk og adm. ledelses side Troværdighed om, hvordan resultaterne af det nye vil blive anvendt Ro – ikke en ny idé/et nyt koncept om 6 mdr.

Altså: Optimering af implementeringsproces er en ledelsesopgave Implementering handler bl.a. om: Målfasthed Troværdighed Beslutsomhed Evnen/viden til at overbevise Overblik over relevante aktører Optimering af implementeringsproces er en ledelsesopgave Ordholdenhed ……

Er det så alt sammen ledelsens opgave og ansvar? Årsager til vrangvillighed på medarbejderniveau : Dovenskab – gider ikke ændre praksis Usikkerhed på egne evner til at udføre den nye praksis Ny praksis strider mod professionelle normer/forståelsesmåder – opfattelse, hvad der er rigtig hhv. forkert metode/teknologi

Medarbejdernes rolle… Villighed til at se kritisk og åbent på egne professionelle normer – hvad bunder normerne og forståelsesmåderne i? Respekt for, at det at følge de demokratisk legitimt vedtagne beslutninger er et grundvilkår for offentligt ansatte. Ærlighed overfor sig selv – hvor vigtigt er det? Kan jeg slet ikke leve med lugten i bageriet? Er det sjovere at være medspiller end modspiller? Social baggrund, livsstile, personlige værdier, professionernes og professionsmedlemmernes policy præferencer og identifikationspunkter i arbejdet? Forlade – eller arbejde med acceptere at man ikke skal bestemme alt (måske er det et vilkår i alle jobs…)

Altså: Både ledelse og medarbejdere spiller en vigtig rolle i og har et vigtigt ansvar for implementeringen

Summa summarum…

Hvad skal der til for, at et scorings/resultatdokumentationskoncept bliver en succes - del 1 – Måden det bliver anvendt på. Systematiske procedurer for, hvordan viden fra resultatdokumentationen og dens målfastsættelse bliver integreret i og understøtter handleplanen Systematiske procedurer for, hvordan vurdering af psyko-social status, bevægelse i status og målfastsættelse foretages

Hvorfor er systematiske procedurer vigtige? Ellers ikke sammenlignelige data – over tid, mellem sager Ellers får vi ikke etableret et fællessprog og en fælles forståelse Ellers bliver det blot endnu et papir, der skal udfyldes, men som ikke kvalificerer handleplanen og dermed forbedre indsatsen

Hvad skal der til for, at et resultatdokumentationskoncept bliver en succes - del 2. En frugtbar implementeringsproces… karakteriseres ved at ledere søger at optimere processen (optimizers nævnt ovenfor) OG medarbejdere, som erkender deres rolle - og dermed fungerer som medspillere….