Faglig refleksion og selvevaluering gennem effektmålingsredskaber (Progressionsmålingsredskaber) Malene Arnfast Bruun, Københavns Kommune Martin Bæksgaard Jakobsen, New Insight

Program Præsentation og program Rammesætning Tre slags progressionsmålinger, - med øvelse Betydning for handleplan, - med øvelse Betydning for faglig dialog og ledelse Perspektiverne for progressionsmålinger

Rammesætning Hvem er vi og hvorfor har vi behov for progressionsmålinger? Hvad er progressionsmåling? Gentagne målinger over tid på samme indikatorer Indikatorer, der siger noget om slutbrugers tilstand eller kompetencer Tilstand eller kompetencer, der ligger i forlængelse af en indsats (effekt/outcomes).

Tre grundlæggende forskellige kerner/forståelser Objektiv funktion eller tilstand Mestring af situationen Forholden sig til/erkendelse af problem

Objektiv funktion eller tilstand Bedømmelse af funktion eller graden af problem Erkendbar af 3. person – den professionelle Har sin berettigelse Eksempler: Måling til opfølgning på politiske mål Måling til myndighedens visitation og grundlag for budgettildeling

Mestring af situation: Eksempel Forandringskompas for borgere med handicap Kompasset skal sætte fokus på indsatser, som giver borgerne en øget oplevelse af livskvalitet og selvhjulpenhed. Forandringskompasset er et redskab som skal bidrage til at formidle og dele viden om hvilken virkning, borgerne får af de indsatser, vi i forvaltningen tilbyder. Kompasset skal på den måde bidrage til at skabe viden og læring om effekten af indsatsen for borgerne Mestringsperspektivets berettigelse Når man ikke har en forandringsteori Et løft af den faglige dialog på handicapområdet

Forandringskompas for borgere med handicap som redskab Redskab for personalet følge den enkelte beboers udvikling konkret kvalificere den pædagogiske drøftelse af indsats dokumentere udvikling / vedligehold forbedre samtalen med beboeren Redskab for borger/pårørende følge sin egen udvikling konkret får dokumentationen visuelt stille relevante spørgsmål til personalet om indsats, støtte m.m. få større indflydelse på egen udvikling / hverdag bedre mulighed for inddragelse af pårørende

Værdiskalaer?

Implementeringsaktiviteter

Forholden sig til/erkendelse af problem Outcomes Star Et redskab til både at understøtte og dokumentere udvikling hos borgere. Et redskab, der bruges af medarbejder og borger sammen. Bruges som integreret del af socialfagligt arbejde – og forbedrer det.

Outcomes Den forandring, der sker med borgerene Ikke output – dvs. ikke borgertilfredshed, kvalitetssikring, performance management, aktivitetsregistrering. Bløde og hårde outcomes FORHOLDEN SIG TIL!!

Outcomes Star/ Hjemløsestjernen

Baggrund Prototype udviklet af Triangle til St. Mungos i 2003 Revideret og første gang officielt udgivet i 2006 Bottom-up udviklet sammen med borgere, medarbejdere og ledere i 9 mdr.

Forandringsrejsen – eller den transteoretiske model 5 – Selvstændig/ uafhængighed 4 – Lærer/ Handler 3 – Tror/ Forberedelse 2- Accepterer hjælp/ Erkendelse 1 – Fastlåst/ Før-erkendelse

Reflektionsrum Finde 7-8 ’reflektorer’ med borgerkontakt eller –kendskab (case) Del op i 7-8 grupper 3-4 grupper arbejder med progressionsmåling ud fra mestring 3-4 grupper arbejder med progressionsmåling ud fra forholden sig/erkendelse

Øvelse i at score… ’Reflektor’ repræsenterer en borger (rollespil?) Udfyld hhv. Kompas eller Outcomes Star på 2-3 dimensioner. Fysisk helbred, sundhed Psykisk helbred, trivsel og tryghed ?? Fælles opsamling

Opsamling på score-øvelse Hvordan er det at sætte tal på et menneske? Datasikkerhed – validitet og reliabilitet? Hvad kan man måle med de to/tre redskaber? Hvori består de respektive udfordringer?

Erfaring med Kompas Fra synsning til faglig vurdering og observationer Styrker notater og skriftlighed i det hele taget Styrker daglig fokus på formål med indsatsen Udbreder kendskabet til borgeren Mindsker blinde pletter Gør kritik mere faglig og mindre personlig Nødvendigt med kompleksitet, men det er svært Udfordring når progression ikke er mulig eller hvor det kun kan gå tilbage Scoren, er det kompromis eller konsensus?

Erfaringer med Outcomes Star Opfanger de meget små fremskridt – de 80 % Differentiering af en meget homogen masse Validitet og reliabilitet Kræver: faglig og personlig indsigt regelmæssig kontakt rum for egentlig socialt arbejde god tid til samtale Refleksion over og øvelse med scoring

Erfaringer med handleplan i OS OS giver et udgangspunkt for dialog om problemer og muligheder. Strukturerer og prioriterer en samtale Illustrere eller usynlige fremskridt. Målrette indsatser (bestillinger)

Datarapporter til faglig dialog og ledelsesdialog Eksempel fra Københavns Kommune Fra tal til fortællinger Ledelsesdialog Brugerstatusrapporter, - gruppebillede Forandringsrapporter

Udvikling i Materiale og Produkter gennem ledelsesdialogen Centerledelserne og centerchef-kredsen med DU Datarapporter og fortællinger Målgruppe og Direktion Analyser og læring fra fortællingerne Afdelingsleder og Tilbudsleder Datarapporter

Ledelsesopgave i forhold til den årlige rapportering Afdelingsledere og tilbudsledere Opgave: Faglig dialog om effekt, på yderste niveau. Rapportering: Den gode historie og det lærende eksempel. Centerledelse Opgave: Strategisk ledelsesdialog i relation til centeret. Rapportering: Læring, overvejelser og eventuelle initiativer. DU og Centerchefkredsen Opgave: Strategisk ledelsesdialog i relation til handicapområdet. Rapportering: Læring, overvejelser og eventuelle initiativer på tværs. Målgruppemøde (DIR,DU,MY,Tværgående) Opgave: Gensidig Orientering

Brugerstatusrapport

Tilbud 1 Profil af to borgergrupper. Er det en bekræftelse af målgrupperne for de to tilbud eller er der også overraskelser i forskellene? Tilbud 2

Forandringsrapport

Tilbud 1 Tilbud 2

Er der noget I undrer jer over eller som overrasker? Spørgeguide til refleksion over Brugerstatusrapporten, som viser den aktuelle kompasscore for borgerne tilknyttet tilbuddet, - et kompasgruppebillede. Hvordan stemmer gruppebilledet overens med jeres målgruppebeskrivelse og jeres forventning? Er der noget I undrer jer over eller som overrasker?

Spørgeguide til refleksion over forandringsrapporten, som viser forandringen for den samlede gruppe af borgere og i relationen til teamets samlede indsats – teamorienteret Hvilke faglige indsatser har der været på afdelingen som helhed? Har det afspejlet sig i brugernes/borgernes scoringer? Er der noget, som har overrasket jer, eller som undrer jer, i det billede som scoringerne viser? Den gode historie: hvad kan i særlig grad fremhæves som effektfulde indsatser? Behov for udvikling: Hvor er det svært at spore en effekt af indsatsen? Hvor ser det derfor ud til at der er behov for udvikling? Hvad kunne det give anledning til af initiativer i centeret?

Lederopgaven Strategiske drøftelser på baggrund af: Tilbuddenes bearbejdning af data Den gode historie fra afdelinger og tilbud Behov for udvikling fra afdelinger og tilbud Spørgsmål til drøftelse i centerledelsen: Hvad ved vi? Hvad viser data? Hvad har vi undret os over? Er der noget vi vil holde øje med? Hvad har vi fået af ideer til læring på tværs, fælles udfordringer mv.? Hvad gør vi? Er der initiativer vi selv kan tage i centeret? Er der noget, vi skal bringe op mellem centre? Har vi noget viden, som skal udbredes til andre?

Data fra Outcomes Star Stjernen som grafik – individuel, aggregeret, filtreret Tabelrapport og rådata Fordeling af progression, regression, stagnation Kobler progression til indsats – effekt.

Plenum refleksion Hvad ser I som umiddelbare problemstillinger, når vi bruger aggregeret data?

Progressionsmålingsredskaber i fremtiden? ”Vi ved fortvivlende lidt om, hvad der sker i den offentlige sektor” ”Vi har brug for flere og bedre data, så vi kan holde de offentlige ledere ansvarlige” ”I stedet for en masse regler…, er der brug for klare krav til, hvilke resultater de offentlige institutioner opnår” Peter Birch Sørensen Formand for produktivitetskommissionen Politiken, 10.0.13

Progressionsmålingsredskaber i fremtiden? Beskæftigelsesområdet – centralt progressionsmålingsredskab Sociale og psykosociale – ikke systematisk brug Specialområderne, fx autisme 36

Malene: VN92@sof.kk.dk Martin: mbj@newinsight.dk Tak for i dag Malene: VN92@sof.kk.dk Martin: mbj@newinsight.dk