Præsentation er lastning. Vent venligst

Præsentation er lastning. Vent venligst

Effektstyring ved hjælp af kerneårsagsanalyse

Lignende præsentationer


Præsentationer af emnet: "Effektstyring ved hjælp af kerneårsagsanalyse"— Præsentationens transcript:

1 Effektstyring ved hjælp af kerneårsagsanalyse
Tak for invitationen! Det er spændende at få lov til at præsentere for ligesindede med interesse for resultatbaseret styring og evaluering. Formålet med denne præsentation er at give jer et redskab til at arbejde med effektstyring eller resultatbaseret styring i jeres organisation og projekter. Efter præsentationen vil I kunne: Identificere resultater i offentlige indsatser Identificere antagelserne bag indsatserne Opstille målbare mål på resultater. Oplægget er baseret på et upubliceret notat, som I kan bruge som vejledning til at arbejde med effektstyring. Jeg vil først give jer en præsentation af redskabet, og derefter vil der være mulighed for spørgsmål og diskussion.

2 Hvorfor? Hvorfor giver heldagsskolen resultater? Hvorfor giver et seks ugers kursus for ledige resultater? Hvad er antagelserne bag at patienter skal betale gebyrer for at udeblive fra undersøgelser eller behandling? Centralt i resultatbaseret styring er at tydeliggøre antagelserne om, hvorfor indsatsen giver resultater, fordi antagelserne forbinder indsats med resultater. Og når vi vil effektmåle via teoribaseret evaluering belyser vi ikke kun selve implementeringen af indsatsen (hvordan), men vi skal også teste antagelserne bag indsatsen (hvorfor). Tydelige antagelser betyder: det kan gøre det lettere at prioritere ressourcer til indsatser: Man bruger kun kroner til indsatser, hvor der er en begrundet forestilling om, at de kan gøre en forskel undgår aktivitetsfælder - det muliggør systematisk at koble aktiviteter til ønskede resultater og dermed forebygge, at man iværksætter aktiviteter, der ikke har nogen mulighed for at påvirke problemløsningen det øger sandsynligheden for, at målinger vurderer på relevante effektmål

3 Logisk model implementeringsteori forandringsteori
Ressourcer Aktiviteter Præstationer Kortsigtet virkning Mellemlang virkning Langsigtet virkning implementeringsteori forandringsteori Den klassiske logiske model bruges gerne som redskab i den resultatbaserede styring, fordi den kan tydeliggør, hvad der er er indsatser og resultater. Implementeringsteorien repræsenterer det man gør, og forandringsteorien repræsenterer det man vil opnå. Forandringsteorien er resultaterne. Modellen er pligtpensum, når man er evaluator. Man får ikke i tilstrækkelig grad antagelserne bag at vælge bestemte ressourcer, aktiviteter og præstationer frem. Det er mere en tjekliste for, at man gør det og det, end der er tale om antagelser for indsatsen. Det er mere hvordan end hvorfor. Dvs. at man kan dokumentere, at man gør det og det – implementering, men man kan ikke dokumentere, at det man gør bidrager til resultater – at man gør det rigtige. Jeg vil præsentere ATM-modellen eller kerneårsagsanalysen, som den er præsenteret af den amerikanske evalueringsforsker Ralph Renger, fordi denne model kan få antagelserne bag indsatsen frem. Kilde: Australske evalueringsforsker Patricia Rogers

4 University of Arizona, College of Public Health Ralph Renger Ph.D.
Associate Professor Ralph Renger kritiserer den måde, man arbejder med førnævnte logiske modeller, hvis der ikke er lavet et ordentligt forarbejde før præsentationen af modellen. For Renger er logisk modellering først og fremmest en proces, hvor problemet defineres, og hvor årsagerne til problemet indkredses – hvor man får antagelserne bag indsatsen frem. Modellen ser således ud:

5 Kerneårsagsanalyse (ATM-modellen)* – antagelserne kommer frem
Problem Årsag Problemet er defineret ude til højre i modellen. Derefter vises årsagerne til problemet, hvor de årsager der ligger helt ude til venstre i modellen er de grundlæggende årsager til, at problemet eksisterer. Renger kalder disse for ”root-causes” eller kerneårsager. Årsagerne er antagelserne. Hvorfor denne ATM-model? det øger muligheden for, at planlæggerne kan se problemstillingens sammenhæng, dvs. hvilke faktorer der er årsag til problemet, og det er en vigtig forudsætning for at designe en god indsats det gør det lettere for beslutningstagere at fokusere indsatsen det gør det lettere at se, hvilke resultater indsatsen kan påvirke og dermed være ansvarlig for at det kan styrke nytænkningen i indsatsen, fordi det at identificere årsager indsatsen ikke tidligere har haft øje for, kan betyde, at indsatsen bliver designet og arbejder på en ny måde * Amerikanske evalueringsforsker Ralph Renger

6 Modellen lægger meget vægt på det visuelle – visuel planlægning – som bekendt kan et billede sige mere end tusinde ord. Der er lavet adskillige kognitive undersøgelser, der peger på, at det visuelle gør, at vi som mennesker husker langt bedre.

7 Trin 1 - Kerneårsagsanalyse
Problem der kan omformuleres til formål Jeg vil nu guide jer igennem modellens tre trin. Modellen fremstår lidt småt og uoverskuelig, så jeg vil læse den højt. Formålet med trin 1 i ATM-modellen er at udvikle et visuelt kort over indsatsens problem og dets årsager Problemet er vist ude til højre i figur 3. Årsagerne til problemet vises efterfølgende. Disse årsager identificeres via interviews med eksperter og via evidensbaseret viden på området. Eksperterne kan være forskere, men også personer som til daglig er tæt på problemet: sygeplejersker, arbejdsmiljøkonsulenter, uddannelsesplanlæggere m.m. Problemet kan være influeret af bl.a. adfærdsmæssige, miljømæssige, sociale og biologiske forhold Intervieweren spørger ”hvorfor” Under interviewet tegner intervieweren ATM-modellen på en whiteboard eller på PowerPoint for at visualisere problemets sammenhæng. Intervieweren begynder at tegne problemet ude til højre og bevæger sig derefter baglæns. Hvorfor Hvorfor Hvorfor Hvorfor Kilde: Renger, Ralph og Carolyn Hurley (2006): ”Lessons learned in the application of the ATM approach to developing logic models”, i Evaluation and Program Planning, 29,

8 Trin 2 - Fokusere indsatsen
Formålet med trin 2 i ATM-modellen er at fokusere, hvilke indsatser der skal påvirke de årsager, der kan medvirke til at løse problemet. I de offentlige indsatser sidder vi med begrænset tid og ressourcer til at løse sociale problemer. Derfor er det vigtigt, at vi prioriterer, hvilke årsager der er realistiske at påvirke med de ressourcemæssige rammer, vi har til rådighed. I denne prioritering lægger vi vægt på, at der er evidens for, at de aktiviteter, vi vil bruge til at påvirke årsager, kan påvirke årsagerne. Renger oplyser, at den logiske model efter fase 1 kan bestå af op til 80 årsager til problemet . Det er selvfølgelig urealistisk at påvirke alle disse årsager. Planlæggerne skal sammen med interessenterne og via den eksisterende viden afgrænse og fokusere, hvilke årsager de vil koncentrere sig om. . Det er kun logisk, at indsatsen retter sig mod de identificerede årsager. Hvis det ikke er tilfældet, vil der være tale om aktivitetsfælder, hvor indsatsens aktiviteter ikke kan forventes at bidrage til problemets løsning. Organisationen, der står for indsatsen, skal prioritere de årsager: som ligger inden for organisationens formål som kan forandres hvor der er evidens i litteraturen for, at der er sammenhæng mellem årsag og problem . Interessenterne stemmer på årsagerne ud fra ovennævnte prioriteringsliste. Stemmeflertal afgør, hvilke resultater organisationen og dens samarbejdspartnere finder vigtige. Organisationen skal forklare: hvilke af de prioriterede årsager den vil påvirke med en indsats hvordan indsatsen vil skabe forandringer i de prioriterede årsager hvilken implementeringsprotokol den vil udarbejde for indsatsen. Sidstnævnte implementeringsprotokol er en plan for aktiviteter, metoder, organisering og målgruppe. Implementeringsprotokollen skal sikre, at indsatsen kan gentages i eventuel andre sammenhænge, ved at indsatsmagerne er tydelige på, hvad det er de gør. Trin 2 giver et overblik over, hvad indsatsen retter sig mod, og hvilke årsager den ikke retter sig mod. Det giver et billede af, at problemløsning også kræver, at andre årsager (de hvide bokse) skal påvirkes med indsatser. Det gør planlæggere opmærksomme på, at de eventuelt skal inddrage andre organisationer i et samarbejde for at løse problemet. Trin 2 giver også planlæggerne et billede af, hvilke resultater indsatsen kan holdes ansvarlig for, og den giver evaluatorerne et billede af, hvilke resultater der med rimelighed kan tilskrives indsatsen og dermed hvilke resultater, de skal evaluere på. Kilde: Renger, Ralph og Carolyn Hurley (2006): ”Lessons learned in the application of the ATM approach to developing logic models”, i Evaluation and Program Planning, 29,

9 Kortsigtede, mellemlange og langsigtede effekter
Styrke kommunikation og relation mellem sygeplejersker og læger Mindske udbrændthed og stress Styrke arbejdsmiljøet for sygeplejersker Årsagerne kan deles op i korte, mellemlange og langsigtede resultater

10 Identificere samarbejdspartnere
Kilde: Renger, Ralph og Carolyn Hurley (2006): ”Lessons learned in the application of the ATM approach to developing logic models”, i Evaluation and Program Planning, 29,

11 Trin 3 - Opstille indikatorer
Formålet med trin 3 er at opstille målbare mål eller indikatorer for de årsager, indsatsen retter sig mod, så det er muligt at måle på resultaterne i indsatsen. Ved at kende indsatsens problem, indhold, varighed og resultater der kan forventes i evalueringens tidsrum, vil det ifølge Renger være ligetil at formulere indikatorer: hvem, hvornår, hvad og hvor meget. Forudsætningen for at opstille gode indikatorer for indsatsen er ifølge Renger, at vi skal vide, hvad vi vil forandre (årsagerne), hvorfor vi vil forandre (problemet), og hvordan denne forandring vil opstå (indsatsen). Derfor er ATM-modellen et godt grundlag for at opstille gode indikatorer. Kilde: Renger, Ralph og Carolyn Hurley (2006): ”Lessons learned in the application of the ATM approach to developing logic models”, i Evaluation and Program Planning, 29,

12 Kritik af ATM-modellen
Får vi fat i mekanismerne eller antagelserne bag den offentlige indsats? Eller taler vi ikke stadig om en lineær, variabel orienteret tilgang? De engelske evaluatorer Pawson og Tilley vil sige, at vi stadig beskæftiger os med en social regularitet med observer- bare variable. Vi får ikke fat i mekanismerne i indsatsen. Hvad betyder ikke-observerbare mekanismer - den svenske evalueringsforsker Evert Vedung siger, at mekanismer afgiver ikke lyd, så de kan ikke høres, de afgiver ingen lugt, de kan ikke føles gennem berøring, de kan ikke ses. Men alligevel er de virkelige, men vi kan ikke erkende dem med vores sanser, fordi de foregår i menneskers hoveder. ( Vedung og Dahlberg 2013, s. 102)

13 Spændende artikel Astbury, Brad og Frans L. Leeuw (2010), ”Unpacking Black Boxes: Mechanisms and Theory Building in Evaluation”, i: American Journal of Evaluation, 31(3), Informere om mekanisme-begrebet og hvordan det kan identificeres i teoribaseret evalueringer.

14 Sociale indsatser kan være enkle, komplicerede og komplekse
at bage en kage Komplicerede – at sende et menneske til månen Komplekse – at opdrage et barn Opskriften er fundamentet Manualer er nødvendige Manualer har begrænset anvendelsesmulighed Opskrifter er afprøvede for at sikre nem gentagelse Succesfuld opsendelse af en raket øger sikkerheden for, at den næste opsendelse også vil være ok At opdrage det første barn giver erfaring, men er ingen garanti for succes med at opdrage det næste Der kræves ikke nogen specifik ekspertise. Men erfaring med bagning øger succesraten Det er nødvendigt med et højt niveau af ekspertise på forskellige fagområder for at sikre succes Ekspertise kan bidrage til opdragelsen, men er hverken nødvendig eller tilstrækkelig til at sikre succes Opskriften producerer standardiserede produkter Raketter er på afgørende områder ens Et hvert barn er unik og skal forstås som et individ De bedste opskrifter producerer gode resultater hver gang Der er stor sandsynlighed for resultatet Resultatet er usikkert Ralph Renger begynder ude til højre i den logiske model med at definere problemet. Han pointerer, at der blandt interessenterne skal være enighed om problemformuleringen, da uenighed vil betyde, at indsatsens formål vil være tvetydigt og løsningerne vil gå i forskellige retninger. Rengers ATM-model antager en klar mål-middel sammenhæng, og at der kan skabes enighed blandt interessenterne om denne sammenhæng. Dette kan dog ikke altid honoreres af den sociale virkelighed. Den sociale virkelighed kan dog være præget af såkaldte ”ondartede problemer” med forskellige fagperspektiver, værdier og interesser, hvor det kan være vanskeligt at nå frem til en entydig problemformulering. Kilde: Patton, Michael Quinn (2011): Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use. The Guilford Press

15 Solid vidensbase ATM-tilgangen antager, at der er en solid vidensbase i form af forskning og teori, der kan påvise sammenhænge mellem problem og årsager og sammenhænge mellem årsagerne. Ralph Renger skønner, at op til 90 % af modellen kan verificeres via en eksisterende vidensbase . Denne antagelse kan være problematisk i en samfundsvidenskabelig sammenhæng, hvor teorierne kan være af generel karakter og vanskelige at operationalisere på konkrete problemområder. Teknologien inden for det samfundsvidenskabelige område kan være tvetydig. Måske mere realistisk inden for sundhedsvidenskab og folkesundhedsvidenskab??

16 Andre evalueringsformer end effektevaluering
Renger har fokus på resultatdelen i sin logiske model og er inde på, at det er den del evaluatorerne primært skal interessere sig for. Denne fokus på én evalueringsform: resultatbaseret evaluering i form af monitorering og effektmåling, betyder, at andre evalueringsformer så som evaluability assessment, needs assessment, procesevaluering og monitorering på indsatsdelen negligeres. Evaluatorer kan også virke i forhold til design og gennemførelse af indsatser og ikke kun virke i forhold til at evaluere på resultatdelen af indsatsen. Renger nævner evalueringsformer som procesevaluering og monitorering på indsatsdelen, men pointerer også, at ressourcer og aktiviteter ikke bør nævnes i den logiske model, da det er indsatsmagernes ansvar, mens resultatdelen, som vises i Rengers model, er evaluatorernes ansvar.

17 Q & A


Download ppt "Effektstyring ved hjælp af kerneårsagsanalyse"

Lignende præsentationer


Annoncer fra Google