Metoder til effektevaluering af indsatser

Præsentationer af emnet: "Metoder til effektevaluering af indsatser"— Præsentationens transcript:

1 Metoder til effektevaluering af indsatser
Niels M. Søndergaard, konsulent, Metodeenheden Danmarks Evalueringsinstitut. Hvilke metoder er der til effektmåling af indsatser? Hvordan måler man effekten af indsatser? EVA’s erfaringer med forskellige metoder.

2 Dagsorden Fortælle om metoder til effektevaluering af indsatser.
Fortælle om EVA’s erfaringer. Aftalt oplæget med Poul i maj. To dele dels

3 EVA’s erfaringer To pilotprojekter indenfor effektevaluering:
Kontrafaktisk tilgang: Evaluering af tiltag til at nedbringe frafald på erhversuddannelser. Virkningsevaluering: Evaluering af effekten af læsevejledere. Projektleder Fortæller om erfaringer samtidig med præsentation af tilgange. Fokus på erfaringerne

4 Hvad er en indsats? En indsats er ”noget vi gør” for at opnå et bestemt mål. Eksempel: Er mentorordninger er en effektiv strategi til at forhindre frafald på erhversuddannelser? Metoder til at måle det. Hvordan kan vi måle det? Metoder til enkelte indsatser – kvalitetssikringssystemet – holde øje med hvordan det går med Kvalitetssikringssytemet – supergodt – men

5 Hvad er grundideen i effektevaluering?
Handler om at konstatere forskelle i de resultater/udfald/outcome man opnår Og henføre forskellen til indsatsen.

6 Hvorfor er det svært at måle effekter?
Verden står ikke stille mens indsatsen foregår. ”Mange andre forhold end vejledning påvirker den unges gennemførsel af uddannelserne og der kan næppe fastlægges entydige sammenhænge mellem vejledningsindsats og effekt målt som eksempelvis gennemførsel af en uddannelse” . Man taler om ”trusler mod den interne validitet” eller om at ”sociale systemer er åbne systemer” Effektmåling handler om kausalitet Samtidig med indsatsen foregår der utrolig mange andre ting Det gør det svært at isolere effekten af indsatsen.

7 To familier af tilgange til evaluering af effekter
En kontrafaktisk tilgang til effekt (klassisk effektevaluering) Virkningsevaluering. (klassisk effektmåling - eksperimentelle og quasi-ekseprimentelle metoder (dvs. statistiske tilnærmelser til eksperimentelle metoder) En processuel tilgang til effekt / realistic evaluation/contribution analysis).

8 Den kontrafaktiske tilgang
Effekt er lig de resultater/det udfald vi opnår via indsatsen minus de resultater vi ville have opnået hvis vi ikke havde gennemført indsatsen. Det er ikke muligt på samme tid både at deltage i en indsats og ikke at deltage i en indsats. Derfor sammenligner vi udfaldet for sammenlignelige grupper.

9 Hvorfor er den kontrafaktiske situation vigtig? Nogle eksempler
Af 100 arbejdsløse akademikere vil et antal i løbet af 12 måneder komme i job uanset om de deltager i et jobskabelsesprojekt eller ej. Af årige der deltager i et anti-ryge indsats vil en større andel ryge når de er 15 år end da de var 13. Derfor kan programmet godt være effektivt alligevel. Maturation Det simple før-efter mål er ikke nok

10 Hvilke metoder kan man anvende?
Forskningsdesigns der bruger kontrolgrupper Statitistiske tilnærmelser til forskningsdesigns der bruger kontrolgrupper, f.eks. matching, propensity score matching Statistisk kontrol for tredje variable (regressionsanalyse).

11 Kendes fra Socialområdet (f.eks. SFI CAMPBELL)
(www. Udviklingshjælp (f.eks. DANIDA) ( (se under ”evaluering af udviklingshjælp”) Uddannelsesområdet (i USA) (What Works Clearinghouse Men er i bund og grund den samme metode der anvendes til effektstudier indenfor f.eks. medicin eller effekstudier af psykoterapi (ex. Vi ved alle at kognitiv terapi er virksomt mod depression? Hvorfra?

12 Et af EVA’s projekter: Frafald på den merkantile grunduddannelse (hg)
Problemstilling: Nedbringer de tiltag der er taget af erhvervsskolerne i perioden frafaldet på hg? Metode: Logistisk regressionsanalyse. Data: Registerdata fra Danmarks Statistik, samt indberetninger til Undervisningsministeriet. Vi prøver at vurdere effekten af tiltagene samtidig med at vi kontrollerer for baggrundsfaktorere som etnicitet, forældres uddannelsesbaggrund, alder, køn, om eleven tidligere har afbrudt andre uddannelser osv. Inspireret af 95% målsætningen, Opbygget teoretisk model ud fra litteratur. Derefter operationaliseret. Data fra danmarks statistik …

13 Hvilke krav stiller den kontrafaktiske tilgang? - 1
Resultaterne skal kunne måles Realistiske og klart definerede mål Indsatsen skal være velbeskrevet Indsatsen skal være implementeret som beskrevet Har konsekvenser for policy-formulering og implementering (hvis alle modtager indsatsen, er det ikke muligt at effektevaluere) Formål bør være producere generaliseret viden – for stort et apparat til en summativ evaluering.

14 Hvilke krav stiller den kontrafaktiske tilgang? - 2
Metoderne kræver omfattende teknisk viden Etiske problemstillinger Nogle af metoderne er meget ressourcekrævende Tilgangen egner sig bedst til centralt niveau – international arbejdsdeling? I Danmark har vi nogle gode ressourcer til brug for effektmåling i form af Danmarks Statistiks registre. Etik

15 Virkningsevaluering Er en processuel tilgang til evaluering af effekter. Kaldes også realistic evaluation, contribution analysis o.a. Omtales ofte som en modsætning til en kontrafaktisk tilgang til effekt, men måske kan tilgangene med fordel opfattes komplementære? Videnskabsteoretisk forskel – nogle retnigner – store, andre små. Omtales af en mængde forfattere indenfor evalueringfeltet: Patton, Dahler-Larsen, Chen, Major, Pawson & Tilley, Davidson osv.

16 Hvad er grundideen i tilgangen?
Ide: bag enhver indsats ligger der en ide om hvordan den virker. Den udfolder vi i en såkaldt programteori. Ofte ligger programteorien ikke fix og færdig, men skal rekonstrueres. Grundspørgsmålet er derefter om de forestillinger der ligger bag en indsats også fungerer i praksis og om vi når de mål vi gerne vil nå. Efterprøve om programteorien også fungerer i virkeligheden og hvilke resultater den skaber. (en systematisk realitetstest af om det fungerer i praksis som i teorien).

17 Et eksempel på en programteori
Kontekst Kontekst Indsats Resultat/ outcome De studerende får en hurtigere og bedre løsning på de problemer de tumler med Øget kvalitet af gennemførselsvej-ledning Mindsket frafald og hurtigere gennemførsel Flere tager en vejlederuddannel-se Flere timer til vejledning Øget omfang af gennemførselsvej-ledning Evt. læsevejleder

18 EVA-projekt: Virkningsevaluering af læsevejleder-indsatsen
Problemstilling: Hvornår og hvordan er det en god ide at satse på læsevejledning som indgang til at udvikle lærernes praksis – og derigennem forbedre elevernes læsefærdigheder? Metode: case-studie af læsevejledere på tre skoler i en kommune Datagrundlag: læsetest, interview, spørgeskemaundersøgelse, observationer.

19 Erfaringer med virkningsevaluering - 1
Resultatet af denne type evaluering er ikke et facit man kan slå to streger under. I stedet handler det om at sandsynliggøre at indsatsen virker. Stiller færre krav til standardisering af indsats og implementering. Tilgangen egner sig godt hvor der er variationer i implementering og andre lokale variationer Giver vigtig proces-viden om hvor indsatsen kan forbedres. Vigitg proces –viden imosætning til klassisk effektmåling. Tættere på kausalitet hver enkelt led i køden. Kan se hvor det går det galt. Kan også bruges hvor det ikke er muligt, hvor der ikke kan betale sig at lave en klassisk effektmåling.

20 Erfaringer med virkningsevaluering - 2
På trods af at tilgangen er mere kvalitativ fungerer den bedst med et kvantitativt udtryk for resultatet/udfald/outcome. Vi mangler eksempler på gode analyser. (meget fint teoretisk arbejde, men for lidt arbejde i praksis) Metoden skal modnes – eksemplariske analyser – gedigen.

21 Eksempler på tilgangen
Evaluering af læsevejledning (offenliggøres i december) Rambøll Management, Evaluering af ”Forældrepålæg (SEL §57a)” ( Patton, M. Q. (2008). Advocacy Impact Evaluation. Journal of MultiDisciplinary Evaluation, 5(9):