Hvordan vurderer jeg effekter af indsatser? - workshop om effektmåling Ved Danmarks Evalueringsinstitut (EVA) 19. august 2013

Program 10.00-10.10: Velkomst og program for dagen 10.10-10.30: Oplæg om forskellige tilgange til vurdering af effekter 10.30-14.10: Oplæg og arbejde med indsatsteori (både oplæg og arbejde med case) inklusiv 35 min til frokost 14.10-15.45: Oplæg og arbejde med brug af sammenligningsgrupper (både oplæg og arbejde med case) 15.45-16.20: Arbejde med case ud fra selvvalgt fokus 16.20-16.30: Opsamling på dagen i plenum

Forskellige tilgange til at vurdere effekt

Hvad er effekt? Definition på effekt: Evidens: Årsags-virkningssammenhæng (kausalsammenhæng) mellem en indsats og et mål. En indsats har først en effekt, hvis den kan forklare hele eller dele af ændringen i et ønsket/uønsket resultat (mål). Evidens: Evidensbegrebet forbindes ofte med viden om indsatsers effekt (hvad virker) Evidens begrebet er bredere end effekt Evidence: ”the available body of facts or information indicating whether a belief or proposition is true or valid” Kilde: Oxford Dictionaries

Hvad vil det sige at vurdere effekter? Indsats Den indsats der sættes i gang for at løse et problem for en given målgruppe Resultat Et mål der kan beskrive i hvor høj grad problemet er løst for målgruppen

Fundamentet i vurdering af effekter Om indsatsen: Indsatsen er afgrænset så vi ved hvilke tiltag der hører til indsatsen og hvilke der ikke gør Vi ved hvem der er målgruppen for indsatsen Vi skal have viden om at indsatsen er implementeret Om resultatmålet: Vi har en klar forestilling om hvad indsatsen skal påvirke og vi kan måle det Om tidsperspektivet: Vi har gjort os nogle tanker om hvornår det er rimeligt at tro at indsatsen har haft en effekt

Eksperimentel tilgang Kendetegn Processuel tilgang Eksperimentel tilgang Metodegreb Teste indsatsteori Sammenligne indsatsgruppe med kontrolgruppe Hvilken viden? -Hvordan indsatsen fører til et resultat og indblik i kontekstfaktorer -Viden om implementering -Viden om hvordan man justerer indsatsen -Får viden om indsatsen har en effekt og omfang af effekt Metoder -Virkningsevaluering -Contribution analysis -Realistic evaluation -Lodtrækningsforsøg -Difference in difference -Matching -Før- eftermåling EVA-projekter -Evaluering af betydningen af arbejdet med pædagogiske læreplaner -Evaluering af Tosprogs-Taskforcen -Sprogvurderinger 2009 -AMU-kurser – et springbræt til videreuddannelse -Effektmåling af skolepraktik -Effektmåling af 10. klasse -Effektmåling af læseindsatser

Virkningsevaluering

Virkningsevaluering Virkningsevaluering handler om at undersøge hvordan og hvorfor en indsats virker, for hvem og under hvilke omstændigheder. Fokus på den betydning konteksten har for indsatsen og resultatet.

To faser ved virkningsevaluering 1) Man opstiller en teori for indsatsen: Bag enhver indsats ligger nogle antagelser om, hvad, hvordan og hvorfor vi tror en indsats virker for at nå et mål. Teorien gør disse antagelser tydelige. 2) Dernæst tester man teorien, gerne ”real time” Ved hjælp af forskellige typer data undersøger vi om indsatsen rent faktisk implementeres som det var tænkt om og hvordan indsatsen fører til de ønskede resultater

Virkningsevaluering kræver en indsatsteori Udfordring Overgangen mellem hu og uu er for mange elever vanskelig Indsats: Netværk mellem tidligere hu-elever og hu-lærere Netværket består både af tidligere hu-elever som lige er påbegyndt en uu og tidligere hu-elever som har været i gang med deres uu i længere tid. Netværket mødes ugentligt fra august – november. Møderne foregår på hu-tilbuddet. En hu-lærer faciliterer netværksmøderne Eleverne deler tanker, følelser og erfaringer med at påbegynde en uu. Eleverne får redskaber til at håndtere vanskelige situationer Eleverne oplever at de er i stand til at håndtere nye udfordringer Mål (kort sigt) Eleverne fastholdes i de første 3 måneder i uu. Mål (lang sigt) Eleverne gennemfører en ungdomsuddannelse De ‘erfarne’ elever fortæller om deres overgang fra hu til uu og om deres tid på uu. Eleverne bliver inspireret af de gode historier Eleverne trives Eleverne fastholder relationen til deres hu-kammerater Eleverne oplever at de ikke står alene med deres oplevelser

Hvad kan en indsatsteori bruges til? (1) I planlægningsfasen: fokusere indsatsen og tydeliggøre sammenhængen mellem aktiviteter og mål opnå et fælles billede af antagelserne – og gøre implicitte antagelser eksplicitte træffe en fælles beslutning om hvor kompleks eller enkel indsatsteorien skal være synliggøre behov for prioritering/fokusering

Hvad kan en indsatsteori bruges til? (2) I gennemførelsen: tydeliggøre hvilke aktiviteter der skal gennemføres, og hvilke indikatorer og succeskriterier, der skal følges/holdes øje med/registreres I evalueringsfasen: udgøre en ramme for evaluering af indsatsen

Virkningsevaluering kræver en indsatsteori Udfordring Overgangen mellem hu og uu er for mange elever vanskelig Indsats: Netværk mellem tidligere hu-elever og hu-lærere Netværket består både af tidligere hu-elever som lige er påbegyndt en uu og tidligere hu-elever som har været i gang med deres uu i længere tid. Netværket mødes ugentligt fra august – november. Møderne foregår på hu-tilbuddet. En hu-lærer faciliterer netværksmøderne Eleverne deler tanker, følelser og erfaringer med at påbegynde en uu. Eleverne får redskaber til at håndtere vanskelige situationer Eleverne oplever at de er i stand til at håndtere nye udfordringer Mål (kort sigt) Eleverne fastholdes i de første 3 måneder i uu. Mål (lang sigt) Eleverne gennemfører en ungdomsuddannelse De ‘erfarne’ elever fortæller om deres overgang fra hu til uu og om deres tid på uu. Eleverne bliver inspireret af de gode historier Eleverne trives Eleverne fastholder relationen til deres hu-kammerater Eleverne oplever at de ikke står alene med deres oplevelser Kontekstfaktorer Dét læreren har indflydelse på: Trygge rammer, god facilitering, møderne bliver afholdt etc. Dét læreren ikke har indflydelse på: Elevernes travlhed (på studie, job..), dynamikken mellem eleverne etc.

På hvilket grundlag opstilles indsatsteori ? Forandringsteorien kan opstilles ud fra: Egen viden Forestillinger Strategier, handleplaner og lign. Forskning og/eller undersøgelser Lovtekster/bekendtgørelser osv.

Øvelse Lav en grafisk opstilling af din indsatsteori. Beskriv følgende i nævnte rækkefølge: Udfordringen Målet (lang sigt) Målet (kort sigt) Indsats Virksomme mekanismer (trin på vejen) Kontekstforhold Placér de gule sedler i en kausal rækkefølge. Omplacér dem hvis der er behov for det.

Støttespørgsmål: Udfordringen: Hvilken konkret udfordring ønsker I at løse? Hvad tror I er årsagerne til udfordringen? Hvilke årsager til udfordringen er det realistisk at gøre noget ved? Indsatsen: Hvilke aktiviteter består indsatsen af? Hvad skal være på plads, for at indsatsen kan gennemføres? Hvad skal være på plads for at indsatsen har den virkning, I forventer? Virksomme mekanismer: Hvilken adfærdsændring vil I gerne se? Hvilke processer skal indsatsen være med til at forbedre/ændre/sætte i gang? Målet: Hvad vil I i sidste ende opnå med jeres indsats? Hvad har ændret sig som resultat af indsatsen? Kontekstforhold: Hvad har især betydning for om indsatsen kan implementeres og målene nås?

GOD ARBEJDSLYST!

Test af virkningsevaluering

Virkningsevaluatoren som detektiv og analytiker Evaluator følger virkningskæden fra indsats til resultat og undersøger hvert led i indsatsteorien. Er indsatsen blevet implementeret som forudsat i indsatsteorien, eller er der tale om implementeringsfejl? Har resultaterne indfundet sig som forudsagt af indsatsteoriens antagelser, eller er der tale om teorifejl?

Dataindsamlings-metode Tre hjælpere Tegn / indikator Succes-kriterium Dataindsamlings-metode Hvilke tegn skal vi se efter, for at kunne vurdere om vi er på rette vej Hvornår kan vi konstatere, at vi har opnået vores mål? Hvad er godt nok? Hvilken type data kan fortælle os om de tegn, vi leder efter?

Dataindsamlingsmetoder Tests: Er den ønskede forandring i præstationerne sket? Fokusgrupper Hvordan har indsatsen medført et ønsket resultat? Hvad har især fungeret godt? Hvad skal der til for at det virker? Hvem profiterer bedst? Interviews Hvordan virker indsatsen i praksis hos den enkelte? Observationer Kan vi iagttage de forandringer vi havde forventet? Spørgeskemaer Udbredelse og fordeling af praksis og holdninger Protokoller /kommunale oplysninger

Virkningsevaluering kræver en indsatsteori Tegn/ Indikator: Eleverne lytter aktivt og respektfuld til hinandens fortællinger. Dataindsamlingsmetode Læreren observerer . Udfordring Overgangen mellem hu og uu er for mange elever vanskelig Indsats: Netværk mellem tidligere hu-elever og hu-lærere Netværket består både af tidligere hu-elever som lige er påbegyndt en uu og tidligere hu-elever som har været i gang med deres uu i længere tid. Netværket mødes ugentligt fra august – november. Møderne foregår på hu-tilbuddet. En hu-lærer faciliterer netværksmøderne Eleverne deler tanker, følelser og erfaringer med at påbegynde en uu. Eleverne får redskaber til at håndtere vanskelige situationer Eleverne oplever at de er i stand til at håndtere nye udfordringer Mål (kort sigt) Eleverne fastholdes i de første 3 måneder i uu. Mål (lang sigt) Eleverne gennemfører en ungdomsuddannelse Tegn/ Indikator: Flere elever fastholdes de første 3 måneder på deres uu. De ‘erfarne’ elever fortæller om deres overgang fra hu til uu og om deres tid på uu. Eleverne bliver inspireret af de gode historier Eleverne trives Tegn/ Indikator: Tidligere hu-elever deltager i netværket Tegn/ Indikator: Eleverne har lyst til at gå i skole om morgenen. Succeskriterium 95 % af eleverne fastholdes de første 3 måneder. Eleverne fastholder relationen til deres hu-kammerater Eleverne oplever at de ikke står alene med deres oplevelser Succeskriterium Eleverne deltager i min. hvert andet møde. Dataindsamlingsmetode hu-tilbuddet indsamler data om de pågældende elever fra uu. Dataindsamlingsmetode Læreren spørger eleverne om dette forb. med netværksmøderne. Dataindsamlingsmetode Lærerne noterer fremmøde ved hvert møde Kontekstfaktorer Dét læreren har indflydelse på: Trygge rammer, god facilitering, møderne bliver afholdt etc. Dét læreren ikke har indflydelse på: Elevernes travlhed (på studie, job..), dynamikken mellem eleverne etc.

Øvelse: Test din egen indsatsteori Opstil indikatorer eller ”tegn” for de vigtigste led? Formuler succeskriterier? Hvilke data kan du bruge til at teste de vigtigste led?

Den eksperimentelle tilgang

Den eksperimentelle tilgang – hvad skal vi høre om? Hvilket effektræsonnement bygger tilgangen på? Effektmål baseret på årgangen inden indsatsen gennemføres Effektmål baseret på en før- eftermåling

Hvad kendetegner den eksperimentelle tilgang? Forsøger at besvare spørgsmålet: Hvad var der sket hvis de personer der modtog indsatsen ikke fik den? Tid 0 Tid 1 Indsatsgruppe Indsatsgruppe Kontrolgruppe Kontrolgruppe Hvad betyder det i praksis? Fokus er rettet mod at skabe en kontrolgruppe der ligner indsatsgruppen Meget lidt fokus på teori om hvordan indsatsen virker Indsats

Forskellige eksperimentelle metoder Lodtrækningsforsøg Kvasi-eksperimentelle metoder (komplicerede) Difference in difference Matching Regressionsmodeller Kvasi-eksperimentelle metoder (pragmatiske) Bruge årgang inden som kontrolgruppe Før- eftermålinger

Årgangen inden indsats bruges som kontrolgruppe Brug årgangen inden at indsatsen blev gennemført som kontrolgruppe. Træk kontrolgruppens resultatmål fra indsatsgruppens resultatmål En farbar vej hvis man tror at årgangene før indsatsen kan sammenlignes med den årgang der får indsatsen

Årgangen inden som kontrolgruppe – et eksempel Titel: Kontaktlærere på folkeskolerne Indsats: Ved starten af skoleåret 2013/2014 ansættes der kontaktlærere på et antal folkeskoler som skal øge elevernes kendskab til ungdomsskolens tilbud. Målgruppe: Elever i ungdomsskolealderen. Mål: Eleverne får et øget kendskab til ungdomsskolen og flere elever bruger ungdomsskolens tilbud. Mulige resultatmål: Kendskab til ungdomsskolen, brug af ungdomsskolens tilbud. Indikator på effekt: Er der større kendskab til ungdomskolen og større brug af ungdomsskolens tilbud efter indførelsen af indsatsen.

Effektmålet er kun en indikator Ens forudsætninger i kontrolgruppe og indsatsgruppe (Er årgangene sammenlignelige?) Er der andre faktorer end indsatsen der kan skabe forskelle mellem indsatsgruppe og kontrolgruppe (fx andre indsatser eller tiltag for at få flere til at bruge ungdomsskolen) Har faktorer i omverdenen forandret sig (fx øget aktivitet fra andre aktører der henvender sig til målgruppen, sportstilbud, musiktilbud osv..) Kræver ensartet registreringspraksis for kontrol- og indsatsgruppe (vi skal altså have registreret antal elever i ungdomsskolen på samme måde for de to årgange). Kan målgruppen defineres ensartet på tværs af årgangene (har der fx været skolesammenlægninger)? Er indsats og kontrolgrupperne store nok (Hvis målgruppen pr. årgang er ca. 300 og der fx er 25 % der bruger ungdomsskolen, så er der en usikkerhed på 5 % på hver årgang)?

Kan man finde en anden sammenligningsgruppe? Hvad med bare at sammenligne med andre skoler for de samme årgange? Problemer Har eleverne på sammenligningsskolerne i udgangspunktet samme lyst/motivation, incitament, forudsætninger. Vi ved at elevgrundlaget fra folkeskole til folkeskole kan være meget forskelligt. Så her skal man passe meget på. Det kan endda være at man har udvalgt indsatsskolerne fordi det er skoler der i særlig grad har brug for ungdomsskolen. Eller det er måske skoler der har lav aktivitet. I så fald er indsatsgruppen i udgangspunktet bag ud på point. Det kan også være at der er andre indsatser på de andre skoler Og sidst kan faktorer i omverdenen påvirke skolerne forskelligt.

Kan vi reducere betydningen af nogle af de her problemer ved at kombinere de to tilgange? Problemer ved at se på årgangen inden Problem 1: faktorer i omverdenen ændrer sig Problem 2: indsatser ændrer sig over tid Problem ved at se på andre skoler fra samme årgang Problem 3: eleverne på kommunens skoler er forskellige

Effekt af kontaktlærere – forskellen på forskellene – tænkt eksempel Årgang 1 Årgang 2 Tid2-Tid1 Skole 1-3 20 % bruger ungdomsskolen 30 % bruger ungdomsskolen (indsatsgruppe) 10 procentpoint Skole 4-6 25 % bruger ungdomsskolen 22 % bruger ungdomsskolen 3 procentpoint Forskellen på forskellen = 10 – (-3) = 13 procentpoint

Fordele ved dette design: Såfremt omverden-faktorerne rammer skolerne nogenlunde ens, så er designet robust over for disse faktorer (men det kan selvfølgelig diskuteres) Designet er robust over for indsatser der implementeres på alle skoler. Designet er i nogen grad robust over for forskellige i elevgrundlag, da der ses på forskelle. Men der er en grænse for hvor store forskelle der må være tale om. forbehold/udfordringer: Har skolerne nogenlunde samme elevgrundlag på tværs af årgange? (tjek med data) Er det sandsynligt at der ikke gennemføres forskellige indsatser på skolerne som fordrer at man går i ungdomsskole Er vi sikre på at kontrolgruppen ikke har nydt godt af indsatsen? Er datagrundlaget stort nok? Ensartet registreringspraksis? Etisk udfordring – er det fair at det kun er nogle skoler der får indsatsen?

Kan en før- eftermåling bruges som effektmål? Stil spørgsmålet: Hvis indsatsgruppen ikke havde fået indsatsen ville deres resultater så være status quo i indsatsperioden Giver mulighed for at bruge udvikling i resultatmål for indsatsgruppen som effekt Vi bruger altså i princippet indsatsgruppen som deres egen kontrolgruppe ved at måle på dem inden de får indsatsen og efter de har fået indsatsen Effekten er forskellen på de to måleresultater

Før- eftermåling - et eksempel Titel: IT – satsning (Silkeborg ungdomsskole) Målgruppen: lærerne på ungdomsskolen Indsats: Lærerne skal på kursus i brug af IT i undervisningen. Mål: At lærerne bliver fortrolige med brug af IT i undervisningen. Effektmål: Stigning i brug af IT i undervisningen. Brugen af IT i undervisningen før kurset sammenlignet med efter kurset

Forbehold Er det rimeligt at antage at lærernes brug af IT havde været status quo såfremt de ikke havde været på kursus? Er det rimeligt at antage at måletidspunkterne er sammenlignelige. Hvis pensum før er mindre IT-rettet end efter, så kan det være en falsk effekt vi finder frem til. Antallet – er der nok lærere til at lave en kvantitativ sammenligning. Stor usikkerhed på estimaterne. Programeffekt/indsatseffekt i forhold til at måle øget brug – derfor vigtigt at få data på lidt længere sigt og evt. også data fra andre aktører end lærerne selv Er det vigtigt at undersøge en kvantitativ forskel? …

Ofte er det ikke muligt at bruge den eksperimentelle tilgang Resultatmål er svære at kvantificere Meget forskellige succeskriterier for målgruppen For få i indsatsgruppen og/eller kontrolgruppen Svært at afgrænse hvem der får indsatsen Tidsperspektivet: Effekt når ikke at indtræde på det anvendte resultatmål Ikke muligt at danne kontrolgruppe

Øvelse: Kan I bruge den eksperimentelle tilgang? Kan I bruge ”årgangen” inden indførelse af indsats som kontrolgruppe i jeres case? Hvis I kan, hvilke udfordringer kan der være? Kan I lave en før- og eftermåling på Jeres indsatsgruppe og bruge det som effektmål? Hvis I ikke kan noget af ovenstående, så prøv at blive skarp på jeres argumentation

Litteratur EVA’s hjemmeside: Øvrig litteratur: Håndbog I indsatsteori, video om indsatsteori og andet godt: http://www.eva.dk/tema/indsatsteori Hvordan kan man evaluere effekter: http://www.eva.dk/udgivelser/2012/effektevaluering-notat Øvrig litteratur: Steward Donaldson (2007): Program Theory-Driven Evaluation Science: Strategies and Applications Michael Q. Patton (2008): Utilization-Focused Evaluation, 4.th ed.. Sage. (Kap 10). Peter Dahler-Larsen og Hanne Kathrine Krogstrup (2003): Nye veje i Evaluering. Forlaget Systime Academic Krevi (2008) Den logiske model http://krevi.dk/publikationer/rapporter/den-logiske-model Charlotte Hansen og Maria Rye Dahl (2012): ”Virkningsevaluering og progressionsmåling som input i beslutningstagen”, paper til Nordisk Evalueringskonference 2012

Tak for i dag!