KONTROLLEREDE FORSØG EVALUERING AF MENTORFORSØGET 2013 JOACHIM BOLL Alternative title slide.

Præsentationer af emnet: "KONTROLLEREDE FORSØG EVALUERING AF MENTORFORSØGET 2013 JOACHIM BOLL Alternative title slide."— Præsentationens transcript:

1 KONTROLLEREDE FORSØG EVALUERING AF MENTORFORSØGET 2013 JOACHIM BOLL JOAB@R-M.COM Alternative title slide

2 DAGSORDEN Principperne og roller i kontrollerede forsøg Hvad evalueres der i dette forsøg? Indhold i den kvantitative del Indhold i den kvalitative del, herunder jobcentrenes deltagelse i interviews mv. Progressionsmålingen og indspil til vores allesammens vidensgrundlag! Content slide

3 EVALUERING Effektevaluering Virkningsevaluering

4 MEGET KORT FORANDRINGSTEORI

5 EFFEKTEVALUERINGEN RCT er en god metode fordi vi får simple og meget solide effektestimater Men effektestimatet fortæller os ikke hele historien Indsatsen virker, men hvorfor? Indsatsen virker ikke, men måske gør nogen dele? Det virker i nogle jobcentre, men ikke i andre, hvorfor? Content slide, two columns with image

6 ELEMENTER I RCT EVALUERINGEN Implementeringsanalyse Afdække praktiske og konceptuelle issues  feedback til projektejer og medvirke til at rette projektet ind i opstartsperioden Evaluering af projektindhold og fidelitet Er den lokale indsats gennemført som forudsat? Hvilke indsatselementer er blevet fremhævet, underspillet, ignoreret? Hvad er de unikke karakteristika for hver lokale enheds implemenering? Baseres på kvalitative, registreringsdata, survey Effektevaluering Følger deltager- og kontrolgruppe ~12 mdr. i registerdata Én slutrapport der integrerer den kvalitative og kvantitative analyse Content slide, with top bar image

7 [ADD HEADLINE] [Add text] METODER I DEN KVALITATIVE DEL Casebesøg (interviews med deltagere, sagbehandlere, ledere, mentorer) Registreringssystem Mentorsurvey Afdække mentorstrategier, indholdet i den udførte mentoring Progressionsmåling blandt deltagere Mellemliggende faktorer (motivation, sociale kompetencer, helbred) Dark grey fact box

8 TIDS- OG AKTIVITETSPLAN Evalueringens hovedaktiviteter Hvornår kommer vi ud i jobcentrene?

9 Progressionsmåling Spørgeskemaundersøgelse måler deltagernes motivation, velbefindendende mv. Op til 4 gange med 3 mdr. mellemrum Oversigt over progressionen hos forsøgsdeltager/kontrolgruppe Centrale progressionsmål som input effektanalysen (forklarende faktorer) Mentorsurvey Webbaseret survey blandt alle tilknyttede mentorer Data om mentorernes strategi og indholdet i den gennemførte mentoring Kvalitativ analyse Ca. 15 Interview med mentorer Interview med deltagere (gruppeinterviews med 3-5 deltagere i alle jobcentre) Interviews med jobcenterledelse i alle jobcentre Interview med sagsbehandlerrepræsentanter i alle jobcentre Beskrivelse af det konkrete indhold i den gennemførte mentoring Beskrivelse af organisering af mentorindsatsen, herunder ledelsesfokus og samarbejde sagsbehandler/mentor Beskrivelse af evt. forskellige modeller for mentorrollen Vurderet relevans blandt mentorer og deltagere og sagsbehandlere Afdækning af evt. jobcenterforskelle i forsøgets implementering og indhold Effektanalyse Effektanalyse på baggrund af registerdata Der inddrages forklarende variable fra progressionsmåling, mentorsurvey Opgørelse af forsøgets effekter Cost benefit

10 TIDSPLAN FOR EVALUERINGEN Forberedelse af mentorsurvey og casebesøg nu Kontakter JC for planlægning af casebesøg august 2013 Gennemførelse af casebesøgaugust-oktober 2013 Gennemførelse af mentorsurveyseptember 2013 Effektanalysemarts-april 2014 Rapportmaj 2014

11 PROGRESSIONSMÅLING OG NY VIDEN Hvad går forud for succes? Hvad skal vi styre efter?

12 PROGRESSIONSMÅLINGEN En gentagen survey til alle deltagere i mentorforsøget Uddannelses- og beskæftigelsesperspektiv Hverdagsmestring og sociale kompetencer Sundhed og mentalt velbefindende Gennemføres ifbm. opfølgningssamtaler hos sagsbehandler, dvs. hver 3. md.

13 EKSEMPEL PÅ AT ”ÅBNE DEN SORTE BOKS” BETYDNING AF DELTAGEROPLEVELSE FOR SYGEDAGPENGEMODTAGERE I ”AKTIVE HURTIGERE TILBAGE”

14 ÅBNE DEN SORTE BOKS II BETYDNING AF MENTALT VELBEFINDENDE FOR KTH MATCH 2 I ”PÅ RETTE VEJ - I JOB”

15 HVORDAN BRUGES PROGRESSIONSMÅLING Hvis der ingen effekt er, kan vi så vise anden progression? Kan vi vise sammenhæng mellem progression og effekt? Beskæftigelse og uddannelse er målet, men hvad skal vi styre efter undervejs? International forskning viser noget Men kun lidt viden om svage grupper Forsøg giver os en unik mulighed for at se hvad der betyder noget: Helbred, velbefindende, arbejdsmotivation, netværk, realisme

16 OVERORDNET MODEL FOR EVALUERING Deltager i mentorforsøget Effekt på uddannelse og beskæftigelse Ledelsesfokus etc. Mentorrolle Antal samtaler Mentorstrategi Implementering Indhold Organisering af indsats. Sociale kompetencer Motivation Progressionsfaktorer Helbred og velbefindende

17 Endslide.