Hvad virker i aktiveringsindsatsen? Thomas Bredgaard, Lektor, P.hd. thomas@dps.aau.dk Daghøjskoleforeningen, 24 april 2012

”Som det første vil jeg tage fat i aktiveringsspørgsmålet ”Som det første vil jeg tage fat i aktiveringsspørgsmålet. Jeg har gravet mig igennem lovkomplekset, siden jeg blev minister, og er fuld af beundring over, at det er lykkedes politikerne at lave aktiv arbejdsmarkedspolitik, der ikke kan bruges«, sagde Mette Frederiksen . Jyllandsposten, 2. november 2011. Politiken, 1. november 2011

Projektets formål Undersøge, hvad der virker for hvem, under hvilke omstændigheder Hvad kan vi lære af de succesfulde aktiveringsforløb? Udvikle håndbog i virkningsevaluering Hvordan kan jobcentre og andre leverandører blive bedre til at undersøge og dokumentere virkningerne af deres indsatser? Hvordan kan vi gøre mere af det, der virker?

Hvad har vi undersøgt? Tre unge-projekter forankret i henholdsvis en privat, kommunal og socialøkonomisk virksomhed. For unge med problemer ud over ledighed. Projekternes formål er at få de unge i primært uddannelse, sekundært job. Afklaringsforløb, kommunalt beskæftigelsesprojekt for kontanthjælpsmodtagere (18-60 år) med problemer udover ledighed (match 2). Formålet er, at afklare borgernes kompetencer og kvalifikationer ift. arbejde, uddannelse eller andre beskæftigelsesfremmende foranstaltninger Jobrotation: Et projekt hvor fortrinsvis arbejdsmarkedsparate ledige bliver ansat som vikarer i ældresektoren, mens ordinære medarbejdere tilbydes opkvalificering på social- og sundhedshjælperuddannelsen (SSH-uddannelsen). Derefter skal vikarerne selv gennemføre SSH-uddannelsen. Virksomhedspraktik: Undersøgt virksomhedspraktik i 4 kommuner. Målrettet ledige med mangelfulde kompetencer eller ledige med behov for afklaring af beskæftigelsesmål. Målet er ordinær ansættelse, uddannelse eller etablering af løntilskudsstilling. Privat og offentligt løntilskud: Undersøgt i 4 kommuner. Målrettet fortrinsvis arbejdsmarkedsparate ledige mhp. ordinær ansættelse

Hvordan har vi undersøgt det? Teori Kontekst (C) Mekanismer (M) Outcome (O) Hypoteser Hvad forventes at virke for hvem, under hvilke omstændigheder Observationer Multiple metoder og analyse af C, M, O Program-specifikationer Hvad virker for hvem, under hvilke omstændigheder Litteraturstudie Konstruktion af programteorier Interviews af projektmedarbejdere og job/virksomhedskonsulenter Validering af programteorier: Interviews af ledige og virksomheder Resultatopgørelser af effekter ift. job og uddannelse

Hvad er virkningsevaluering? C + M = O Context + Mechanism = Outcome Under hvilke omstændigheder? Hvorfor? Hvad virker?

Virkningsevaluering bygger bro… Eksperimentel evaluering Virkningsevaluering (realistisk evaluering) Konstruktivistisk evaluering Undersøgelses-spørgsmål Virker det? Hvad virker for hvem, hvorfor og under hvilke omstændigheder? Hvordan opleves og opfattes virkningerne? Fokus Overvejende effektorienteret Effekt og proces Overvejende procesorienteret Metode Overvejende kvantitativ Kvalitativ og kvantitativ Overvejende kvalitativ Teori om forbindelse mellem indsats og effekt Kausalteori Generativ teori Ingen Vidensideal Kontekstuafhængig Global viden Kontekst, mekanisme, outcome Kontekstafhængig Lokal viden Beslutningsproces Rationelle valg Informere praktikere, deltagere og beslutningstagere samt udvikle deres programteorier Lydhørhed overfor berørte interesser. Faclilitere deliberativ forhandlingsproces. Kilde: Ray Pawson & Nick Tilley (1997): Realistic Evaluation, Sage.

Effekten af nikotinplastre? KONTEKST (C) Motivation Nikotinplastre Rygestop Nikotinsubstitution

Effekten af privat løntilskud? KONTEKST (C) Udsigt til ansættelse Privat løntilskud Ordinær beskætigelse Netværk

Konstruktion af en programteori Målgruppe Aktiviteter (indsatsen) Virksomme mekanismer Delmål Slutmål Hvem gælder indsatsen for? Hvilke kendetegn har målgruppen? Hvilke udfordringer og barrierer Er der forskellige delmålgrupper? Hvilke formål med indsatsen? Hvilke er de væsentligste aktiviteter i indsatsen? Hvorfor er de væsentlige? Hvilke metoder og tilgange benyttes? Hvilke faktorer er afgørende for succes/fiasko? Hvorfor og hvordan fører en given indsats til et bestemt resultat? For hvem virker indsatsen og for hvem virker den Ikke? Hvad er de(t) realistiske succesmål for indsatsen? Hvilke delmål er forudsætninger for at nå slutmålene? Hvilke resultater er opnået på kort og mellemlangt sigt? Hvilke resultater er opnået på længere sigt?

Kaffe´ Fair, Aalborg Moderatorer Virksomme mekanismer Slutmål Unge kontanthjælps- modtagere mellem 18-30 år: Indsatsklare (match 2) Utilpassede unge Socialt og psykisk sårbare Psykiske diagnoser f.eks. (ADHD) Misbrug Uafsluttede skole- forløb Kriminel løbebane Anerkendelse fra fagfolk og kunder Reel produktion Den unge som medarbejder Erhvervserfaring Oparbejder faglige kvalifikationer Og erhverver kompetencen til at udføre dem Den unge tager ejerskab til arbejdsopgaver Styrke personlige og sociale kompetencer: Øge selvtillid Lære at indgå i et socialt fællesskab Hverdagsmestring: Stabilisere personlige, sociale og psykiske udfordringer Faste strukturer og normalisering af hverdag Mentorordning Fastholdelse Styrke selvtillid og selvværd Oparbejde kvalifikationer til at gennemføre uddannelse Forventningsafstemning Motivation for forandring Realistisk afklaring af ønsker og muligheder for uddannelse Alternativ pædagogik Succesoplevelse ift. læring Ordinær Uddannelse (14 %) Beskæftigelse (0 %) Fokus på uddannelse og beskæftigelse Målgruppe Aktiviteter Delmål Tilrettelæggelse af arbejdsopgaver: Arbejde i cafeen, kantine og baglokale Uddeling af kaptajnsroller Selvstyrende grupper med sidemandsoplæring Individuelle samtaler: Henvisning til misbrugsrådgivning Henvisning til psykiatrisk udredning Udrede økonomi og bolig forhold Job og uddannelse Vejledning i forhold til job- og Uddannelsesønsker Etablering af virksomhedspraktik Hjælp til opstart på uddannelse FVU undervisning Motion/Fitness Gratis og frivilligt Succesoplevelse ift. at forfølge mål Værgerolle Stå til rådighed døgnet rundt Relationsdannelse Tovholderfunktion Sikre den rette hjælp

Hvorfor evaluering? Ansvarlighed: Udvikling og målretning: Krav fra rekvirenter, myndigheder og omgivelser om, at dokumentere ”value for money” Udvikling og målretning: Blive klogere på, hvad der virker for hvem, hvornår og hvordan Mulighed for selv at definere realistiske succesmål og evalueringskriterier Professionalisering: Udfordre og skærpe egen faglighed Bygge indsats på solidt fundament af virksomme indsatser

Daghøjskolerne Konstruktion af programteorier: Antagelser om, hvad der virker for hvem, hvordan, hvorfor? Test af programteorier: Hvordan kan det undersøges/dokumenteres?

Virkningsevalueringens syv trin: New Insight - Noter til præsentation 3. april 2017 Virkningsevalueringens syv trin: Stil evalueringsspørgsmålet Udarbejd programteori for indsatsen Fokusér evaluering – find fokuspunkter Find indikatorer Udvælg dataindsamlingsmetoder og -kilder Tilrettelæg virkningsevaluering Gennemfør virkningsevaluering og uddrag læring Stil evalueringsspørgsmålet beskriv hvad der undersøges –evt. hypoteser der skal testes. Typisk: ”for hvem en given aktiveringsindsats virker succesfuld, hvordan og under hvilke betingelser.” Udarbejd programteori for indsatsen Illustrere den, så det fremgår, hvad der forbinder indsatsen med resultaterne - hvilke virkemidler der er centrale Forelægges/kvalificeres af leder/medarbejdere, der er ansvarlige for den indsats, der evalueres Fokusér evaluering – find fokuspunkter Som stemmer overens med det evalueringsspørgsmål, der er stillet Find indikatorer for de elementer i programteorien, der skal evalueres Udvælg dataindsamlingsmetoder og -kilder Kigger både på hvad der er tilgængeligt og hvad der selvstændigt skal indsamles, og hvordan. Tilrettelæg virkningsevaluering Udarbejd oversigt over dataindsamling – herunder tidsplan Gennemfør virkningsevaluering og uddrag læring Afdæk om programteorien holder + uddrag hvilken læring evaluering har tilført

Resultater Hvad virker for unge indsatsklare kontanthjælpsmodtagere? i-Fokus og Unge Coach (Brønderslev) samt Kaffé Fair (Aalborg) Hvad virker for indsatsklare kontanthjælpsmodtagere (uanset alder)? Det Individuelle Afklaringsforløb (Aalborg) Hvad virker i den virksomhedsrettede indsats? Jobrotation i Hjemmeplejen (Jammerbugt) Virksomhedspraktik Løntilskud

Udslusning for de tre ungeprojekter, umiddelbart efter afslutning i procent (2009-2010) i-Fokus Unge Coach* Kaffé Fair Ordinært arbejde 3 % 6 % 0 % Ordinær uddannelse 26 % 41 % 14 % Særligt tilrettelagt uddannelse (STU) 8 % Afventer uddannelsesopstart Forrevalidering/revalidering 10 % Løntilskudsjob Virksomhedspraktik 2 % Indstilling til førtidspension 5 % Overgår til anden aktivering 13 % Overgår til passiv forsørgelse 31 % Udskrevet fra projektet pga. fravær, sygdom, graviditet, fængsel, misbrugsbehandling, behov for yderligere afklaring og udredning eller psykiske problemer/depression m.v. 34 % 19 % Ikke berettiget til kontanthjælp Flytter fra kommunen 11 % I alt (antal deltagere) 100 % (38 personer) (105 personer) (42 personer) * Bemærk at opgørelse for Unge Coach dækker perioden fra oktober 2007-2010.

Hvad virker for unge indsatsklare kontanthjælpsmodtagere? Et komplekst samspil mellem mekanismer og moderatorer skaber resultater for målgruppen, eks. Tillidsfulde relationer mellem autentiske voksne og unge aktiveres ved at medarbejdere står til rådighed døgnet rundt og giver praktisk hjælp til normalisering af hverdagen Små succesoplevelser med alternativ undervisning øger sandsynligheden for at gennemføre folkeskolens afgangseksamen En længerevarende helhedsorienteret indsats, der udreder og adresserer personlige, sociale og psykiske udfordringer er nødvendig forud for og parallelt med den beskæftigelsesorienterede indsats, eks. Sikre henvisning til den rette specialiserede hjælp (misbrugsrådgivning, socialpsykiatri, bolighjælp)

Hvad virker for unge indsatsklare kontanthjælpsmodtagere? 3. Ikke afgørende at alle aktiviteter og mekanismer er til stede på samme tid – men afgørende at de iværksættes efter den unges behov, Individuel og målrettet indsats Fleksibilitet i udførslen 4. Afgørende at overgang fra aktiveringsprojekt til job/uddannelse understøttes – ellers kan alt være tabt, eks. Fastholde kontakt efter den formelle afslutning af projektet Brug af mentorer

Programteori for projekt i Aalborg for uafklarede kontanthjælpsmodtagere

Udslusning for det Individuelle Afklaringsforløb (2009,2010) Antal kursister Procent Ordinært arbejde 13 4 Ordinær eller støttet uddannelse 27 8 Overgår til anden aktivering Arbejdsaktivering (haveservice) (85) Øvrige projekter (53) 138 42 Misbrugsbehandling 6 2 Udskrives grundet sygdom eller behandling 56 17 Passiv forsørgelse (varighedsbegrænsning) 64 19 Øvrige (barsel, fraflytning, fortsat uafklaret) 24 7 I alt 328 100 Note: Udslusningstal for 4. kvartal 2010 er ikke tilgængelige pga. overgang til nyt IT-system

Hvad virker for indsatsklare kontanthjælpsmodtagere (uanset alder)? Nogle af de samme mekanismer og moderatorer, som virkede på unge-gruppen går igen, eks. Relationsdannelse, sikre den rette hjælp, succesoplevelser, det rette match Men det realistiske succesmål adskiller sig: Realistisk og troværdig handlingsplan for det videre forløb Derfor arbejdes der mere systematisk med værkstedsaktiviteter, der skal afklare deltagernes arbejdsevne og arbejdsvilje Kompetenceafklaring aktiveres af meningsfulde arbejdsopgaver, medbestemmelse samt tid og tålmodighed

Jobrotationsforløb i hjemmeplejen i Jammerbugt

Eksisterende viden om effekterne af virksomhedspraktik Resultater Positiv effekt på afgangen til beskæftigelse. Der er ikke tegn på fastlåsningseffekter. Programeffekterne er ikke så høje som for privat løntilskud. Til gengæld er der ingen signifikant fastlåsning (Rosholm & Svarer 2011).   Uændret selvforsørgelsesgrad ift. sammenlignelig kontrolgruppe af ikke-arbejdsmarkedsparate kontanthjælpsmodtagere (Skipper 2010).  For hvem? Positive programeffekter for kvinder uanset alder og for mænd over 30 år. Reduktion i varigheden på kontanthjælp for indvandrere. Størst effekt for mandlige indvandrere, men også effekt for kvindelige indvandrere. Undersøgt i perioden 1997-2004 for indvandrere, der kom til Danmark før 1999 (Heinesen m.fl. 2011)

Eksisterende viden om effekterne af løntilskud Privat løntilskud Offentligt løntilskud Resultat Positiv beskæftigelseseffekt (fastholdelseseffekt opvejes af opkvalificeringseffekt) Positiv effekt på lønindkomst Negativ beskæftigelseseffekt (fastholdelseseffekt er højere end opkvalificeringseffekt) For hvem Ledige under 30 år: Større fastlåsningseffekt og mindre opkvalificeringseffekt, formentlig pga. tidligere aktivering Kun kvinder oplever positiv opkvalificeringseffekt, men den er ikke tilstrækkelig til at opveje fastlåsningseffekten Under hvilke omstændigheder Ingen fortrængningseffekt i små private virksomheder Mest effektivt ved lav ledighed, hvor der er udsigt til ansættelse efterfølgende Referencer Rosholm & Svarer 2011; Det Økonomiske Råd 2007; Kjærsgaard 2009; Rotger & Arendt 2010.

Opsamling Virkningsevalueringer er velegnede til at synliggøre, systematisere og teste beskæftigelsesmedarbejdernes tavse viden Virkningsevaluering er velegnet til at kortlægge og dokumentere de mekanismer, som skaber resultater i en given kontekst Mekanismer er overførbare fra et område til et andet Virkningsevaluering er velegnet til at tydeliggøre og evaluere de delmål, som er forudsætninger for resultaterne

Pejlemærker for aktiveringsreform Bedre muligheder for sammentænkt social og beskæftigelsesrettet indsats: Koordinering af indsatsen på tværs af siloer Fornyet fokus på det rummelige arbejdsmarked (f.eks. sociale klausuler, social-økonomiske virksomheder) Større metodefrihed til leverandørerne: Mere fleksible procesregler (rettidighed) Accept af variation i lokale indsatser: Udgangspunkt for læring på tværs Resultataflønning : Afskaf differentieret refusion og strafrefusion Opbyg mere viden om virksomme indsatser: Byg reform på viden om, hvad der virker for hvem Krav om meningsfuld evaluering (f.eks. progressionsmålinger) Dokumentation af realistiske præstationer Brug ikke beskæftigelsessystemet som kastebold i politisk magtkamp: Fundamentet er den nuværende kommunale jobcenterstruktur Kompetenceudvikling af beskæftigelsesmedarbejdere: mere prestigefyldt job

Projektleder: Charlotte Hansen, New Insight, ch@newinsight.dk Projektdeltagere: Thomas Bredgaard (thomas@dps.aau.dk) Hans Henrik Jørgensen og Rasmus Madsen (AAU) og Maria Rye Dahl (New Insight) Projektet er finansieret af Beskæftigelsesregionen i Nordjylland.