Evaluering af arbejdsmiljøindsatser – en teoretisk ramme Kompetenceforum 7. sep. 2011 Evaluering af arbejdsmiljøindsatser – en teoretisk ramme SAM d. 16. april 2013 Peter Hasle Professor Aalborg Universitet København 1

Center for forskning i arbejdsmiljøindsatser og virkemidler (CAVI) Problemstilling Hvilke sammenhænge er der mellem de samfunds- mæssige indsatser og arbejdsmiljøarbejdet i virksomhederne? Samarbejde mellem AAU, DTU, RUC, Teamarbejdsliv og AU (DPU) Konkrete projekter om AMO, certificering og små virksomheder Tværgående teoriprojekt om virkemidler Herunder arbejde for Arbejdsmiljørådet om evaluering af arbejdsmiljøindsatser

På vej ind i evalueringssamfundet New public management: Markedsgørelse samt kontrakt- og målstyring Evaluerer om mål opfyldes Evidens for om noget virker Alle aktiviteter og tiltag skal gøres målbare Fra politiske valg til teknokratiske valg

Hvad er evaluering Definition: En systematisk bedømmelse af udfald, præstationer og organisering af samfundsmæssige aktiviteter rettet mod fremtidige handlingssituationer Implikationer: Et anvendelsessigte En opdragsgiver med et defineret formål Konkret empirisk Den korte bane

Evaluering og forskning Delvist sammenfald Evaluering anvender forskningsbaserede metoder Forskning rettes sig også mod programmer som evalueres Evaluering i sig selv et forskningsobjekt Forskelle Kort eller langt sigt Beslutningsbehov eller erkendelsesinteresse Teori eller empiri Peter Hasle

Evalueringsparadigmer Klassisk effektevaluering Responsiv evaluering Monitorering og evaluering Evidensbaseret evaluering Effektevaluering Realistisk evaluering Pragmatisk evaluering Peter Hasle

Klassisk effektevaluering Det historiske udgangspunkt Troen på det moderne fremskridtssamfund Positivismen som dominerende videnskabsteori Sandhed afgøres gennem testning af målbare hypoteser Samfundsmæssige problemer løses af store programmer som testes empirisk Problem: Forudsætninger (kontekst, implementering og politisk fokus) ændrer sig, inden det kan afgøres om et program testes positivt eller negativt Peter Hasle

Responsiv evaluering (også proces og formativ evaluering) Formål: at skabe mening for interessenter og øge deres udbytte af et program Bygger på læringsteori og socialkonstruktivisme Observation af processer dominerende metode Kvalitativt men også kvantitativt Varierende grad af evaluator involvering Fra distanceret observatør over aktionsforskning til selvevaluering Problem: muligt præg af tilfældighed og præferencer Peter Hasle

Monitorering og evaluering New Public Management (NPM) lægger vægt på markedsgørelse og accountability Monitorering er en løbende evaluering af om de forventede resultater nås Billede af udviklingstendenser - modsat den almindelige evaluerings engangsbillede Bygger typisk på key performance indicators (KPI) for proces- eller mellemvariable Problem: svært at forklare udviklingen i KPIer Peter Hasle

Evidensbaseret evaluering Med NPM nye krav om sikkerhed for at noget virker Evidens er viden som kan sandsynliggøre om et udsagn er sandt eller falsk Stor strid om hvordan sandhed skal forstås Kontekstafhængighed eller -uafhængighed en væsentlig skillelinje Fx afgørende for i hvilken udstrækning evidens kan og skal præge dag til dag-handlinger Peter Hasle

Effektevaluering (også summativ evaluering) Bygger på ”randomized control trials” (RCT) som gylden standard Inspireret af den biomedicinske forskning Ideen er at kontekst kan neutraliseres gennem randomisering Alternativt og med lavere kvalitet er kontrolgrupper og før- og eftermålinger I princippet altid kvantitativt Problem: bl.a. randomisering vanskelig og manglende overførbarhed til andre kontekster Peter Hasle

Realistisk evaluering (også virkningsevaluering) Bygger videnskabsteoretisk på kritisk realisme: Der findes en objektiv virkelighed, men den kan ikke direkte erkendes Spørgsmålet flyttes fra: om det virker til: hvordan det virker Fokus på kontekst og mekanismer Problem: kan kontekst og mekanismer operationaliseres og generaliseres Peter Hasle

Pragmatisk evaluering Vi vil gerne vide lidt om det hele: Har det effekt? (effektevaluering) Hvordan virker det? (realistisk) Hvordan kan vi forbedre indsatsen? (responsiv) Hvad kan vi få indenfor den fastlagte ramme? Vi vil gerne have legitimeret vores aktiviteter (hvad vil vi helst ikke have at vide?) Den mest almindelige evalueringsform Problem: Tendens til overfladiske og uklare svar på de mange spørgsmål Peter Hasle

Realistisk evaluering Udgangspunkt: Evaluering retter sig mod sociale aktiviteter/ programmer Her findes ingen sikre kausale sammenhæng (naturlove) Sammenhæng mellem indsats og effekt er altid afhængig af kontekst Det interessante er at finde frem til ”halv-regulariteter” (som regel vil noget bestemt ske hvis der tages højde for kontekst) Hvad virker for hvem under hvilke omstændigheder Peter Hasle

En model for realistisk evaluering Eksternt: Marked, stakeholders. Internt: Ledelse & organisation Antagelsen om hvordan indsatsen virker Kontekst Program- teori Resultat Ændringer i arbejdsmiljøet Mekanisme Årsagssammenhænge som fremkalder resultater Pawson, 1997 & 2006

Vigtige karakteristika ved virkemidler Teoribaserede Virkemidler omsættes aktivt af aktørerne Lange årsagskæder hvor alle led har betydning for resultatet Mekanismerne er ikke lineære og har mange feed back loops Mekanismerne er forankret i flere delvist overlappende sociale systemer Virkemidlerne er åbne systemer som selv forandrer de betingelser som de arbejder under Konklusion: Virkemidler komplekse og effekter svære at forudsige Pawson, 2006 Peter Hasle

Kompeksiteten i virkemiddelmekanismer Pawson, 2006 Peter Hasle

Realistisk evalueringscyklus M: mekanisme K: kontekst R: resultat Hvad virker for hvem under hvilke omstændigheder Teori Empirisk analyse Hypotese Programteori: Hvad virker for hvem under hvilke omstændigheder Observation Flerstrenget data- indsamling om M, K og R Peter Hasle

Den grundlæggende forståelse af arbejdsmiljøindsatsers effekt Mekanismer Kontekst Resultat Uddannelse Viden ændrer handlinger Afhænger af mulighed Resultat Teknisk mekanisme: Forandringen i arbejdsmiljøet (sikkerhedsskærmen, ventilations- systemet, hjælpemidlet til løft) Social mekanisme: Det som får mennesker til at handle anderledes (investere i løsninger, anvende løsninger) Det psykosociale arbejdsmiljø: Tekniske og sociale mekanismer falder typisk sammen

Virkemidler - regulering, incitamenter og viden

En udfoldet model for sammenhængen mellem virkemidler på samfundsniveau og effekt Regulering Incitamenter Viden Indsats: Kombination af virkemidler Mekanismer: Tvang Normer Imitation Kontekst: Intern Ekstern Effekt: Ændringer i arbejdsmiljøet Bygger på Virkemidler (policy instruments) (Vedung 1998) Realistisk evaluering (Pawson & Tilley, 1997) Nyinstitutionel teori (DiMaggio & Powel, 1991) Bygger på aktørers behov for at fremstå legitime overfor omgivelser

En samlet virkemiddelmodel Afsendersiden Modtagersiden Programteori Kontekst Målgruppe Virkemiddel Effekt Politik Indsats Virkemiddel Mekanisme Virkemiddel

Forbedring af arbejdsmiljøet ved opmuring

Nedsættelse af belastninger ved opmuring Kombination af virkemidler Regulering: Påbud fra AT om reduktion af belastninger Påbudspause mens løsninger bliver udviklet Påbud på grundlag af ny vejledning fra BAR Incitament: Tilskud til udvikling og afprøvning af hjælpemidler Viden: En vejledning med detaljeret beskrivelse af hjælpemiddel og arbejdsgange Formidlet gennem flere kanaler af alle involverede parter Mekanismer Tvang: Indledende påbud Påbud efter løsning er udviklet. Normer: Fælles budskab fra arbejdsgivere og fagforeninger signalerer at den ny metode er den etisk rigtige at anvende Imitation: Arbejdsgivere og murere obser-verer flere og flere tilfælde hvor metoden anvendes i praksis og overbevises dermed om at det er sådan man gør i branchen

Evaluering af samfundsmæssige arbejdsmiljøindsatser Formål med evaluering Læring, men også legitimering Før evaluering Udvikling af programteori Planlægning af evaluering Scenarier Evaluering af den begrænsede indsats selvevaluering Evaluering af den omfattende indsats Professionel og fokuseret evaluering Tværgående evaluering Professionel mere forskningspræget evaluering Evaluering af et program Monitorering, registrering af aktiviteter og analyse af enkelt-stående evalueringer

Evaluering af virksomhedens egne arbejdsmiljøindsatser Realistisk evaluering også relevant i denne sammenhæng Hvordan omsættes arbejdsmiljøpolitikker til konkrete ændringer som forbedrer arbejdsmiljøet? Hvilke virkemidler har vi til fremkalde de ønskede handlinger? Hvilke mekanismer får dem til at virke? Hvordan spiller de sammen med virksomhedens kontekst? Vi mangler et mere specifikt begrebsapparat for virkemidler og mekanismer

Tak for ordet Læs mere om CAVIs forskning på: www.cavinet.dk Deltag i diskussioner om virkemidler i CAVIs netværk: http://dea.nu/cavi Peter Hasle: hasle@business.aau.dk