Evaluering af arbejdsmiljø indsatser - muligheder og begrænsninger Peter Hasle, professor Center for Industriel Produktion, Aalborg Universitet København

Center for forskning i arbejdsmiljøindsatser og virkemidler (CAVI) Problemstilling: Hvilke sammenhænge er der mellem de samfundsmæssige indsatser og arbejdsmiljøarbejdet i virksomhederne? Samarbejde mellem AAU, DTU, RUC, Teamarbejdsliv og AU (DPU) Konkrete projekter om AMO, certificering og små virksomheder Tværgående teoriprojekt om virkemidler –Herunder arbejde for Arbejdsmiljørådet om evaluering af arbejdsmiljøindsatser Peter Hasle

På vej ind i evalueringssamfundet New public management: –Markedsgørelse samt kontrakt- og målstyring Evaluerer om mål opfyldes Evidens for om noget virker Alle aktiviteter og tiltag skal gøres målbare Fra politiske valg til teknokratiske valg Peter Hasle

Hvad er evaluering Definition: En systematisk bedømmelse af udfald, præstationer og organisering af samfundsmæssige aktiviteter rettet mod fremtidige handlingssituationer Implikationer: Et anvendelsessigte En opdragsgiver med et defineret formål Konkret empirisk Den korte bane Peter Hasle

Evalueringsparadigmer Klassisk effektevaluering Responsiv evaluering Monitorering og evaluering Evidensbaseret evaluering –Effektevaluering –Realistisk evaluering Pragmatisk evaluering Peter Hasle

Klassisk effektevaluering Det historiske udgangspunkt –Troen på det moderne fremskridtssamfund Positivismen som dominerende videnskabsteori –Sandhed afgøres gennem testning af målbare hypoteser Samfundsmæssige problemer løses af store programmer som testes empirisk Problem: Forudsætninger (kontekst, implementering og politisk fokus) ændrer sig, inden det kan afgøres om et program testes positivt eller negativt Peter Hasle

Responsiv evaluering (også proces og formativ evaluering) Formål: at skabe mening for interessenter og øge deres udbytte af et program Bygger på læringsteori og socialkonstruktivisme Observation af processer dominerende metode –Kvalitativt men også kvantitativt Varierende grad af evaluator involvering –Fra distanceret observatør over aktionsforskning til selvevaluering Problem: muligt præg af tilfældighed og præferencer Peter Hasle

Monitorering og evaluering New Public Management (NPM) lægger vægt på markedsgørelse og accountability Monitorering er en løbende evaluering af om de forventede resultater nås Billede af udviklingstendenser - modsat den almindelige evaluerings engangsbillede Bygger typisk på key performance indicators (KPI) for proces- eller mellemvariable Problem: svært at forklare udviklingen i KPIer Peter Hasle

Evidensbaseret evaluering Med NPM nye krav om sikkerhed for at noget virker Evidens er viden som kan sandsynliggøre om et udsagn er sandt eller falsk Stor strid om hvordan sandhed skal forstås Kontekstafhængighed eller -uafhængighed en væsentlig skillelinje –Fx afgørende for i hvilken udstrækning evidens kan og skal præge dag til dag-handlinger Peter Hasle

Effektevaluering (også summativ evaluering) Bygger på ”randomized control trials” (RCT) som gylden standard Inspireret af den biomedicinske forskning Ideen er at kontekst kan neutraliseres gennem randomisering Alternativt og med lavere kvalitet er kontrolgrupper og før- og eftermålinger I princippet altid kvantitativt Problem: bl.a. randomisering vanskelig og manglende overførbarhed til andre kontekster Peter Hasle

Realistisk evaluering (også virkningsevaluering) Bygger videnskabsteoretisk på kritisk realisme: –Der findes en objektiv virkelighed, men den kan ikke direkte erkendes Spørgsmålet flyttes –fra: om det virker –til: hvordan det virker Fokus på kontekst og mekanismer Problem: kan kontekst og mekanismer operationaliseres og generaliseres Peter Hasle

Pragmatisk evaluering Vi vil gerne vide lidt om det hele: –Har det effekt? (effektevaluering) –Hvordan virker det? (realistisk) –Hvordan kan vi forbedre indsatsen? (responsiv) –Hvad kan vi få indenfor den fastlagte ramme? –Vi vil gerne have legitimeret vores aktiviteter (hvad vil vi helst ikke have at vide?) Den mest almindelige evalueringsform Problem: Tendens til overfladiske og uklare svar på de mange spørgsmål Peter Hasle

Realistisk evaluering Udgangspunkt: Evaluering retter sig mod sociale aktiviteter/programmer Her findes ingen sikre kausale sammenhæng (naturlove) Sammenhæng mellem indsats og effekt er altid afhængig af kontekst Det interessante er at finde frem til ”halv-regulariteter” (som regel vil noget bestemt ske hvis der tages højde for kontekst) Hovedspørgsmålet: –Hvad virker for hvem under hvilke omstændigheder? Peter Hasle

En model for realistisk evaluering Kontekst Resultat Program- teori Mekanisme Pawson, 1997 & 2006 Antagelsen om hvordan indsatsen virker Årsagssammenhænge som fremkalder resultater Ændringer i arbejdsmiljøet Eksternt: Marked, stakeholders. Internt: Ledelse & organisation Peter Hasle

Vigtige karakteristika ved virkemidler Teoribaserede Virkemidler omsættes aktivt af aktørerne Lange årsagskæder hvor alle led har betydning for resultatet Mekanismerne er ikke lineære og har mange feed back loops Mekanismerne er forankret i flere delvist overlappende sociale systemer Virkemidlerne er åbne systemer som selv forandrer de betingelser som de arbejder under Konklusion: Virkemidler komplekse og effekter svære at forudsige Pawson, 2006 Peter Hasle

Kompeksiteten i virkemiddelmekanismer Pawson, 2006 Peter Hasle

Realistisk evalueringscyklus Teori Hypotese Observation Empirisk analyse M: mekanisme K: kontekst R: resultat Programteori: Hvad virker for hvem under hvilke omstændigheder Flerstrenget data- indsamling om M, K og R Hvad virker for hvem under hvilke omstændigheder Peter Hasle

Den grundlæggende forståelse af arbejdsmiljøindsatsers effekt Mekanismer Indsats KontekstResultat Teknisk mekanisme: Forandringen i arbejdsmiljøet (sikkerhedsskærmen, ventilations- systemet, hjælpemidlet til løft) Social mekanisme: Det som får mennesker til at handle anderledes (investere i løsninger, anvende løsninger) Det psykosociale arbejdsmiljø: Tekniske og sociale mekanismer falder typisk sammen Viden ændrer handlinger Uddannelse Afhænger af mulighed Resultat Peter Hasle

Virkemidler - regulering, incitamenter og viden Peter Hasle Regulering Incitamenter Viden

En udfoldet model for sammenhængen mellem virkemidler på samfundsniveau og effekt Virkemidler:  Regulering  Incitamenter  Viden Indsats:  Kombination af virkemidler Mekanismer:  Tvang  Normer  Imitation Kontekst:  Intern  Ekstern Effekt:  Ændringer i arbejdsmiljøet Bygger på Virkemidler (policy instruments) (Vedung 1998) Realistisk evaluering (Pawson & Tilley, 1997) Nyinstitutionel teori (DiMaggio & Powel, 1991) –aktørers behov for at fremstå legitime overfor omgivelser Peter Hasle

Programteori Virkemidler:  Regulering  Incitamenter  Viden Indsats:  Kombination af virkemidler Mekanismer:  Tvang  Normer  Imitation Kontekst:  Intern  Ekstern Effekt:  Ændringer i arbejdsmiljøet Peter Hasle Antagelser om hvordan kæden vil virke Output Outcome Impact

Forbedring af arbejdsmiljøet ved opmuring Peter Hasle

Vejen til en ny standard for opmuringsarbejde Dokumentation af belastninger i arbejdet Arbejdstilsynet stiller krav til branchen De tekniske løsninger mangler Parterne enes om at der skal ske noget Parter og AT enes Hjælpemidler udvikles af leverandører og med støtte fra Forebyggelsesfonden Vejledning laves og udbredes Arbejdstilsynet gennemfører kontrol Ny standard vinder udbredelse

Nedsættelse af belastninger ved opmuring Kombination af virkemidler Regulering: Påbud fra AT om reduktion af belastninger Påbudspause mens løsninger bliver udviklet Påbud på grundlag af ny vejledning fra BAR Incitament: Tilskud til udvikling og afprøvning af hjælpemidler Viden: En vejledning med detaljeret beskrivelse af hjælpemiddel og arbejdsgange Formidlet gennem flere kanaler af alle involverede parter Mekanismer Tvang: Indledende påbud Påbud efter løsning er udviklet. Normer: Fælles budskab fra arbejdsgivere og fagforeninger signalerer at den ny metode er den etisk rigtige at anvende Imitation: Arbejdsgivere og murere obser- verer flere og flere tilfælde hvor metoden anvendes i praksis og overbevises dermed om at det er sådan man gør i branchen Peter Hasle

Evaluering af samfundsmæssige arbejdsmiljøindsatser Formål med evaluering Læring, men også legitimering Før evaluering Udvikling af programteori Planlægning af evaluering Scenarier Evaluering af den begrænsede indsats –selvevaluering Evaluering af den omfattende indsats –Professionel og fokuseret evaluering Tværgående evaluering –Professionel mere forskningspræget evaluering Evaluering af et program –Monitorering, registrering af aktiviteter og analyse af enkelt- stående evalueringer Peter Hasle

Tak for ordet Læs mere om CAVIs forskning på: Deltag i diskussioner om virkemidler i CAVIs netværk: Peter Hasle: Peter Hasle