Evaluering af innovation En grønspættebog Hjælp! Jeg skal evaluere et innovativt tiltag! COI-konference 19. november 2015 Professor Peter Dahler-Larsen Institut for Statskundskab, KU

Grønspættebog Hensigten er i en kort, formidlet form - baseret på evalueringsfaglighed - at give tips og ledetråde, der kan inspirere til en optimistisk, men også realistisk tilgang til evaluering af konkrete innovative tiltag

Jeg har ikke opskriften på succes

Men jeg kender opskriften på fiasko: At prøve at gøre alle tilfredse Bill Cosby

Grønspættebog Hensigten er i en kort, formidlet form - baseret på evalueringsfaglighed - at give tips og ledetråde, der kan inspirere til en optimistisk, men også realistisk tilgang til evaluering af konkrete innovative tiltag

Innovation vs innovative tiltag Signifikant fornyelse Produkter, serviceydelser, organisation, kommunikation Stor/lille skala Radikal/inkrementel Opfindelse/tilpasning

Evaluering Innovativt tiltag (evaluand) udsættes for Systematisk undersøgelse (metode, data) Bedømmelse (værdier, mål, principper) Mhp praktisk handling (anvendelse) Kontrol Læring/udvikling Vidensudvikling Information af offentligheden

Udfordringer Nulfejlskultur vs eksperimentkultur Evalueringsresistens Innovation noget særligt? Succeskriterier? Effektmåling?

En ting er begrebet innovativ En anden er om det innovative lykkes Evalueringsfagligt går det ikke an at sige at innovation kun er innovation hvis den er en succes

Innovation noget særligt? Proces er programmerbar Proces ikke programmerbar Resultat er målbartIII Resultat ikke målbartIIIIV

Komplekse interventioner Socialt kompliceret 1 Teknisk kompliceret 3 2 4: Kompleks

succeskriterier Mening Værdi Effekt Mangler specifikation for at kunne tjene som evalueringskriterier

Evalueringens Bermuda-trekant: Et effekt- spørgsmål Designet kan ikke lade sig gøre i virkeligheden Forestilling om et optimalt design

Udfordringer Nulfejlskultur vs eksperimentkultur Evalueringsresistens Innovation noget særligt? Succeskriterier? Effektmåling?

LEDETRÅDE 10: Undgå rygsæksyndromet 9: Tag evaluering ombord tidligt 8: Beskriv problemerne og indsatsen indgående 7: Brug hovedide i tiltaget som ressource i evalueringen 6: Effekt er et kompromis 5: Tænk anvendelse tidligt 4: Viden forudsætter organisering 3: Hvis indsatsen er dynamisk, følger evalueringen med 2: At evaluere er at argumentere 1: Opbyg evalueringskapacitet

Pædagogisk indsats for mobbeofre Mobbeofre ved hvordan man siger fra Mobbeofre siger fra i konkrete situationer Pædagogisk indsats for mobbere Mobbere lærer at høre et nej Mobbere stopper når der bliver sagt fra

Kvalificeret programteori Specifikt problem Specifikke virkemidler Støtte i anerkendt teori Kvalificerede outcomekriterier Kvalificerede tegn: Nødvendige (fravær falsicerer) Specifikke (tilstedeværelse bestyrker)

LEDETRÅDE 10: Undgå rygsæksyndromet 9: Tag evaluering ombord tidligt 8: Beskriv problemerne og indsatsen indgående 7: Brug hovedide i tiltaget som ressource i evalueringen 6: Effekt er et kompromis 5: Tænk anvendelse tidligt 4: Viden forudsætter organisering 3: Hvis indsatsen er dynamisk, følger evalueringen med 2: At evaluere er at argumentere 1: Opbyg evalueringskapacitet

Effekt ligger i et kompromis Påviselig Ønskværdig

LEDETRÅDE 10: Undgå rygsæksyndromet 9: Tag evaluering ombord tidligt 8: Beskriv problemerne og indsatsen indgående 7: Brug hovedide i tiltaget som ressource i evalueringen 6: Effekt er et kompromis 5: Tænk anvendelse tidligt 4: Viden forudsætter organisering 3: Hvis indsatsen er dynamisk, følger evalueringen med 2: At evaluere er at argumentere 1: Opbyg evalueringskapacitet

Interessenter i evaluering af patientforløb DesignFinansStøtImplemLæreModstand Ministeriet Politikere Hospitals-ledelse Afdelinger Personale- grupper Forløbs- koordinatorer Praktiserende læger Kommuner Andre regioner

Interessenter i evaluering af patientforløb DesignFinansStøtImplemLæreModstand Ministeriet Politikere Hospitals-ledelse Afdelinger Personale- grupper Forløbs- koordinatorer Praktiserende læger Kommuner Andre regioner

LEDETRÅDE 10: Undgå rygsæksyndromet 9: Tag evaluering ombord tidligt 8: Beskriv problemerne og indsatsen indgående 7: Brug hovedide i tiltaget som ressource i evalueringen 6: Effekt er et kompromis 5: Tænk anvendelse tidligt 4: Viden forudsætter organisering 3: Hvis indsatsen er dynamisk, følger evalueringen med 2: At evaluere er at argumentere 1: Opbyg evalueringskapacitet

Systemisk evaluering Koncipering Pilotering Planlægning Evaluering Implementering Produktion Tilegnelse Konsekvenser

Systemisk evaluering Koncipering Pilotering Planlægning Evaluering Implementering Produktion Tilegnelse Konsekvenser

Systemisk evaluering Koncipering Pilotering Planlægning Evaluering Implementering Produktion Tilegnelse Konsekvenser

Systemisk evaluering Koncipering Pilotering Planlægning Evaluering Implementering Produktion Tilegnelse Konsekvenser

Systemisk evaluering? Koncipering Pilotering Planlægning Evaluering Implementering Produktion Tilegnelse Konsekvenser

LEDETRÅDE 10: Undgå rygsæksyndromet 9: Tag evaluering ombord tidligt 8: Beskriv problemerne og indsatsen indgående 7: Brug hovedide i tiltaget som ressource i evalueringen 6: Effekt er et kompromis 5: Tænk anvendelse tidligt 4: Viden forudsætter organisering 3: Hvis indsatsen er dynamisk, følger evalueringen med 2: At evaluere er at argumentere 1: Opbyg evalueringskapacitet

God nyhed: Grønspættebog I. Evaluering af innovative tiltag: Hvad og hvorfor II: Udfordringer III: Ledetråde IV: Evaluering: Systematik og dosering V: Hvilke evalueringsspørgsmål, hvilke evalueringsmodeller VI: Anvendelse af evaluering VII: Hvor kan man lære mere

OVERSIGT evaluering værdier/mål anvendelse evaluand viden/ metode

Læring i fht programteori Pædagogisk indsats for mobbeofre Mobbeofre ved hvordan man siger fra Mobbeofre siger fra i konkrete situationer Pædagogisk indsats for mobbere Mobbere lærer at høre et nej Mobbere stopper når der bliver sagt fra Programteori 2014 Programteori 2015 Programteori 2016 Pædagogisk indsats for mobbeofre Mobbeofre ved hvordan man siger fra Mobbeofre siger fra i konkrete situationer

Accept Kvalitet Forandringspres Konflikt Nyhedsværdi

AFRUNDING: MERE INFO: Peter Dahler-Larsen: Evaluering af projekter og andre ting, som ikke er ting. Syddansk Universitetsforlag 2013