Evaluering af innovation En grønspættebog Hjælp! Jeg skal evaluere et innovativt tiltag! COI-konference 19. november 2015 Professor Peter Dahler-Larsen.

Præsentationer af emnet: "Evaluering af innovation En grønspættebog Hjælp! Jeg skal evaluere et innovativt tiltag! COI-konference 19. november 2015 Professor Peter Dahler-Larsen."— Præsentationens transcript:

1 Evaluering af innovation En grønspættebog Hjælp! Jeg skal evaluere et innovativt tiltag! COI-konference 19. november 2015 Professor Peter Dahler-Larsen Institut for Statskundskab, KU

2 Grønspættebog Hensigten er i en kort, formidlet form - baseret på evalueringsfaglighed - at give tips og ledetråde, der kan inspirere til en optimistisk, men også realistisk tilgang til evaluering af konkrete innovative tiltag

3 Jeg har ikke opskriften på succes

4 Men jeg kender opskriften på fiasko: At prøve at gøre alle tilfredse Bill Cosby

5 Grønspættebog Hensigten er i en kort, formidlet form - baseret på evalueringsfaglighed - at give tips og ledetråde, der kan inspirere til en optimistisk, men også realistisk tilgang til evaluering af konkrete innovative tiltag

6 Innovation vs innovative tiltag Signifikant fornyelse Produkter, serviceydelser, organisation, kommunikation Stor/lille skala Radikal/inkrementel Opfindelse/tilpasning

7 Evaluering Innovativt tiltag (evaluand) udsættes for Systematisk undersøgelse (metode, data) Bedømmelse (værdier, mål, principper) Mhp praktisk handling (anvendelse) Kontrol Læring/udvikling Vidensudvikling Information af offentligheden

8 Udfordringer Nulfejlskultur vs eksperimentkultur Evalueringsresistens Innovation noget særligt? Succeskriterier? Effektmåling?

9 En ting er begrebet innovativ En anden er om det innovative lykkes Evalueringsfagligt går det ikke an at sige at innovation kun er innovation hvis den er en succes

10 Innovation noget særligt? Proces er programmerbar Proces ikke programmerbar Resultat er målbartIII Resultat ikke målbartIIIIV

11 Komplekse interventioner Socialt kompliceret 1 Teknisk kompliceret 3 2 4: Kompleks

12 succeskriterier Mening Værdi Effekt Mangler specifikation for at kunne tjene som evalueringskriterier

13 Evalueringens Bermuda-trekant: Et effekt- spørgsmål Designet kan ikke lade sig gøre i virkeligheden Forestilling om et optimalt design

14 Udfordringer Nulfejlskultur vs eksperimentkultur Evalueringsresistens Innovation noget særligt? Succeskriterier? Effektmåling?

15 LEDETRÅDE 10: Undgå rygsæksyndromet 9: Tag evaluering ombord tidligt 8: Beskriv problemerne og indsatsen indgående 7: Brug hovedide i tiltaget som ressource i evalueringen 6: Effekt er et kompromis 5: Tænk anvendelse tidligt 4: Viden forudsætter organisering 3: Hvis indsatsen er dynamisk, følger evalueringen med 2: At evaluere er at argumentere 1: Opbyg evalueringskapacitet

16 Pædagogisk indsats for mobbeofre Mobbeofre ved hvordan man siger fra Mobbeofre siger fra i konkrete situationer Pædagogisk indsats for mobbere Mobbere lærer at høre et nej Mobbere stopper når der bliver sagt fra

17 Kvalificeret programteori Specifikt problem Specifikke virkemidler Støtte i anerkendt teori Kvalificerede outcomekriterier Kvalificerede tegn: Nødvendige (fravær falsicerer) Specifikke (tilstedeværelse bestyrker)

18 LEDETRÅDE 10: Undgå rygsæksyndromet 9: Tag evaluering ombord tidligt 8: Beskriv problemerne og indsatsen indgående 7: Brug hovedide i tiltaget som ressource i evalueringen 6: Effekt er et kompromis 5: Tænk anvendelse tidligt 4: Viden forudsætter organisering 3: Hvis indsatsen er dynamisk, følger evalueringen med 2: At evaluere er at argumentere 1: Opbyg evalueringskapacitet

19 Effekt ligger i et kompromis Påviselig Ønskværdig

20 LEDETRÅDE 10: Undgå rygsæksyndromet 9: Tag evaluering ombord tidligt 8: Beskriv problemerne og indsatsen indgående 7: Brug hovedide i tiltaget som ressource i evalueringen 6: Effekt er et kompromis 5: Tænk anvendelse tidligt 4: Viden forudsætter organisering 3: Hvis indsatsen er dynamisk, følger evalueringen med 2: At evaluere er at argumentere 1: Opbyg evalueringskapacitet

21 Interessenter i evaluering af patientforløb DesignFinansStøtImplemLæreModstand Ministeriet Politikere Hospitals-ledelse Afdelinger Personale- grupper Forløbs- koordinatorer Praktiserende læger Kommuner Andre regioner

22 Interessenter i evaluering af patientforløb DesignFinansStøtImplemLæreModstand Ministeriet Politikere Hospitals-ledelse Afdelinger Personale- grupper Forløbs- koordinatorer Praktiserende læger Kommuner Andre regioner

23 LEDETRÅDE 10: Undgå rygsæksyndromet 9: Tag evaluering ombord tidligt 8: Beskriv problemerne og indsatsen indgående 7: Brug hovedide i tiltaget som ressource i evalueringen 6: Effekt er et kompromis 5: Tænk anvendelse tidligt 4: Viden forudsætter organisering 3: Hvis indsatsen er dynamisk, følger evalueringen med 2: At evaluere er at argumentere 1: Opbyg evalueringskapacitet

24 Systemisk evaluering Koncipering Pilotering Planlægning Evaluering Implementering Produktion Tilegnelse Konsekvenser

25 Systemisk evaluering Koncipering Pilotering Planlægning Evaluering Implementering Produktion Tilegnelse Konsekvenser

26 Systemisk evaluering Koncipering Pilotering Planlægning Evaluering Implementering Produktion Tilegnelse Konsekvenser

27 Systemisk evaluering Koncipering Pilotering Planlægning Evaluering Implementering Produktion Tilegnelse Konsekvenser

28

29 Systemisk evaluering? Koncipering Pilotering Planlægning Evaluering Implementering Produktion Tilegnelse Konsekvenser

30 LEDETRÅDE 10: Undgå rygsæksyndromet 9: Tag evaluering ombord tidligt 8: Beskriv problemerne og indsatsen indgående 7: Brug hovedide i tiltaget som ressource i evalueringen 6: Effekt er et kompromis 5: Tænk anvendelse tidligt 4: Viden forudsætter organisering 3: Hvis indsatsen er dynamisk, følger evalueringen med 2: At evaluere er at argumentere 1: Opbyg evalueringskapacitet

31 God nyhed: Grønspættebog I. Evaluering af innovative tiltag: Hvad og hvorfor II: Udfordringer III: Ledetråde IV: Evaluering: Systematik og dosering V: Hvilke evalueringsspørgsmål, hvilke evalueringsmodeller VI: Anvendelse af evaluering VII: Hvor kan man lære mere

32

33 OVERSIGT evaluering værdier/mål anvendelse evaluand viden/ metode

34 Læring i fht programteori Pædagogisk indsats for mobbeofre Mobbeofre ved hvordan man siger fra Mobbeofre siger fra i konkrete situationer Pædagogisk indsats for mobbere Mobbere lærer at høre et nej Mobbere stopper når der bliver sagt fra Programteori 2014 Programteori 2015 Programteori 2016 Pædagogisk indsats for mobbeofre Mobbeofre ved hvordan man siger fra Mobbeofre siger fra i konkrete situationer

35 Accept Kvalitet Forandringspres Konflikt Nyhedsværdi

36 AFRUNDING: MERE INFO: Peter Dahler-Larsen: Evaluering af projekter og andre ting, som ikke er ting. Syddansk Universitetsforlag 2013