Evaluering i innovationsprocesser

Præsentationer af emnet: "Evaluering i innovationsprocesser"— Præsentationens transcript:

1 Evaluering i innovationsprocesser
Rolf Kromand og Claus Rebien 20 september 2013 Evaluering i innovationsprocesser

2 Den næste time Formål Oplæg (ca. 35 min) Respons (ca. 15 min)
Plenum og diskussion 4 september 2013 Evaluering i innovationsprocesser

3 COWI Management – kvalitet i opgaveløsningen
New Nordic Management 28. juni 2013 COWI Management – kvalitet i opgaveløsningen Ca. 80 økonomi- og management- konsulenter Et management bureau i løbende samarbejde med 6000 tekniske eksperter om at skabe stærke beslutningsgrundlag og effektive ændringsprocesser Vi gennemfører cirka 50 evalueringer om året 4 september 2013 Evaluering i innovationsprocesser

4 Formål Konferencetema: Evaluering som forandrende kraft
Evaluering er langt fra en "voksen" og fejlfri "videnskab". Der er flere ufuldstændigheder og svagheder. Kan innovationstænkning og –forskning på frugtbar vis anvendes til at styrke evaluering? 4 september 2013 Evaluering i innovationsprocesser

5 Problem med evaluering
4 september 2013 Problem med evaluering 4 september 2013 Evaluering i innovationsprocesser

6 Evalueringsdisciplinens udfordringer/ufuldstændigheder
Udfordringer for evaluering Performance og succes rate Anvendelse, herunder skabe forandring og double-loop learning Det halter fortsat Attribution og Evidensudfordring Vi har sjældent stærkt evidensbaseret grundlag for konklusionerne – og attribution kan så godt som aldrig besvares Udfordring med åbenhed for nye indsigter Kundeopdraget binder. Vi måler på det, vi skal måle på (WYSIWYG) Bæredygtighed og omkostningseffektivitet Disse centrale evalueringskriterier kan ikke for alvor besvares Anbefalinger til fremtiden Mange anbefalinger ender som bekræftelse af forhold vi ved i forvejen (se under manglende double-loop learning). Evaluation systems produce largely routinized information relevant for day-to-day practices and single loop-learning but of little relevance for fundamental reassessments and double-loop learning" (Leeuw and Furubo, 2008) 4 september 2013 Evaluering i innovationsprocesser

7 To forslag til den innovative tilgang til evaluering
4 september 2013 To forslag til den innovative tilgang til evaluering Finding the 'sweet spot' Bagemaskinemodellen 4 september 2013 Evaluering i innovationsprocesser

8 Finding the sweet spot- the VC approach
4 september 2013 Finding the sweet spot- the VC approach Venture Capitalistisk tilgang med fokus på fejl og det ekstreme tilfælde 4 september 2013 Evaluering i innovationsprocesser

9 4 september 2013 Finding the sweet spot Most attempts at innovation, by definition, are risky and should ‘fail’ — otherwise they are using safe, rather than unknown or truly innovative approaches. A few key impacts by a minority of projects or participants may be much more meaningful than changes in mean (or average) scores. Yet the most common measure of programme impact is the mean. In contrast, this paper suggests that evaluation of innovation should identify the minority of situations where real impact has occurred and the reasons for this. This is in keeping with the approach venture capitalists typically take where they expect most of their investments to ‘fail’, but to be compensated by major gains on just a few. (Perrin, B. 2001) 4 september 2013 Evaluering i innovationsprocesser

10 Finding the sweet spot Finding the sweet spot – evaluering fra en anden vinkel Gennemsnitsbetragtningen kan gemme de vigtige data Vi har ofte en forsimplet forståelse af sammenhænge og kausalitet Problemet med objectives og performance management

11 En innovationsmodel fra en bagemaskine
Et forslag med udgangspunkt i Nonaka og Takeushis model for innovationsprocesser Fra Nonaka, Ikujiro og Hirotaka Takeuchi´s the knowlegde creating company 4 september 2013 Evaluering i innovationsprocesser

12 En innovationsmodel fra en bagemaskine
Projektet var kort fortalt, at vise hvorfor japanske firmaer var bedre til innovation og til at lave bedre produkter De sendte ingeniørerne ud…. 4 september 2013 Evaluering i innovationsprocesser

13 En innovationsmodel fra en bagemaskine
En model baseret på at indfange 'tacit' knowledge Gøre det formiddelbart og forståeligt til eksplicit knowledge Dele det og kontekstualisere det med anden viden Indbygge det i produkter eller processern (som kan læres og internaliseres) 4 september 2013 Evaluering i innovationsprocesser

14 En innovationsmodel for en evaluering
Tacit Evalueringsspg. og analyseramme Projekt/ processer Externalization Internalization Combination Socialization Tacit Eksplicit Evaluator Interessent 1# Interessent 3# Interessent 2# Eksplicit 4 september 2013 Evaluering i innovationsprocesser

15 Brug af modellen på et byrdestudie for danske søfolk
4 september 2013 Brug af modellen på et byrdestudie for danske søfolk 4 september 2013 Evaluering i innovationsprocesser

16 En innovationsmodel for en evaluering af byrde på danske fartøjer
Evalueringsspg. og analyseramme Emne: Administrative byrder på danske skibe Formålet med undersøgelsen var at: kortlægge hvordan danske søfolk oplever administrative byrder om bord på skibene afdække årsager og begrundelse for administration med udgangspunkt i de daglige rutiner om bord på skibene igangsætte overvejelser over hvordan man kan adressere disse resultater Metoder vi anvendte var: Interview med opdragsgiver og folk på land Surveyundersøgelse blandt søfolk Observationsstudier på skibene Workshops med branche- og interesseorganisationer Evaluator Branche org. Teknisk ekspertise Rederier 4 september 2013 Evaluering i innovationsprocesser

17 En innovationsmodel for en evaluering af byrde på danske fartøjer
Evalueringsspg. og analyseramme Emne: Administrative byrder på danske skibe Hvad vi fik ud af det: Vi fik en enorm praktisk forståelse af søfolks dagligdag Vi kom ud over kun at se på opfyldelse af procedurer med udgangspunkt i procedurerne Vi så på det som rent faktisk virkede Konkrete resultater: Fik sat et stærkt fokus på craftmanship Fik sat en positiv dialog i gang ml. rederierne og deres søfolk Reduceret administrative byrder og hjalp dem til at rydde op. Et rederi gik igennem deres procedurer og reducerede dem fra ca til 800 Evaluator Branche org. Teknisk ekspertise Rederier 4 september 2013 Evaluering i innovationsprocesser

18 Kan innovationstænkning løse vores evalueringssvagheder?
4 september 2013 Kan innovationstænkning løse vores evalueringssvagheder? 4 september 2013 Evaluering i innovationsprocesser

19 Spørgsmål og diskussion - plenum
4 september 2013 Spørgsmål og diskussion - plenum Tror du innovationstænkning kan befrugte evalueringspraksis? Hvilke svagheder/udfuldstændigheder kan man især få bugt med? 4 september 2013 Evaluering i innovationsprocesser

20 Evaluerings udfordring/ufuldstændigheder (vers 2.0)
Performance Kan innovationstænkning hjælpe os? Anvendelse, herunder skabe forandring og double-loop learning Det halter fortsat JA Attribution og Evidensudfordring Vi har sjældent stærkt evidensbaseret grundlag for konklusionerne – og attribution kan så godt som aldrig besvares NEJ Udfordring med åbenhed for nye indsigter Kundeopdraget binder. Vi måler på det, vi skal måle på (WYSIWYG) Sandsynligvis Bæredygtighed og omkostningseffektivitet Disse centrale evalueringskriterier kan ikke for alvor besvares Anbefalinger til fremtiden Mange anbefalinger ender som bekræftelse af forhold vi ved i forvejen (se under manglende double-loop learning). JA. Afsæt i praktikernes hverdag med fokus på løsning af deres kerneopgave 4 september 2013 Evaluering i innovationsprocesser

21 Med hvad kan innovationstænkning styrke evaluering?
4 september 2013 Med hvad kan innovationstænkning styrke evaluering? En metode til at få nye øjne på praksis og samle erfaringer op som måske ellers er svære at samle op ved at inkludere tavs viden Have et godt blik for 'the sweet spot' Dialog mellem opdragsgiver og evaluator: Kan man slække på kriterier (sustainability og efficiens) og gøre opdraget mere "innovationsparat"? Begynde at tænke evaluering mere i lyset af at komme frem til gode anbefalinger til kunden – måske fordi evaluator har set det på en måde som kunden ikke gør Tænk ud af boksen i forhold til hvem og hvordan der inddrages i evalueringen, så det ikke kun er 'the usual suspects' der kommer til orde 4 september 2013 Evaluering i innovationsprocesser

22 4 september 2013 Kilder: How to −− and How Not to −− Evaluate Innovation Burt Perrin : Patton og developmental evaluation/formativ evaluering, når du siger evaluering som innovationsmotor (jf. Weiss vs. Patton debat). The Knowledge-Creating Company. Ikujiro Nonaka & Hirotaka Takeuchi: 4 september 2013 Evaluering i innovationsprocesser