Kabell Konsulting aps Managing for Results DES Årsmøde 2013 How to be Outstanding? Case: Evaluering af Paris Deklarationen Dorte Kabell Kabell Konsulting 20 September 2013 Kolding

Kabell Konsulting aps Managing for Results Michael Quinn Patton: “When I began the metaevaluation of The Paris Declaration Evaluation, I (…) approached the evaluation with considerable skepticism about whether an evaluation of such global scope, great political stakes, intense controversy, methodological challenges, and daunting timeline could be conducted with even minimum quality, much less constitute and exemplar and model.”

Kabell Konsulting aps Managing for Results Evalueringsobjektet  Paris Erklæringen om bistandseffektivitet  Underskrevet af 150 lande og organisationer i 2005  Bygger på 5 hovedprincipper og indeholder 56 specifikke ”commitments”  Erklæringen indeholdt som noget helt nyt i en politik erklæring et tilsagn om uafhængig evaluering og monitorering  Evalueringen blev præsenteret i 2011 til Fourth High Level Forum on Aid Effectiveness i Busan, Korea  Google “The evaluation of the Paris Declaration” i dag og få hits

Kabell Konsulting aps Managing for Results Evalueringen  Et joint internationalt initiativ (multiple institutioner og internationale stakeholders)  Målet: ”to assess the relevance and effectiveness of the Paris Declaration and its contribution to aid effectiveness and ultimately to development effectiveness”  Implementeret i to faser; fase 1 bidrog til metodeudviklinngen i fase 2  Analyse og syntese af mange forskellig komponenter: over 50 evalueringer fra 21 lande og 12 donorer, tematiske studier, monitorerings data (parallelt forløb), litterateur review  Megen conceptuel og evalueringsteknisk diskussion og innovation

Kabell Konsulting aps Managing for Results Evalueringens komponenter SYNTHESIS PHASE 1 RESULTS and Results of Monitoring Survey EVALUATION QUESTIONS 3. Development outcomes 2. Process and intermediate outcomes 1. Context COUNTRY STUDIES DONOR STUDIES SUPPLEMENTARY STUDIES

Kabell Konsulting aps Managing for Results

Kabell Konsulting aps Managing for Results Governance Separation af evaluerings funktion fra politisk og management funktion, men med fora og mulighed for interaktion:  Uafhængigt sekretariat  Lille men repræsentativt management team  Core syntese team repræsenterede kulturel diversitet: 8 uafhængige konsulenter, mænd og kvinder, fra Nordamerika, Europa, Asien, Afrika og Latin Amerika  33 individuelle evaluerings teams for lande studier  International reference gruppe med 52 medlemmer  Individuelle reference grupper for hver lande/donor-evaluering Evaluerings teams’ uafhængighed i centrum

Kabell Konsulting aps Managing for Results Arbejdsprocessen  Virtual team arbejdede gennem skype, , video konference and sharepoint for at sikre fælles forståelse og adgang til alle dokumenter  Regelmæssig og intens kontakt med lande- og donor- teams i præ-syntese perioden og regelmæssige møder med management og reference gruppen  Mødtes flere gange som team, og lavede fælles workshops med lande teams  Kvalitetssikring bygget ind i processen på flere stadier  ”Emerging findings workshop” på Bali med 120 personer vigtigt element i kvalitetssikring  Teknisk annex indeholder analyse af evalueringen i forhold til OECD/DAC kvalitets standarder for god evaluering  Michael Quinn Patton’s meta evaluering – førte senere til at Michael nominerede evalueringen til American Evaluation Associations’ Award for Outstanding evaluation

Kabell Konsulting aps Managing for Results Kvalitetssikring af evidens  Evidens i centrum, og en del spørgsmål krævede en vurderings, så nødvendigt med ensartet grundlag og metode (direction of travel, distance traveled, pace of travel)  Alle case studier brugte samme evalueringsframework for at sikre komparabilitet  Udviklede standard evaulerings framework, protokoller, data indsamlingmatrixer og templates for rapporterne  Både kvantitative og kvalitative data  Triangulering og brug af både primære og sekondære kilder, statistik, surveys, interviews og andet evaluativt materiale  Peer review af final products  Brug af workshops til kvalitetssikring af findings

Kabell Konsulting aps Managing for Results Bruger-fokus  Evalueringen var designet og implementeret til at bidrage til et internationalt højniveau møde i Korea; deltagerne og deres bagland var den primære målgruppe  Evalueringsspørgsmålene tog udgangspunkt i konferencens forventede prioritets emner og blev udviklet gennem enrække workshops  Evalueringen var timet så den blev præsenteret ved mødet  Anbefalingerne differentieret I forhold til forskellige målgrupper  Meget omfattende strategi for kommunikation af resultaterne; selve rapporten men også ”afledede produkter” så som policy briefs, powerpoints, film mv.  Ekstensiv brug af forskellige medier, både traditionelle og sociale som videoclips på Youtube, og personlige præsentationer af medlemmer af Core team  Hvert land lavede derudover egen kommunikationsstrategi

Kabell Konsulting aps Managing for Results Process-impact Evalueringens impact går langt ud over dens findings:  Kapacitetsopbygning af nationale evalueringsteams  Forstærkelse og forståelse af Paris Deklarationens principper gennem undersøgelser og dialog  Opbygning af et stort, samlet og tilgængeligt informations- katalog om Deklarationen  Lessons learned gennem metaevaluering og gennem workshop on joint evaluation har analyseret, delt og dokumenteret denne impact

Kabell Konsulting aps Managing for Results Og det kostede… Ca. 78 millioner DKK “The underlying stakes are huge: better lives for billions of people (reflected in the approaching Millennium Development Goals for 2015); hundreds of billions of dollars expended; vital international relationships; and growing demands to see results from development aid”

Kabell Konsulting aps Managing for Results “Successful evaluation is about much, much more than systematic procedures, rigorous methods, careful analysis, and thoughtful, evidence-based judgments. The personal factor, exemplified in effective leadership, is at the core of evaluation success” Michael Quinn Patton

Kabell Konsulting aps Managing for Results Letters of support  J. Brian Atwood, Chairman, Development Assistance Committee, OECD 2.  Peter Davis, Chief, Evaluation and Aid EffectivenessOffice of U.S. Foreign Assistance Resources, US Department of State  Cynthia Clapp-Wincek, Director, Office of Learning, Evaluation and Research, Bureau for Policy, Planning and Learning, USAID  Ton Lansink, Director Effectiveness and Coherence Department, Policy and Operations Evaluation Department, The Hague  Pius Bigirimana, Permanent Secretary to the Prime Minister, The Republic of Uganda

Kabell Konsulting aps Managing for Results Hvor ser I potentiale for anvendelse af good practice? Hvad ville der skulle tages højde for i en Dansk sammenhæng? Overvej…