Monitorering & Evaluering Hvad er god praksis ? Hanne Lund Madsen HLM Consult

KORTLÆGNING AF PRAKSIS M&E univers, formål, brug, aktører, volumen, kvalitet Rigsrevisionens rapport Hvordan og i hvilken udstrækning Udenrigsministeriet kan forbedre og systematisere brugen af NGO’ernes resultatmåling og evaluering Fremme dialog om M&E

Hovedspørgsmål Hvilke typer evalueringer udfører organisationerne? (projekt, program, tematisk, andre?). Har de en systematisk tilgang til evaluering? Er det muligt at identificere ”good practice” – jf. nedenfor, især på tværgående/tematiske evalueringer? Hvad bruger organisationerne evaluering til? Lever evalueringerne op til NGO’ernes egne kvalitetskrav? Lever de op til de mest almindelige krav på området illustreret ved f.eks. DACs eller INTRACs guidelines? Ser organisationerne et behov for tematisk erfaringsopsamling (både internt i organisationerne, organisationerne imellem og i forhold til Danida)? Er evaluering et godt værktøj til det?

Hovedspørgsmål Til kortlægning af organisationernes monitoreringspraksis: Har organisationerne et M&E system og tilfredsstiller det deres egne informationsbehov? Hvad er manglerne? Er der behov for kapacitetsopbygning på området? Hvordan er koblingen mellem monitorering og evaluering? Har organisationerne et formaliseret mål- og resultatsstyringssystem, hvilken type indikatorer bruges? hvor ofte – og til hvem – afrapporteres der? og i hvilken form? Er monitoreringssystemet resultatorienteret (på input, output, outcome, impact niveau)? Kan der ved gennemgang identificeres mål- og resultatstyringselementer der kan fungere som ”good practice” og samtidig er afstemt i forhold til flertallets kapacitet. -Hvordan finansieres og budgetteres monitorering og evaluering i organisationerne? Hvad er implementeringsgraden af de allokerede midler?

M&E Praksis – hvor langt og hvor dybt? Centrale dimensioner i NGO’ernes M&E praksis og i M&E universet. Hvor langt og hvor dybt? Arkitekturen og processerne i M&E?

Dimensioner i M&E Monitorerings- og evalueringspraksis Karakteristik af M&E tilgangen – herunder tilstedeværelsen af et formaliseret mål- og resultatstyringssystem Aktører i M&E praksis Organisering af M&E funktionerne og koblingen mellem M&E M&E værktøjer, standarder og redskaber (IT m.v.) Intern og ekstern M&E (fokus, ”data-fields”) etc. M&E produkter/outputs - herunder især evalueringernes kvalitet Brug af M&E (herunder formidlingspraksis) Kapacitetsbehov M&E budgetter, finansieringskilde og estimeret allokeringsgrad

Tentative konklusioner NGO’erne arbejder med PMER praksis – nogle mest PMR på uformelt plan andre med systemtilgang på PMER Arkitekturen er Logframe baseret og processen er vertikal med projektcyklus som omdrejningspunkt Partnersamarbejdet og bistandskæden afspejles i PME kæden Der er mange dilemmaer og modsat rettede interesser ( også nævnt på NGO træf) For de mindre NGO er ansøgnings- og rapporteringskrav skelettet i plan og monitorering Jo større NGO jo mere ”frit” fra Danida krav er praksis udformet

M&E praksis fortsat… Eksperimentering og best-practice kan identificeres – dog ingen paradigmer Der er en stor folkelig og demokratisk involvering i Monitorering M&E pyramiden gør sig stadig gældende – masser af monitoring i alle former, masser af midt-term review, få evalueringer og ganske enkelte impact undersøgelser Hovedvægten ligger på læring og program/projekt tilpasning Øget hyppighed af tematiske og program M&E Evalueringerne er en meget broget samling

Hvordan definierer I M&E universet? Øvrige dimensioner? Hvor ligger udfordringerne henne? Hvad sker der med M&E i lyset af partnersamarbejde og internationale alliancer? Hvordan tænkes M&E i f.eks. Red Barnet?

Evaluering Kvaliteten er afgørende for læringen og for, hvordan evalueringer kan bruges. Men hvad ser vi på, når vi undersøger kvaliteten af en evaluering? Og hvordan kan kvaliteten sikres?

Evaluering Der er mange definitioner af evalueringer og her vil der alene udvælges evalueringsrapporter, som er kendetegnet ved at være gennemført af uafhængig konsulent, gennemført på baggrund af TOR og med evalueringssigte (summative evaluation). Der vil ses nærmere på o Hvilken type ? o Hvilken kvalitetsstander anvendes evt.? o Indikation af evalueringernes kvalitet o Behov for tematisk erfaringsopsamling o Elementer til good practice i fht. tværgående emner/temaer

Baggrund for kvalitetsvurdering Danida ønsker at anvende evalueringsrapporterne mere aktivt og ønsker i den forbindelse at vide om det foreliggende materiale har kvalitet således at det kan anvendes som sekundære kilde i fht. erfaringsopsamling, syntesestudier m.v. Danida ønsker, hvor muligt, at stimulere en dialog om kvaliteten af NGO’ernes arbejde herunder også evalueringsarbejdet.

Kvaliteten af evalueringer Der er tre forskellige miljøer, som beskæftiger sig med evalueringernes kvalitet: ·         Opdragsgivernes retningslinjer og kvalitetsstandarder (DAC, DFID, m.v. samt NGO’ernes) ·         Evalueringsretningslinjer og Code of Conducts udarbejdet af Evaluation Societies ·         Meta-vurderinger af evalueringskvalitet herunder evalueringsbrug

Dimensioner i kvalitet Kvaliteten af TOR Kvaliteten af Metode Kvalitet i Evalueringsrapporten’s analyse af i) kontekst; ii) intervention (evalueringsfokus bla. med DAC kriterier) iii)Institutionel analyse Kvalitet i Rapportens indre koheræns. Bilag: Kvalitetsanalyseformat Sidstnævnte omhandler om TOR besvares, om standard format følges, om der er sammenhæng mellem findings, konklusioner og anbefalinger, er standarderne vedr. accuracy, feasibility, propriety and utility opfyldt.?

Hvordan sikre I kvaliteten i evalueringer? Hvad er kvalitet/hvornår har en evaluering kvalitet? Bruger I nogle standarder? Bruger I evalueringerne til tværgående erfaringsopsamling og udveksling (internt / i netværk? Hvilken gavn har FKN haft af en generel checkliste for evalueringsrapporter?