Maria Laura Lippert – Forår 2005 Systemer og praksisproblemer – Evaluering og monitorering af udviklingsbistand Maria Laura Lippert – Forår 2005

Systemskifte: nye metoder og instrumenter – ændret teknik Paradigmeskifte: nye grundlæggende opfattelser og tænkemåder – ændret logik

1) Opfølgningsspørgsmål angribes ensidigt på systemniveau, og ud fra en logik der før som nu – på trods af ændret retorik – bygger på et mekanistisk og naturvidenskabeligt inspireret rationale.

2) Overgangen fra ’hårde’ til ’bløde’ systemer kan – i kombination med uændret tankemæssigt udgangspunkt – medføre en svækket retssikkerhed for partnerorganisationerne i Syd.

Opgør med gamle forståelser: ”Efter mange år med traditionel projektorienteret bistand synes et paradigmeskift at bryde frem” (Danida, Arbejdspapir nr. 18 ”Hovedproblemstillinger i den danske NGO-bistand” 2000) ” The focus on new M&E practices is in other words informed by a changed understanding of social change and how it is brought about.” (Innovator nr. 7, “Monitoring and Evaluation – a Mixed Blessing”)

”I undersøgelsen understreger vi manglen på effektive overvågnings- og evalueringssystemer i de fleste af de projekter, som danske Ngo’er støtter. De fleste projektrapporter antyder, at overvågnings- og evalueringssystemer er utilstrækkelige, i nogle tilfælde alarmerende ringe (…) Den sidste - og måske en af de vigtigste anbefalinger fra denne undersøgelse, som NGO’erne bør tage stilling til – er behovet for at bevæge sig væk fra en tænkemåde og projekttradition, der først og fremmest er resultatorienteret, til en metode der forsøger at forstå og forklare fremskridt.” (”Effekten af NGO-bistanden – en gennemgang af danske Ngo’ers arbejde i udviklingslandene” Peter Oakley, 2000)

Kritik af LFA: Systemet baserer sig på en forældet, rigid og mekanistisk tankegang. Systemet medfører en urimelig grad af reduktion i forhold til den komplekse virkelighed der vurderes på. Systemet er for ufleksibelt – ikke mindst fordi det bygger på forhåndsdefinerede succeskriterier/indikatorer. Systemet egner sig dårligt til at understøtte målsætninger om participation.

Kritik af LFA: Systemet er for langt væk fra projektvirkeligheden – det virker fremmedgørende på de personer der skal anvende det i praksis. Systemet fremmer en ensidig resultatorientering – det egner sig dårligt til vurdering af processer Systemets fokus på kontrol hæmmer læring og udforskning i forbindelse med opfølgningen.

Kodeord i forbindelse med de alternative M&E-tilgange: Participation Processer Dialog Subjektive opfattelser Læring Forhandling Forståelse

LFA – MSC Objektivitet – Subjektivitet Kontrol – Læring Tal – Historier Resultater – Processer Forklaring – Forståelse

Most Significant Changes: Styrker: Enkel og fleksibel metode. Tager højde for uventede effekter. Tæt sammenhæng mellem dataindsamlings- og analyseprocessen => læring på forskellige niveauer. Fokus på et niveau tættere på projektaktiviteterne. Indsamling af information i dybden. Svagheder: Metoden er subjektiv. Det er svært at få adgang til negative historier.

MSC Svarskema: SPØRGSMÅL: Eks.: Indenfor den seneste (projekt)periode, hvad har så, efter din mening været den vigtigste ændring for personer i området/ projektets deltagere/ målgruppen for projektet? SVAR: Deskriptiv del: Denne del skal indeholde informationer om; Hvad der skete? Hvem var involverede? Hvor skete det? Hvornår skete det? + tilstrækkeligt med dokumentation til at verificere at begivenheden rent faktisk har fundet sted Forklarende/vurderende del: Denne del af svaret skal indeholde forklaring på hvorfor netop denne begivenhed er valgt ud som vigtig

Forslag til opfølgningsmodel med MSC, Ibis-Mellemamerika 2003: Niveau 4 Møde med donor årlig opfølgning ↑↑↑↑ Niveau 3 Ibis' bestyrelse halvårlig opfølgning ↑↑↑↑↑↑↑↑ Niveau 2 Ledelsesgruppe på programniveau 3månedlig opfølgning ↑↑↑↑↑↑↑↑↑ ↑↑↑↑↑↑↑↑↑↑ ↑↑↑↑↑↑↑↑↑↑ Niveau 1 Partnerorg. Partnerorg. Netværk 3månedlig opfølgning

Modsatrettede krav: Styrkede krav om (objektiv) dokumentation af udviklingsindsatsens virkninger fra donorside og fra politisk hold. Krav om læring og refleksion i forbindelse med opfølgningsarbejdet. Krav om opfyldelse af participatoriske målsætninger og hensigtserklæringer. Krav om effektivisering og tid til eftertanke

Retssikkerhed: Formel retssikkerhed: Formel retssikkerhed dækker den klassiske opfattelse af retssikkerhedsbegrebet, hvor forudsigelighed i form af regler udgør den enkeltes beskyttelse mod vilkårlighed og overgreb. Substantiel retssikkerhed: Det substantielle retssikkerhedsbegreb bygger på beskyttelse af den enkelte mod overgreb gennem sikring af ligeværdighed, medbestemmelse og vurderinger fra sag til sag

”Meget kan gå galt på vejen fra samtale til demokratisk ledelse ”Meget kan gå galt på vejen fra samtale til demokratisk ledelse. Da det forholder sig sådan, er samtalens grundregler vigtigere end den spontanitet, som den kan frembringe. Samtale kan være meget lidt egalitær, og uden passende træning, uddannelse og social lighed er dette sædvanligvis tilfældet. Regler for demokratisk samtale kan hjælpe med at beskytte personer, der har svært ved at føre ordet, og som ellers ville blive umyndiggjort af de velformulerede og facile.” (Michael Schudson, ”Hvorfor samtalen ikke er demokratiets sjæl” 2003, p.78)

I stedet for systemfokus... Konkretisering og diskussion af målsætningerne om øget participation – de eksisterer ofte primært på overskriftsniveau. Integration af etiske overvejelser i M&E-diskussionen – de optræder som oftest i punktform til sidst i dokumenterne. Diskussion og afklaring af de præmisser der vurderes ud fra med henblik på øget konsistens mellem udgangspunkt og metode. Kritisk/selektiv anvendelse af metodiske redskaber i forhold til den konkrete situation der ønskes en vurdering af, formålet med vurderingen etc.

erfaring/praksis objektiv subjektiv