Evaluering og dokumentation - Tendenser og strategiske udfordringer Primo Netværksgruppe 18. Juni 2007 Tim Jeppesen, direktør

KREVI

KREVIs organisation Bestyrelsen (6 personer) –Partner Lisbeth Binderup, Lundgaard Konsulenterne, Formand –Cheføkonom Jan Olsen, KL –Administrerende direktør, Kristian Wendelboe, Danske Regioner –Professor Jens Blom-Hansen, Aarhus Universitet –Kommitteret, Ib Valsborg, Finansministeriet –Afdelingschef Thorkil Juul, Indenrigs- og Sundhedsministeriet

KREVIs organisation Finanslovsbevilling 10,2 mio kr årsværk –som grundbemanding –9 medarbejdere pt. –Indtægtsdækket virksomhed –flere medarbejdere –Indlånte medarbejdere –gennemtræk på den fede måde Placering i Århus, sammen med IKAS

Martin Camilla StinneAnders Tanja Tim MortenPeter KREVI

KREVIs opgaver, lov 548 Gennemføre evalueringer og benchmarking Rådgive offentlige myndigheder om evalueringer Indsamle nationale og internationale erfaringer med evalueringer Tjene som videns- og læringscenter ’Vidensproducent’ ’Rådgivningsorgan’ ’Vidensbank’ ’Rugekasse’

Udfordringer og tendenser Synliggørelse af kvalitet Sammenlignelighed på tværs Decentralt ledelsesrum og metodefrihed Regelforenkling Centralisering Decentralisering Dokumentation og Evaluering

Dokumentation TroIndicierBeviserVirkeligheden Dokumentation

Evaluering ’En systematisk vurdering af en indsats’ –Krav til metoder, datakvalitet, kildekritik –Vurderingskriterier –Indsats = konkrete fænomener –Mange formål!

Dokumentation og evaluering Dokumentation ↨ Evaluering

Indikatorer En del af en generel tendens til kvantificering En variabel og en måling, måske et mål Fordele –Målingerne er objektive og neutrale –Transparente og sammenlignelige –Kvalificerer brugervalg –Giver incitamenter –Standardiserings- og ensretningsdynamik

Indikatorer Ulemper –’… kan derimod ikke i sig selv anvendes til at vurdere effekter, være bestemmende for fremtidig udvikling, danne grundlag for beslutninger om ressourceallokering og vurdere kvalitet’ (Burt Perrin) –Utilsigtede virkninger –Forudsætter at det kan måles

De 23 indikatorer på ældreområdet

KREVI

Erfaringer med Comprehensive Performance Assessment (CPA) Kommunerne scorer bedre og bedre Gode anmeldelser Borgernes tilfredshed med kommunen falder Problemer –Dårlige indikatorer –Måler vilkår frem for præstation –Aggregering forvirrer –Strategisk adfærd

… men det er da bedre at have nogen målinger frem for ingen… (?) Ja, afgjort, men… Målinger tager tid, og er det umagen værd? Utilsigtede virkninger

… men hvad så? Kvantitative målinger kvalificeres med kvalitative, og omvendt Evalueringer –Virkningsevaluering –BIKVA –Kompetenceevaluering Observationsstudier

Og hvad skal kommunerne gøre? Dokumentations og målingskrav kan (altså) godt vurderes før implementering Brug indikatorerne til det de er gode til –Gør det – og gør så heller ikke mere –Start med at nyttiggør den viden der er i dag –Gør dem lokale og specifikke Måle kvalitet? –Kvalitative metoder ikke til at komme uden om –Dyre men dejlige –strategi nødvendig

Måling dokumentation og risiko Synliggør risiko Ekspliciterer implicit information Men hvad med det der ikke måles? Målefejl Måling og dokumentation som et kultur- projekt –Evalueringskapacitet