Evaluering og dokumentation - Tendenser og strategiske udfordringer Primo Netværksgruppe 18. Juni 2007 Tim Jeppesen, direktør.

Præsentationer af emnet: "Evaluering og dokumentation - Tendenser og strategiske udfordringer Primo Netværksgruppe 18. Juni 2007 Tim Jeppesen, direktør."— Præsentationens transcript:

1 Evaluering og dokumentation - Tendenser og strategiske udfordringer Primo Netværksgruppe 18. Juni 2007 Tim Jeppesen, direktør

2 KREVI

3 KREVIs organisation Bestyrelsen (6 personer) –Partner Lisbeth Binderup, Lundgaard Konsulenterne, Formand –Cheføkonom Jan Olsen, KL –Administrerende direktør, Kristian Wendelboe, Danske Regioner –Professor Jens Blom-Hansen, Aarhus Universitet –Kommitteret, Ib Valsborg, Finansministeriet –Afdelingschef Thorkil Juul, Indenrigs- og Sundhedsministeriet

4 KREVIs organisation Finanslovsbevilling 10,2 mio kr. 12-15 årsværk –som grundbemanding –9 medarbejdere pt. –Indtægtsdækket virksomhed –flere medarbejdere –Indlånte medarbejdere –gennemtræk på den fede måde Placering i Århus, sammen med IKAS

5 Martin Camilla StinneAnders Tanja Tim MortenPeter KREVI

6 KREVIs opgaver, lov 548 Gennemføre evalueringer og benchmarking Rådgive offentlige myndigheder om evalueringer Indsamle nationale og internationale erfaringer med evalueringer Tjene som videns- og læringscenter ’Vidensproducent’ ’Rådgivningsorgan’ ’Vidensbank’ ’Rugekasse’

7 Udfordringer og tendenser Synliggørelse af kvalitet Sammenlignelighed på tværs Decentralt ledelsesrum og metodefrihed Regelforenkling Centralisering Decentralisering Dokumentation og Evaluering

8 Dokumentation TroIndicierBeviserVirkeligheden Dokumentation

9 Evaluering ’En systematisk vurdering af en indsats’ –Krav til metoder, datakvalitet, kildekritik –Vurderingskriterier –Indsats = konkrete fænomener –Mange formål!

10 Dokumentation og evaluering Dokumentation ↨ Evaluering

11 Indikatorer En del af en generel tendens til kvantificering En variabel og en måling, måske et mål Fordele –Målingerne er objektive og neutrale –Transparente og sammenlignelige –Kvalificerer brugervalg –Giver incitamenter –Standardiserings- og ensretningsdynamik

12 Indikatorer Ulemper –’… kan derimod ikke i sig selv anvendes til at vurdere effekter, være bestemmende for fremtidig udvikling, danne grundlag for beslutninger om ressourceallokering og vurdere kvalitet’ (Burt Perrin) –Utilsigtede virkninger –Forudsætter at det kan måles

13 De 23 indikatorer på ældreområdet

14 KREVI

15 Erfaringer med Comprehensive Performance Assessment (CPA) Kommunerne scorer bedre og bedre Gode anmeldelser Borgernes tilfredshed med kommunen falder Problemer –Dårlige indikatorer –Måler vilkår frem for præstation –Aggregering forvirrer –Strategisk adfærd

16 … men det er da bedre at have nogen målinger frem for ingen… (?) Ja, afgjort, men… Målinger tager tid, og er det umagen værd? Utilsigtede virkninger

17 … men hvad så? Kvantitative målinger kvalificeres med kvalitative, og omvendt Evalueringer –Virkningsevaluering –BIKVA –Kompetenceevaluering Observationsstudier

18 Og hvad skal kommunerne gøre? Dokumentations og målingskrav kan (altså) godt vurderes før implementering Brug indikatorerne til det de er gode til –Gør det – og gør så heller ikke mere –Start med at nyttiggør den viden der er i dag –Gør dem lokale og specifikke Måle kvalitet? –Kvalitative metoder ikke til at komme uden om –Dyre men dejlige –strategi nødvendig

19 Måling dokumentation og risiko Synliggør risiko Ekspliciterer implicit information Men hvad med det der ikke måles? Målefejl Måling og dokumentation som et kultur- projekt –Evalueringskapacitet