Dokumentation, evaluering og evidens Forskningsleder, ph.d. Tine Curtis Syddansk Universitet

Hvad er evidens? At arbejde evidensbaseret med forebyggelse vil sige, at man sikrer velovervejet, systematisk og eksplicit anvendelse af den aktuelt bedste viden om hvilke metoder og indsatser, der virker på hvem, under hvilke omstændigheder og ved anvendelse af hvilke ressourcer (Sundhedsstyrelsen) Dele af lægevidenskaben har traditionelt betragtet evidens som viden om årsag-effekt fundet ved hjælp af RCT (randomized controlled trials – lodtrækningsforsøg)

Søgen efter eksisterende viden Sundhedsstyrelsen: Evidensbasen, Borgerrettet forebyggelse i kommunen, Sundhed i kommunen – nye opgaver og muligheder DSI: Evidensbaseret forebyggelse i kommunerne KL: Idékatalog om borgerrettet forebyggelse; Målepunkter ved dokumentation af indsatser rettet mod [xxx] SBN: Projektdatabasen Gang i Danmark (www.gangidanmark.dk) KRAM: Lokale KRAM-indsatser (www.kram-undersogelsen.dk) The National Institute for Health and Clinical Excellence (www.nice.org.uk) EU Good Practice Directory (www.health-inequalities.eu) Med flere …………

Forskellige former for evidens Væsentligt at skelne mellem evidens i forhold til: Effekt af sygdomsårsager på sygdom Effekt af indsatser på sygdomsårsager Implementering af indsatser Sygdomsårsagers effekt på sygdom kan findes i den internationale litteratur Der er behov for mere viden om effekt af indsatser og faktorer af betydning for implementering – Der er behov for mere evaluering og dokumentation!

Hvad er evaluering? Evaluering er systematisk, tilbageskuende vurdering af organisering, gennemførelse, aktiviteter og effekter af politikker og indsatser, som spiller en rolle i praktiske handlingssituationer Ramme Effekt Indsats Organisering er rammer og strukturer Gennemførelse er implementering Præstationer er output eller impact Effekter er outcome eller udbytte for slutbrugeren Resultatet svarer til intentionerne med indsatsen som følge af, at implementeringsprocessen er forløbet som forventet Resultaterne stemmer ikke overens med intentionerne, fordi implementeringen af indsatsen ikke er lykkedes Resultaterne stemmer ikke overens med intentionerne, selvom implementeringen er forløbet tilfredsstillende. Årsagen vil i dette til­fælde sandsynligvis være, at indsatsen som udgangspunkt ikke har været egnet til at levere det ønskede resultat. Proces Aktiviteter

Hvorfor evaluerer man? Det offentlige sundhedsbudget skal anvendes til at tilbyde befolkningen effektive indsatser Anvendelsen af midlerne skal optimeres; kvalitetssikring og læring for forebyggere og praktikere Vi skal vide, hvad borgerne synes om, det vi gør Bevillingsgiverne kræver det!

Evaluering af effekt Ved større, nye indsatser bør der skabes evidens om indsatsens effekt Evalueringer af effekt kan med fordel gennemføres i samarbejde mellem kommuner/regioner og forskningsinstitutioner Den gyldne standard for skabelse af evidens om effekt er: Formuler formålet med evalueringen (evalueringsspørgsmålet) Vælg metoder og datatyper, der egner sig til at belyse formålet Analyser og drag konklusioner i overensstemmelse med formålet og de valgte metoder

Hvad er dokumentation? At dokumentere er at lave systematiske registreringer af: hvad vi gør, hvor, hvor ofte hvem der modtager/kommer/deltager Kan omfatte/suppleres med erfaringsopsamling vedr. implementering hvad gik godt, hvorfor hvad gik ikke godt, hvorfor Kan laves mere eller mindre detaljeret … Registreringsskema til systematisk vurdering af indsats og proces Dokumentation og evaluering – 2 sider af samme sag … Ingen undskyldning for IKKE at dokumentere… Organisering er rammer og strukturer Gennemførelse er implementering Præstationer er output eller impact Effekter er outcome eller udbytte for slutbrugeren Resultatet svarer til intentionerne med indsatsen som følge af, at implementeringsprocessen er forløbet som forventet Resultaterne stemmer ikke overens med intentionerne, fordi implementeringen af indsatsen ikke er lykkedes Resultaterne stemmer ikke overens med intentionerne, selvom implementeringen er forløbet tilfredsstillende. Årsagen vil i dette til­fælde sandsynligvis være, at indsatsen som udgangspunkt ikke har været egnet til at levere det ønskede resultat.

Evaluering og dokumentation RCT kan give sikker viden om effekt af en given indsats Forudsætter målbar indsats og målbar effekt (svært at måle ukendte faktorer) Ikke altid rimeligt at generalisere fra ideel indsats til praktisk virkelighed Er ressourcekrævende og forudsætter ekspertviden Før-og-efter målinger kan også give viden om effekt Registerbaserede eller ved gentagne spørgeskemaundersøgelser Dog skal man tage højde for andre, måske ukendte, faktorer med betydning for effekten Dokumentation af aktiviteter kan give viden om ’hvad der blev gjort’ Der bør udvikles fælles nationale indikatorer mhp sammenligninger og opfølgning Registreringsskemaer og fordeling af ansvar for udfyldelse skal foreligge inden implementering Procesevaluering kan give viden om, hvilke faktorer, der havde betydning for implementeringen Faktorer, der har at gøre med rammer for indsatsen samt erfaringer med implementeringen kan beskrives ved intern procesevaluering Faktorer, der har at gøre med samarbejdsrelationer og organisering af indsatsen bør ofte beskrives af ekstern evaluator

Evaluering og dokumentation i kommuner Kommuner (såvel som alle andre) skal ikke evaluere det, man allerede ved Kommuner skal kende til resultater af allerede gennemførte evalueringer og til best practices Kommuner skal dokumentere aktiviteter (hvor mange deltog i aktiviteten, hvor mange gennemførte osv.) - og beskrive implementeringsprocesser (’hvordan vi gjorde’; problemer og hvordan de blev løst)

Og nu til gruppearbejde…