Fra procesmålinger til resultatmålinger i den kommunale tandpleje Forskningsleder Karsten Vrangbæk Fra procesmålinger til resultatmålinger i den kommunale tandpleje

Dagsorden hvilke resultatmålinger kan den kommunale tandpleje gennemføre for at dokumentere resultatet af det opsøgende, forebyggende og behandlende tandplejetilbud, der stilles til rådighed for borgerne? Generelle betragtninger om præstationsmålinger og designvalg Præstationsmåling og offentlig tandpleje. – ”Det muliges kunst” Opsamling: generelle pointer Forskningsleder Karsten Vrangbæk

Resultatmåling og designvalg Politt 2011. Paper for EGPA conference, Bergen Forskningsleder Karsten Vrangbæk

Hvilke aktiviteter/aspekter af aktiviteter skal måles? ”what’s measured gets managed”: input, proces eller resultat. – Kun børnetandpleje eller også voksen og ældretandpleje? Hvordan kommer den bredspektrede forebyggende indsats med i målinger? Forskningsleder Karsten Vrangbæk

Hvem skal måle? selvrapportering eller ekstern (akkrediterings-institution, brugere, professionelle, netværk) Forskningsleder Karsten Vrangbæk

Måling og data kvalitet Hvordan skal der måles: Hvilke teknikker? Periodisk eller ad hoc? Hvor troværdige er målene? Hvem har adgang til rådata? Vil de blive valideret? Forskningsleder Karsten Vrangbæk

Hvilke kriterier skal anvendes ved vurdering? Standard eller minimumsværdi (i så fald hvordan bestemmes den?), gennemsnit, tidsserie fra egen organisation, d) ift den/de bedste organisation(er) af samme slags, e) en kombination af a-d. – Bemærk, at den samme organisation kan score godt ift tidsserie, minimumsværdi eller gennemsnit, men være langt fra toppen. Forskningsleder Karsten Vrangbæk

Hvordan præsenteres informationen? Aggregering, indeks, vægtning, rangordning mv? Forskningsleder Karsten Vrangbæk

Hvem har adgang til information? Intern ledelse, ekstern administration, brugere, offentlighed i almindelighed, andre organisationer? –> Forskellige brugere har forskellige behov og evner! -> Offentliggørelse og anvendelse kan påvirke motivation til indrapportering. Forskningsleder Karsten Vrangbæk

Hvordan bruges informationen? a) symbolsk/rituel brug (”se, vi har også et moderne målesystem”), b) straffe dem der scorer lavt, c) som basis for bevillingsdiskussion (”vi har gjort det godt, så vi skal belønnes” eller ”vi har gjort det skidt, så vi har brug for flere ressourcer”), d) for at fremme organisatorisk læring, e) for at understøtte beslutninger om at fortsætte eller terminere bestemte aktiviteter, f) for at fremme individuelle karrierer, g) gemmes og glemmes, h) kombination af a-g. Forskningsleder Karsten Vrangbæk

Hvordan modtages måling i organisationen? Mulige organisatoriske reaktioner: indifferens hensigtsmæssig ændring af adfærd uhensigtsmæssig/ strategisk adfærd (pynte på resultater, ”window dressing”), midlertidig/selekteret adfærdsændring: Fokusforskydning Forskningsleder Karsten Vrangbæk

Hvad er det bredere formål? Påvirke adfærd i organisationen? Værktøj for faglig og organisatorisk læring? Kontrol og styring af organisationen? Understøtte valgfrihed? (Behn 2003: to evaluate, to control, to budget, to motivate, to promote, to celebrate, to learn, to improve?) Forskningsleder Karsten Vrangbæk

Resultatmåling indebærer valg Politt 2011. Paper for EGPA conference, Bergen Forskningsleder Karsten Vrangbæk

Resultatmåling og ”det muliges kunst” De fire ”lette” måle punkter Input (ressourcer) Personale-sammenssætning (erfaring, uddannelse mv) - kan man tiltrække og fastholde personale? Aktivitet: Hvor mange, og hvilke aktiviteter. Højere eller lavere end gennemsnit? Produktivitet: Antal behandlinger per krone? Proces: Overholdes vejledninger og standarder? Er der udarbejdet lokale retningslinjer (DDKM) Bruges evidensbaserede metoder Tilpasses indsatser individuelt Forskningsleder Karsten Vrangbæk

De fire ”lette” måle punkter: ift forebyggelse? Input (ressourcer): Personale-sammenssætning (erfaring, uddannelse mv) Aktivitet: Hvor mange, og hvilke aktiviteter. Højere eller lavere end gennemsnit? Produktivitet: Antal behandlinger per krone? Proces: Overholdes vejledninger og standarder? Bruges evidensbaserede metoder Særlig ekspertise ift forebyggelsesindsats? ”behandlinger” skal defineres. – fx forebyggelsessamtaler, antal indrapporteringer ”behandlinger” skal defineres, – og prissættes I det omfang de findes Forskningsleder Karsten Vrangbæk

Resultatmåling og ”det muliges kunst” Resultatmål 1: Antal vellykkede behandlinger? Ingen tilbagefald eller komplikationer. Brugertilfredshed. Peer review/professionelle vurderinger (journalgennemgang) Forskningsleder Karsten Vrangbæk

Resultatmåling og ”det muliges kunst” Resultatmål 2: Bredere vurdering af sundhedsfremmende/forebyggende effekter Udviklingen i den generelle tandsundhed i den relevante befolkningsgruppe (alle børn, udvalgte voksengrupper) Forskningsleder Karsten Vrangbæk

Resultatmåling og ”det muliges kunst” Resultatmål 3: Bredere vurdering af sundhedsfremmende/forebyggende effekter Tandplejens input til generel sygdomsforebyggelse (spiseforstyrrelse og rygning blandt børn/unge. Tandsygdomme blandt voksne/ældre etc) Forskningsleder Karsten Vrangbæk

To strategier for perspektivering af resultater Måling af udvikling over tid (husk at korrigere for generel udvikling i tandsundhed) Sammenligning på tværs med tilsvarende kommuner/ enheder (husk at korrigere for sociodemografi og andre confoundere) Forskningsleder Karsten Vrangbæk

Udvikling i tandsundhed for en given befolkningsgruppe (resultatmål 2) SCOR: Resultater for børnetandpleje Der indsamles data på børnetandsundhed ved det 5, 7, 12 og 15ende år. Disse tal er på individniveau, og kan knyttes til den enkelte klinik. Der skal kontrolleres for socio-demografiske forhold og andre relevante confoundere. Mange kommuner indberetter også for andre årgange end de obligatoriske. - Indberetning sker til SST (Scor data) SCOR data skal opdateres med nye relevante sygdoms/behandlingstyper Forskningsleder Karsten Vrangbæk

Målinger skal afspejle målsætninger! Eksempler på kontrakter med resultatmål. – (Lyngby-Tårbæk) Forskningsleder Karsten Vrangbæk

Resultatmåling og ”det muliges kunst” Eksempler på kontrakter med resultatmål. – (Lyngby-Tårbæk) Forskningsleder Karsten Vrangbæk

Resultatmåling og ”det muliges kunst” Eksempler på kontrakter med resultatmål. – (Lyngby-Tårbæk) Forskningsleder Karsten Vrangbæk

Resultatmåling og ”det muliges kunst” Husk at korrigere for sociodemografi mv -> Ca 44% af variation forklares af flour og mødres uddannelse! Ekstrand, KR , Christiansen, MEC , Qvist, V & Ismail, A 2009, ' Factors associated with inter-municipality differences in dental caries experience among Danish adolescents. An ecological study ' Community Dentistry and Oral Epidemiology . Forskningsleder Karsten Vrangbæk

Hvad med de bredere forebyggelsesmæssige indsatser? Fx: Tidlig opsporing ifm spiseforstyrrelse, rygning mv Positive effekter ved systematiske programmer for at øge tandsundhed for bestemte grupper (fx. 12 årige i Lyngby-Tårbæk, eller udsatte voksne Herlev Kommune) Forskningsleder Karsten Vrangbæk

Resultatmål 3: ift bredere forebyggende indsats Ad hoc evalueringer af specifikke indsatser rettet mod særlige grupper Vurderinger fra andre dele af forvaltningen: Får man indrapporteringer fra tandplejen Er indrapporteringer nyttige Del af bredere kommunal strategi for folkesundhedsdata - fx via: Udvikling i kommunale sundhedsprofiler. Aktivitetsdata for tilskudsberettigede behandlinger hos private tandlæger Dansk Sundhedsinstitut. Tandstatus – tandsundhed objektivt og subjektivt vurderet. 
Resultater fra ”Tandundersøgelsen ved KRAM- undersøgelsen”. 2012. – Flere delrapporter i 2013. Forskningsleder Karsten Vrangbæk

En ting er resultatmål. – Men hvad ved vi om kausalitet? Resultatmål giver en indikation af status og udvikling Brug for mere nuancerede vurderinger af kausalitet mellem indsatser/organisering og resultater En nylig undersøgelse (2009) viser, at kommuner med særligt god udvikling fra 1999 til 2004 kendetegnes af 1) målstyring og 2) fokus på forebyggelse på individniveau. Kommuner med dårlig udvikling kendetegnes af: ustabilitet i bemanding, relativt små enheder og økonomi Forskningsleder Karsten Vrangbæk

Opsummering ”hvilke resultatmålinger kan den kommunale tandpleje gennemføre for at dokumentere resultatet af det opsøgende, forebyggende og behandlende tandplejetilbud, der stilles til rådighed for borgerne? ” Alle resultatmålinger indebærer valg. – Start med at gennemgå design elementer. Aktivitet, målepunkter, data, kriterier, offentliggørelse, anvendelse. Resultatmåling er det muliges kunst ift data og ressourcer. – -> SCOR data er centrale for børnetandsundhed, men skal evt opdateres med nye behandlingsformer mv, - og suppleres med specifikke data for forebyggelse og opsøgende indsatser -> Data for voksen/ældretandsundhed og bredere forebyggelsesaktiviteter er mangelfulde: Ad hoc evalueringer, bredere kommunal strategi for dokumentation af forebyggelsesindsatser mv Vær forsigtig med at tilskrive kausalitet. Resultatmål giver indikationer, men ikke forklaringer (jf. KU undersøgelse). Brug resultatmåling som afsæt til at undersøge dette Forskningsleder Karsten Vrangbæk