Hvad skal jeg lede efter? Det kommer an på, hvad du gerne vil finde!

Det store spørgsmål Hvordan bliver vi bedre til at arbejde med meningsfulde og relevante indikatorer i relation til både evaluering og styring? Afdække / Forstå / Prioritere /(balancere?) Interesser og formål Og handle derefter i design, dataindsamling og anvendelse

Perspektiv Mange teoretiske og metodiske perspektiver på studiet af og brugen af indikatorer. På vej mod et praktikerperspektiv; hvordan kan vi med en rimelig ressourceindsats blive lidt eller meget klogere og i stand til at handle mere hensigtsmæssigt Indikatorer er ”den mindste identificerbare enhed”, når vi arbejder med måling og evaluering; den det hele falder tilbage på

Hvad kommer jeg med Lidt om Blå Kors Danmark og Forskningsafdelingen (setting) Hvad er en indikator? Hvad kan indikatorer sige noget om? – faser, niveauer, typer Hvordan vælger man hvilke indikatorer i en konkret måling? Når data foreligger – anvendelse i forskellige faser og niveauer Private og offentlige organisationer – forskellige styringslogikker og logikker for meningsfuldhed? Leadership og management Forskningsafdelingen på vej videre?

Blå Kors Danmark og Forskningsafdelingen Non-profit social organisation (frivillig?, indikatorer på frivillighed?) 300 lønnede, 1500 frivillige Fokus på faglighed og kvalitet / organisation –Kvalitetschef –Forskningsafdeling –Nytiltrådt vicegeneralsekretær FA- bevilling og virkelighed: –Forskning – 25 % - forskning i bred forstand –Dokumentation – 50 % - etablere systematisk viden + analyse –Innovation – 25 % - nye idéer omsat til praksis –Organisationen Blå Kors, støttesystemer/forudsætninger – resten af %’erne !!

Centrale værdier for vores arbejde Nærvær, faglighed, nye muligheder Meningsfuldhed – forskellige interessenter og logikker Værdi – det skal gøre en forskel, give mulighed for anerkendelse, læring, udvikling, dialog Åbenhed – videndeling, ting tilgængelige, samarbejde med os betyder at det kan blive brugt andre steder Videndeling – tværgående perspektiv supplerer fokus på den enkelte enhed Integritet og selvkritik – vi stiller også spørgsmål til os selv

Mødet mellem systemverden og livsverden For-forståelse: -At arbejde med systematik, have styr på hvordan ledelse påvirker medarbejdere, og hvordan medarbejderkompetencer hænger mere eller mindre godt sammen med brugergruppens sammensætning …. -Og at arbejde med at beskrive, dokumentere og spejle sig i dokumentation om, hvad vi gør og hvad vi opnår - tror vi på styrker den faglige selvbevidsthed – og kvaliteten i arbejdet -Ligesom det kan lette dialogen med omverdenen

Hvad er en indikator? –Et hjælperedskab –Fordi vi ikke kan måle alting direkte (livskvalitet?) –Fordi vi har brug for hjælp i analyse –Fordi vi så er bevidste om, hvad vi kigger på – og ikke kigger på (overser?)

Tror du på INDIKATOR? – og så ovenikøbet på det sociale område –Tror vi på, at vi kan styre rigtigt/meningsfuldt ved hjælp af indikatorer? –Tror vi på, at vi kan måle meningsfuldt ved hjælp af indikatorer? –Risiko for kriterieforskydning og meningsløs ”viden” – 2 grumme eksempler fra virkelighedens verden som privat organisation (FAII/Rambøll + Projektbevillinger) –Hvad er alternativet? –Derfor er bevidstheden og det eksplicitte valg så central

Hvad kan indikatorer sige noget om? Vi kan indkredse indikatorer om ALT! Så vi må vide, hvad vi vil vide noget om! - Hvad skal det givne projekt? Input-proces-output-outcome-impact -På forskellige tidspunkter i et projekt (eks. Netværksprojekt) -Hvad motiverer dem, som skal arbejde med det? -Hvad skal det bruges til? – lokal læring, aggregerede data til beslutningstagen? -Cost-effectiveness?

Indikatorer på forskellige niveauer Udviklingsprojektet – det lille projekt, det store projekt - udvikling af hvad – rammer, ydelsestyper, effekter Implementering af lovgivning -Gør de det? -Når de noget? – Hvad? - evalueringsmodeller -Er det sådan, at jo flere nuancer der rent faktisk er – fordi eks. Mange involverede del-projekter – jo mere tilbøjelige er vi til at måle på generelle indikatorer?

Valg af indikatorer – hvad vil du? Hvor vigtigt er det – anvendelse, troværdighed…. – at målingen er valideret til mindste detalje, ift eks. ressourceindsats? Evidensniveauer Validitet i forskellige perspektiver? -Selve måleredskabet er valideret (og de findes, burde have Campbell-review) - I forhold til den konkrete problemstilling; relevans, meningsfuldhed Anvendelse, nytteværdi – hellere en fugl i hånden end 10 på taget Hvem inviteres til at medvirke i indkredsning af indikatorer – og hvorfor?

Indikatorer i styring og evaluering/læring Forandringsteori  samme kriterier og indikatorer? Læring  vi skal også se ”alt det andet”, ser mere i lokale læringsprocesser? Forskellige niveauer – forskellige meningsfuldhedskriterier Ikke nødvendigvis enten-eller Eks. Københavns Kommune, evaluering af tilbud til familier -Sociale kompetencer start-slut-ungdomsudd. (måske standard) -Sociale kompetencer og specifikke, individuelle mål

Anvendelse Anvendelse i respekt for design (utopi? – afh. Af hvordan designet er fremkommet + hvad med det socialkonstruktionistiske perspektiv?) Lokalt; brug anledninger, kig mønstre, brug faglighed, stil nye spørgsmål + forpligt sig på handling Styringsrelationer; hvordan sammenfatte – operationaliseringsprocesen baglæns

Fra forandringsteori til måling

Private og offentlige organisationer? Styringslogik i det offentlige koloniserer private? – Anders la Cour Management – leadership Vi finder større bevidsthed og tydelighed omkring krav til eks. Resultatdokumentation (Tilbudsportalen) spændende og relevant ….og uheldigt, når det afgør fortsat udbetaling af en bevilling …eller hvis det flytter fokus for meget væk fra brugerne uden at fastholde relationen til dem Værdibårne organisationer og dokumentation? I øvrigt kender jeg heller ikke offentligt ansatte som gider måles på noget unyttigt (sprogscreening, læreplaner, UU, nationale test, A-t-A-tid)

Hvad har vi gang i i Blå Kors Danmark - Forskningsafdelingen på vej videre? Mange forskellige niveauer, eks. : –Indikatorkatalog – teori og metode –Forløbsstudie – meta, aggregerede –Akkreditering – styring og processer, organisatorisk forankret –Målinger af enkeltprojekter, bevillingsstyrede indikatorer og målinger –Målinger af enkeltprojekter, eks. Sommerlejre, forældre-børn-aktiviteter, massageprojekt Forskningsafdelingen på vej videre?