Når effektmåling rammer organisationen

Præsentationer af emnet: "Når effektmåling rammer organisationen"— Præsentationens transcript:

1 Når effektmåling rammer organisationen
Tea Dyekjær Analysekonsulent i Hans Knudsen Instituttet 1) Ansat til at dokumentere effekt - metodefrihed 2) CV 1½ år hos HKI

2 Om Hans Knudsen Instituttet En socialøkonomisk virksomhed
Afklarings-enheden Særligt tilrettelagt uddannelse (STU) Erhvervsfaglig uddannelse Beskyttet beskæftigelse Rammer: Socialøkonomisk virksomhed - drives som en Erhvervsdrivende fond I København HKI gennemfører årligt arbejdsprøvninger, aktiverings- og uddannelsesaktiviteter for mere end 2000 borgere 80 medarbejdere – soc, virksomhedskonsulenter, fys, neuropsyk, speciallærere, specialpæd, faguddanelse på værkstederne 4 forretningsområder Specialiseret i match 2 HKI beskæftiger 165 borgere i beskyttet beskæftigelse HKI samarbejder med 35 kommuner

3 Dagsorden Eksempler på HKIs dokumentation
Dokumentationens funktion i organisationen Forankring af dokumentation i organisationen

4 Dokumentation af effekt
Formål: Salg og markedsføring Legitimering Redskab til forbedring af kvalitet Kvalificereden faglige dialog En del af HKIs strategi Marked med konkurrence - Konkurrence parameter Stærkt salgsargument Kvalificere den faglige dialog Overgang: eksempler på branding

5 Branding Markedsføring – bl.a. via hjemmeside.
I 83% af de forløb, der henvises til et virksomhedsrettet indsats, får vi etableret en praktikplads. Politisk fokus. Viden om hvad virker. Virksomhedsrettet indsats: Branding – styrke virksomhedsfokus (ved fra kendskabsmåling)

6 Effekten af HKIs STU Elevernes næste skridt ved afslutning på HKIs STU
Det handler om beskæftigelse Viser fokus - beskæftigelsesrettet Benchmark - Epinion Begrænsning – må ikke blive 100% Fokusområde – BLÅ - Plan fremover Begrænset faglig input - Hvad skal jeg som lærer gøre anderledes. Uddannelsesforløb afsluttet i oktober december 2012, hvor mindst 1 studieår er gennemført, n= 72.

7 Hjerneskadeprojektet Kvalitativ evaluering - Model for læring
”Det har hjulpet mig til at finde strategier, og stå ved at jeg har nogle skånebehov, og at det er OK. Så jeg ikke bliver udtrættet hele tiden. Jeg har fået en forståelse af, at hvis jeg vil herfra og dertil, så kræver det nogle ting undervejs, og det tager længere tid. Men hvis jeg skåner mig selv og holder pauser, så kan jeg komme langt.” (Kvinde, 50 år) Forløbets input Borgerens udbytte Information Viden Oplevelse/opgaver Erfaringsdannelse Følelsesmæssig bearbejdning Selvindsigt Handling Nye vaner Om projektet Nye vaner Analytisk model. Hjælper il metodeudvikling - tilrettelæggelse Kvalificerer faglig dialog

8 Hjerneskadeprojektet Kvalitativ evaluering - Progression
Markedsføring – visualisering Når alle borgere alle mål - tillæg til kvalitativ metode. n=15, borgere som har gennemført HKIs forløb for personer med erhvervet hjerneskade

9 Dokumentationsprojekter
Ekstern kilde Brugere / kunder RCT Beskæftigelseseffekt Kvalitativ undersøgelse Progressionsmåling Kundetilfredshed/audit Brugerundersøgelse Kvantitativt Kvalitativt Indikator for kvalitet Gennemførelse Egenkontrol BRUTTOLISTE - Prioritering Årsplan – faste målinger – ad hoc projekter. 0) RCT: magt til tilfældig udvælgelse. DREAM. Henvisning målrettet borgerens behov. For mange ukendte faktorer. Afhængigt af målgruppen. Ikke velegnet til intern kvalitetsudvikling- meget forsinkede tal. Svært at sætte faglig diskussion i gang. Beskæftigelseseffekt. 3 måder. A) Spørg dem/TLF. Dyrt B) Brug dream hvis stor målestok. Forsinkelse. Mange faktorer spiller ind. C) Næste skridt- kan vi selv lave – mindsker andre faktorer/er direkte effekt. 2) Progressionsmåling. Måle de små skridt.Får fra KK. Bruge eksisterende systemer giver validitet og benchmarkmulighed. Overvejer at lave egne. Startet på fys. Udbrede. Hvilke af vores mange typer forløb. Dialogredskab. IT redskab. 3) Brugerundersøgelse. Ikke kun på tilfredshed men også på mål for forløbet. 4) Indikatorer - Gennemførelse – benchmark. Fx erhvervsfaglige uddannelser 73% vs. 53% på landsplan. Kun få benchmarks Karakterer Programteori Praktiketablering Interne Kilder Medarbejdere/ Administrationssystem

10 Hvad er dokumentation i en organisatorisk sammenhæng?
Kvalitetssikring Styringsværktøj Diskursiv forstyrrelse Bedømmelse Branding Teoretisk Kvalitetssikring - EVALUATOR Evaluering som afdækker styrker og forbedringsmuligheder Kvalitetssikring - alarmsystem Kontrol Programteoretisk måling Styringsværktøj - LEDER Redskab på vej mod resultatbaseret styring Redskab i belønningssystem Legitimering af beskæftigelsesindsatsen (moralsk og økonomisk forpligtelse) Diskursiv, systemisk organisationsudvikling - PROCESKONSULENT Forstyrrelse til at igangsætte diskussioner - refleksionsredskab Fokusfremmer - Det man fokuserer på vokser Bedømmelse - MEDARBEJDER En karakter Feed back (frivillig/ufrivillig) indflydelse – hvad vil de bedømmes på Branding (eksternet og eksternt) - MARKETINGCHEF Salgsargument Ikoner

11 Tænk baglæns Styringsværktøj -Resultatbaseret
Hvilke strategiske mål har vi? Hvilke succes-mål skal vi nå? Hvilke indikatorer for målene kan vi lave? Diskursiv forstyrrelse Hvilke kvalitets-diskussioner har vi brug for? Hvilken proces ønsker vi at igangsætte? Hvilken form for forstyrrelse kan bidrage til det? Branding Hvilket image vil vi have (internt/eksternt)? Hvad er vi særligt gode til? Hvilken form for resultat kan fungere som ikon? Når tilrettelægge organisationens dokumentation som helhed – hvad vil vi opnå Strategisk - Brugerevaluering Forstyrrelse – gruppe vs. individuelt Branding – praktiketablering - IKON En slags dokumentation kan opfylde flere funktioner.

12 Forankring af dokumentation
Prioritering Ledermøde Projektgruppe Gennemføre undersøgelsen Præsentere resultater Fokusområder og opfølgning Refleksion Produktion MØDE ORGANISATIONEN HVOR DEN ER Tid til refleksion - større end tid til eval. Konsulenten som proceskonsulent Evalueringskultur= faste procedurer Erfaring med refleksionsproces Kommunikation

13 Hvad får medarbejderen ud af dokumentation af effekt?
Positivt Mulighed for anerkendelse Får feed back på sit arbejde Synlighed om resultaterne Mulighed for at forbedre sit arbejde Negativt Holdes ansvarlig for effekten Bedømmes med en ”karakter” Får fokus på målepunkt frem for helhed Bruger tid på registrering Evalueringskultur Hvordan tager medarbejderne imod det?

14 Et dårligt resultat Den refleksive proces
Respekter folks stolthed. Undgå skyldsdiskussioner Er undersøgelsen metodisk i orden? Er indikatoren god nok til at repræsentere realiteten? Fortolkning – hvad mener respondenterne, når de svarer sådan/hvad viser målingen? Benchmark – er det egentlig et dårligt resultat? Under hvilke rammer/forudsætninger handlede vi? Hvad kan organisationen/lederen gøre for at forbedre rammerne? Hvad kan jeg som medarbejder selv gøre anderledes? Hvordan bidrage til at tænke anderledes Evaluator som proceskonsulent

15 Oplæg til diskussion Hvad har kommunerne brug for?
Hvad vil kunderne betale for?