Når effektmåling rammer organisationen Tea Dyekjær Analysekonsulent i Hans Knudsen Instituttet 1) Ansat til at dokumentere effekt - metodefrihed 2) CV 1½ år hos HKI

Om Hans Knudsen Instituttet En socialøkonomisk virksomhed Afklarings-enheden Særligt tilrettelagt uddannelse (STU) Erhvervsfaglig uddannelse Beskyttet beskæftigelse Rammer: Socialøkonomisk virksomhed - drives som en Erhvervsdrivende fond I København HKI gennemfører årligt arbejdsprøvninger, aktiverings- og uddannelsesaktiviteter for mere end 2000 borgere 80 medarbejdere – soc, virksomhedskonsulenter, fys, neuropsyk, speciallærere, specialpæd, faguddanelse på værkstederne 4 forretningsområder Specialiseret i match 2 HKI beskæftiger 165 borgere i beskyttet beskæftigelse HKI samarbejder med 35 kommuner

Dagsorden Eksempler på HKIs dokumentation Dokumentationens funktion i organisationen Forankring af dokumentation i organisationen

Dokumentation af effekt Formål: Salg og markedsføring Legitimering Redskab til forbedring af kvalitet Kvalificereden faglige dialog En del af HKIs strategi Marked med konkurrence - Konkurrence parameter Stærkt salgsargument Kvalificere den faglige dialog Overgang: eksempler på branding

Branding Markedsføring – bl.a. via hjemmeside. I 83% af de forløb, der henvises til et virksomhedsrettet indsats, får vi etableret en praktikplads. Politisk fokus. Viden om hvad virker. Virksomhedsrettet indsats: Branding – styrke virksomhedsfokus (ved fra kendskabsmåling)

Effekten af HKIs STU Elevernes næste skridt ved afslutning på HKIs STU Det handler om beskæftigelse Viser fokus - beskæftigelsesrettet Benchmark - Epinion Begrænsning – må ikke blive 100% Fokusområde – BLÅ - Plan fremover Begrænset faglig input - Hvad skal jeg som lærer gøre anderledes. Uddannelsesforløb afsluttet i oktober 2008 - december 2012, hvor mindst 1 studieår er gennemført, n= 72.

Hjerneskadeprojektet Kvalitativ evaluering - Model for læring ”Det har hjulpet mig til at finde strategier, og stå ved at jeg har nogle skånebehov, og at det er OK. Så jeg ikke bliver udtrættet hele tiden. Jeg har fået en forståelse af, at hvis jeg vil herfra og dertil, så kræver det nogle ting undervejs, og det tager længere tid. Men hvis jeg skåner mig selv og holder pauser, så kan jeg komme langt.” (Kvinde, 50 år) Forløbets input Borgerens udbytte Information Viden Oplevelse/opgaver Erfaringsdannelse Følelsesmæssig bearbejdning Selvindsigt Handling Nye vaner Om projektet Nye vaner Analytisk model. Hjælper il metodeudvikling - tilrettelæggelse Kvalificerer faglig dialog

Hjerneskadeprojektet Kvalitativ evaluering - Progression Markedsføring – visualisering Når alle borgere alle mål - tillæg til kvalitativ metode. n=15, borgere som har gennemført HKIs forløb for personer med erhvervet hjerneskade

Dokumentationsprojekter Ekstern kilde Brugere / kunder RCT Beskæftigelseseffekt Kvalitativ undersøgelse Progressionsmåling Kundetilfredshed/audit Brugerundersøgelse Kvantitativt Kvalitativt Indikator for kvalitet Gennemførelse Egenkontrol BRUTTOLISTE - Prioritering Årsplan – faste målinger – ad hoc projekter. 0) RCT: magt til tilfældig udvælgelse. DREAM. Henvisning målrettet borgerens behov. For mange ukendte faktorer. Afhængigt af målgruppen. Ikke velegnet til intern kvalitetsudvikling- meget forsinkede tal. Svært at sætte faglig diskussion i gang. Beskæftigelseseffekt. 3 måder. A) Spørg dem/TLF. Dyrt. B) Brug dream hvis stor målestok. Forsinkelse. Mange faktorer spiller ind. C) Næste skridt- kan vi selv lave – mindsker andre faktorer/er direkte effekt. 2) Progressionsmåling. Måle de små skridt.Får fra KK. Bruge eksisterende systemer giver validitet og benchmarkmulighed. Overvejer at lave egne. Startet på fys. Udbrede. Hvilke af vores mange typer forløb. Dialogredskab. IT redskab. 3) Brugerundersøgelse. Ikke kun på tilfredshed men også på mål for forløbet. 4) Indikatorer - Gennemførelse – benchmark. Fx erhvervsfaglige uddannelser 73% vs. 53% på landsplan. Kun få benchmarks Karakterer Programteori Praktiketablering Interne Kilder Medarbejdere/ Administrationssystem

Hvad er dokumentation i en organisatorisk sammenhæng? Kvalitetssikring Styringsværktøj Diskursiv forstyrrelse Bedømmelse Branding Teoretisk Kvalitetssikring - EVALUATOR Evaluering som afdækker styrker og forbedringsmuligheder Kvalitetssikring - alarmsystem Kontrol Programteoretisk måling Styringsværktøj - LEDER Redskab på vej mod resultatbaseret styring Redskab i belønningssystem Legitimering af beskæftigelsesindsatsen (moralsk og økonomisk forpligtelse) Diskursiv, systemisk organisationsudvikling - PROCESKONSULENT Forstyrrelse til at igangsætte diskussioner - refleksionsredskab Fokusfremmer - Det man fokuserer på vokser Bedømmelse - MEDARBEJDER En karakter Feed back (frivillig/ufrivillig) indflydelse – hvad vil de bedømmes på Branding (eksternet og eksternt) - MARKETINGCHEF Salgsargument Ikoner

Tænk baglæns Styringsværktøj -Resultatbaseret Hvilke strategiske mål har vi? Hvilke succes-mål skal vi nå? Hvilke indikatorer for målene kan vi lave? Diskursiv forstyrrelse Hvilke kvalitets-diskussioner har vi brug for? Hvilken proces ønsker vi at igangsætte? Hvilken form for forstyrrelse kan bidrage til det? Branding Hvilket image vil vi have (internt/eksternt)? Hvad er vi særligt gode til? Hvilken form for resultat kan fungere som ikon? Når tilrettelægge organisationens dokumentation som helhed – hvad vil vi opnå Strategisk - Brugerevaluering Forstyrrelse – gruppe vs. individuelt Branding – praktiketablering - IKON En slags dokumentation kan opfylde flere funktioner.

Forankring af dokumentation Prioritering Ledermøde Projektgruppe Gennemføre undersøgelsen Præsentere resultater Fokusområder og opfølgning Refleksion Produktion MØDE ORGANISATIONEN HVOR DEN ER Tid til refleksion - større end tid til eval. Konsulenten som proceskonsulent Evalueringskultur= faste procedurer Erfaring med refleksionsproces Kommunikation

Hvad får medarbejderen ud af dokumentation af effekt? Positivt Mulighed for anerkendelse Får feed back på sit arbejde Synlighed om resultaterne Mulighed for at forbedre sit arbejde Negativt Holdes ansvarlig for effekten Bedømmes med en ”karakter” Får fokus på målepunkt frem for helhed Bruger tid på registrering Evalueringskultur Hvordan tager medarbejderne imod det?

Et dårligt resultat Den refleksive proces Respekter folks stolthed. Undgå skyldsdiskussioner Er undersøgelsen metodisk i orden? Er indikatoren god nok til at repræsentere realiteten? Fortolkning – hvad mener respondenterne, når de svarer sådan/hvad viser målingen? Benchmark – er det egentlig et dårligt resultat? Under hvilke rammer/forudsætninger handlede vi? Hvad kan organisationen/lederen gøre for at forbedre rammerne? Hvad kan jeg som medarbejder selv gøre anderledes? Hvordan bidrage til at tænke anderledes Evaluator som proceskonsulent

Oplæg til diskussion Hvad har kommunerne brug for? Hvad vil kunderne betale for?