Innovativ evaluering i undervisning Augustseminar EPOS 16. august 2013

Malene Skov Dinesen Indehaver af konsulentfirmaet Ineva Gennemførsel af evalueringer primært i den offentlige sektor Temadage/workshops Forfatter på bøgerne Innovativ evaluering og Essensen af Innovativ evaluering sammen med Camilla Kølsen de Wit Ekstern lektor på VIA University College i Århus Jeg må meget gerne afbrydes!

Program for dagen Overordnet evalueringsteoretisk ramme Tid Indhold 9.00-9.15 Godmorgen og dagens indhold (præsentation, program, dagens formål mv.) 9.15-10.00 Overordnet evalueringsteoretisk ramme Hvad er evaluering og hvorfor er det så vanskeligt? Typiske dilemmaer i en undervisningskontekst (kontrol vs. læring, dokumentationsbehov vs. ansvar for egne undervisningsforløb med videre) Efterspørgsel, reel efterspørgsel og forsyning som ramme for valg af evalueringsdesign 10.00-11.30 Praksisteori som afsæt for evaluering Kort teoretisk oplæg Øvelse vedr. opbyggelse af en praksisteori Fælles opsamling 11.30-12.00 Fælles opsamling og et blik fremad 12.00-13.00 Tak for i dag – og frokost Teoretisk afsæt som forståelsesramme for værktøjer og handlemuligheder

Drøft to og to Hvad skal evaluering bidrage med, for at du synes det er meningsfuldt? Hvilke gode og dårlige erfaringer har du med evaluering?

Hvad er evaluering? Pawson og Tilley: ”This sense of exponential growth and widening diversity is deepened if one examines changes in the academic literature on evaluation. Once upon a time, the evaluation researcher need only the ’Bible’ (’Old Testament’, Campbell and Stanley, 1963; ’New Testament’, Cook and Campbell, 1979) to look up an appropriate research design, and hey presto, be out into the field. Nowaday, tyro investigators have to burrow their way through ’Sage’ advice on ’summative evaluation’, ’formative evaluation’, ’cost-free evaluation’, ’goal-free evaluation’, ’functional evaluation’, ’tailored evaluation’, ’comprehensive evaluation’, ’theory-driven evaluation’, ’stakeholder-based evaluation’, ’naturalistic evaluation’, ’utilization-focused evaluation’, ’preordinary evaluation’, ’responsive evaluation’, and finally ’meta-evaluation’ before they even get their hands on a social program. Worse still, adopting one of these approaches often means taking sides in the ’paradigm wars’.” (Pawson and Tilley, 1997, s. 1-2).

Definitioner på evaluering - 1 Evert Vedung: Evaluation = df. Careful retrospective assessment of the merit, worth and value of administration, output, and outcome of government interventions, which is intended to play a role in future, practical action situations. (Vedung, 1997, s. 3) Oversat til dansk: ’en systematisk retrospektiv vurdering af gennemførsel, præstationer og udfald af offentlig politik, som tiltænkes at spille en rolle i praktiske handlings-situationer.’ (Dahler-Larsen, 1998)

Definitioner på evaluering 2 Mehlbye, Riepers og Togeby: ’Evaluering er en systematisk vidensindsamling om mere komplekse igangværende eller afsluttede indsatser, hvis målopfyldelse og kvalitet ikke umiddelbart kan vurderes, og hvor der er behov for dyberegående vurderinger af indsatsen ud fra bestemte standarder og kriterier, som kan være defineret ud fra indsatsens egne mål eller fra andres, fx brugernes mål. Arbejdet tilrettelægges med henblik på senere praktisk udnyttelse’ (Mehlbye, Rieper og Togeby, 1993, s. 11)

Definitioner på evaluering 3 Albæk: ’Evaluering er i al sin enkelthed, at standse op midt i eller efter et af sine gøremål og vurdere, om resultaterne står i et fornuftigt forhold til hensigt og anstrengelser.’ (Albæk, 2003)

Typiske dilemmaer i evaluering Kontrol vs. læring Intern evaluering vs. ekstern evaluering Intern commitment vs. ekstern commitment Praktikere vs. myndighed Mikro-fokus vs. makrofokus Et forsøg på et svar i dag: Innovativ evaluering Praksisteori

Hvorfor Innovativ evaluering? Innovativ evaluering er et forsøg på at give evaluering tilbage til praktikkerne Modsvar på ’virker-det’ (positivistiske) evalueringer Løsrevet fra den kontekst, der evalueres Evalueringer der forsøger at forenkle og kun give ét svar Evalueringer der udelukkende tilfredsstiller et ekstern krav om dokumentation og legitimering Innovativ evaluering vil gerne både give svar og samtidig skabe udvikling af praksis I hvilken grad oplever deltageren, at de forskellige kommunale aktører samarbejder om at finde løsninger på deltagerens problemer? Tilley: Eksemplet med straf ifm. hustrovold Når man overser, at det ikke årsags-virkningssammenhænge der skaber effekter – men mennesker Når man finder svar, som praktikerne godt kendte i forvejen

Mål for evalueringerne Myndigheder Praktikere/ professionelt ’Virker det’? Læring Stå til regnskab/ accountablity Udvikling og innovation Prove Improve Top-down Bottom-up Standarder og mål Inddragelse

Innovativ evaluering – en tilgang Er en evalueringstænkning og –tilgang Er ikke en evalueringsmetode med klart beskrevne steps Har fokus på at gå fra evalueringsfærdigheder til evalueringskompetencer Har som central pointe, at kvalificeret evaluering kræver refleksion over sin evalueringspraksis, hver gang der igangsættes en ny evaluering Har inddragelse af praktikere og medtagelse af kontekst som centrale temaer Er optaget af at få tingene til at virke (improve) og ikke bevise at de gør det (prove) Historien fra uddannelsen: Det er SVÆRT at favne, at det er en tilgang. Der er ikke en rigtig måde at gøre det på – det handler om at forhold sig kritisk, refleksivt og kompetent til sine egne evalueringer

Traditionelle evalueringer Anvendelsesvanskeligheder Implemen-tering/indflydelse Evaluering

Anvendelse og indflydelse I Innovativ evaluering er vi optaget af at drive innovation af praksis Innovation = nyttiggørelse og anvendeliggørelse af ny viden, forskning mv. Det er anvendelsen, der definerer Innovativ evaluering som Innovativ evaluering. I en række andre definitioner (eks. Vedung) er det vurderingen, der definerer evalueringen

Anvendelse/indflydelse Innovativ evaluering er optaget af at drive innovation af praksis Evalueringens indflydelse sker undervejs i evalueringen og ikke som et ’halehæng’ Innovativ evaluering Indsats Implementering/indflydelse

Effekter skabes af mennesker Effekter ikke skabes af strukturer (og metoder) i sig selv, men først og fremmest af de involverede mennesker (Pawson og Tilley) Vi taler om generativ kausalitet (årsag-virkning i en særlig kontekst) frem for kausale effekter

Definition på Innovativ evaluering Innovativ evaluering er en refleksiv relationel proces, hvor kontekstbestemt viden om fortiden og nutiden anvendes til fremadrettede handlinger, der understøtter aktørerne i at skabe nye muligheder og forbedret praksis parallelt med, at eksterne krav om dokumentation opfyldes.

Innovativ evaluerings tre ’ben’

Systemisk teori og praksis Evaluerings-kapacitet Realistisk evaluering INNOVATIV EVALUERING Yderligere teori Yderligere praksis

Teoretisk fundament Systemisk teori og praksis: Realistisk evaluering: Paradigme og epistemologisk ståsted Bidrager med grundbegreber om menneskelig erkendelse, udvikling og interaktion Realistisk evaluering: Evalueringsmetodologi Bidrager med forklaringer på hvad der er relevant og muligt at vurdere i en evaluering, herunder kontekstens betydning Evalueringskapacitet: Fundament for Innovativ evaluering Bidrager med forståelse for, at uden en refleksiv og kompetent ramme for evalueringer, er der ikke mulighed for at drive innovation på baggrund af dem

Systemisk overblik – ultra kort Systemisk teori og praksis bygger på socialkonstruktionisme og –konstruktivisme Trækker på en lang række teoretikere Udspringer af familieterapien og har siden udviklet sig at have en betydelig plads i organisationsteorien Centrale begreber: Refleksion Kontekst Mening Multivers Relationer Positiv udvikling

Socialkonstruktionisme (Gergen) Vi konstruerer vores virkelighed sammen. Vi opretholder vores lokale sandheder igennem vores sprog. Vores erkendelse opstår i relationerne – ikke i individet. ”Den grundliggende ide i social konstruktion virker ret enkelt, men den er også dyb. Alt, hvad vi regner for virkeligt, er socialt konstrueret. Eller sagt mere dramatisk, intet er virkeligt, før folk er enige om, at det er det.” (Gergen og Gergen, 2005 s. 9)

Forstyrrelser - Maturana Der er tre forudsætninger for positiv udvikling: Den tilpasse forstyrrelse Anerkendelse (amor) Tid Innovativ evaluering handler om at forstyrre praksis, så den kan forandre sig indefra Forandringen skal ’ramme’ praktikernes ønske om at udvikle praksis for at gøre en reel forskel Konklusioner og anbefalinger i evalueringen skal hænge sammen med kontekst – ellers afkobler man sig

Evalueringskapacitet At have evalueringskapacitet vil sige at: Ledelse og medarbejdere arbejder refleksivt med deres egen evalueringspraksis Dobbeltsyn Refleksivitet i forhold til opfølgende handlinger Arbejde på at blive bedre til at evaluere og til at bruge evalueringerne Ofte evalueringssystem og forståelse for det Det handler om at kunne bruge tidligere evalueringserfaringer til at udvikle den nuværende evalueringspraksis med Tæt koblet med begrebet evalueringskultur, som er meget anvendt i skoleverdenen (jf. OECDs rapport fra 2003) NB: innovationssystemer afhænger også af læring og refleksion, de målesystemer der er lavet til at måle innovation, involverer spørgsmål om, hvordan en organisation håndterer sin læring og refleksion

Evalueringskapacitet - arbejdsdefinition ”At udvikle evalueringskapacitet vil sige at arbejde målrettet og vedvarende med organisatoriske processer, hvis formål er at udvikle evalueringer af høj kvalitet og fokusere på brugen af evalueringerne.” Kontekst: organisationens kontekst Intentional action system: over tid er der systematiske procedurer, der kan betegnes som systemer Guided: at understøtte udviklingen af de systematiske procedurer Processer: den samlede indsats for at opbygge og støtte et evalueringssystem Praksis: hverdagsagtige måder at udvikle evalueringskapaciteten på, fx gennem integrerede træningsaktiviteter Bringing about: en evalueringspraksis hvor evalueringerne bliver brugt A state of affairs: alt det der skal til for at skabe og videreudvikle evalueringskapacitet i organisationen – det kommer vi tilbage til Within and /or between …. Refleksioner på tværs af programmer, evalueringerne, organisationer mv. Kilde: Compton m.fl. 2002

Realistisk evaluering Er beskrevet af Pawson og Tilley En teoribaseret evalueringstilgang Blev til som et alternativ og en kritik af randomiserede forsøg og tænkning om kausale effekter Eks. husspektakler i USA Har konteksten og forståelse for aktørerne i evalueringen som centrale fokuspunkter i evalueringen: hvad virker for hvem under hvilke omstændigheder Fra ’virker programmet’ til ’hvad er det ved programmet, der får det til at virke og for hvem?’

Når man skal designe en evaluering… Hvad er det, vi gerne vil vide? (efterspørgsel) Hvordan skal den viden anvendes? (reel efterspørgsel) Hvordan skaffer vi den viden? (forsyning) Hvordan sikrer man at evalueringen bliver brugt? (evalueringskapacitet) Evalueringskulturen er båret af evalueringskapaciteten

Evalueringsdesign Efterspørgsel Indsatsens egenskaber Interessenter-nes prioritering Hvad vil vi vide? Evalueringsspørgsmål Hvad ved vi på forhånd om sagen? Forsyning Paradigme: Hvilke spørgsmål? (formål og tilgang) Hvor langt er vi kommet med indsatsen? Kan det lade sig gøre? Valg af metode Valg af teknik Kilde: Elliot Stern

Afgrænsning En evaluering handler om at være tydelig på sin afgræsning for at kunne være skarp på sin efterspørgsel Evalueringen kan ikke bidrage med viden om alt Jo bredere spørgsmål jo mindre konkret svar (som oftest), eksempelvis Hvordan går det med undervisningen? Udvælg en del af praksis, som fokusområde i den enkelte evaluering

Forsyning Kan det lade sig gøre? Kursisternes formåen i forhold til skriftlighed og dansk Hvor langt er vi kommet med indsatsen? Igangsættelse af evaluering midtvejs i forløbet Hvad ved vi i forvejen Hvis vi har god viden om aspekter af undervisningen, vil det måske være mere interessant at evaluere noget andet Praksisteori Metode og tilgang Vælg med afsæt i de tre koncepter

Praksisteori ’Praksisteori handler om, hvad praktikerne tror om deres egen praksis, og hvordan de kan bruge dette som afsæt for efterspørgslen i en evaluering.’ Malene Skov Dinesen

Praksisteori Praksisteori er et udviklingsredskab, der gør det muligt at blive klogere på egen praksis som afsæt for at udvikle den Praksisteori er den viden praktikerne efterspørger om deres praksis for at kunne udvikle den. Eksempel: ’Hvad vil jeg gerne vide om undervisning, for at blive en bedre underviser? Hvad gør jeg nu, og hvorfor tænker jeg, at det er en god praksis’ Malene Skov Dinesen

Hvad er praksis? Praksis er de reelt forekommende, diffuse, usikre handlinger, der sker i en kontekst, inkl. fortolkninger og for-forståelse ’Praksislogik er sjældent helt uforståelig, såvel som den heller ikke er helt forståelig’ (Bourdieu) Udsagn, der konstant genopbygges og udfordres gennem refleksionen i praksis (Schön) Begrebsafklarende for praksis Malene Skov Dinesen

Praksisteorier i EPOS Praksisteorierne er afgørende for afsættet i evalueringen, fordi de giver viden om, hvad der er interessant at se på i evalueringen Praksisteorierne giver internt commitment i forhold til evalueringerne Praksisteorierne giver svar på, hvordan der kan arbejdes med evalueringer, der tager hensyn til de kontekster, der er tilstede (kursets længde, deltagerne kompetencer mv.) Praksisteoriens antagelser bliver afprøvet i evalueringen

Logisk model Antagelser om sammenhænge = praksisteori Målgruppe og problemstilling Ressourcer og organisatoriske forudsætninger Aktiviteter Resultater Virkninger Antagelser om sammenhænge = praksisteori

Effekter Valg af fokusområde handler om at stille et effektspørgsmål Der er overordnet to typer af effektspørgsmål: HAR indsats A givet resultat B? HVORDAN har indsats A påvirket B? Eksempler: HAR brugen af Smart Board i undervisningen styrket kursisternes læring? HVORDAN har Smart Board i undervisningen understøttet kursisternes læring?

Effekter

Workshop 1: Vælg fokusområde Find sammen i grupperne Udvælg et af tre områder, som I ønsker at arbejde med: Handlekompetence hos kursisterne Praksisnær læring Forskellige forudsætninger hos deltagerne Formuler sammen et effektsspørgsmål om temaet. Eksempelvis: Hvordan understøtter x (en metode/underviserens ageren/et hjælpeværktøj/…) handlekompetencerne hos kursisterne?

Praksisteori = hypoteser om praksis En praksisteori en beskrivelse af, hvad I tror I gør nu, og hvorfor I tror, at det skaber effekt.

Workshop 2: Lav praksisteori Beskriv med afsæt i jeres fokusområde/effektspørgsmål en praksisteori Praksisteorien skal være en beskrivelse af jeres antagelser om sammenhæng mellem aktiviteter og effekter

Evaluering med afsæt i praksisteori Når praksisteorien er beskrevet, er næste step at vælge sin metode til evalueringen Spørgeskemaundersøgelse Interviews Drøftelse på holdet Skriftlige/mundtlige modeller (eksempelvis Delphi)

Workshop 3 Drøft i gruppen hvilken metode, der ville være mest velegnet i jeres evaluering Drøft følgende: Hvad bidrager denne metode særligt? Hvilke svar bliver mulige med brug af denne metode? Hvilke svar bliver ikke mulige med brug af denne metode?

Opsamlende Hvad har været den vigtigste pointe/erkendelse i dag? Hvad har været mest frustrerende? Hvad er der brug for nu?

Tak for i dag!