Tanja Miller CVU-Nord Evaluering Voksenspecialundervisning Vejle 2005 EVA rapport - anbefalinger Hvad er evaluering? Værdier og menneskesyn Selvevaluering Målopfyldelseevaluering Dialogiske designs Hvordan lave evaluering i praksis?  evalueringskultur Balance mellem kontrol og udvikling Papirklip H.C. Andersen

EVA rapportens resultater - eksempler Evalueringsgruppen anbefaler derfor at institutionerne fastlægger en metode og fast rutine i forhold til at udarbejde og evaluere de individuelle undervisningsplaner. Modellen skal blandt andet indeholde elementer der kan sikre at eleverne i højere grad end i dag involveres i at udarbejde og følge op på mål osv. Beslutninger om undervisningens mål, indhold, form mv. er i vid udstrækning overladt til de personer som er involveret i at udarbejde de individuelle undervisningsplaner. Planerne er derfor vigtige dokumenter. Dels som et styringsredskab for underviserne dels som en overenskomst mellem deltageren og undervisningsstedet.

Hvad er evaluering? ”en systematisk retrospektiv vurdering af gennemførelse, præstation og udfald af offentlig virksomhed, der tiltænkes at spille en rolle i praktiske handlingssituationer” (Vedung, 1991:33) Henviser til fire dimensioner i evaluering Systematikken går på vidensindsamling – slægtskab med forskning Evaluering er pr. definition vurdering – implicerer altid værdier Evalueringen har altid en genstand (aspekter ved offentlig politik) Evalueringen har et anvendelsessigte

Hvad er evaluering? Selvevaluering Intern/ekstern Forløb Ansvar Målopfyldelses evaluering Virknings evaluering Kompetence evalueringer

Hvad er evaluering Summativ evaluering er en vurdering, der finder sted ved afslutningen af et forløb med henblik på differentiering, godkendelse og kontrol eller sigter mod at måle effektiviteten af virksomheden ofte ved hjælp af en skala er produktorienteret Formativ evaluering er en vurdering, der sigter mod at forme læreprocesser/ pædagogiske forløb ved at give deltagere og lærer feedback, der er anvendelig i planlægning og tilrettelæggelse af det videre forløb Kan være både norm, mål og individorienteret er procesorienteret

Værdier og menneskesyn

Menneskesyn og værdier

Evalueringskultur Fra tro til viden evalueringskulturen = vaner indlejret organisationen og i organisationens relationer til sin omverden Brugerorg. Faggruppe 1 Faggruppe 2 Faggruppe 3 Amt Stat

MÅLOPFYLDELSEEVALUERING Formål: vurdering af hvorvidt målsætningen med institutionen/virksomheden/ forløbet/lektion/tiltag/arrangement er indfriet Metoder: summative (produkt, effekt) formative (proces, effekt) Hvordan: Hvem skal inddrages Målsætningerne findes og der formuleres evalueringsspørgsmål Hvad er tidsperspektivet? Målene operationaliseres Målene rangordnes Valg af metode Analyse og afrapportering

SMTTE, Portefølje, Log, Marte Meo eksempler på formative evalueringer  dokumentation Sammenhæng: Baggrunde og forudsætninger for det, vi ønsker at planlægge Hvad er udgangspunktet, og hvad er rammerne? Hvor er jeg/vi på det område, jeg/vi vil arbejde med? Hvilke muligheder har jeg/vi for at handle? Mål: - Ønsket tilstand efter gennemførelsen. Hvad vil jeg/vi? Hvad er det konkret, vi gerne vil opnå? Hvad skal eleverne lære?

SMTTE, Portefølje, Log, Marte Meo eksempler på formative evalueringer  dokumentation Tegn: Sanseindtryk. Konkretisering af målet. Hvad skal jeg/vi holde øje med for at se, om vi nærmer os målet? Hvad skal jeg/vi se, høre og mærke på vej mod og når målet er nået? Konkretisering af tegn på at processen har den rigtige retning Tiltag: Handlinger. Hvad skal skabe ændringer. Hvad skal jeg/vi sætte i gang for at bevæge os frem mod målet? Hvad kræver det jeg/vi vil af mig/os? Evaluering: Hvordan skal de enkelte mål evalueres? Hvilke værktøjer vil være velegnede til at evaluere de enkelte mål? Hvem skal evaluere? Hvornår skal der evalueres? Hvordan og til hvad skal evalueringen bruges? Hvordan skal evalueringen formidles og til hvem? Hvem har ansvar for hvad hvornår?

SMTTE, Portefølje, Log, Marte Meo eksempler på formative evalueringer  dokumentation Proces- eller arbejdsportefølje Denne portefølje er et arbejdsredskab som fungerer undervejs i et forløb. Alle relevante dokumenter som billeder, responsark, noter, musik, tegninger, produkter Præsentations- eller vurderingsportefølje Denne portefølje er rettet mod den summative evaluering. Eleven vælger de dokumenter til mappen, som hun ønsker, der skal indgå i bedømmelsen

Virkningsevaluering Formål: skaffe viden om sammenhængen mellem aktiviteter og resultater (proces og produkt) Metode: overvejer hvorfor man tror at de allerede eksisterende arbejdsformer og boformer har virkning i forhold til værdigrundlaget  PROGRAMTEORI  kan vi afkræfte, bekræfte eller udvikle programteorien ( fx Det kan nytte)

Virkningsevaluering Køreplan Stille evalueringsspørgsmålene (fx fremmer lørdagstilbudet beboernes livskvalitet) Finde kilder til programteorien (observationer, udsagn, faglige teori, værdigrundlag, forløbsbeskrivelser) Opstille programteorien ( fx tegneredskaber fører til tegninger) Gøre programteorien klar til evaluering (prioritere og konkretisere) Vælge metode og indsamle data (spøgeskemaer, observationer, interviews, referater, logbøger osv.) Analyse og konklusioner ( kan der iagttages sammenhænge og hvordan)

Kompetenceevaleuring Empowermentevaluering Formål: at forbedre en organisations resultater gennem enkeltpersoners kompetenceudvikling og indflydelse Metode: 6 trin  Udvikle visioner og fastsætte mål  Fastsætte styrker og svagheder ved nuværende program

Kompetenceevaluering Empowermentevaluering  Sætte delmål – prioritere mellem de mange mål  Strategier for implementering af delmål  Etablering af evalueringskriterier – beslutter hvilken dokumentation  Er det sket en udvikling – vurderinger af om der faktisk er sket noget og om der sket andet end forventet

Evalueringskultur – hvordan? Institution ledelse Projekt 1 Projekt 3 Projekt 2 Amtet og lovgivning

Evalueringskultur Hvad kræves der? 1. Tydelige beslutninger om hvor, hvordan og hvornår evaluering foregår på institutions- individ og projektniveau 2. Skriftlighed om strategi, indhold og formål for at systematisere evalueringer 3. Amt og/eller institution opbygger en evalueringskapacitet 4. Konsekvens og seriøs opfølgning, hvilket primært er en ledelsesopgave