Hvad er en god evaluering? Hvad kan en evaluering og hvad skal evalueringen kunne for at være god?

Præsentation Bodil Lomholt Husted - Seniorkonsulent i Konsulentfirmaet ARGO Kompetenceudvikling Videndeling Evaluering Indgang i dag – læring og evaluering - ikke –E-læring Hvad er en god evaluering?

Indhold og struktur Evaluering er en aktivitet, baseret på viden, metode, valg og handlinger, derfor: Korte oplæg om evalueringsformer, -perspektiver og anvendelsesformål og Afbrudt af korte refleksionsøvelser Hvad er en god evaluering?

En afgrænsning af evalueringsfeltet hvilken forskningsgren? Evaluering er ikke en forskningsmæssig egenart – men betjener sig af gængse forskningsmæssige metoder. Tjener til at tilvejebringe viden ved at: Sammenholde karakteristika med kriterier, med henblik på: Drage konklusioner og konsekvenser Evalueringen er det fortolkede resultat af den proces at sammenholde karakteristika med kriterier. Hvad er en god evaluering?

3 Typer evalueringsperspektiver Evaluering i et dokumentations-perspektiv Evaluering i et kvalitetssikrings-perspektiv Evaluering i et lærings- og udviklings-perspektiv Hvad er en god evaluering?

Refleksionsøvelse 1 (3 min) Drøft med sidemanden, hvordan dagens evalueringer fordeler sig på: Et lærings- og udviklingsperspektiv Et kvalitetssikringsperspektiv Et dokumentationsperspektiv Hvad er en god evaluering?

Evalueringsformer og evaluerings-metoder Summative - kvantitative Formative - kvalitative Hvad er en god evaluering?

Validitets- og reliabilitetskravene Dokumentationsperspektiv – summative evalueringsformer- her på individplan Validitets- og reliabilitetskravene En summativ evaluering på individplan - eksamen Prøveformen eksamen bygger på en antagelse om, at der anlægges en rationel, objektiv synsmåde, som ”står inde for” en objektiv og upartisk ekspertviden. Hvad er en god evaluering?

Dokumentationsperspektiv – summative evalueringsformer – på systemplan Tilsvarende evalueringsperspektiv kan anlægges på systemplan – fx uddannelses- og programevalueringer Målevaluering – til at vurdere resultater og målopfyldelse. Fremlæggelse af faktuelle oplysninger Effektevaluering – måling af langtidseffekt af indsats og til måling af årsags virkningseffekter og til vurdering af en given indsats forankring på organisatorisk niveau. Hvad er en god evaluering?

Evalueringsparadigmer – til dokumentationperspektivet Det positivistiske paradigme /det rationelle Det pragmatiske paradigme – ser på anvendeligheden af evalueringen – at producere viden til beslutningstagere Der stilles stærke objektivitetskrav til dokumentationsevalueringer med et beslutningsformål. Validitets- og reliabilitetskravene – og evalueringsparadigme i komplekse sammenhænge Hvad er en god evaluering?

Typiske dataindsamlingsmetoder ved de summative evalueringsformer Spørgeskemaer Observationer Statistik Individuelle interviews Gruppeinterviews Casestudier selvevaluering Hvad er en god evaluering?

Refleksionsøvelse 2 (3 min.) Fortæl sidemand til anden side om dine bedste erfaringer med summative evalueringer – og dine dårligste Giv ét godt praktisk råd videre. Hvad er en god evaluering?

De formative evalueringsformer Et lærings- udviklings- og kvalitetssikringsperspektiv Ressourcer i et udviklingsarbejde afsat til et fokus på udviklingsarbejdets processer og resultater Have et centralt fokus på mødet mellem forskellige metodiske tilgange og kulturelle positioner Fokus på afstemning af forventninger og forståelser af det kommende udviklingsarbejde. Hvad er en god evaluering?

De formative evalueringer - Afkald på objektiviteten og upartiskheden Det konstruktivistiske evaluerings-paradigme kompleksiteten i ethvert evalueringsområde er et grundvilkår for evalueringsarbejdet. Evalueringsperspektivet rettes mod processen og ikke alene resultaterne En række aktører inddrages i evalueringen Mening forhandles – dvs. et helt andet vidensbegreb Iagttageren er en del af det iagttagne – iagttageren påvirker feltet for det iagttagne Hvad er en god evaluering?

Formative evalueringsformer bruges ved Procesevalueringer – til at forudse muligheder og barrierer, vurdere undervejs i processen og afsluttende. Støtter et udviklingsarbejdes etablering, fremdrift og gennemførelse. Virkningsevalueringer – til at bekræfte, afkræfte eller udvikle indsatsen. Hvad er en god evaluering?

Typiske dataindsamlingsmetoder ved de formative evalueringsformer Fokusgruppeinterviews Gruppeinterviews Inddragelse af reflekterende teams Individuelle interviews Observation Statistik selvevaluering Hvad er en god evaluering?

Refleksionsøvelse 3 (3 min) Fortæl din sidemand til anden side om dine bedste erfaringer med formative evalueringer – og dine dårligste Giv ét godt praktisk råd videre Hvad er en god evaluering?

Afsluttende om evalueringer – om effekter og processer Tidsfaktoren i måling af effekter Hvordan måles kompetencer? Kompetencen udfoldes kontekstuelt – situeret Men ved eksamen måles kompetencen løsrevet fra konteksten Hvad er en god evaluering?

Spørgsmål og kommentarer Til dagens oplægsholdere om evaluering Hvad er en god evaluering?