Center for Læring og Uddannelse Aarhus Universitet Evaluering af undervisning Institut for Datalogis Undervisningsdage, Sandbjerg august 2006 Torben K. Jensen,

Disposition 1. Kvalitet – noget alle går ind for 2. Evaluering af universitetsundervisning med afsæt i 1. Evalueringsteori (Peter Dahler-Larsen) og 2. læringsteori (Biggs m.fl.) 3. Eksempler på evalueringsordninger

Center for Læring og Uddannelse Aarhus Universitet Om begrebet kvalitet

Kvalitetsbegreber 1. Kvalitet som det exceptionelle 2. Kvalitet som perfektion eller konsistens 3. Kvalitet som evnen til målopfyldelse 4. Kvalitet som værdi for pengene 5. Kvalitet som forvandling/forandring

Kvalitet som det exceptionelle Eksklusive Traditionelle forestilling om kvalitet: Distinkte, noget specielt, ’høj klasse’, eksklusivitet (uopnåelig) Kvalitet ikke defineret Fortrinlige, meget høje standarder Specificerer standarder – svært opnåelige elitistisk – fokus på input og output: de bedste studenter – ”centres of excellence” - Acceptable: Opfylde minimumstandarder Kvalitetsprodukt: passeret et sæt af standarder – ”bestået” –- statisk -

Kvalitet som perfektion eller konsistens Ingen fejl I (nøjagtig) overensstemmelse med specifikation – perfektion som fravær af fejl – ”varen” bedømt på konsistens eller pålidelighed – Forebyggelse (snarere end kontrol) ”Kvalitets-kultur” Delegation af ansvar: alle i organisationen er ansvarlig for kvalitet (ikke bare kontrollanterne) – tingene gøres rigtigt første gang – fejl analyseres, processer og procedure tilrettes

Kvalitet som evnen til målopfyldelse Formål Kvalitet har kun mening set i forhold til varens eller serviceydelsens formål Alle produkter/serviceydelser kan potentielt opfylde sine formål og dermed være et kvalitetsprodukt Opfylde institutionens egne formål Evt. ekstern revision og evaluering Opfylder efterspørgerens ønsker/behov Specificeres sjældent, inticiperes, manipuleres Hvem er kunden: studenter, forældre, regering, arbejdsgivere? Er behovene (er)kendte? Gøre kunden/efterspørgeren tilfreds

Kvalitet som værdi for pengene ”Populistisk” kvalitetsforestilling: mest mulig værdi for pengene – ”mest mulig uddannelse for pengene” – ”kvalitet til en pris du har råd til” høj standard til reduceret pris produktivitet og effektivitet: belønning for kvalitet, straf for manglende effektivitet Pseudomarked: produktivitetsindikatorer, kontrakter, offentliggørelse af evalueringer – ændringer gennem konkurrence Markedsopfattelse sammenkædet med ansvarlighed for målopfyldelse

Kvalitet som forvandling/ forandring Forandring Uddannelse er ikke en service for kunder, men en forvandlingsproces af deltagerne Uddannelse som en deltagelsesproces – studenter er ikke produkter, kunder, forbrugere, brugere af serviceydelser eller klienter – studenter er deltagere Forøge (enhance) deltagerne/studenterne Forestilling om værdi-tilvækst: Forøger viden, færdigheder, evner, kvalifikationer, kompetencer Myndiggøre deltagerne/studenterne Øge selvfølelse, selvtillid, selvbevidsthed, dømmekraft og kritiske evner – studier, arbejde, liv

Center for Læring og Uddannelse Aarhus Universitet Evalueringsteori

Hvorfor evaluerer vi? Bl.a. fordi vi skal De studerende udfylder ved undervisningens afslutning et spørgeskema så studienævnet kan måle om der er tilstrækkelig tilfredshed med læreren

Evalueringsteori og ”tankeløs” undervisningsevaluering 1. Aktør 2. Tid 3. Metode 4. Anvendelse 5. Standard 6. Kriterium 7. Evaluand 1. De studerende udfylder 2. ved undervisningens afslutning 3. et spørgeskema 4. så adm + lærer kan måle 5. om der er tilstrækkelig 6. tilfredshed 7. med læreren

1. Aktør Hvem skal egentlig evaluere? 1. De studerende? I så fald i hvilken rolle? – I rollen som studerende (erkendelsesunder- søgelse)? – I rollen som bruger (tilfredshedsundersøgelse)? – I rollen som elev (én der skal løftes)? 2. Kollega? 3. Læreren selv? 4. Pædagogisk udviklingsenhed?

2. Tid Hvornår er det mest hensigtsmæssigt at evaluere? Midtvejs i undervisningsforløbet? Kort før undervisningens afslutning? Ved undervisningsforløbets afslutning? Efter eksamen?

3. Metode Hvilket datagrundlag skal bruges? Spørgeskema (tal) ? ” Context-stripping-procedure” versus situationsbunden viden Spørgeark (tekst) ? Fokusgruppe interview? Mundtlig drøftelse? Hvilken procedure? Dialog blandt involverede? Drøftelse i studienævnet? Information til studielederen Hvilken opfølgning?

4. Anvendelse/formål Med hvilket formål evalueres? 1. Kontrol: af institutionen? af læreren? 2. Læring/udvikling: institutionen, læreren, stud. 3. Oplysning: dokumentation for andre 4. Strategisk: undgå noget der er værre 5. Taktisk: skubbe, udskyde, henvise 6. Symbolsk: med på noderne, lærende org. 7. Konstituerende!! 1. Evalueringstænkning former undervisningstænkning 2. Alignment vs. U-intenderede mål

6. Kriterium Lært noget? Forandret sig? Kvalifikationer Kompetencer Værdier Eksamen, censorkors Understøttet læring hensigtsmæssigt? Aktivitet, selvstændig tænkning, hensigtsmæssig læringsstil (dybdelæring), Tilfredshed? det man forventer minus det man får teaching to the test

5. Standard Hvornår er noget godt nok? Optimal? Tilstrækkelig? Over gennemsnittet? Over tre på en skala fra 0-5?

7. Evaluanden 1. Læreren? 2. De studerende? 3. Undervisningsforløbet?

Eksempel: Evalueringsordning Statskundskab, AU 1. Aktør 2. Tid 3. Metode 4. Anvendelse 5. Standard 6. Kriterium 7. Evaluand Studerende og lærere udfylder i god tid før undervisningens ophør et spørge-ark så lærer og studerende kan udveksle erfaringer om hvorvidt optimal læring har været understøttet af undervisningsforløbet

Eksempel: Evalueringsordning Middle Georgia College 1. Aktør 2. Tid 3. Metode 4. Anvendelse 5. Standard 6. Kriterium 7. Evaluand De studerende udfylder ved undervisningens ophør et spørgeskema så underviser og administration kan måle hvorvidt der i tilstrækkelig grad blandt de studerende er initieret (1) høj aktivitetsniveau, (2) ansvarlighed for egen læring, (3) ny viden og kompetencer og (4) og selvstændig tænkning blandt de studerende som en følge af undervisningsforløbet

Eksempel: Oxford University 1. Aktør 2. Tid 3. Metode 4. Anvendelse 5. Evaluand 6. Standard 7. Kriterium De studerende udfylder efter afsluttet undervisning og eksamen et (omfattende) elektronisk spørgeskema så underv. stud. og adm. kan måle hvorvidt undervisningsforløbet i tilstrækkelig/øget grad er kendetegnet ved (1) understøttelse af de studerendes læring(2), klare mål (3) eksamensformer der befordrer dybdelæring, (4) passende arbejdsbyrde, (5) udvikling af samarbejdsevne, selvstændighed, analytiske og kommunikative evner, (6) motivation af de studerende

Litteratur Harvey, Lee & Peter T. Knight (1996). Transforming Higher Education, Buckingham: Open University Press, 206 pp. Dahler-Larsen, Peter (1998). Den rituelle reflektion - om evaluering i organisationer, Odense: Odense Universitetsforlag. Seldin, Peter (ed) (1999). Changing Practices in Evaluating Teaching, Bolton, Massachusetts: Anker Publishing Company Inc.