EVA’ s opgaver og metoder For GL og DTL, nordisk netværksmøde, København, 2. december 2008 Ved specialkonsulent Rikke Sørup, Danmarks Evalueringsinstitut.

Præsentationer af emnet: "EVA’ s opgaver og metoder For GL og DTL, nordisk netværksmøde, København, 2. december 2008 Ved specialkonsulent Rikke Sørup, Danmarks Evalueringsinstitut."— Præsentationens transcript:

1 EVA’ s opgaver og metoder For GL og DTL, nordisk netværksmøde, København, 2. december 2008 Ved specialkonsulent Rikke Sørup, Danmarks Evalueringsinstitut (EVA)

2 Program Det danske kvalitetssikringssystem Om Danmarks Evalueringsinstitus Eksempel: Evalueringen af den naturvidenskabelige faggruppe og kvalitetsarbejde på hf Gymnasievalueringer 2007-2008

3 The Danish Approach to QA 3. Ministerial approval and inspection The Danish approach to quality assurance 1. Common guidelines 8. EVA 2. Transparency and openness 7. Testing and examination 4. Involvement of stakeholders 6. International surveys 5. Quality rules

4 Kort om EVA Danmarks Evalueringsinstitut (EVA) Etableret 1999 med første handlingsplan år 2000 Selvstændig institution under Undervisningsministeriet med egen bestyrelse Institut for hele uddannelsessektoren (ikke universitetsuddannelser) og dagtilbudsområdet

5 Kort om EVA (2) Hvem beslutter hvilke undersøgelser og evalueringer EVA gennemfører? Bestyrelse med selvstændig initiativret (ikke på grundskoleområdet) udmønter sig i en årlig handlingsplan Formandskabet for Skolerådet træffer beslutning om undersøgelser på grundskoleområdet IDV-opgaver bestilt og betalt af ministerier, kommuner, skoler mm.

6 EVA’s overordnede opgave - to spor Eva sikrer og udvikler kvalitet af dagtilbud, undervisning og uddannelse ved: At evaluere, dokumentere og vidensformidle – og dermed skabe overblik, gennemsigtighed, og viden om hvad der virker At udvikle evalueringsmetoder og opbygge evalueringskapacitet - og dermed understøtte institutionernes løbende udvikling.

7 EVA nu og fremover Kvalitetssikringsdiskurs Kriterier/standarder Eksterne eksperter Oftest institutionsspecifikt sigte ”Inspektorat” Anvendt forskning Valide kvantitative og kvalitative metoder Inddragelse af empiri Generaliserbarhed

8 Opgavetyper Produktion af viden Evalueringer Undersøgelser Auditeringer Akkrediteringer Analyserer og videreformidler danske og udenlandske erfaringer med evaluering og kvalitetsudvikling af uddannelse og dagtilbud Kapacitetsopbygning Rådgiver om evaluering og kvalitetsarbejde Formidler viden(resultater) tilbage til områderne mm.

9 Opmærksomhed på at undgå dobbeltrolle Balance mellem roller som henholdsvis evaluator og rådgiver Rådgivning holdes på et overordnet niveau Fokus på opbygning af kapacitet til evaluering og kvalitetsudvikling eller på ”oversættelse” af resultater til lokal kontekst

10 External panel of experts Internal project team Self evaluation Site visits Supplementary studies Circu- lation Final Report Dissemination of results Follow up EVA takes initiative Comissioned Evaluetion Preliminary study and Terms of reference Getting startet DocumentationEnd Framework for Evaluation

11 Lovændring betyder ny metodefrihed Indtil 2007 var selvevaluering og evalueringsgrupper obligatoriske – nu ingen lovbinding ift. metoder Adskillelse af dataindsamling og kapacitetsopbygning Konceptudvikling ift. kapacitetsopbygning

12 Brugernes behov: Gennemsigtighed ”Hvad skal jeg vælge?” Politikernes behov: Dokumentation ”Value for money!” De fagprofessionelles behov : Udvikling ”Hvordan kan vi blive bedre?” Hvorfor? - Forskellige perspektiver på evaluering

13 Oversigt over evalueringer/undersøgelser på gymnasieområdet Historie med samfundskundskab i det almene gymnasium Fysik i det almene gymnasium Profilfag på hhx og htx Overgange fra hhx og htx til videregående uddannelse Eksamensformer i det almene gymnasium Skriftlighed i gymnasiet Engelsk i gymnasiale uddannelser Tiltag for tosprogede i gymnasiet Den naturvidenskabelige faggruppe og kvalitetsarbejde på hf Almen studieforberedelse og studieområdet Evaluering af gymnasiereformen

14 Oversigt over evalueringer på erhvervsuddannelsesområdet Caseeksamen på det merkantile grundforløb Handlingsplaner for øget gennemførelse på erhvervsskoler Meritbegrebet og realkompetencer i erhvervsfaglige uddannelser Kvalitetsarbejde på erhvervsskoler Sammenhænge mellem produktionsskoler og erhvervsskoler Etc.

15 Kort om konceptet og hf-evalueringen Nyt koncept på uu-områdetEvalueringen af hf Imødekomme strategisk mål om øget dækningsgrad 20 hf-kurser deltog To fokusområder, hvoraf ’Kvalitetsarbejde’ går igen Kvalitetsarbejde Den naturvidenskabelige faggruppe Vurderingsgrundlag baseret på kriterier Kriterier og indikatorer Vurderingsskala med fire trin Dokumentationskilder: SE- rapporter fra og besøg på alle deltagende institutioner Ditto Imødekomme strategisk mål om (også) at give institutions- specifikke tilbagemeldinger 20 institutionsspecifikke rapporter En tværgående evalueringsrapport

16 Anbefalinger til undervisningsministeriet vedr. kvalitetsarbejde Evalueringsgruppen anbefaler at Undervisningsministeriet Tydeliggør for hf-kurserne hvordan de enkelte elementer i kvalitetsarbejdet hænger sammen, og hvordan dokumentationen skal anvendes – dels af kurserne, dels af ministeriet Tydeliggør for hf-kurserne hvordan kvalitetsbekendtgørelsen og hf-bekendtgørelsen kapitel 6 om intern evaluering hænger sammen, herunder hvilken status dokumenterne har i forhold til hinanden

17 Fagevalueringer 2007 Rekvireret af Undervisningsministeriet Dansk A på hf Engelsk B på htx og hf Kultur- og samfundsfaggruppen på hf Matematik B på hhx og stx

18 Formål og fokus Dobbelt fokus erfaringer med lærerplaner fokus på målopfyldelse Udgangspunkt i de eksisterene læreplaner og i vejledninger Særligt fokus på nyskabelser i reformen overgangen fra indholdsstyring til målstyring ændrede arbejdsformer og eksamensformer Samspil med andre fag

19 Design og dokumentation Forundersøgelse (april-maj 2007) Spørgeskemaundersøgelse(r) (juni 2007) 4 Fokusgruppeinterview (september 2007) Karakteroplysninger fra Uni-C (januar 2008) Offentliggørelse (februar 2008)

20 Design og dokumentation Forundersøgelse (april-maj 2007) Spørgeskemaundersøgelse(r) (juni 2007) 4 Fokusgruppeinterview (september 2007) Karakteroplysninger fra Uni-C (januar 2008) Offentliggørelse (februar 2008)

21 Eksperterne anbefaler…. (1) at skolerne iværksætter tiltag der kan styrke kompetenceudvikling blandt matematiklærerne. at Undervisningsministeriet gennemgår læreplanerne med henblik på en vurdering af hvordan mål og indhold kan tydeliggøres. at Undervisningsministeriet overvejer hvordan man kan sikre sammenhængen mellem niveauerne, herunder især sammenhængen mellem C- og B- niveau.

22 Eksperterne anbefaler… (2) at Undervisningsministeriet åbner mulighed for at prøveform a) og b) kombineres således at der formuleres både traditionelle spørgsmål og spørgsmål med udgangspunkt i emneopgaver eller rapporter. at Undervisningsministeriet overvejer hvordan prøvevilkårene og prøveformerne kan bringes i overensstemmelse med hinanden på hhx og stx at Undervisningsministeriet gennemfører en omfattende undersøgelse af årsagerne til karakterresultaterne på hhx såvel som stx.

23 Aktiviteter på ungdomsuddannelsesområdet pt 5 nye fagevalueringer (+ international vurdering) Dansk, engelsk, matematik, historie, fysik 4 fagområdeevalueringer Fremmedsprog, tek-nat, kunstneriske fag, økonomi Samlet evaluering af gymnasiereformen Afslutning på følgeprojektet vedr. almen studieforberedelse Merit og realkompetencer i erhvervsuddannelserne