Evaluering og evalueringsmodeller Kandidatuddannelsen i Læring og Forandringsprocesser Oktober 2009 Palle Rasmussen

Temaer Programevaluering og evalueringsforskning Evalueringsmodeller og eksempler Metoder

Evalueringsgenstanden: Læring og uddannelse Produktet af uddannelse og læring er forandrede mennesker. Andre effekter går via menneskelig forandring Menneskelige udviklingsprocesser er, at de foregår med en eller anden grad af bevidsthed og egensindighed Der er forskel på uddannelse; noget er adfærdstræning, andet er formidling af viden og begreber, og andet igen er udvikling af social og moralsk refleksion. Det betinger også forskelle i evalueringstilgange.

Definitioner Evert Vedungs definition på evaluering: Evaluering er en systematisk retrospektiv (dvs. Tilbageskuende) bedømmelse af gennemførsel, præstationer og udfald i offentlig virksomhed, og det er en bedømmelse, som tiltænkes at spille en rolle i praktiske handlingssituationer. Begreber om evaluering Intern evaluering over for ekstern Proces- eller produktevaluering Formativ evaluering over for summativ

Evalueringsforskningens udvikling Oprindelse i pædagogisk evaluering Opblomstring i USA i 60erne Slår forholdsvis sent igennem i Danmark, først inden for socialpolitik; udviklingsbistand og forskning Vækst i løbet af 80erne, spredning og institutionalisering i løbet af 90erne. Institutionalisering inden for udviklingsbistand: Evalueringsenhed i DANIDA fra 1982 Institutionalisering inden for uddannelsessystemet: Evalueringscenter fra 1992 Hvorfor sen vækst i Danmark? Stærk udbredelse af evalueringsorganer de sidste 10 år Fra evalueringsforskning til professionel evalueringspraksis Organisationalisering af evaluering

Udvikling i evalueringsparadigmer efter Pawson og Tilley 1. Eksperimentel evaluering Tilvejebringe et rationelt beslutningsgrundlag for offentlige politikker ved at undersøge, hvordan givne politikker virker. Vurdering af midler i forhold til givne mål. Forskningen: Eksperimentelle eller kvasi-eksperimentelle undersøgelser, søger “sand” viden om kausale sammenhænge 2. Pragmatisk evaluering Fokus på den politisk-pragmatiske dimension af reformer. Mål som kompromis’er, der ikke reelt forventes at være styrende. Reformer og programmer som arenaer for magtspil mellem interesser. Forskningen: Dokumentation af reform- og programaktiviteter via en flerhed af metoder. Bevidst om, at evalueringen påvirker programmet. 3. Konstruktivistisk evaluering Fokus på, hvad reformprogrammet og dets aktiviteter betyder for de forskellige interessenter i deres hverdagsliv. Programmet som en løs sammenkobling af forskellige initiativer og interesser. Forskningen: Især kvalitative metoder; afdække de forskellige aktørers “konstruktion” af reformen med henblik på at fremme empowerment og reel forhandling. Pawson og Tilleys egen position: Realistisk evaluering; virkningsevaluering

Evaluering og forskning Traditionel forståelse: Forskning er produktion af generel viden, evaluering er en praktisk og løsningsorienteret aktivitet Forskere er selv i stand til at definere undersøgelserne, evaluatorer må tage hensyn til interessenters ønsker Scott og Usher forståelse: Der er ingen principiel forskel på vidensproduktionen i forskning og evaluering Evaluatorer kommer ud for at arbejde tættere på magtfulde dagsordener Efter Scott & Usher, kapitel 12

Evalueringstilgange Målopfyldelsesevaluering Positivistisk udgangspunkt Måling af effekter snævert knyttet til graden af målopfyldelse Kvantitative undersøgelser; eksperimentelle eller kvasi-eksperimentelle designs Målfri evaluering Kritisk over for positivismen og ideen om rationel politik Undersøge virkningerne af en indsats, uafhængigt af målene for indsatsen Bredt oplysende sigte Postmoderne evaluering Konstruktivistisk udgangspunkt Evalueringen skal inddrage de forskellige interessenter i en indsats Evalueringsdesign skal respektere de særlige forhold inden for det undersøgte felt Overvejende kvalitative undersøgelser: interviews, feltarbejde mm. Efter Hanne Kathrine Krogstrup

Effektevaluering og præstationsmåling Klassisk effektevaluering Måling af effekter snævert knyttet til graden af målopfyldelse Eksperimentelle design kvasi-eksperimentelle design og statistiske undersøgelser Præstationsmålinger Vurderer indsatsen gennem et begrænset antal præstationskriterier, oftest defineret af organisationen selv Siger intet om effekter. Vanskeligt at vurdere præstationer på tværs af sektorer og organisationer Efter Hanne Krogstrup: Evalueringsmodeller

Effektevaluering: Skoleressourcer og uddannelsesforløb Skoleressourcers effekter på elevers uddannelsesforløb (Heinesen m.fl. i kompendium) Store forskelle mellem kommuner i udgifter og lærerressourcer pr. elev Sandsynligheden for at gennemføre en ungdomsuddannelse efter folkeskolen Datagrundlag: Registerdata for 10 pct. Af befolkningen; seks årgange i 8. klasse = 37.933 personer Kontrol for en række faktorer, dels i elevernes kommuner, dels i deres individuelle familiebaggrund Resultat: Højere skoleudgifter har effekt, men den er lille. Social arv betyder langt mere Konsekvenser?

Præstationsmåling: PISA PISA-undersøgelserne (Heinesen m.fl. i kompendium) Tvær-national måling af faglige kompetencer (på livsområder) hos unge 32 lande Testning af kompetencer, indhentning af baggrundsoplysninger Data i Danmark: 4.242 unge fordelt på 226 uddannelsesinstitutioner Procedurer for gyldighed og pålidelighed i dataindsamling Resultater: Danske elever placerer sig jævnt i sprog, pænt i matematik, dårligt i naturvidenskab og fint i personlige og sociale kompetencer Konsekvenser?

Præstationsmåling: HR-funktionen Måling af HR-funktionen i virksomheder. To hovedparametre HR-funktionens positive indflydelse på forretningsorganisationens drift og fremdrift HR-funktionens produktivitet Indflydelse: Fire spekter af HR-funktionens rolle (1) strategisk sparringspartner; (2) forandringsagent (3) Rationaliseringsekspert; (4) medarbejderudvikler og –ambassadør. Produktivitet: Forholdet mellem omkostninger og aktivitet inden for tre driftsområder: Lønadministration Rekruttering Kompetenceudvikling Formel for HR-funktioners lønsomhed: F (indeks for lønsomheden) = y2 (indflydelse i anden potens) + x (produktivitet). Kilde: Krogager & Schmidt: Måling af HR-funktionen

Evaluering af et kompetenceudviklingsprojekt Projektet En fusionerende uddannelsesinstitution Dobbeltmålsætning: Styrke integration, udvikle medarbejdergruppers fælles kompetencer Udvalgte funktionsområder Længerevarende forløb, opdelt i faser Kombination af projektgrupper og seminarer Evalueringsdesignet Følge faserne i projektet Kvalitative interviews med projektleder og enkelte andre nøglepersoner Tilstedeværelse dele af seminarerne, men ikke systematisk observation Registrering af materiale fra projektgruppernes arbejde Kvalitative spørgeskemaer til deltagerne Gruppeinterview lederne af projektgrupper

Evaluering af et kompetenceudviklingsprojekt 2 Evaluering i en organisation under forandring Evalueringens udsagnskraft Kompetenceprojektet Organisationsudviklingen Samarbejdet mellem evaluator og opdragsgiver Mellem evaluering og sparring Opdragsgiverens roller

Undervisningsevaluering Evaluering er nødvendig for at at få alsidigt grundlag for udvikling; lærerens spontane oplevelser af undervisningen kan ofte være vildledende Undervisningsevaluering er svær Hos lærerne: Frygt for krænkelse Hos lærerne: Frygt for, at dårlige resultater i evalueringer spredes til kolleger og ledelse. Usikkerhed på, om evaluering er et redskab til fornyelse eller til kontrol Hos eleverne: Mistillid til, at evalueringen reelt vil føre til bestræbelser for at forbedre undervisningen Eleverne er på uddannelsen/kurset/faget een gang, lærerne oftest i lang tid. Det giver en forskel i perspektiv Retningslinier Elevernes opfattelser er ikke sandheden, men en del af den Undervisningsevaluering må bygge på en vis grad af gensidig forpligtelse Helst både skriftlig evaluering og evalueringsdiskussion

Danmarks Evalueringsinstituts evalueringsmodel Ikke en stram metode, men en række faste elementer Projektgruppe (i EVA) Forundersøgelse Kommissorium Evalueringsgruppe (medlemmerne skal være uafhængige) Selvevaluering (udgangspunkt i vejledning fra EVA) Supplerende undersøgelser (materialeundersøgelser, brugerundersøgelser). Besøg Rapport (konklusioner, forslag, beskrivelser, analyser) Opfølgning (ifølge bekendtgørelse fra Undervisningsministeriet)

Kriterier for akkreditering af universitetsuddannelser Kriterium 1: Behov for uddannelsen Kriterium 2: Dimittendernes arbejdsmarkedssituation Kriterium 3: Uddannelsen er forskningsbaseret Kriterium 4: Uddannelsen er baseret på et aktivt forskningsmiljø Kriterium 5: Kvaliteten og styrken af det bagvedliggende forskningsmiljø Kriterium 6: Uddannelsesstruktur Kriterium 7: Undervisningens tilrettelæggelse og undervisernes kvalifikationer Kriterium 8: Løbende kvalitetssikring af uddannelsen Kriterium 9: Uddannelsens faglige profil Kriterium 10: Uddannelsens mål for læringsudbytte og de studerendes realiserede læringsudbytte

Anvendelse af evaluering To grundlæggende anvendelser af evaluering: kontrol læring To bredere anvendelser: vidensudvikling eller oplysning symbolske og konstitutive virkninger Efter Peter Dahler-Larsen

Undersøgelser af evalueringsanvendelse Hvem udfører evalueringer i staten? Konsulentfirma (30 pct) Flere i samarbejde (24 pct) Sektorforskningsinstitut (12 pct) Peers (10 pct.) Universitetsforskere (8 pct) Intern (5 pct) (Efter Hanne Foss Hansen, Evaluering i staten, 2003) Evalueringer i kommunale socialforvaltninger Hvilke konsekvenser har evalueringer for de evaluerede aktiviteter? De fører næsten aldrig til nedlæggelse, men har som regel en vis indflydelse. De mest udbredte konsekvenser er derfor fortsættelse (37 pct), mindre justering (45 pct) eller større omlægninger (27 pct). Den hyppigst oplyste bivirkning ved evaluering (27 pct) har at gøre med at skabe opmærksomhed eller sætte fokus. (Efter Peter Dahler-Larsen, Evaluering kortlagt, 2002)

Metoder i evaluering Ingen principiel forskel mellem evalueringsmetode og videnskabelig metode Særlige betingelser for metodeanvendelse i forbindelse med evaluering: Det anvendelsesorienterede opdrag (herunder forholdet mellem opdragsgiver og andre interessenter) Etik (især i.f.t. de grupper, som gøres til genstand for evaluering; "kognitiv respekt" i tolkningen, konsekvensbevidsthed i anvendelsen). Formidling (hvordan og til hvem skal evalueringens resultater fremstilles og formidles). Organisering (skal evalueringen være intern, ekstern eller en kombination, hvilke type folk skal udføre den) Ved evalueringsundersøgelser er der som regel begrænsninger på penge og (især) på tid. Derfor særlig nødvendigt at udvikle metoder, som på den ene side kan leve op til krav om gyldighed og pålidelighed, på den anden side kan håndteres i situationen

Undersøgelsesmetoder To hovedtyper af metoder: Dokumenterende metoder, herunder Eksisterende tekstlig dokumentation Eksisterende statistisk dokumentation Evalueringsdiskussion (Peer review som en særlig variant af evalueringsdiskussion) Empiriske undersøgenser, herunder Kvalitative undersøgelser Kvantitative undersøgelser (eventuelt med inddragelse af databaser) Kombinations-designs

Anvendelse af evalueringsmetoder i kommunale socialforvaltninger De tre mest udbredte metoder er spørgeskemaer (69 pct), interviews (57 pct) og statistik oparbejdet i organisationen (54 pct) er de tre mest udbredte metoder. Det er almindeligt, at der anvendes flere metoder i evalueringer Sammenhænge mellem metoder og organisering: Spørgeskemaer anvendes meget, hvor evaluering er en organisatorisk rutine. Interviews anvendes mere, hvor der er evalueringsspecialister i organisationen, og hvor der deltager eksterne konsulenter Sammenhænge mellem hensyn/motiver og metoder: spørgeskemaer anvendes, hvor der er ønsker om at kortlægge brugertilfredshed og borgertilfredshed. Interviews anvendes i særlig grad, hvor ønsket er at fremme organisatorisk læring Efter Dahler-Larsen, Evaluering kortlagt, 2002

Repetition Evaluerigsparadigmer: Fra rationalistisk til realistisk Evalueringsmodeller Anvendelser og konsekvenser Ingen principiel forskel mellem evalueringsmetode og videnskabelig metode