Møde med science-kommuner I Region Hovedstaden vedr. evaluering

Præsentationer af emnet: "Møde med science-kommuner I Region Hovedstaden vedr. evaluering"— Præsentationens transcript:

1 Møde med science-kommuner I Region Hovedstaden vedr. evaluering
Birkerød, den 13. januar 2011 Thomas Hem Pedersen og Rikke Sørup Danmarks Evalueringsinstitut (EVA) Velkommen

2 Hvem er vi? Rikke Sørup Thomas Hem Pedersen
Baggrund som gymnasielærer og uddannelsesleder Ansat på EVA siden 2001 (GUU) Thomas Hem Pedersen Cand scient soc Metodekonsulent på EVA siden 2007 Danmarks Evalueringsinstitut (EVA) Uafhængigt statsligt evalueringsinsititut på uddannelsesområdet siden år 2000 Gennemfører opgaver på eget initiativ og løser opgaver på konsulentbasis Gennemfører evalueringer og opbygger evalueringskapacitet (nationalt videnscenter) Rådgiver i evalueringssammenhænge EVA har egen lov, egen bestyrelse og egen finanslovsbevilling

3 Slagplan Oplæg om evaluering med indsatsteori som udgangspunkt
Fokus på mål Fokus på indsatser, indikatorer og succeskriterier (tegn) med udgangspunkt i jeres forberedelse til mødet Fokus på anvendelse af evalueringen (det fremadrettede aspekt) Øvelse – rekonstruering af jeres indsatsteori (Hvad er det der skal evalueres?) Oplæg omkring evaluering af indsatsteori og valg af metoder Lidt om forskellige dataindsamlingsmetoder – fordele og ulemper ved forskellige metoder Særligt fokus på spørgeskemametode Øvelse: gruppearbejde eller individuelt arbejde med evalueringsdesign (Hvordan evaluerer vi/Hvilke metoder passer til vores evalueringsspørgsmål Individuel sparring i forhold til de enkelte evalueringsdesign, herunder helt praktiske spørgsmål omkring dataindsamling Afslutning Fokus – generelt og især i dag på det anvendelsesorienterede. Derfor: god tid til arbejde – konkret sparring. Væsentligt at tage udgangspunkt i de enkelte deltageres konkrete situation – hvor virkningsevaluering i følge Peter Dahler Larsen er en metode der både ser på resultater og processer. Og ved at gøre det meget systematisk får man også mulighed for at vurdere årsagerne hvis de forventede virkninger ikke indtræffer. Det passer godt med jeres setup – det er det jeg skal forsøge at vise jer i løbet af de næste tyve minutter 

4 Hvorfor evaluerer I? ”Får vi valuta Politikernes behov: Dokumentation
for pengene?” Skolernes behov: Udvikling ”Hvordan kan vi blive bedre?” Elevernes behov: Gennemsigtighed ”Hvad skal jeg vælge?” en offentlig finansieret institution et professionelt fællesskab et sted for læring en virksomhed der konkurrerer om ”kunder” det er vigtigt at være opmærksom på hvilket perspektiv man tilgodeser. Kvalitetsarbejde skal i princippet tilgodese alle perspektiver- men ikke på samme tid. Forskellige billeder af hvad en skole er, er i spil. Der hersker dermed forskellige opfattelser af hvad kvalitetsarbejdet skal kunne. Intern og en eksterne funktion! Fx Brugerundersøgelser tilgodeser primært bruger – ”hvad skal jeg vælge”. Elevernes tilfredshed siger ikke noget om læring, og kan ikke lægges til grund for udvikling af undervisningens kvalitet.

5 Hvad er evaluering? En kvalificeret vurdering af noget der er hændt, det vil sige: er ”kvalificeret” i betydningen baseret på dokumentation som er indsamlet og bearbejdet på en systematisk måde. Indeholder en vurdering (Det er det der adskiller evalueringer fra mange andre aktiviteter: forskning, meningsmålinger m.m.). Er bagudrettet, men med fremadrettet perspektiv. Der er en evalueringsgenstand. 5

6 Intuitiv og systematisk arbejdsmetode
Intuitiv arbejdsmetode 1. Tema/ område 2. Ind-tryk 3. Intuition 4. Beslut-ning Systematikken er altafgørende – får lige lyst til at vise denne her.

7 80-90 % 10-20 % Intuitiv og systematisk arbejdsmetode
Intuitiv arbejdsmetode 1. Tema/ område 2. Ind-tryk 3. Intuition 4. Beslut-ning Systematisk arbejdsmetode Mål Data 5. Analyse 6. Konklusion 7. 8. Dokumen-tation 80-90 % 10-20 % skal gøre noget af den tavse viden talende er bevidst arbejde for forandring og udvikling baseret på en kvalitetskultur Forholdet mellem 7 og 8) Dokumentationen e rikke målet i sig selv, ej heller en ekstra aktivitet, men en praktisk konsekvens af systematikken. Nødvendig med en grad af skriftlighed i processen – også for at man kan følge op. Torben Spangets bud på en traditionel fordeling mellem intuition og systematik. Målet er en anden balance; skolen må vurdere hvilken, men det er praktisk at den tilsigtede balance er kendt. Systematikken kan ikke være 100 % (ét område om året jf. bek) Kilde: Torben Spanget

8 Formativ, summativ eller en blanding
Når kokken smager på suppen er det _____________ evaluering (udvikling/læring) Når gæsten smager på suppen er det _____________ evaluering (kontrol) Men hvis mange gæster påpeger at maden er for krydret, så får det forhåbentlig kokken til at overveje hvorvidt der skal ændres noget Ikke at man nødvendigvis skal rette ind efter en umiddelbar vurdering af tilfredshed (problemet med tilfredshedsundersøgelser). Det afhænger igen af målet. Justering kan føre til ændring af praksis eller af målene

9 Hvordan arbejde med kvalitet?
4) Vurdering af praksis og målene Tage konsekvensen og sætte nye mål? 1) Klare mål - Hvad er kvalitet? Formativ evaluering handler i høj grad om at lukke cirklen og bruge evalueringen til at justere eller sætte nye mål 3) Evaluering I hvilken grad opnås den ønskede kvalitet? 2) Tegn Hvad er tegn på kvalitet i den daglige praksis?

10

11 SMTTE Modellen Og så er vi tilbage ved indsatsteorien. Her arbejder man også med mål, med tiltag (indsatser), med tegn (indikatorer) og naturligvis med evaluering. Der er imidlertid stor fokus på sammenhængen mellem tiltag og mål

12 Hvad er en indsatsteori?
En måde at visualisere sammenhængen mellem aktiviteter, trin på vejen, resultater og virkninger på længere sigt. Bag enhver indsats ligger nogle forestillinger om hvorfor vi tror en indsats virker og hvorfor den er velegnet til at nå bestemte mål Indsatsteorien beskrives som et procesforløb. Først sker der det ene, så sker der det andet, så sker der det tredje.

13 Indsatsteorien opstilles grafisk
Kampagne for nikotinplaster Mindsket rygetrang Rygestop Længere liv Bedre sundhed Forklar også hvorfor er det vigtigt …?

14 Indsatsteorien som udgangspunkt for en evaluering
Når indsatsteorien er opstillet skal evaluatoren til at fungere som detektiv. Følger virkningskæden fra indsats til virkning. Undersøger hvert led i indsatsteorien. Ofte mange led. Metoder: Observation, interview, spørgeskema, registerdata. Kombiner denne slide og den følgende

15 Dataindsamlings-metode
Tre hjælpere Indikator Dataindsamlings-metode Succeskriterium Forhold, omstændigheder, holdninger eller adfærd som kan iagttages Indikator: temperatur Dataindsamlingsmetode: termometer Succeskriterium: bestemt temperatur, f.eks. 37 grader Kvantitative eller kvalitative specificeringer af hvad I gerne vil opnå Metode til at opnå en bestemt viden

16 Længere liv – bedre sundhed Kampagne for nikotinplastre
Rygerne køber nikotinplastre Nikotinplastre skaber mindre rygetrang Rygestop 20 % færre rygere efter 2 måneder Hvor mange har set reklamer? Vurdering af reklamerne? Salg af nikotinplastre Oplevet rygetrang Salg af cigaretter Antallet af rygere Optælling/ salgstal Spørgeskemaundersøgelse - omnibus Her er den grafiske model vi har valgt at præsentere jer for i dag og som vi skal prøve at arbejde med. Den viser aktiviteten i den ene side og resultatet i den anden side. I midten har vi trin på vejen. Pointen er at tydeliggøre alle de vigtigste led på vejen fra aktivitet til resultat – hvordan forestiller man sig at det vil virke. Pilene i modellen er vigtige. En pil betyder at man mener at det ene logisk leder til det næste – hvis det så sker det. Dette er en konsekvens af dette. Det sker fordi det der går forud er sket osv. Man kan arbejde på forskellige måder. Man kan enten starte med sin aktivitet og gå forlæns. Eller man kan starte med sit resultat og tilbage. Man kan også udfylde mellemregninger mellem aktivitet og resultat. Resultater: Hvad er det vi skal opnå. Her overvejer man selvfølgelig hvad man vil opnå i forhold til problemet. Problemet fra før med de unge frafaldstruede der ikke fulgte med i undervisningen som var teoretisk svær eller ikke motiverede dem. Her er det simpelt eksempel – præciseringer af målgruppe Aktiviteter: Det er den konkrete ting der sættes i gang. Det er de ting vi kan kontrollere. Det vi kan gøre. For at finde aktiviteten siger vi hvilke konkrete initiativer kræver indsatsen. Hvad vil vi konkret gøre. Vi ansætter en mentor og vi indgår 20 mentoraftaler. Der afholdes 40 psykologtimer. 20 lærere gennemfører et kursus. I dette eksempel: Der udvikles og anvendes nye praksisorienterede opgaver til undervisningen. Trin på vejen: Trin på vejen er de mellemregninger der er mellem aktivitet og resultat. Her udfolder man sin forestilling om den kæde af virkninger aktiviteten sætter i gang og siger hvad vil logisk fører til det næste. Trin på vejen kan også ses som en slags resultater på vejen før man når det endelige. I dette eksempel er der en forestilling om at… Der kan være mange trin på vejen. Det kan være en udfordring at vælge ud hvad det vigtige er – men det er vigtigt – ellers får vi en meget lang kæde. Det er vigtigt at vi bruger det til at se om vi tror på at der vil være disse sammenhænge. Her er et bud på en indsatsteori – vi siger ikke at den er perfekt/sandsynlig, men sådan kunne man forestille sig at forestillingen om hvorfor man satte netop denne aktivitet i gang kunne se ud. Fordelen ved at tydeliggøre forestillingen på denne måde er netop at vi begynder at reflektere over – som I sikkert også gjorde da jeg gennemgik denne indsatsteori – om det nu også er sandsynligt at det forholder sig sådan. Og disse refleksioner er rigtig gode - dem kan vi bruge. Vejen tilbage: Hvis flere unge skal gennemfører en ungdomsuddannelse så skal de mindre dygtige elever opnå bedre resultater i skolen, det forudsætter at vi skaber et godt læringsrum i klassen, et godt læringsrum er et rum hvor eleverne løfter hinanden og lader sig inspirere af hinanden, fx ved at de mindre dygtige kopierer eller de dygtige instruere, det kan vi skabe ved at mixe dygtige og mindre dygtige i teams Evaluering af indsatsteori Spørgeskema/interview Optælling/Spørgeskemaundersøgelse

17 Gruppearbejde Hvad er formålet med vores evaluering?
Hvad evaluerer vi? Hvad er indsatsen? (prioriter evt.) Hvad er målet? Hvad er resultaterne på kort sigt? Rekonstruer trinnene på vejen? Overvej tegn og evt. succeskriterier? Kommunerne 2 og 2

18 Program – del 2 Lidt om forskellige dataindsamlingsmetoder – fordele og ulemper ved forskellige metoder Særligt fokus på spørgeskemametode Gruppearbejde: Hvordan skal vi evaluere/Hvilke metoder passer til vores evalueringsspørgsmål Individuel sparring i forhold til de enkelte evalueringsdesign, herunder helt praktiske spørgsmål omkring dataindsamling Det vi har beskæftiget os med inden pausen er hvad I gerne vil evaluere. Her I anden del af dagen skal vi beskæftige os med hvordan vi skal evaluere I fået præsenteret idéen omkring indsatsteori, I har arbejdet med indikatorer (eller tegn) og succeskriterier og herved er I faktisk godt i gang med at præcisere hvad der er jeres evaluering skal fokusere på. Det er nemlig jeres indikatorer eller tegn der peger på hvilke evalueringsspørgsmål evalueringen skal svare på og det er evalueringsspørgsmålene der bestemmer metodevalget. Det er en vigtig pointe at i forhold til at designe evalueringer, så er det vigtigt at der er sammenhæng mellem jeres evalueringsspørgsmål og jeres metodevalg. Eller med andre ord. Hvilke dataindsamlingsmetoder giver jer bedst viden om det I helt konkret har brug for at vide noget om. Der er nemlig stor forskel på hvilke metoder der er gode til at svare på forskellige typer undersøgelsesspørgsmål. Så for at klæde jer på til næste øvelse, så vil jeg sige lidt mere om forskellige typer af metoder og sammenhængen mellem undersøgelsesspørgsmål og metodevalg

19 Dataindsamlingsmetoder
Kvantitative metoder Optælling Registeranalyser (data vi allerede har) Spørgeskemaundersøgelser Kvalitative metoder Interview Iagttagelse/observation Dokumentstudier Overordnet sondrer man mellem kvantitative og kvalitative metoder: Eksempler på kvantitative metoder er Optællinger. En forholdsvis simpel måde at indsamle data på, fx for at se om aktiviteter er gennemført som planlagt, er simpel optælling. Det kan fx være hvor mange der deltager i et kursus eller en anden aktivitet. Registeranalyser. Analyser man laver på baggrund af data der er indberettet til administrative systemer eller statistikbanker. Det kan fx være man ønsker at se hvor mange elever fra en bestemt årgang, der starter på en naturvidenskabelig videregående uddannelse. Det er data man kan få ved Dst. Men I har med garanti også en række administrative systemer i jeres kommuner som indeholder registerdata der måske kan være relevante i evalueringssammenhænge. Spørgeskemaundersøgelser kan fx være anvendelige til at få viden om elevers tilfredshed med aktiviteter eller vurdering af aktiviteter. Det kan også give viden om hvordan aktiviteter anvendes og bruges i praksis. Det kan fx være en spørgeskemaundersøgelse blandt lærere der har deltaget i et kursus om deres oplevelse af udbyttet af kurset og hvordan de har ændret deres praksis på baggrund af kurset. Jeg vender tilbage til spørgeskemametoden Kvalitative metoder Interview. Kvalitative interview er velegnede til at få indblik i hvordan elever og lærere oplever en indsats. De kan også bruges til at kortlægge hvad der sker i forbindelse med en indsats, og hvordan den fungerer. Det kan f.eks. være at spørge ind til hvad det betyder for lærernes motivation for at undervise at de har været på et efteruddannelseskursus. Interview kan enten være enkeltmandsinterview eller fokusgruppeinterview. Det er vigtigt at optage interviewet eller at tage noter til interviewet så man efterfølgende har et materiale man kan forholde sig til analytisk. Iagttagelse og observation. Det kan fx være iagttagelse af hvad der sker i undervisningssituationer eller andre situationer i forbindelse med en indsats, og det kan både være eleverne og de medarbejdere eller lærere der indgår i indsatsen, der iagttages. Fordelen er at fokus er på hvad folk gør frem for hvad de siger. Den der iagttager skal notere ned så objektivt som muligt, hvad der sker så man bagefter har et materiale man kan analysere. Hvis nogle kolleger iagttager en situation hvor andre kolleger deltager, er det vigtigt at de på forhånd har nogle klare aftaler om forløbet og fx aftaler præcist hvad det er iagttageren ser efter. Dokumentstudier. Hvis der som led i indsatsen bliver produceret skriftligt materiale af dem der udfører indsatsen, er det oplagt at inddrage det i evalueringen. Det kan f.eks. være logbøger skrevet af lærere der deltager i en indsats eller mødereferater fra medarbejdere der samarbejder om en indsats.

20 Kvantitative metoder Kvantitative metoder er generelt gode til at
give svar på spørgsmål hvortil der et kendt og begrænset antal svarmuligheder finde ud af hvor mange % mener dit og dat Udtale sig generelt om hvor udbredt fx en bestemt vurdering er levere overbevisende dokumentation (ja måske) Kvantitative metoder er generelt dårlige til Eksplorative formål: udforskning af ukendte områder, identifikation holdningsområder. Når viden og erfaring er begrænset Eksplanative formål: forklaringer, uddybninger og identifikation af eksisterende holdninger Lav-interesseområde (antallet af svar bliver lavt) Give dybere forståelse af bestemte vurderinger, holdninger e.lign Give detaljeret indblik i styrker og svagheder o.lign. Spørgeskemaundersøgelsen er den mest udbredte kvantitative undersøgelsesmetode

21 Kvalitative metoder er generelt gode til
Eksplorative formål: udforskning af ukendte områder, identifikation holdningsområder Eksplanative formål: forklaringer, uddybninger og identifikation af eksisterende holdninger Give dybere forståelse af bestemte vurderinger, holdninger e.lign Give detaljeret indblik i styrker og svagheder o.lign. Kvalitative metoder er generelt dårlige til Udtale sig generelt om hvor udbredt fx en bestemt vurdering er Spørgsmål der skal besvares har et kendt eller begrænset antal svarmuligheder

22 Så er der lidt om forskellige typer kvalitative metoder som jeg ikke vil gå dybere ned i

23 Metodekombination Kvant – kval: Kval - kvant: Kvant-kval
Det er ofte interessant at få uddybet de resultater man har fået fra den kvantitative undersøgelse. Måske ved man at 65 % er tilfredse eller meget tilfredse med en indsats, men man ved ikke hvorfor de er tilfredse. Har er det en rigtig god idé at kombinere metoderne, så man forsøger at forklare hvorfor de tilfredse er tilfredse og er netop styrken ved de kvalitative metoder at de er gode til at besvare hvorfor spørgsmål Kval-kvant Det kan ofte være en fordel at gennemføre eksplorative interview, fx fokusgrupper inden man gennemfører en spørgeskemaundersøgelse. Her virker det kvantitative som en form for forundersøgelse og/eller hypotesgenererende. Hvis man fx vil undersøge hvad der har betydning for om folkeskolelærere er tilfredse med elevplaner, så kan man godt tænke sig til en række relevante hypoteser, men det er oplagt at undersøge kvalitativt i målgruppen inden man bruger en masse penge på at sætte en spørgeskemaundersøgelse i gang.

24 Specifikt om spørgeskemametode
Udarbejdelse af spørgeskema Sammenhæng mellem evalueringsspørgsmål og spørgeskema Spørgsmålstyper åbne og lukkede spørgsmål Baggrundsspørgsmål Nu har jeg fortalt lidt på et meget overordnet niveau omkring kvantative og kvalitative metoder. Nu vil jeg dykke lidt ned i en specifik kvantitativ metode, nemlig spørgeskemametoden fordi det formegentlig er den metode flere af jer kommer til at bruge. 5. Gode råd om spørgsmålsformulering i spørgeskemaer Sammenhæng mellem evalueringsspørgsmål og spørgeskema Udgangspunktet for et godt spørgeskema er at du på forhånd ved hvilke evalueringsspørgsmål skemaet skal besvare. For at lave gode og relevante spørgsmål skal du operationalisere de begreber og dimensioner der ligger i de enkelte evalueringsspørgsmål. Hvis du ikke har en strategi for hvordan du måler evalueringsspørgsmålenes begreber og dimensioner, er det ikke muligt at forklare hvorfor et spørgeskema indeholder netop de valgte og ikke andre spørgsmål. I princippet bør ethvert spørgsmål kunne begrundes med henvisning til operationaliseringen af evalueringsspørgsmålene. Spørgsmålstyper Grundlæggende kan man skelne mellem ”objektive” faktuelle spørgsmål og ”subjektive” holdningsspørgsmål. Faktuelle spørgsmål kan inddeles i baggrundsspørgsmål og adfærdsspørgsmål. Baggrundsspørgsmål er spørgsmål der handler om. Køn, alder uddannelsesniveau osv., mens adfærdsspørgsmål forsøger at afdække en konkret praksis. Ex. ”Hvor mange gange om året udfylder du elevplaner?” en gang om året, to gange om året, mere end to gange om året. Holdningsspørgsmål kan inddeles i specifikke og generelle. Specifikke holdningsspørgsmål er formuleret så svarpersoner skal forestille sig at agere i bestemte situationer som de skal vurdere. Fx hvor tæt på ens bolig man kan godtage et flygtningecenter. Derimod formuleres generelle holdningsspørgsmål så svarpersoner ikke skal forestille sig at agere, men blot vurdere alment, fx ved at tilkendegive hvad de i almindelighed mener om den indsats der gøres for flygtninge i Danmark. Holdningsspørgsmål kan endvidere have mindst tre forskellige komponenter der handler om 1) at opfatte, 2) at føle eller 3) at ville gøre. Hvor anvendelige er elevplanerne som redskab til at hjælpe bogligt svage elever? Hvilke af følgende geografiske områder føler De Dem mest knyttet til? Hvis der var folketingsvalg i morgen, hvilket parti ville De så stemme på? Bemærk at mens generelle holdningsspørgsmål i sagens natur kun har at opfatte- og at føle-bestanddelen, kan specifikke holdningsspørgsmål have alle tre. Kort om åbne og lukkede spørgsmål Forklar lidt om forskellen mellem åbne og lukkede spørgsmål – samt hvilken data de frembringer Baggrundsspørgsmål Nu nævnte jeg kort baggrundsspørgsmål som et eksempel på et faktuelt spørgsmål. Jeg vil gerne lige sige lidt mere om formålet med at stille baggrundsspørgsmål a) Deskriptivt b) forklarende - Så er det fornuftigt allerede i designfasen af spørgeskemaundersøgelsen at stille sig selv nogle spørgsmål om hvilke analyser i efterfølgende ønsker at lave. Det kan være at I gerne vil se på om der er forskel på hvordan to grupper i jeres undersøgelse svarer på jeres spørgsmål. Fx kunne det være at et efteruddannelseskursus I har gennemført blandt netur-teknik lærere har haft som delformål at få lærerne til at have mere fokus på naturvidenskabelige metoder i natur/teknikundervisningen. I har dog en mistanke om at kurset især har haft en effekt for nyuddannede lærere, eftersom I tænker at de er mest modtagelige for at ændre i deres praksis. Hvis I gerne vi undersøge den hypotese, så er det selvfølgelig vigtigt at I har spurgt de enkelte lærere om deres anciennitet.

25 Grundlæggende tommelfingerregler
Fokuserede spørgsmål Neutrale spørgsmål Relevante spørgsmål Genkaldelige spørgsmål Begrænsning af ords betydningsvidde Grundlæggende tommelfingerregler for formulering af spørgsmål Helt grundlæggende skal spørgsmål selvfølgelig være grammatisk korrekte. Dertil kommer at de skal være grammatisk enkle. Dvs. at du skal undgå komplicerede og kryptiske formuleringer samt sproglige besværligheder som fx dobbeltnegationer (”ikke + ikke”). Spørgsmål skal være mundrette og så korte som muligt. De skal være letlæselige og lette at holde i arbejdshukommelsen, så man stadig kan huske hvor spørgsmålet startede, når det slutter. Et sidste centralt begreb ved spørgsmålsformulering er entydighed. Respondenter vil aldrig forstå ord og spørgsmål helt ens, men ved at efterstræbe en vis entydighed i spørgsmålsformuleringen, kan du opretholde din undersøgelses validitet. Der er en åbenlys konflikt mellem formuleringen af korte og entydige spørgsmål, idet sidstnævnte ofte vil gå ud over førstnævnte – og omvendt. Der findes ingen faste regler, men spørgsmålets entydighed vægtes ofte højest. Det er derfor et helt centralt element i de følgende råd til spørgsmålsformuleringer at reducere spørgsmåls betydningsvidde (mulige betydninger af et ord) og tilstræbe entydighed. Fokuserede spørgsmål: Et spørgsmål bør kun bevæge sig langs én dimension, altså sigte mod fremkaldelse af én og kun én information. Holdningen til to ting kan ikke besvares samtidig. Eksempel på et problematisk spørgsmål: ”Er du tilfreds med din nuværende arbejdstid og dens placering?” Problemet består her i at nogle erhvervsaktive fx kan være ganske tilfredse med deres arbejdstid, men utilfredse med dens placering. Spørgsmålet bør derfor splittes op i to hvor det ene afdækker arbejdstids længden, og det andet afdækker placeringen af arbejdstiden. En tommelfingerregel for at opdage sådanne problematiske spørgsmål er ganske banalt at kigge dem igennem for ordet ”og”. Neutrale spørgsmål: Spørgsmål skal være balancerede og ikke tilskynde til bestemte besvarelser. Eksempler på problematiske spørgsmål: ”Hvor stor betydning vurderer du at elevplanen har for elevens motivation for læring?” Ingen betydning, mindre betydning, nogen betydning, stor betydning Ovenstående spørgsmål er ikke stillet helt neutralt, da ”stor betydning” indgår i spørgsmålsformuleringen. Spørgsmålet er mere neutralt hvis man i stedet spørger: ”Hvilken betydning vurderer du at elevplanen har for elevens motivation for læring?” Ingen betydning, mindre betydning, nogen betydning, stor betydning Relevante spørgsmål: Husk at indtænke filtre i spørgeskemaer hvis der forekommer spørgsmål som ikke vil være relevante for alle. Dvs. stil spørgsmål som sender svarpersoner videre til næste relevante spørgsmål. Stil fx grundlæggende spørgsmål som ”Har du erfaringer som specialundervisningslærer” før mere udspecificerede spørgsmål som ”Hvor mange års erfaring har du som specialundervisningslærer?” Relevans handler også om at spørgsmål ikke indeholder virkelighedsfjerne antagelser, fx om at svarpersoner gør noget ”normalt” eller menes at opfatte bestemte befolkningsgrupper på en bestemt måde. Eksempler på problematiske spørgsmål: ” Hvor ofte taler De normalt i telefon med et eller flere af Deres børn?” ”Hvilken holdning har lærerne på din skole til at arbejde i lærerteams? Negative, overvejende negative, overvejende positive, positive. Ikke alle taler regelbundet i telefon med deres børn, ligesom lærere på den samme skole ikke nødvendigvis har samme holdninger til at arbejde i lærerteam. I stedet for at henføre til hvor ofte man normalt taler i telefon, bør man forsøge at spørge til hvor lang tid man i en given tidsperiode har talt med ens børn. I stedet for at spørge til den generelle holdning blandt lærerne bør man spørge til den enkeltes lærers holdning til lærerteam. Genkaldelige spørgsmål: Stiller du spørgsmål som stiller krav til respondentens hukommelse, skal du være opmærksom på langtidshukommelsens begrænsninger. Glemsel påvirkes af adskillige forhold, men tre er vigtige at fremhæve. 1) Hændelsers placering i tid, 2) hændelsers hyppighed og 3) hændelsers særlige træk eller ensartethed. Tag følgende spørgsmål som eksempel: ”Hvor mange undervisningstimer har du gennemført den seneste måned?” Dette er formentlig et spørgsmål de fleste lærere vil kunne besvare, men det stiller visse krav til hukommelsen. For det første kan tidshorisonten siges at være fornuftig. Til gengæld vil det være rimeligt at sige at undervisning er en temmelig hyppig forekomst for lærere, og at det er hændelser der nok vil fremstå uden ”særlige træk” i lærernes hukommelse. Dette kan bidrage til at nuancer glemmes og erstattes af såkaldte ”drejebøger” a la ”Jeg underviser ca. 20 timer om ugen, og derfor har jeg haft 80 timer den seneste måned” hvilket kan give måleproblemer. Løsninger på disse hukommelsesproblemer kan være at spørge ind til en kortere tidshorisont eller ind til den seneste hændelse af noget. Man kan også vælge at stille spørgsmål, der retter sig mod den generelle hukommelse i stedet for den episodiske. Det vil i vores tilfælde fx være at spørge: ”Hvor mange undervisningstimer har du gennemsnitligt haft om ugen det seneste skoleår”. Dermed beder vi vores respondenter lave et kvalificeret overslag i stedet for at bede dem huske detaljer om en mere begrænset tidshorisont. Begrænsning af ords betydningsvidde Stort set alle danske ord er mangetydige - nogle mere end andre. Men det er vigtigt at holde sig for øje at alle ord besidder en vis betydningsvidde. De opfattes og forstås forskelligt af svarpersoner. Dette gælder selvfølgelig især ved anvendelse af vanskelige og sjældne ord. Men også de mest gængse hverdagsord kan i virkeligheden have en stor betydningsvidde. Du kan mindske ords betydning ved at anvende forskellige fremgangsmåder: Henvisende ord Ord der henviser til konkrete fænomener i den ydre virkelighed. Det kan fx være noget der uden videre ville kunne tegnes. Et eksempel på et problematisk begreb er handicappede. Det er en meget flydende betegnelse som folk vi opfatte forskelligt. Ingen vil kunne tegne handicappede i almindelighed, men tænk i stedet på at mange konkrete handicappede kan afbildes. I stedet for at bruge et bredt begreb som handicappede, så definér dem i stedet som fx blinde, kørestolsbrugere, evnesvage – alt efter undersøgelsens fokus. Hyppigt anvendte ord Ord der kendes og anvendes af mange mennesker, er at foretrække frem for mere sjældne ord. De vil alt andet lige have mindre betydningsvidde. Dette kan tænkes helt ned i det nærmest banale. Ord som fx position, kronisk og avancement vil måske ikke være problematiske for de fleste, men kan alligevel med fordel erstattes af mere benyttede ord som placering, vedvarende og forfremmelse. Korte ord Korte ord er lettere at fastholde i arbejdshukommelsen og vil generelt have mindre betydningsvidde end lange ord. Erstat fx værelse, erhvervsarbejde og foranstaltning med de kortere versioner rum, job og ordning. Undgå kvantificerende adverbier Kvantificerende adverbier er eksempelvis ”ofte”, ”jævnligt”, ”sjældent”. Disse benytter vi til tider på EVA i både spørgsmålsformulering og som svarkategorier. Det er dog begreber som har en stor betydningsvidde, som forstås meget forskelligt, og som du derfor skal være påpasselig med. Når det kommer til svarkategorier, er det en hovedregel at benytte absolutte svarkategorier, når det er muligt. Dvs. at definere hvad der menes med ”ofte” etc. Tag følgende spørgsmål som eksempel: ”Hvor hyppigt designer du egne undersøgelser i natur/teknik-undervisningen uden brug af lærebøger eller andet tilgængeligt undervisningsmateriale (fx fra Internettet, Skolekom eller lignende)?” Her kan du fx vælge at definere svarkategorierne ”Aldrig”, ”Sjældent”, ”Af og til”, ”Ofte”, ”Næsten altid”, ”Altid”. Det ville dog være værd at overveje muligheden for at definere nogle kategorier med mindre betydningsvidde som fx hvor mange gange ugentligt eller månedligt det finder sted. Uddybning Hvis et ords betydning er vid, bør det helt grundlæggende erstattes af et ord med mindre vidde. Der findes muligvis et kortere og oftere anvendt ord eller et ord med færre mulige bibetydninger. En sådan udskiftning kan i visse situationer være vanskelig, og det kan i stedet være nødvendigt at definere, forklare eller eksemplificere ord. Et par eksempler: ”Har I på grundforløbet andre særlige hold for 'stærke elever'? (f.eks. grundforløbspakker målrettet 'stærke elever' på indgangen, at 'stærke elever' samles på tværs af hold på indgangen i udvalgte fag eller at 'stærke elever' samles på tværs af indgange i udvalgte lektioner)” ”Hvis du sammenligner med før du var på MetodeLab-kurset i hvilket omfang sætter du så læringsmål for eleverne nu inden for CKF-området "Arbejdsmåder og tankegange"? (CKF-området "Arbejdsmåder og tankegange" dækker fx over at fremsætte hypoteser, lave modeller og eksperimenter, kategorisere undersøgelsesresultater og formidle dem)”

26 Større begejstring for n/t blandt eleverne
Flere elever vælger en naturvidenskabelig retning i deres videre uddannelsesforløb Lærerne får viden om hvordan de kan gøre n/t-undervisningen mere motiverende Større begejstring for n/t blandt eleverne Kursus for natur/teknik lærere Lærerne bruger de nye metoder i n/t-undervisningen Elevernes begejstring for n/t Antal kursusdeltagere (gennemførelse) Brug af nye undervisningsmetoder kendskab til nye undervisningsmetoder Valg af videregående uddannelse 90 % gennemført. 80 % er overvejende tilfredse Nu er det idéen at I skal til at arbejde videre med jeres valg af metoder og herved opstille jeres evalueringsdesign Men inden da vil jeg lige give et opsummerende eksempel på det vi har talt om ind til videre Rikke viste jer tidligere en lignende slide, men det her er et nyt eksempel for at illustrere hele processen fra opstilling af indsatsteori til evalueringsdesign Det her er altså et nyt eksempel på en indsatsteori. Gennemgå indsatsteorien Det her er en rimelig simpel indsatsteori og man kan formegentlig forholde sig meget kritisk til om den virkning/effekt der er skrevet ind er realitisk. Men dette er også bare et eksempel. Det interessante i forhold til metodevalg, som I jo skal til nu her, er at fokusere på indikatorer og succeskriterier. Det er på det her niveau det bliver spændende ift. metodevalg, for det er her evalueringsspørgsmålene ligger gemt. a) Hvor mange deltager i kurset, b) hvor mange gennemfører kurset c) hvor stor en andel er tilfredse med kurset A) Er lærerne blevet mere inspirerede b) Hvad har de lært på kurset A) hvordan har lærerne ændret deres praksis? B) bruger lærerne det de har lært på kurset? A) oplever lærerne en øget begejstring blandt eleverne for n/t? A) Vælger flere en naturvidenskabelig uddannelse Linke metoder til evalueringsspørgsmål lærerne mere inspirerede 90 % kender minimum 3 nye metoder 90 % af eleverne er mere begejstrede for n/t 10 % flere vælger nat.vid.udd 90 % bruger ugentligt min 1 ny metode Optælling/spørgeskema Spørgeskema Spørgeskemaundersøgelse/interview Registerdata Interview/ Spørgeskema

27 Udvælg de vigtige led til evalueringen
Udvælg de dele der er mest afgørende for at indsatsen forløber som planlagt Udvælg de dele hvor der er mest usikkerhed om indsatsteorien holder Udvælg de dele hvor der nemmest kan skaffes data Udvælg de dele hvor der bruges flest ressourcer Det er ikke sikkert man behøver evaluere i alle led af indsatsteorien og det er heller ikke sikker at man har ressourcerne. Men her kan man: - Udvælg de dele der er mest afgørende for at indsatsen forløber som planlagt - Udvælg de dele hvor der er mest usikkerhed om indsatsteorien holder - Udvælg de dele hvor der nemmest kan skaffes data - Udvælg de dele hvor der bruges flest ressourcer Ift. eksemplet fra før kunne et vigtigt led være om der er sket en ændring i lærernes praksis. Hvis der ikke er det, så er det svært at tro på en virkning af aktiviteten. I eksemplet fra før er det dog også væsentligt at bemærke at det er muligt at svare på relativt mange af evalueringsspørgsmålene ved blot at vælge en metode blandt en interessentgruppe (spørgeskemaundersøgelse blandt n/t-lærere)

28 Gruppearbejde: Hvilke metoder passer bedst til jeres evalueringsspørgsmål
Relevante spørgsmål: Har vi behov for kvantitative data eller kvalitative data eller måske begge? Hvad er der til rådighed af data allerede nu, og hvad skal der gøres en indsats for at indsamle? Hvilke grupper af interessenter er det muligt at inddrage i evalueringen?