Kompetencevurdering metoder Dag 1 er dedikeret til kompetencevurderingsmetoder, men inden vi går i gang vil vi gerne samle op på hvad ”udgangspunktet” er, dvs. hvad ved nogle af jer fra de tidligere vejlederkurser og hvilket udgangspunkt tager vi på dette kursus ift læring og vejledning 1

Hvornår lærer vi af vejledning ? Vejledning - Læring Undervisning Undervisning Hvordan lærer vi, der sker noget udenfor hovedet (undervisning) som skal blive til noget indeni hovedet (læring), den proces facilitere vi, vejleder vi YL til. Hvornår lærer vi af vejledning ? 2

Vejledning - Læring Afhænger af udgangspunktet Modificeres efter klinisk erfaring Træningens mål ændres konstant Vygotski’s nærmeste udviklingszone: Udgangspunkt – modificering – tilpasning af mål - udviklingszoner KAN LÆRER KAN IKKE 3

LÆS den højt – er den således vi tænker evaluring er ?? NEJ… 4

Hvorfor kompetencevurdering ? LÆRINGSSPIRAL NY læringsaktivitet planlægges Forberede Refleksion og analyse Ud- føre Feedback Vurdering af resultat Læringsaktivitet

Kompetencevurdering - metodernes kvalitet Valid: Måler den valgte test lige det, man faktisk ønsker at måle? Reproducerbar: Vurderingen er stabil ved gentagelse (inter-, intravariabilitet) Gennemførbar: Acceptabel mht tid, ressourcer inkl. økonomi Eval.metoders kvalitet har været undersøgt grundigt ud fra følgende parametre. ALLE metoder i målbeskrivelsen har været testet videnskabeligt og fundet egnede på disse områder, men nogle metoder forestår også en forsat udvikling fx 360 grader. Interreliabilitet: oplære evaluatorer, anden mere end 1 perosn Intrareliabilitet: sørge for objektive mål, struktur, skalaer 6

Kompetencevurdering - kontekst Del af lærings proces (formativ vurdering) Refleksion Check på indlæring efter træningssituation Check på læringsmetode efter træningssituation Del af produkt kontrol (summativ vurdering) Er kompetencemålet nået? Kan man stå inde for at kompetencen besiddes? Undervisningsmonitorering Er målet det rigtige, det ønskede? Er læringsmetoden god? Her er nogle termer vi/I er nødt til at kende. 7

Vurderingsmetoder Struktureret Klinisk Bedømmelse (SKB) Struktureret observation: direkte at se hvordan en uddannelsessøgende læge udfører en færdighed og udfra i forvejen opstillede kriterier vurdere dennes færdighedsniveau. Struktureret interview: samtale mellem den uddannelsessøgende og vejlederen der afhandler i forvejen definerede områder, men som ikke har præg af overhøring. 360 graders feedback Vurdering der bliver udført af flere sundhedsfaglige medarbejdere, og mod i forvejen opstillede kriterier. 8

Vurderings metoder OSKE (Objektiv Struktureret Klinisk Examination) Audit struktureret bedømmelse af kvaliteten af journaler mod i forvejen opstillede kriterier. Video MCQ (Mutiple choice Questionnaire) Essay Kursusgodkendelse Disse kompetencevurdrringsmetoder er yderligere omtalt i Kompetencevurderingsmetoder_2 9

Vurderings metoder Vejledersamtale Gennemgang af læringsdagbog/logbog/portefølge en samtale mellem den uddannelsessøgende læge og vejlederen med udgangspunkt i læringsdagbogen med henblik på at fastlægge hvor langt den uddannelsessøgende er kommet i uddannelsesforløbet og planlægge det videre forløb. 10

Læringsdagbog/portefølje/ logbog Læringsportefølje - formativ vurdering - til optegnelser (refleksion og dialog) af Læringsdokumentation - summativ vurdering - logbogen er juridisk dokumentation af godkendte kompetencer Formativ: Den uddannelsessøgendes fremgang og fremdrift Daglige begivenheder Eventuelle afvigelser fra planen Specielle kompetencer Dokumentation af delkompetencer 11

Kompetencevurdering af ”De 7 lægeroller” Medicinsk ekspert Kommunikator Samarbejder Leder/administrator Sundhedsfremmer Akademiker Professionel Det kræver mange forskellige kompetencevurderinsmetoder at evaluere de 7 lægeroller 12

Hvem vurderer ? Den uddannelsessøgende selv Supervisor/kliniske vejledere Hoved/uddannelses vejleder Andre fagpersoner

Kompetencevurdering – samlet set Vurderingen er en proces OG et produkt Vurdering er et vigtigt redskab i læringsprocessen Det er afgørende at overveje hvilke vurderingsmetoder, der passer til hvilke kompetencer Summativ vurdering har konsekvenser og SKAL derfor være af god kvalitet.

Spørgsmål Praktiske ting nævnes her, kort, værelse, aktiviteter, mobil osv. OBS hjemmeopgaver… 15

OSKE O - Objektiv S - Struktureret K - Klinisk E - Eksamination 16

Baggrund Historie Indført i 2002 på Syddansk Universitet Anvendes ved bl.a. Medicinsk Embedseksamen i Gynækologi og Obstetrik, Medicin og Pædiatri Anvendes postgraduat til vurdering af kliniske færdigheder Udviklet af Ronald Harden (professor i medicinsk pædagogik, Centre for Medical Education, University of Dundee, Scotland) i midten af 1970’erne. Anvendes ved præ- og postgraduate eksaminer for medicinstud./læger især i Canada, USA og Australien. 17 17

Metode En metode til observation af den uddannelsessøgende læge i en bred vifte af delkompetencer Stationer Tidsbestemte opgaver En observatør vurderer den uddannelsessøgende læge ud fra et standardiseret observations- og scoringsskema. Summativ kompetencevurdering (bestået/ikke-bestået) Særligt egnet til vurdering af følgende lægeroller: Kommunikator, samarbejder, medicinsk ekspert, sundhedsfremmer. Antal af stationer: Ved anvendelse til eksamination 20-30 stationer optimalt. Ved anvendelse postgraduat til kompetencevurdering kan det være fra 2-3 stationer. Tid: Vigtigt at gøre opmærksom på at tiden er fastsat, når tiden er gået er det videre til næste station. I litteraturen nævnes alt mellem 7 og 30 minutter. 18 18

OSKE - egenskaber Standardiserer og objektiviserer vurderingen af lægen under uddannelse Kompetencevurderingen baseres på observation af, hvad den uddannelsessøgende læge rent faktisk gør 19

Eksempler 20 Anamneseoptagelse Fokuseret objektiv undersøgelse f.eks. gynækologisk undersøgelse, knæundersøgelse Tekniske procedurer f.eks. lumbal punktur, ascites drænage, venflon Tolkning af parakliniske resultater f.eks. faboratorieundersøgelser, røntgenbilleder Objektiv undersøgelse: gynækologisk undersøgelse, knæundersøgelse Tekniske procedurer: lumbal punktur, ascites drænage, venflon Parakliniske undersøgelser: laboratorietests, røntgenbilleder 20 20

Fordele 21 Høj reliabilitet og validitet Evaluerer teoretisk viden Evaluerer praktiske færdigheder Evaluerer kommunikative kompetencer Kompetencegivende Antallet af opnåede kompetencer øges OSKE har en bedre reliabilitet og validitet end f.eks. mundtlige eksaminer i forhold til en enkelt patient. OSKE standardiserer og objektiviserer vurderingen, og kompetencevurderingen baseres på observation af, hvad den uddannelsessøgende læge rent faktisk gør. 21 21

Ulemper 22 Personalekrævende (eksaminator ved hver station) Ressourcekrævende (f.eks. Fantom, computerprogrammer, video, skuespiller) Tidskrævende forberedelse Vanskeligt at konstruere simulationsscenarier for de mere komplicerede procedurer Vanskeligt at standardisering procedurer og nedbrydning til objektivt vurderbare delkomponenter En eksaminator ved hver station, mange forskellige stationer, evt. flere stationer af samme slags. Kan kræve forskellige remedier (fantom, computerprogram, video, simulator, skuespiller etc.). 22 22

Spørgsmål i plenum HVORDAN/HVORNÅR/HVOR OFTE vil I lave en OSKE i jeres afdeling? HVAD skal der til for at lave en station i jeres afdeling? 23

Litteratur Ugeskr. Læger 2004. 17;166(21):2002-4. Med. Educ. 1996. 30(1):38-43. Med. Educ. 1990. 24(3):219-23. Med. Educ. 1981. 15(1):46-52. 24

Øvrige vurderingsmetoder Kursusgodkendelse Video Essay MCQ Vejledersamtale – ikke formelle vurderingssamtaler Vejledersamtaler – formelle vurderingssamtaler 25 25

Kursusgodkendelse 26 Fordele: Kan anvendes til kompentencer man ikke vil forventes at se i klinikken Tidsbesparende = mere tid til at bruge andre vurderingsmetoder af andre kompetencer Ulemper: Man ved reelt ikke, hvad kursusudbyttet har været Især indenfor kompetencer, som man ikke vil kunne forventes at se i klinikken 26 26

Video – anvendelse 27 Velegnet til vurdering af mange lægeroller: - Kommunikator: konsultation - Sundhedsfremmer: livsstilssamtale med patient - Medicinsk ekspert: evaluerer specifikke færdigheder: fx. undersøgelses- eller operationsteknikker. Anvendes som dokumentation for udførte procedurer: - Skopier, ekkokardiografier, ultralydsundersøgelser Bruges i færdighedslaboratorier Spørg til fordele/ ulemper inden næste slide vises. 27 27

Video - fordele 28 Uddannelsessøgende læge får lejlighed til at bruge helikoptorsyn Vejleder kan vurdere kliniske situationer, hvor han/hun ikke var til stede - Videoen kan gennemses flere gange - Videoen kan indgå som arbejdsredskab i brugen af andre vurderingsmetoder 28

Video - ulemper 29 Kræver udstyr Forudsætter patienternes accept Tidskrævende 29 29

Essay 30 Eksempler: Præ- og postgraduat eksamination, undermetode i ex OSKE station God til at vurdere integration og syntese af information, kritisk tænkning og problemløsning Træner formulering og argumentation God til formativ vurdering Spørg til fordele/ulemper inden næste slide vises. 30 30

Essay - fordele 31 Frihedsgrader for den uddannelsessøgende læge Mulighed for fordybelse Mulighed for argumentation Nemt og hurtigt at stille opgaver 31 31

Essay - ulemper 32 Tidskrævende for vejledte og vejleder Inkonsistent og subjektiv Dækker kun delområder 32

MCQ – multiple choice questionnaires Metode: Flere valgmuligheder (options), kun et rigtigt svar (the key) men plausible alternativer (distractors) Blev skabt i forbindelse med intelligens-tests Bruges ex. prægraduat og evt. som delelement i OSKE Spørg til fordele/ulemper inden de næste slides vises. 33 33

MCQ – multiple choice questionnaires Fordele: Tester paratviden (medicinsk ekspert) Let at vurdere resultat Objektivt Kommer bredt omkring Kan bruges som selv-evaluering 34

MCQ – multiple choice questionaries Ulemper: Tillader ikke argumentation Tester ikke højere kognitive processer og forståelse Promoverer overfladisk indlæring Det er svært at lave virkelig gode MCQ-tests 35

Vejledersamtaler Ikke formelle Formelle Vejlederforum 36

Vejledersamtaler – ikke formelle/ formelle Fordele: - Ikke formelle: Kræver ikke nødvendigvis forberedelse Let realiserbar Vejlederforum: ensarter vurdering i afdelingen, sætter fokus på vejledning Formelle vejledersamtaler er overvejende summativ kompetencevurdering, og er derfor konsekvenshavende. 37 37

Vejledersamtaler – ikke formelle/ formelle Ulemper: Risiko for manglende struktur Kræver et møde 38

Kompetencevurderings metoder Struktureret klinisk bedømmelse OSKE 360 graders observation Audit Video Essay MCQ Kursusgodkendelse Vejledersamtaler – ikke formelle/ formelle Efter denne opsamling udleveres MCQ-testen igen. 39 39