Evaluering – til glæde for hvem?

Hvornår skal der evalueres? FORMATIV EVALUERING - Proceskontrol Check på indlæring efter seance eller sektion (evt. selv, portefølje) Check på læringsmetode efter seance eller sektion SUMMATIV EVALUERING - Produktkontrol Er kompetencen opnået? Kan man stå inde for at kompetencen besiddes?

Evaluering – til glæde for hvem? Formativ (feedback, proceskontrol) Summativ (produkt kontrol) Uddannelses-søgende Hvor skal læringsindsatsen fokuseres? Skal jeg ændre læringsmetode/stil? Har jeg erhvervet kompetencen? Vejleder Hvor skal fokus i vejledningen lægges, skal det ændres? Skal metoden ændres? Er kompetence målet nået? Godkendelse? Institution/ samfund Løbende kvalitetskontrol af læringsmetode+mål: program underviser lærendes indsats Er nye speciallæger kompetente? Får vi de ønskede speciallæger?

Evaluering What’s in it for me ? Lettere at give feed back Lettere at holde samtaler Lettere at gribe ind Motiverende for udd.lægen Bedre udnyttelse af ressourcer Du ved, hvad du skriver under på Uddannelse som rekruttering

Kompetence vurdering Barrierer Motivation Tid Interesse Viden Ressourcer

Specifik feedback og monitorering af progression – et eksempel General Skill 1 2 3 4 5 Respect For Tissue Frequently used unnecessary force on tissue or caused damage by inappropriate use of instruments Careful handling of tissue but occasionally caused inadvertent damage Consistently handled tissues appropriately with minimal damage Time & Motion Many unnecessary moves Efficient time/motion but some unnecessary moves Economy of movement and maximum efficiency Instrument Handling Repeatedly makes tentative or awkward moves with instruments Competent use of instruments although occasionally appeared stiff or awkward Fluid moves with instruments and no awkwardness Knowledge of Instruments Frequently asked for the wrong instrument or used an inappropriate instrument Knew the names of most instruments and used appropriate instrument or the task Obviously familiar with the instruments required and their names Use of Assistants Consistently placed assistants poorly or failed to use assistants Good use of assistants most of the time Strategically used assistant to the best advantage at all times Flow of Operation & Forward Planning Frequently stopped operating or needed to discuss next move Demonstrated ability for forward planning with steady progression of operative procedure Obviously planned course of operation with effortless flow from one move to the next Knowledge of Specific Procedure Deficient knowledge. Needed specific instruction at most operative steps Knew all important aspects of the operation Demonstrated familiarity with all aspects of the operation

The tail that wags the dog Evalueringen styrer læreprocessen? Man lærer det man bliver evalueret på! Det er vigtigt at udvælge specialets kernekompetencer til evaluering.

HUSK - specialespecifikke vurderingsrammer Læringen og kompetence evalueringen er en naturlig del af det daglige arbejde indenfor pågældende speciale

The assessment of clinical skills/competence/performance Professional authenticity Behaviour What do they do in real life? Does Performance or hands on assessment Shows how Cognition Knows how Knows Written, Oral or Computer based assessment Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: s63-7.

Kompetencevurdering Hvad gør vi aktuelt i afd? Er det OK? Diskussion: Hvad gør vi aktuelt i afd? Er det OK? Hvad kan vi vinde ved struktureret kompetencevurdering? tror vi på at det er godt - og vil vi det? hvordan kan vi få passet KV ind i det daglige arbejde hvad kan vindes, barrierer: brainstorm/tematisering - diskussion Formalia omkring kompetencevurdering: SST målbeskrivelse udd.programmer opnåelse af speciallægeanerkendelse - regler

Implementering af forandringer Kotter’s 8 trin Etablering af ”Sense of urgency” (motivation) Etablering af en stærk ledelse / styrende koalition Udvikling af vision og strategi Kommunikation af forandringsvisionen Empowering til bredt baseret handling Skabe grundlag for fremadrettet handling på bred basis (Hvad nu hvis? Forståelse og imødegåelse af forhindringer, uddannelse) Udvikling og realisering af kortsigtede gevinster Konsolidering af resultater og skabelse af flere forandringer Forankring af nye tilgange i kulturen

Hyppig fejl iflg Kotter (1996) Metode til imødegåelse 1. Manglende ydmyghed – For stor selvtilfredshed Etablering af oplevelse af nødvendighed og pres 2. For dårlig sammenhold i spidsen /for dårlig styrende koalition Oprettelse af stærk ledelse/styrende koalition 3. Undervurdering af visionens magt Udvikling af stærk vision og klar strategi 4. Visionen kommunikeres utilstrækkeligt (Måske 10.000 gange for vagt) Stærk formidling af forandringsvisionen 5. Forhindringer får lov at blokere visionen Skab grundlag for fremadrettet handling på bred basis 6. Forsømmer at skabe kortsigtet gevinst Generering og tydeliggørelse af de kortsigtede gevinster 7. Sejren fejres før slaget er vundet Konsolidering af resultater og vedholdenhed i forandringsprocessens små som store skridt 8. Forsømmer at forankre forandringen i virksomhedskulturen Forankring af de nye vaner og metoder i kulturen, via tydeliggørelse, ceremoni, anerkendelse og værdi 14 14

Modstand kan skyldes: Niveau 2: ”Jeg kan ikke lide dét” Niveau 1: ”Jeg forstår det ikke” Der er manglende forståelse, for få informationer forvirring eller uenighed om en beslutning: hvad er baggrunden? hvad er formålet? hvad er perspektivet? Niveau 2: ”Jeg kan ikke lide dét” Det er angstprovokerende – fordi det opleves som: tab af indflydelse eller kontrol tab af status, ansigt eller respekt jeg har ikke de kompetencer det kommer pludseligt og er helt nyt det er for massivt eller for meget Niveau 3: ”Jeg kan ikke lide dig” Ideen er måske god, men: Jeg har tidligere dårlig erfaring med dig Markant uenighed om værdier Forskellige grundlæggende antagelser Anderledes religion, køn, race, kultur Du repræsenterer en anden eller noget negativt 15 15

Hvordan håndteres modstand på de 3 niveauer? Niveau 1: ”Jeg forstår det ikke” Spørge sig selv: Hvem har interesse i sagen eller situationen? Sætte sig i den andens sted: Hvilken information har de brug for? Forklare og gå i dialog: Hvad er baggrunden for og hensigten med vores handling Give konkrete billeder: Hvad er perspektivet – på kort og lang sigt? Niveau 2: ”Jeg kan ikke lide dét” Kunsten at gå med modstand ved at invitere modstandsfølelser frem i lyset ”Det mest afvæbnende af alt er lydhørhed” (Peter Høeg) Stille spørgsmål – og ikke give svar Involvering, involvering og in…: At der gives mulighed for dialog og for at sætte fingreaftryk Støtte udvikling af nye kompetencer i den andens nærmeste udviklingszone Niveau 3: ”Jeg kan ikke lide dig” Bearbejde forhold i de ”gamle historier” i samarbejdet: Er der misforståelser, vrede eller sårethed, oplevelse af disrespekt o.lign. Udforske ”støjen” i relationen eller det uhensigtsmæssige i adfærden: Hvad handler det om? 16 16

Gode spørgsmål til jer: Hvad ved I om vurderingsmetoderne? Hvor langt er I i implementeringen? successer (små sikre synlige sejre) barrierer? Hvad er næste trin?

Spørgsmål???