Download præsentationen
Præsentation er lastning. Vent venligst
Offentliggjort afFinn Mortensen Redigeret for ca. et år siden
1
Doku:SENtorium For LU Midt- og Vestjylland
2
Program for dagen Fortællerum og tendenser Tegn og succeskriterier Indsamlingsmetode – intro Spørgeskemaer Interviews Den narrative (evaluerings)samtale Samtalesaloner
3
Siden sidst - Fortællerrum Hvordan har det været at arbejde med indsatsteori? Fordele Udfordringer Tendenser Forskellige steder i processen Udfordring/ formål hænger sammen med virkninger! Antagelser – hvornår er det en antagelse eller en påstand? Kreative folk = kreative opstillinger Opstillingen – Meget lineær…
4
Indsatsteori Udfordrin g Aktiviteter Antagelse r Kortsigtede virkninger Langsigted e virkninger Hvilke virkninger ønsker I at opnå på langsigt? Hvilke virkninger ønsker I at opnå på kortsigt? Hvilke antagelser bringer jer fra aktiviteter til virkninger? Hvilke aktiviteter skal føre til virkningern e? - Hvad er jeres udfordring? - Hvad er formålet? Formål
5
Hvor langt i processen er I? Fase 1 Trin 1 Fase 1 Trin 2 Fase 2 Trin 1 Fase 2 Trin 2 Fase 1 Trin 1 Fase 1: Opstil en indsatsteori Trin 1: Introduktion, meningsskabelse og første udkast Trin 2: Klargør indsatsteori til evaluering Fase 2: Evaluering og erfaringsopsamling Trin 1: Foretage evaluering Trin 2: Erfaringsopsamling
6
Indsatsteori Udfordrin g Aktiviteter Antagelse r Kortsigtede virkninger Langsigted e virkninger - Hvad er jeres udfordring? - Hvad er formålet? Hvilke aktiviteter skal føre til virkningerne? Hvilke antagelser bringer jer fra aktiviteter til virkninger? Hvilke virkninger ønsker I at opnå på kortsigt? Hvilke virkninger ønsker I at opnå på langsigt? Tegn Succeskriteriu m Dataindsamlin gs-metode Tegn Succeskriteriu m Dataindsamlin gs-metode
7
Tegn Afholdelse af juni-konference Hovedformål Finde ud af hvad de unges udbytte af at deltage i US- aktiviteter er Tilbyde og facilitere redskaber og metoder til medlems- skolerne til at frembringe viden om de unges udbytte At skabe mening og forståelse for dokumentations -behovet vil føre til motivation for at dokumentere Et attraktivt udstillingsrum for Doku:SEN- skolerne skaber motivation for at frembringe valid viden om de unges udbytte Alle medlemsskoler bruger Doku:SEN Indsam.metode Spørgeskema, digitalt, okt-nov Antagelser Kortsigtede virkninger FormålAktiviteter Udfordring Langsigtede virkninger Doku:SEN- skolerne får viden om de unges udbytte USF videreformidler viden om de unges udbytte Omverdenen efterspørg, hvad de unge får ud af at deltage i aktiviteter i US, og det kan statistikken ikke vise. Underformål Stille redskaber og metoder til rådighed for US, der kan indsamle viden om de unges udbytte af deltagelsen, som kan videre- formidles på lokalt såvel som landsplan At skabe rum til refleksion og sparring forståelse for og udvikling af brugen af redskaber og metoder Alle medlemsskoler kender til Doku:SEN Doku:SEN- skolerne har implementeret redskaber og metoder USF’s interessenter efterspørg viden, indsamlet via Doku:SEN Kendskab til Doku:SEN blandt medlemmerne Doku:SEN- skolernes regelmæssige og systematiske brug af redskaber og metoder sikrer valide resultater En regelmæssig opfølgning sikrer brug af redskaber og metoder samt fremdrift i processen Skolerne bruger redskaber og metoder mere end 1.sæson/årshjul Tegn Skolerne bruger redskaberne og metoderne Tegn USF følger op mundtlig og skriftlig Tegn Medlemmerne kan gengive hvad Doku:SEN er Indsam.metod e Spørgeskema, digitalt, okt-nov Tegn Medlemmerne kan gengive hvad Doku:SEN er Indsam.metod e Spørgeskema, digitalt, okt-nov USF modtager viden om de unges udbytte 1-5 år 6-8 år Succeskriteriu m Halvdelen af skolerne i årshjulet er med efter jul Indsam.metod e Opgørelse / sammentælling Indsatsteori for årshjulet (EN) Succeskriteriu m USF modtager viden fra 15% af skolerne Indsam.metod e Opgørelse / sammentælling
8
Optælling af kursuslister (år nul: 2013/14) At få ungdomsskoler til at indberette valide data inden deadline (1/10) At skabe en valid, kvantitativ opgørelse over ungdoms- skolernes aktivitetsniveau så hurtigt som muligt efter endt skoleår USF faciliterer processen omkring at indhente valide data Klar kommunikation fører til forståelse af og indblik i processen Regelmæssig kontakt til ungdomsskolerne og opfølgning sikrer indberetning af data inden for deadline Ungdomsskoler bruger aktivt statistik- vejledningen Ungdomsskoler indberetter valide data Afholdelse af statistik- workshop Ungdomsskoler bruger USF ved tvivlsspørgsmål USF bruger mindre tid på validering Efter 5 år har 60% af ungdomsskolern e været til statistik- workshop Alle ungdomsskoler har indberettet pr. 1/10 USF har kontaktet max 50% af medlemsskolerne i valideringsfasen Antagelser Kortsigtede virkninger Formål AktivitetUdfordring Langsigtede virkninger At skabe sparringsrum for medlemsskoler fører til forståelse af og indblik i statistikken Mulighed for hurtig og direkte kommunikation med ”eksperter” i statistik skaber valide data USF følger systematisk op på manglende indberetninger USF videreformidler data/resultater Medlemsskolern e indberetter valide data inden for deadline USF’s interessenter efterspørger viden som er indsamlet gennem statistikken Medlemsskoler klargøre data løbende USF kan hente opdateret statistikdata løbende Antagelser Valideringsar k 1-3 år 4-6 år Indsatsteori for Statistik
9
Tegn og succeskriterier Tegn og succeskriterier hænger sammen Tegn = neutrale eller objektive Hvad skal I kunne observere, når I evaluerer? Succeskriterier = værdisættende Hvor mange gange skal I observere det for at jeres indsats er en succes? Kvantitative succeskriterier Fokus på antal og omfang Kvalitative succeskriterier Fokus på indholdsmæssige forandring og tilvækst
10
Tegn og succeskriterier Udfordrin g Aktiviteter Antagelse r Kortsigtede virkninger Langsigted e virkninger - Hvad er jeres udfordring? - Hvad er formålet? Hvilke aktiviteter skal føre til virkningerne? Hvilke antagelser bringer jer fra aktiviteter til virkninger? Hvilke virkninger ønsker I at opnå på kortsigt? Hvilke virkninger ønsker I at opnå på langsigt? Tegn Hvad skal I kunne iagttage for at aktiviteten sker? Tegn At de unge deltager i undervisning skaber grundlag for læring Tegn De unge møder op Succeskriterium 50 % af de unge deltager i undervisningen
11
SMARTe succeskriterier S – specifik M – målbart A – Attraktiv R - Realistisk T – Tidsbestemt
12
Hjælpespørgsmål Tegn Hvad skal I kunne observere, når I evaluerer? Hvilke tegn kigger I efter? Hvor skal I kigge hen? Hvad skal I kunne iagttage for at vide, at aktiviteten, antagelserne og virkningerne finder sted? Succeskriterier Hvor mange gange skal I observere ”tegnet” for at jeres indsats er en succes? Kvantitative succeskriterier Fokus på antal og omfang Kvalitative succeskriterier Fokus på indholdsmæssige forandring og tilvækst
14
Indsamlingsmetode og fortællerrum Kvantitativ metodeKvalitativ metode IndsamlingsmetodeObservation - Optællinger Spørgeteknik - Spørgeskema Observation - Feltnoter Spørgeteknik - Interview DataNumerisk (tal)Non-numerisk (ord) DataanalyseStatistiske metoderKodning Kategorisering KvalitetskriterierReliabilitet Validitet Troværdighed Gennemsigtighed Sammenhæng UndersøgelsesfeltBreddenDybden
15
Evalueringsspørgsmål / Problemformulering Hvilken viden vil I gerne have fat i? Hvad har I brug for svar på? OBS! Begræns jer! Hvad er det vigtigste at vide? Hvilken form for viden vil I bruge fremadrettet? Jeres redskab = indsatsteorien Virkningerne Antagelser Hvorfor nulpunkt kan være vigtig Arbejd sammen Formulering af evalueringsspørgsmål -Hvilket post-it vil I evaluere? -Hvilken viden har I brug for?
17
Spørgeskemaer - Svarkategorier Lukkede svarkategorier Åbne svarkategorier
18
Eksempler på skalaer Hvilken skala til hvilke spørgsmål? 1-2-3-4 -2 -1 0 1 2 1-10 Uligevægtige svarskalaer Meget godtGodtNogenlundeHverken godt eller dårligt Dårligt Super fedtRigtig godtSpændendeOkPænt kedeligt Meget godtGodtHverken godt eller dårligt DårligtMeget dårligt
19
Spørgeskemaer Udtømmende svarmuligheder Forståelse af spørgsmål Forståelse af ord Forståelse af hele spørgsmål Forståelse af svarkategorier Genkaldelse af informationer
20
Råd til at opbygge et spørgeskema Råd til at formulere spørgsmål i spørgeskemaer 1) Stil enkle spørgsmål 2) Spørg om én ting ad gangen 3) Stil neutrale spørgsmål 4) Stil genkaldelige spørgsmål 5) Overvej ordvalg Arbejd selv Formulerer 3 spørgsmål Råd om svarskalaer i spørgeskemaer 1) Svarskalaen skal give mening i forhold til spørgsmålet 2) Svarskalaen skal være afbalanceret 3) Undgå så vidt muligt midter- kategorier 4) Brug kun ”Ved ikke”, hvis det ikke er nødvendigt 5) Svarskalaer skal være udtømmende
21
Spørgeskemaer Opsamling Er I blevet klogere på, om I skal bruge spørgeskemaer? Hvordan skal I bruge spørgeskemaer? Ressourceforbrug? Ansvarsfordeling? Hvem laver spørgeskemaerne? Hvem udleverer og/eller samler dem ind igen?
22
Indsamlingsmetode Værktøjskassen Ungdomsskoleforeningen.dk > Projekter > Doku:SEN > Evaluering og Narrativer > Værktøjskassen
23
Indsamlingsmetode Frokostopgave Hvordan har I arbejdet med indsatsteori? Hvorfor valgte i denne fremgangmåde? Hvad har I foretaget jer ”derhjemme”? Hvad ville I ønske jer, at I havde foretaget jer? Hvad forhindrede jer i at gøre det ønskede? Evalueringsspørgsmål Hvilke konkrete erfaringer har repræsentanter fra de deltagende ungdomsskoler med at arbejde med indsatsteori?
24
Frokost
25
Kvalitativ metode Det handler ikke om sammenligning, men indlevelse Forstå meningen med det, der siges Finde mønstrer og kategoriseringer Metoder Semistruktureret interview Fokusgruppeinterview Telefoninterview Observation Den narrative evalueringssamtale Den narrative samtale
26
Narrativer og narrative metoder Narrativer Fortællinger Historier Alle mennesker fortæller historier Hvorfor narrativer som indsamlingsmetode? Definition Fortællinger om f.eks. undervisningen og dens resultater. Det handler om, hvordan systematisering af fortællinger kan skabe et billede af praksis
27
Interviews Design – planlæg stadierne Forberedelse Evalueringsspørgsmål Overveje magtforholdet mellem interviewer og fokusperson(er) Lave interviewguide Semistruktureret eller struktureret Kategorisering af spørgsmål/temaer Noter eller optager? Interview Sætte interviewperson(er) grundigt ind i dit formål Analyse og bearbejdning
28
Et eksempel Semi-struktureret interview Samtalen bestemmer rækkefølgen Opdelt efter temaer Plads til bemærkninger
29
Interviews Brug evalueringsspørgsmål fra formiddagen Hvad skal I have ud af interviewet/interviewene? Struktureret eller semistruktureret? Overvej hvem som skal interviewe (magtforholdet) Lav spørgsmål til interviewguide
30
Interviews Opsamling Er I blevet klogere på, om I skal bruge interviews? Hvordan skal I bruge interviews? Hvem skal interviewe? Tidsforbrug?
31
Den narrative samtale Fokusperson / fortæller er centrum og ekspert Konkrete situationer og oplevelser, ingen generaliseringer Handlingslandskab Betydningslandskab Eksternalisering Systematisk
32
Narrativ evalueringssamtale Forskellig fra traditionel evalueringsinterview Interviewer / evaluator => facilitator Interviewede / deltager => fortæller (vidner) Formål: Læring og udvikling Styrke aktørerne i deres arbejde med og samarbejde om indsatsen / aktiviteten Understøtte læring, udvikling og medansvar hos indsatsens aktører
33
Narrativ evaluering – mellemlang version Iscenesættelse Facilitator Fortæller Vidner Leder Referent Usynlig væg
34
Narrativ evaluering – mellemlang version Gennemførelse af en runde Indramning af samtalen af facilitator Fortæller fortæller sin historie til facilitator Bevidning: Facilitator hører vidners ordrette fortælling(er) Fortæller kommenter på bevidning, samt opstiller hovedpunkter og kommer med anbefalinger Sidste runde: bevidning med leder Afrunding af den narrative evaluering
35
Narrativ evaluering – mellemlang version Øvelse Hvilke konkrete erfaringer har du fra de deltagende ungdomsskoler med at arbejde med indsatsteri
36
Narrativ evaluering – mellemlang version Hvordan var det at træne narrativ evaluering? Hvordan var det at evaluere på denne måde? Hvad har det givet jer at evaluere på denne måde?
37
Kort pause
38
Narrativ evaluering – kort version Introduktion ”Tilpasset version” 1 Facilitator = ”interviewer” + referent + tidstager 1 Fortæller 1 Vidne Leder? Mindre ressourcekrævende
39
Narrativ evaluering – kort version Gennemførelse af den korte version Rammesætning: Facilitator læser evalueringsspørgsmål op Fortæller fortæller sin historie og facilitator stiller spørgsmål Bevidning Fortæller kommenter bevidning Hovedpunkter og anbefalinger nedfældes
40
Narrativ evaluering – kort version Opsamling Hvilke anbefalinger og ideer kom I frem til? Hvordan har strukturen været indtil nu?
41
Samtalesaloner Introduktion Et samtalekoncept Velkomst Opvarmningsøvelser Hovedretterne Afslutningsøvelser www.samtalesaloner.dk www.samtalesaloner.dk Manual Samtalemenuer I Esbjerg Ungdomsskole: evaluering bygget ovenpå samtalesaloner
42
Samtalesaloner Vores samtalesalon i dag Opvarmningsøvelse: Samtale-kvadrille Hovedret: Hvad lærte vi? Afslutningsøvelse: Holdningsbarometer
43
Samtalesaloner Opvarmningsøvelse: Samtale-kvadrille Gruppe af 4 3 forskellige spørgsmål 2 min til hvert spørgsmål
44
Samtalesaloner Hovedret: Hvad lærte vi? Opdel i små grupper Uddeling af samtale menu Giv folk tid til at fordybe sig i spørgsmålene Menuen er ikke en check-liste, men en a la carte menu Min 20 min, helst 30 min
45
Samtalesaloner Afslutningsøvelse: Holdningsbarometer 2 punkter i lokalet Helt enig Helt uenig Påstand + stille sig Spørgsmål til holdning Man må gerne rykke sig
46
Samtalesaloner Opsamling Hvordan var det at deltage i en samtalesalon? Kunne i forestille jer at bruge det i jeres ungdomsskole? Hvad har det givet jer at evaluere på denne måde?
47
Vi ses i morgen Nu er der en ”lille” sandwich
48
Doku:SENtorium For LU Midt- og Vestjylland
49
Program for dagen LARA Statistik – Ideel brug af LARA Bearbejdning af data Workshop – bind sløjfen
50
Statistik & Lara
51
Lara i hverdagen 3 niveauer, når man arbejder i Lara: Den daglige administration Løn Statistik Hvilken udfordringer har man, når man bruger de forskellige niveauer?
52
Lara i hverdagen Kan man forestille sig, at vi rent faktisk skal udvide med et niveau mere? 4) Ledelse Er der forskel på de ønsker og behov ledelsen har i forhold til det administrative personale?
53
4 overordnede ledetråde til en bedre brug af Lara Simple i sin enkelthed, men meget svære at efterleve
54
Grunddata Grundopsætning i Lara
55
En grundlæggende forståelse af Lara Brug systemet Hvordan virker Lara? Hvordan kan det bruges? Hvordan kan det ikke bruges? En svær opgave Meningsskabelse Workshopdag: ”Lær at elsk din Lara”
56
God rutine omkring løbende opdatering Procedure? Dataindsamling Databehandling Vigtigt: Tiltro til egne data Brug ikke Lara med tilbagevirkende kraft Se fremad
57
Se det som et redskab Fokus: Hvad kan Lara gøre for os? SQL-koder (4 niveau?) http://ungdomsskoleforeningen.dk/projekter/dokusen/statistik/analys er-og-redskaber.aspx http://ungdomsskoleforeningen.dk/projekter/dokusen/statistik/analys er-og-redskaber.aspx Workshopdag: ”Lær at elsk din Lara”
58
Bearbejdning Evalueringsspørgsmålet Kvantitative data Statistiske metoder Kvalitative data Kategorisering Kodning Hvordan kan/vil US bearbejde data
59
Bearbejdning af kvantitativ data Kan de kvantificerbar data svarer på dit evalueringsspørgsmål? Statistiske metoder Grafer Tabeller Gennemsnit Operationaliseringen Hvor mange hold går pigerne/drengene i gennemsnit på? Sammenlignet med sidste år? Hvor mange af de unge svarer ja til at de har et fag på ungdomsskolen? Hvor mange af de unge på cupcake-holdet, som har været til stede min 80 % af gangene, vurderer holdet negativ?
60
Bearbejdning af kvalitativt materiale Hvad kan det indsamlede materiale fortælle om dit evalueringsspørgsmål? Kategoriserer og/eller kodning Skabe overblik – putte svar i ”kasser”/temaer Skabe helhed i materialet Finde mønstre Forstå forskellige sammenhæng Fortolkning på baggrund af udsagn Finde udsagn der sammenfatter konklusion
61
Bearbejdning - Øvelse Er I afklaret omkring hvilken type data I går efter? Hvordan vil I bearbejde jeres indsamlede viden? Hvorfor vil I bearbejde data på den måde? Hvad skal data bruges til? Harmoner jeres evalueringsspørgsmål med ovenstående?
62
Workshop – Bind sløjfen Formål Binde narrativer og indsatsteori sammen Gerne med statistik (?!) Mulighed stille spørgsmål til os Første runde: Finpudsning Hænger indsatsteorien sammen? Har vi nogle tvivlsspørgsmål som skal afklares nu? Hvad mangler? Og Hvornår Ordner I det? Anden runde: Bytte - Bytte Oplæg (5) – feedback (3) – kommentering (2)
63
Workshop – Bind sløjfen Opsamling Hvad skal der til for at I bliver ”færdige” med jeres indsatsteori? Kan I gå i gang i morgen? Føler I jer rustet til opgaven? Giver det mening for jer? Også i jeres hverdag, når I skal drifte ?
64
Opsamling Sandwich-evaluering (godt – kunne være bedre – godt) Næste gang d. 26. januar 2016 & gangen efter 10. marts 2016 Oplæg fra Esbjerg? Undervisning i SQL-koder? Samtalesaloner? KAM-modellen Sparringsrum? Præsentation ? Bytte/bytte? Turbo forløb – Plan T – Egmont Fonden Værktøjskassen Hjemmeopgave til USF: Video og promovering af skoleformen
65
Tak for i dag På gensyn i januar?
Lignende præsentationer
© 2024 SlidePlayer.dk Inc.
All rights reserved.