Doku:SENtorium For LU Midt- og Vestjylland

Program for dagen  Fortællerum og tendenser  Tegn og succeskriterier  Indsamlingsmetode – intro  Spørgeskemaer  Interviews  Den narrative (evaluerings)samtale  Samtalesaloner

Siden sidst - Fortællerrum Hvordan har det været at arbejde med indsatsteori?  Fordele  Udfordringer Tendenser  Forskellige steder i processen  Udfordring/ formål hænger sammen med virkninger!  Antagelser – hvornår er det en antagelse eller en påstand?  Kreative folk = kreative opstillinger  Opstillingen – Meget lineær…

Indsatsteori Udfordrin g Aktiviteter Antagelse r Kortsigtede virkninger Langsigted e virkninger Hvilke virkninger ønsker I at opnå på langsigt? Hvilke virkninger ønsker I at opnå på kortsigt? Hvilke antagelser bringer jer fra aktiviteter til virkninger? Hvilke aktiviteter skal føre til virkningern e? - Hvad er jeres udfordring? - Hvad er formålet? Formål

Hvor langt i processen er I? Fase 1 Trin 1 Fase 1 Trin 2 Fase 2 Trin 1 Fase 2 Trin 2 Fase 1 Trin 1 Fase 1: Opstil en indsatsteori Trin 1: Introduktion, meningsskabelse og første udkast Trin 2: Klargør indsatsteori til evaluering Fase 2: Evaluering og erfaringsopsamling Trin 1: Foretage evaluering Trin 2: Erfaringsopsamling

Indsatsteori Udfordrin g Aktiviteter Antagelse r Kortsigtede virkninger Langsigted e virkninger - Hvad er jeres udfordring? - Hvad er formålet? Hvilke aktiviteter skal føre til virkningerne? Hvilke antagelser bringer jer fra aktiviteter til virkninger? Hvilke virkninger ønsker I at opnå på kortsigt? Hvilke virkninger ønsker I at opnå på langsigt? Tegn Succeskriteriu m Dataindsamlin gs-metode Tegn Succeskriteriu m Dataindsamlin gs-metode

Tegn Afholdelse af juni-konference Hovedformål Finde ud af hvad de unges udbytte af at deltage i US- aktiviteter er Tilbyde og facilitere redskaber og metoder til medlems- skolerne til at frembringe viden om de unges udbytte At skabe mening og forståelse for dokumentations -behovet vil føre til motivation for at dokumentere Et attraktivt udstillingsrum for Doku:SEN- skolerne skaber motivation for at frembringe valid viden om de unges udbytte Alle medlemsskoler bruger Doku:SEN Indsam.metode Spørgeskema, digitalt, okt-nov Antagelser Kortsigtede virkninger FormålAktiviteter Udfordring Langsigtede virkninger Doku:SEN- skolerne får viden om de unges udbytte USF videreformidler viden om de unges udbytte Omverdenen efterspørg, hvad de unge får ud af at deltage i aktiviteter i US, og det kan statistikken ikke vise. Underformål Stille redskaber og metoder til rådighed for US, der kan indsamle viden om de unges udbytte af deltagelsen, som kan videre- formidles på lokalt såvel som landsplan At skabe rum til refleksion og sparring  forståelse for og udvikling af brugen af redskaber og metoder Alle medlemsskoler kender til Doku:SEN Doku:SEN- skolerne har implementeret redskaber og metoder USF’s interessenter efterspørg viden, indsamlet via Doku:SEN Kendskab til Doku:SEN blandt medlemmerne Doku:SEN- skolernes regelmæssige og systematiske brug af redskaber og metoder sikrer valide resultater En regelmæssig opfølgning sikrer brug af redskaber og metoder samt fremdrift i processen Skolerne bruger redskaber og metoder mere end 1.sæson/årshjul Tegn Skolerne bruger redskaberne og metoderne Tegn USF følger op mundtlig og skriftlig Tegn Medlemmerne kan gengive hvad Doku:SEN er Indsam.metod e Spørgeskema, digitalt, okt-nov Tegn Medlemmerne kan gengive hvad Doku:SEN er Indsam.metod e Spørgeskema, digitalt, okt-nov USF modtager viden om de unges udbytte 1-5 år 6-8 år Succeskriteriu m Halvdelen af skolerne i årshjulet er med efter jul Indsam.metod e Opgørelse / sammentælling Indsatsteori for årshjulet (EN) Succeskriteriu m USF modtager viden fra 15% af skolerne Indsam.metod e Opgørelse / sammentælling

Optælling af kursuslister (år nul: 2013/14) At få ungdomsskoler til at indberette valide data inden deadline (1/10) At skabe en valid, kvantitativ opgørelse over ungdoms- skolernes aktivitetsniveau så hurtigt som muligt efter endt skoleår USF faciliterer processen omkring at indhente valide data Klar kommunikation fører til forståelse af og indblik i processen Regelmæssig kontakt til ungdomsskolerne og opfølgning sikrer indberetning af data inden for deadline Ungdomsskoler bruger aktivt statistik- vejledningen Ungdomsskoler indberetter valide data Afholdelse af statistik- workshop Ungdomsskoler bruger USF ved tvivlsspørgsmål USF bruger mindre tid på validering Efter 5 år har 60% af ungdomsskolern e været til statistik- workshop Alle ungdomsskoler har indberettet pr. 1/10 USF har kontaktet max 50% af medlemsskolerne i valideringsfasen Antagelser Kortsigtede virkninger Formål AktivitetUdfordring Langsigtede virkninger At skabe sparringsrum for medlemsskoler fører til forståelse af og indblik i statistikken Mulighed for hurtig og direkte kommunikation med ”eksperter” i statistik skaber valide data USF følger systematisk op på manglende indberetninger USF videreformidler data/resultater Medlemsskolern e indberetter valide data inden for deadline USF’s interessenter efterspørger viden som er indsamlet gennem statistikken Medlemsskoler klargøre data løbende USF kan hente opdateret statistikdata løbende Antagelser Valideringsar k 1-3 år 4-6 år Indsatsteori for Statistik

Tegn og succeskriterier  Tegn og succeskriterier hænger sammen  Tegn = neutrale eller objektive  Hvad skal I kunne observere, når I evaluerer?  Succeskriterier = værdisættende  Hvor mange gange skal I observere det for at jeres indsats er en succes?  Kvantitative succeskriterier  Fokus på antal og omfang  Kvalitative succeskriterier  Fokus på indholdsmæssige forandring og tilvækst

Tegn og succeskriterier Udfordrin g Aktiviteter Antagelse r Kortsigtede virkninger Langsigted e virkninger - Hvad er jeres udfordring? - Hvad er formålet? Hvilke aktiviteter skal føre til virkningerne? Hvilke antagelser bringer jer fra aktiviteter til virkninger? Hvilke virkninger ønsker I at opnå på kortsigt? Hvilke virkninger ønsker I at opnå på langsigt? Tegn Hvad skal I kunne iagttage for at aktiviteten sker? Tegn At de unge deltager i undervisning skaber grundlag for læring Tegn De unge møder op Succeskriterium 50 % af de unge deltager i undervisningen

SMARTe succeskriterier  S – specifik  M – målbart  A – Attraktiv  R - Realistisk  T – Tidsbestemt

Hjælpespørgsmål Tegn  Hvad skal I kunne observere, når I evaluerer?  Hvilke tegn kigger I efter?  Hvor skal I kigge hen?  Hvad skal I kunne iagttage for at vide, at aktiviteten, antagelserne og virkningerne finder sted? Succeskriterier  Hvor mange gange skal I observere ”tegnet” for at jeres indsats er en succes?  Kvantitative succeskriterier  Fokus på antal og omfang  Kvalitative succeskriterier  Fokus på indholdsmæssige forandring og tilvækst

Indsamlingsmetode og fortællerrum Kvantitativ metodeKvalitativ metode IndsamlingsmetodeObservation - Optællinger Spørgeteknik - Spørgeskema Observation - Feltnoter Spørgeteknik - Interview DataNumerisk (tal)Non-numerisk (ord) DataanalyseStatistiske metoderKodning Kategorisering KvalitetskriterierReliabilitet Validitet Troværdighed Gennemsigtighed Sammenhæng UndersøgelsesfeltBreddenDybden

Evalueringsspørgsmål / Problemformulering  Hvilken viden vil I gerne have fat i?  Hvad har I brug for svar på?  OBS! Begræns jer!  Hvad er det vigtigste at vide?  Hvilken form for viden vil I bruge fremadrettet?  Jeres redskab = indsatsteorien  Virkningerne  Antagelser  Hvorfor nulpunkt kan være vigtig Arbejd sammen Formulering af evalueringsspørgsmål -Hvilket post-it vil I evaluere? -Hvilken viden har I brug for?

Spørgeskemaer - Svarkategorier  Lukkede svarkategorier  Åbne svarkategorier

Eksempler på skalaer  Hvilken skala til hvilke spørgsmål?    1-10  Uligevægtige svarskalaer Meget godtGodtNogenlundeHverken godt eller dårligt Dårligt Super fedtRigtig godtSpændendeOkPænt kedeligt Meget godtGodtHverken godt eller dårligt DårligtMeget dårligt

Spørgeskemaer  Udtømmende svarmuligheder  Forståelse af spørgsmål  Forståelse af ord  Forståelse af hele spørgsmål  Forståelse af svarkategorier  Genkaldelse af informationer

Råd til at opbygge et spørgeskema Råd til at formulere spørgsmål i spørgeskemaer 1) Stil enkle spørgsmål 2) Spørg om én ting ad gangen 3) Stil neutrale spørgsmål 4) Stil genkaldelige spørgsmål 5) Overvej ordvalg Arbejd selv Formulerer 3 spørgsmål Råd om svarskalaer i spørgeskemaer 1) Svarskalaen skal give mening i forhold til spørgsmålet 2) Svarskalaen skal være afbalanceret 3) Undgå så vidt muligt midter- kategorier 4) Brug kun ”Ved ikke”, hvis det ikke er nødvendigt 5) Svarskalaer skal være udtømmende

Spørgeskemaer Opsamling  Er I blevet klogere på, om I skal bruge spørgeskemaer?  Hvordan skal I bruge spørgeskemaer?  Ressourceforbrug?  Ansvarsfordeling?  Hvem laver spørgeskemaerne?  Hvem udleverer og/eller samler dem ind igen?

Indsamlingsmetode Værktøjskassen  Ungdomsskoleforeningen.dk  > Projekter > Doku:SEN  > Evaluering og Narrativer > Værktøjskassen

Indsamlingsmetode Frokostopgave  Hvordan har I arbejdet med indsatsteori?  Hvorfor valgte i denne fremgangmåde?  Hvad har I foretaget jer ”derhjemme”?  Hvad ville I ønske jer, at I havde foretaget jer?  Hvad forhindrede jer i at gøre det ønskede? Evalueringsspørgsmål  Hvilke konkrete erfaringer har repræsentanter fra de deltagende ungdomsskoler med at arbejde med indsatsteori?

Frokost

Kvalitativ metode  Det handler ikke om sammenligning, men indlevelse  Forstå meningen med det, der siges  Finde mønstrer og kategoriseringer  Metoder  Semistruktureret interview  Fokusgruppeinterview  Telefoninterview  Observation  Den narrative evalueringssamtale  Den narrative samtale

Narrativer og narrative metoder  Narrativer  Fortællinger  Historier  Alle mennesker fortæller historier  Hvorfor narrativer som indsamlingsmetode? Definition  Fortællinger om f.eks. undervisningen og dens resultater. Det handler om, hvordan systematisering af fortællinger kan skabe et billede af praksis

Interviews Design – planlæg stadierne  Forberedelse  Evalueringsspørgsmål  Overveje magtforholdet mellem interviewer og fokusperson(er)  Lave interviewguide  Semistruktureret eller struktureret  Kategorisering af spørgsmål/temaer  Noter eller optager?  Interview  Sætte interviewperson(er) grundigt ind i dit formål  Analyse og bearbejdning

Et eksempel  Semi-struktureret interview  Samtalen bestemmer rækkefølgen  Opdelt efter temaer  Plads til bemærkninger

Interviews  Brug evalueringsspørgsmål fra formiddagen  Hvad skal I have ud af interviewet/interviewene?  Struktureret eller semistruktureret?  Overvej hvem som skal interviewe (magtforholdet)  Lav spørgsmål til interviewguide

Interviews Opsamling  Er I blevet klogere på, om I skal bruge interviews?  Hvordan skal I bruge interviews?  Hvem skal interviewe?  Tidsforbrug?

Den narrative samtale  Fokusperson / fortæller er centrum og ekspert  Konkrete situationer og oplevelser, ingen generaliseringer  Handlingslandskab  Betydningslandskab  Eksternalisering  Systematisk

Narrativ evalueringssamtale Forskellig fra traditionel evalueringsinterview  Interviewer / evaluator => facilitator  Interviewede / deltager => fortæller (vidner) Formål:  Læring og udvikling  Styrke aktørerne i deres arbejde med og samarbejde om indsatsen / aktiviteten  Understøtte læring, udvikling og medansvar hos indsatsens aktører

Narrativ evaluering – mellemlang version Iscenesættelse  Facilitator  Fortæller  Vidner  Leder  Referent  Usynlig væg

Narrativ evaluering – mellemlang version Gennemførelse af en runde  Indramning af samtalen af facilitator  Fortæller fortæller sin historie til facilitator  Bevidning: Facilitator hører vidners ordrette fortælling(er)  Fortæller kommenter på bevidning, samt opstiller hovedpunkter og kommer med anbefalinger  Sidste runde: bevidning med leder  Afrunding af den narrative evaluering

Narrativ evaluering – mellemlang version Øvelse Hvilke konkrete erfaringer har du fra de deltagende ungdomsskoler med at arbejde med indsatsteri

Narrativ evaluering – mellemlang version  Hvordan var det at træne narrativ evaluering?  Hvordan var det at evaluere på denne måde?  Hvad har det givet jer at evaluere på denne måde?

Kort pause

Narrativ evaluering – kort version Introduktion  ”Tilpasset version”  1 Facilitator = ”interviewer” + referent + tidstager  1 Fortæller  1 Vidne  Leder?  Mindre ressourcekrævende

Narrativ evaluering – kort version Gennemførelse af den korte version  Rammesætning: Facilitator læser evalueringsspørgsmål op  Fortæller fortæller sin historie og facilitator stiller spørgsmål  Bevidning  Fortæller kommenter bevidning  Hovedpunkter og anbefalinger nedfældes

Narrativ evaluering – kort version Opsamling  Hvilke anbefalinger og ideer kom I frem til?  Hvordan har strukturen været indtil nu?

Samtalesaloner Introduktion  Et samtalekoncept  Velkomst  Opvarmningsøvelser  Hovedretterne  Afslutningsøvelser   Manual  Samtalemenuer  I Esbjerg Ungdomsskole: evaluering bygget ovenpå samtalesaloner

Samtalesaloner Vores samtalesalon i dag  Opvarmningsøvelse: Samtale-kvadrille  Hovedret: Hvad lærte vi?  Afslutningsøvelse: Holdningsbarometer

Samtalesaloner Opvarmningsøvelse: Samtale-kvadrille  Gruppe af 4  3 forskellige spørgsmål  2 min til hvert spørgsmål

Samtalesaloner Hovedret: Hvad lærte vi?  Opdel i små grupper  Uddeling af samtale menu  Giv folk tid til at fordybe sig i spørgsmålene  Menuen er ikke en check-liste, men en a la carte menu  Min 20 min, helst 30 min

Samtalesaloner Afslutningsøvelse: Holdningsbarometer  2 punkter i lokalet  Helt enig  Helt uenig  Påstand + stille sig  Spørgsmål til holdning  Man må gerne rykke sig

Samtalesaloner Opsamling  Hvordan var det at deltage i en samtalesalon?  Kunne i forestille jer at bruge det i jeres ungdomsskole?  Hvad har det givet jer at evaluere på denne måde?

Vi ses i morgen Nu er der en ”lille” sandwich

Doku:SENtorium For LU Midt- og Vestjylland

Program for dagen  LARA  Statistik – Ideel brug af LARA  Bearbejdning af data  Workshop – bind sløjfen

Statistik & Lara

Lara i hverdagen 3 niveauer, når man arbejder i Lara:  Den daglige administration  Løn  Statistik Hvilken udfordringer har man, når man bruger de forskellige niveauer?

Lara i hverdagen Kan man forestille sig, at vi rent faktisk skal udvide med et niveau mere? 4) Ledelse Er der forskel på de ønsker og behov ledelsen har i forhold til det administrative personale?

4 overordnede ledetråde til en bedre brug af Lara Simple i sin enkelthed, men meget svære at efterleve

Grunddata  Grundopsætning i Lara

En grundlæggende forståelse af Lara  Brug systemet  Hvordan virker Lara?  Hvordan kan det bruges?  Hvordan kan det ikke bruges?  En svær opgave  Meningsskabelse  Workshopdag: ”Lær at elsk din Lara”

God rutine omkring løbende opdatering  Procedure?  Dataindsamling  Databehandling  Vigtigt: Tiltro til egne data  Brug ikke Lara med tilbagevirkende kraft  Se fremad

Se det som et redskab  Fokus: Hvad kan Lara gøre for os?  SQL-koder (4 niveau?)  er-og-redskaber.aspx er-og-redskaber.aspx  Workshopdag: ”Lær at elsk din Lara”

Bearbejdning  Evalueringsspørgsmålet  Kvantitative data  Statistiske metoder  Kvalitative data  Kategorisering  Kodning  Hvordan kan/vil US bearbejde data

Bearbejdning af kvantitativ data  Kan de kvantificerbar data svarer på dit evalueringsspørgsmål?  Statistiske metoder  Grafer  Tabeller  Gennemsnit  Operationaliseringen  Hvor mange hold går pigerne/drengene i gennemsnit på? Sammenlignet med sidste år?  Hvor mange af de unge svarer ja til at de har et fag på ungdomsskolen?  Hvor mange af de unge på cupcake-holdet, som har været til stede min 80 % af gangene, vurderer holdet negativ?

Bearbejdning af kvalitativt materiale  Hvad kan det indsamlede materiale fortælle om dit evalueringsspørgsmål?  Kategoriserer og/eller kodning  Skabe overblik – putte svar i ”kasser”/temaer  Skabe helhed i materialet  Finde mønstre  Forstå forskellige sammenhæng  Fortolkning på baggrund af udsagn  Finde udsagn der sammenfatter konklusion

Bearbejdning - Øvelse  Er I afklaret omkring hvilken type data I går efter?  Hvordan vil I bearbejde jeres indsamlede viden?  Hvorfor vil I bearbejde data på den måde?  Hvad skal data bruges til?  Harmoner jeres evalueringsspørgsmål med ovenstående?

Workshop – Bind sløjfen  Formål  Binde narrativer og indsatsteori sammen  Gerne med statistik (?!)  Mulighed stille spørgsmål til os  Første runde: Finpudsning  Hænger indsatsteorien sammen?  Har vi nogle tvivlsspørgsmål som skal afklares nu?  Hvad mangler? Og Hvornår Ordner I det?  Anden runde: Bytte - Bytte  Oplæg (5) – feedback (3) – kommentering (2)

Workshop – Bind sløjfen Opsamling  Hvad skal der til for at I bliver ”færdige” med jeres indsatsteori?  Kan I gå i gang i morgen?  Føler I jer rustet til opgaven?  Giver det mening for jer?  Også i jeres hverdag, når I skal drifte ?

Opsamling  Sandwich-evaluering (godt – kunne være bedre – godt)  Næste gang d. 26. januar 2016 & gangen efter 10. marts 2016  Oplæg fra Esbjerg?  Undervisning i SQL-koder?  Samtalesaloner? KAM-modellen  Sparringsrum?  Præsentation ? Bytte/bytte?  Turbo forløb – Plan T – Egmont Fonden  Værktøjskassen  Hjemmeopgave til USF: Video og promovering af skoleformen

Tak for i dag På gensyn i januar?