Doku:SENtorium Tirsdag d. 26. april 2016. Velkommen Program for dagen  Fortællerrum  Den narrative samtale  Samtalesalon Frokost  Spørgeskema  Interviews.

Præsentationer af emnet: "Doku:SENtorium Tirsdag d. 26. april 2016. Velkommen Program for dagen  Fortællerrum  Den narrative samtale  Samtalesalon Frokost  Spørgeskema  Interviews."— Præsentationens transcript:

1 Doku:SENtorium Tirsdag d. 26. april 2016

2 Velkommen Program for dagen  Fortællerrum  Den narrative samtale  Samtalesalon Frokost  Spørgeskema  Interviews

3 Indsatsteori Udfordrin g Aktiviteter Antagelse r Kortsigtede virkninger Langsigted e virkninger - Hvad er jeres udfordring? - Hvad er formålet? Hvilke aktiviteter skal føre til virkningerne? Hvilke antagelser bringer jer fra aktiviteter til virkninger? Hvilke virkninger ønsker I at opnå på kortsigt? Hvilke virkninger ønsker I at opnå på langsigt? Tegn Succeskriteriu m Dataindsamlin gs-metode Tegn Succeskriteriu m Dataindsamlin gs-metode

4 Fortællerum  Hvad havde I plan om hvad I skulle nå? Har I nået det?  Ville en anden kunne læse jeres indsatsteori og forstår den? Fase 1 Trin 1 Fase 1 Trin 2 Fase 2 Trin 1 Fase 2 Trin 2 Fase 1 Trin 1 Fase 1: Opstil en indsatsteori Trin 1: Introduktion, meningsskabelse og første udkast Trin 2: Klargør indsatsteori til evaluering Fase 2: Evaluering og erfaringsopsamling Trin 1: Foretage evaluering Trin 2: Erfaringsopsamling

5 Dataindsamlingsmetode og evalueringsspørgsmål Kvantitativ metodeKvalitativ metode IndsamlingsmetodeObservation - Optællinger Spørgeteknik - Spørgeskema Observation - Feltnoter Spørgeteknik -Interview -Narrativ tilgang DataNumerisk (tal)Non-numerisk (ord) DataanalyseStatistiske metoderKodning Kategorisering KvalitetskriterierReliabilitet Validitet Troværdighed Gennemsigtighed Sammenhæng UndersøgelsesfeltBreddenDybden

6 Tegn Afholdelse af juni-konference Hovedformål Finde ud af hvad de unges udbytte af at deltage i US- aktiviteter er Tilbyde og facilitere redskaber og metoder til medlems- skolerne til at frembringe viden om de unges udbytte At skabe mening og forståelse for dokumentations -behovet vil føre til motivation for at dokumentere Et attraktivt udstillingsrum for Doku:SEN- skolerne skaber motivation for at frembringe valid viden om de unges udbytte Alle medlemsskoler bruger Doku:SEN Indsam.metode Spørgeskema, digitalt, okt-nov Antagelser Kortsigtede virkninger FormålAktiviteter Udfordring Langsigtede virkninger Doku:SEN- skolerne får viden om de unges udbytte USF videreformidler viden om de unges udbytte Omverdenen efterspørg, hvad de unge får ud af at deltage i aktiviteter i US, og det kan statistikken ikke vise. Underformål Stille redskaber og metoder til rådighed for US, der kan indsamle viden om de unges udbytte af deltagelsen, som kan videre- formidles på lokalt såvel som landsplan At skabe rum til refleksion og sparring  forståelse for og udvikling af brugen af redskaber og metoder Alle medlemsskoler kender til Doku:SEN Doku:SEN- skolerne har implementeret redskaber og metoder USF’s interessenter efterspørg viden, indsamlet via Doku:SEN Kendskab til Doku:SEN blandt medlemmerne Doku:SEN- skolernes regelmæssige og systematiske brug af redskaber og metoder sikrer valide resultater En regelmæssig opfølgning sikrer brug af redskaber og metoder samt fremdrift i processen Skolerne bruger redskaber og metoder mere end 1.sæson/årshjul Tegn Skolerne bruger redskaberne og metoderne Tegn USF følger op mundtlig og skriftlig Tegn Medlemmerne kan gengive hvad Doku:SEN er Indsam.metod e Spørgeskema, digitalt, okt-nov Tegn Medlemmerne kan gengive hvad Doku:SEN er Indsam.metod e Spørgeskema, digitalt, okt-nov USF modtager viden om de unges udbytte 1-5 år 6-8 år Succeskriteriu m Halvdelen af skolerne i årshjulet er med efter jul Indsam.metod e Opgørelse / sammentælling Indsatsteori for årshjulet (EN) Succeskriteriu m USF modtager viden fra 15% af skolerne Indsam.metod e Opgørelse / sammentælling

7 Evalueringsspørgsmål

8 Narrativer – hvorfor og hvordan  Hvorfor  Der er tradition i ungdomsskolerne for at fortælle historier  Alle fortæller historier – hvilken historie fortælles om ungdomsskolen?  Hvordan  Narrativ spørgeteknik  Samtalesalon  Narrativ evaluering  Men også  Spørgeskema  interviews

9 Pause

10 Den Narrative Samtale

11 Samtalesalon

12 Frokost

13 Klargøring af indsatsteori til evaluering  Er kæden sammenhængende?  Hvad vil I gerne måle på?  Hvad er vigtig viden at få? Hvad er knap så vigtig? Hvis du ikke kan forklare det simpelt, har du ikke forstået det – Albert Einstein Fase 1 Trin 1 Fase 1 Trin 2 Fase 2 Trin 1 Fase 2 Trin 2 Fase 1 Trin 1 Fase 1: Opstil en indsatsteori Trin 1: Introduktion, meningsskabelse og første udkast Trin 2: Klargør indsatsteori til evaluering

14 EvalueringsspørgsmålOperationaliseringSpørgsmål Hvordan understøtter Doku:SEN ungdomsskolerne? GenereltKøn? Alder? DeltagelseHar du deltaget i hele forløbet? EvalueringserfaringSkala 1-4: Hvor meget evaluerede I inden din deltagelse i Doku:SEN? Den evaluerede aktivitet / hold Hvilken viden har du fået? Strukturen i Doku:SENSkala 1-4: Hvad synes du om længen? Redskaber i Doku:SEN1-4: Brugt indsatsteori? FremtidenOpstille indsatsteori? Eksempel

15 Bedre spørgsmål giver bedre svar - og forkerte spørgsmål giver slet ikke mening En introduktion til metoden bag de gode spørgsmål; spørgeteknikker, spørgeskemaer og fortolkningen heraf.

16

17 Kvantitativ og Kvalitativ metode Kvantitativ metode Kvalitativ metode - Mange respondenter (svarpersoner) - Repræsentativitet - Entydige spørgsmål - Mange præsentations- muligheder (tabeller, figurer) - Gode sammenlignings- muligheder - Få respondenter - Mangler generel repræsentativitet - Den interviewede er i centrum - den interviewede kan afklare, omformulere og nuancere spørgsmål og svar. - Nuancerede data - Helhedsforståelse

18 Spørgeskema Tid: 50 min 10 min fremlæggelse: Spørgeteknik, Spørgsmål sat i system 30 min arbejde selv: Lav 3-5 spørgsmål, som kan besvares ved grad eller valg 10 min opsamling: Hvilken form for data får I ind med denne metode?

19 Spørgeskemaer - Svarkategorier  Lukkede svarkategorier  Åbne svarkategorier

20 Eksempler på skalaer  Hvilken skala til hvilke spørgsmål?  1-2-3-4  -2 -1 0 1 2  1-10  Uligevægtige svarskalaer Meget godtGodtNogenlundeHverken godt eller dårligt Dårligt Super fedtRigtig godtSpændendeOkPænt kedeligt Meget godtGodtHverken godt eller dårligt DårligtMeget dårligt

21 Spørgeskemaer  Udtømmende svarmuligheder  Forståelse af spørgsmål  Forståelse af ord  Forståelse af hele spørgsmål  Forståelse af svarkategorier  Genkaldelse af informationer

22 Spørgeskemaer

23 Overvejelser  ‘Normative’ spørgsmål  ‘Har læreren været god til at forklare, hvad I skulle lave hver gang?’  Lad ikke svarkategorierne være styrende for/begrænse spørgsmålene  Fordele og ulemper ved gruppe-besvarelser  ‘Ved ikke’ – skal det med eller udelades?  Udtømmende svarkategorier Hvis ja til at ryge (foregående spm.) hvilket cigaretmærke ryger du så? Sæt kun et kryds Danske cigaretter Udenlandske cigaretter

24

25 Overvejelser  Hvorfor har man valgt åbne svarkategorier?  Kunne der suppleres med en skala?  ‘Det skal kunne være på 1 side’  Anonymitet??

26 Råd til at opbygge et spørgeskema Råd til at formulere spørgsmål i spørgeskemaer 1) Stil enkle spørgsmål 2) Spørg om én ting ad gangen 3) Stil neutrale spørgsmål 4) Stil genkaldelige spørgsmål 5) Overvej ordvalg Arbejd selv Formulerer 3 spørgsmål Råd om svarskalaer i spørgeskemaer 1) Svarskalaen skal give mening i forhold til spørgsmålet 2) Svarskalaen skal være afbalanceret 3) Undgå så vidt muligt midter- kategorier 4) Brug kun ”Ved ikke”, hvis det er nødvendigt 5) Svarskalaer skal være udtømmende

27 Spørgeskemaer Opsamling  Er I blevet klogere på, om I skal bruge spørgeskemaer?  Hvordan skal I bruge spørgeskemaer?  Ressourceforbrug?  Ansvarsfordeling?  Hvem laver spørgeskemaerne?  Hvem udleverer og/eller samler dem ind igen?

28 Pause

29 Interviews Tid: 50 min 10 min fremlæg: kvalitativ metode, spørgeteknik, Metode i samtale: Individuelle interviews + gruppeinterview + Strukturerede vs. Semistrukturerede 30 min arbejde selv: Lave 3 spørgsmål til indsats (bruges under samtalesaloner) 10 min opsamling: Hvilken form for data får I ind med denne metode?

30 Kvalitativ metode  Det handler ikke om sammenligning, men indlevelse  Forstå meningen med det, der siges  Finde mønstrer og kategoriseringer  Metoder  Semistruktureret interview  Fokusgruppeinterview  Telefoninterview  Observation  Den narrative evalueringssamtale  Den narrative samtale

31 Interviews Design – planlæg stadierne  Forberedelse  Evalueringsspørgsmål  Overveje magtforholdet mellem interviewer og fokusperson(er)  Lave interviewguide  Semistruktureret eller struktureret  Kategorisering af spørgsmål/temaer  Noter eller optager?  Interview  Sætte interviewperson(er) grundigt ind i dit formål  Analyse og bearbejdning

32 Et eksempel  Semi-struktureret interview  Samtalen bestemmer rækkefølgen  Opdelt efter temaer  Plads til bemærkninger

33 Interviews  Brug evalueringsspørgsmål  Hvad skal I have ud af interviewet/interviewene?  Struktureret eller semistruktureret?  Overvej hvem som skal interviewe (magtforholdet)  Lav spørgsmål til interviewguide

34 Interviews Opsamling  Er I blevet klogere på, om I skal bruge interviews?  Hvordan skal I bruge interviews?  Hvem skal interviewe?  Tidsforbrug?

35 Bearbejdning af kvantitative data  I kvantitativ metode handler det altid om at opnå kvantitative data, som man kan bruge til at beregne på. Man kan udregne sandsynligheder, gennemsnit, signifikans og korrelationer. Sandsynlighed fortæller os noget om den frekvens, hvormed en given begivenhed eller handling optræder. Signifikans siger noget om, hvorvidt en sammenhæng, man har fundet, er tilfældig eller om den er overvejende sandsynlig, altså signifikant. Korrelationer viser, hvor meget en effekt har på en anden effekt, eks. hvor meget det at man ryger, påvirkes af, om ens forældre ryger osv.  To måder at gøre det på  Simpel optælling  Statistisk behandling

36 Bearbejdning af kvalitativt materiale  Hvad kan det indsamlede materiale fortælle om dine problemstillinger?  Skabe overblik – putte svar i ”kasser”/temaer  Skabe helhed i materialet  Finde mønstre  Forstå forskellige sammenhæng  Fortolkning på baggrund af udsagn

37 Kausalitet Ex. på en falsk (spuriøs) sammenhæng Hypotese: Storken kommer med børnene Hypotestest: Undersøgelse af om der er sammenhæng mellem forekomsten af storke (x) og antal barnefødsler (y) i et givent område Forventning: Et stort mål af storke vil føre til et stort mål af nyfødte børn Antal storke → Antal barnefødsler

38 Ex. på en falsk (spuriøs) sammenhæng Antal storke → Antal barnefødsler ↑ Graden af urbanisering altså Urbaniseringsgraden ( ↑ ) > storke ( ↓ ) samt barnefødsler ( ↓ )

39 Spørgsmål??

40 Opsamling på dagen  Formålet med i dag  Evaluering af i dag  Deadline for aflevering – Fredag d. 24. juni 2016  KonferenSEN 8. juni 2016 – Kom og bliv inspireret!  Månedssamtaler fra juni

41 Tak for i dag … og på gensyn d. 18. august 2016

42 Optælling af kursuslister (år nul: 2013/14) At få ungdomsskoler til at indberette valide data inden deadline (1/10) At skabe en valid, kvantitativ opgørelse over ungdoms- skolernes aktivitetsniveau så hurtigt som muligt efter endt skoleår USF faciliterer processen omkring at indhente valide data Klar kommunikation fører til forståelse af og indblik i processen Regelmæssig kontakt til ungdomsskolerne og opfølgning sikrer indberetning af data inden for deadline Ungdomsskoler bruger aktivt statistik- vejledningen Ungdomsskoler indberetter valide data Afholdelse af statistik- workshop Ungdomsskoler bruger USF ved tvivlsspørgsmål USF bruger mindre tid på validering Efter 5 år har 60% af ungdomsskolern e været til statistik- workshop Alle ungdomsskoler har indberettet pr. 1/10 USF har kontaktet max 50% af medlemsskolerne i valideringsfasen Antagelser Kortsigtede virkninger Formål AktivitetUdfordring Langsigtede virkninger At skabe sparringsrum for medlemsskoler fører til forståelse af og indblik i statistikken Mulighed for hurtig og direkte kommunikation med ”eksperter” i statistik skaber valide data USF følger systematisk op på manglende indberetninger USF videreformidler data/resultater Medlemsskolern e indberetter valide data inden for deadline USF’s interessenter efterspørger viden som er indsamlet gennem statistikken Medlemsskoler klargøre data løbende USF kan hente opdateret statistikdata løbende Antagelser Valideringsar k 1-3 år 4-6 år Indsatsteori for Statistik