Kort om mig: Oprindeligt udd cand.scient.pol Hvor evaluering, social kapital og organisationer = fokus Og har haft forskellige jobs omkring det I dag har jeg dog forladt evalueringsverden Og arbejde med at coache unge mennesker som føler de har taget et forkert valg Samt underviser i yoga Står her i dag, fordi jeg har stået for et større evalueringsprojekt i USF Undervist US-folk i hvordan de kan evaluere i deres varierende hverdag Og det er her Lis har stiftet bekendtskab med mig.

som kan give et systematisk evalueringsresultat Formålet Give jer et redskab som kan give et systematisk evalueringsresultat Der fortæller, Om noget er sket eller Hvordan noget er sket Evaluering skal skabe overblik Om noget er gået godt – kvantitativ = overordnet = sætte tal på Hvordan noget er gået godt – kvalitativ = dybde = sætte ord på Hverdag = kompleks Handler om at prioritere Hvad vil du/I vide noget om?

Intro til indsatsteori En indsats er noget vi gør for at nå et bestemt mål ( eller virkning) En indsatsteori er ikke en teori i videnskabelig forstand. En indsatsteori er jeres antagelser på formel om hvordan en aktivitet fører til bestemte virkninger En visuel fremstilling af sammenhængen mellem aktiviteter, antagelser og virkninger på længere sigt. Super kort intro til indsatsteori Det hedder INDSATSteori = handler om indsats Begreb = bredt Eks: Gruppevejledning Samarbejde mellem vejledere og lærere Et hvert punkt i refleksionsredskabet som i brugte sidste, kan være en indsats Giver det mening? Nogle vil sige, at indsatsteori ikke er en teori, men en metode Men det er nu jeres antagelser gjort til en teori De fleste gange mennesker foretager sig noget = gør de det ud fra en antagelse jeres antagelser på formel, som I vil teste om holder Hvordan kommer jeg fra A til B Jeres teorien består af 5 elementer: Formål / Udfordring Aktiviteter Antagelser Kortsigtede virkninger Langsigtede virkninger Følger man denne teori (opskrift) = Systematisk, faglig vurdering Indsatsteorien giver jer systematikken Lavet den = følge den = valid systematik. Validitet = gyldighed, måler man det ønskede ? Formål Aktivitet Antagelser Kortsigtede virkninger Langsigtede virkninger Udfordring

Indsatsteori - skabelon Formål Aktivitet Antagelser Kortsigtede virkninger Langsigtede virkninger Hoved- linje Tegn Tegn Tegn Tegn Udfordring Succes- kriterie Succes- kriterie Succes- kriterie Gul = Hovedlinje = Indsatsen forklaret på post-it Blå = Tegn Grøn = Succeskriterie Lyserød = evalueringsmetode (Skabelon til hvis man vil bygge sin egen indsatsteori) Evaluerings-metode Evaluerings-metode

Eksempel på indsatsteori Formål Aktivitet Antagelser Kortsigtede virkninger Langsigtede virkninger Styrke de unge grundlag for at træffe et udd.valg Gruppe-vejledning Skabe fælles refleksionsrum hvor den unges valgproces kan spejle sig i og få inspiration fra andre Vejleder skal være anerkende facilitator for at de unge holder fokus på deres vækst-punkter De unge reflekterer over potentielle udd.valg De unge tager et realistisk udd.valg De unge udtrykker fordele og ulemper ved forskellig udd.valg Udfordring Hvad med gruppevejledningen – får eleverne det ud af den, som I forestiller jer? GV = Gruppevejledning Langsigte virkninger = De unge tager et realistisk udd.valg Kortsigtede virkninger = De reflekterer over potentielle udd.valg - Afholde mdl. GV i hver klasse De unge udtrykker trygt deres overvejelser Alle har min. 1 eller flere udd. De overvejer ??? Alle siger noget De unge fokusere på muligheder Observation Spørge-skema Observation

Virkninger Hvilke virkninger ønsker I at opnå? Formål Aktivitet Antagelser Kortsigtede virkninger Langsigtede virkninger Styrke de unge grundlag for at træffe et udd.valg Gruppe-vejledning De unge reflekterer over potentielle udd.valg De unge tager et realistisk udd.valg Hvilke virkninger ønsker I at opnå? Virkninger skal være inspirerende og motiverende at opnå, samt realistiske! Udfordring Virkninger (Mål) Man starter ideelt set bagfra, når man bygger en indsatsteori op Teori møder praksis Ofte vil I have en aktivitet i tankerne som I gerne vil vide noget om = virkninger Hvad er det I ønsker at opnå? Hvis I kender jeres udfordring: Hvad skal løsningen på jeres udfordring være? Starter med langtsigt virkninger Handler om indsatsens endelige resultater - Hvad er det som I gerne vil opnå? Kortsigtet Hvilke mål skal opnås på kortsigt for at de langsigtede mål opnås OBS! Husk at definere… Hvad er kortsigt? Hvad er langsigt? Spørgsmål? Der skal selvfølgelig være en sammenhæng mellem KV & LV De kortsigtede virkninger er mellem vejen inden de langsigtede mål nås.

Antagelser Hvordan antages virkningerne at frembringes hos målgruppen? Formål Aktivitet Antagelser Kortsigtede virkninger Langsigtede virkninger Styrke de unge grundlag for at træffe et udd.valg Gruppe-vejledning Skabe fælles refleksionsrum hvor den unges valgproces kan spejle sig i og få inspiration fra andre Vejleder skal være anerkende facilitator for at de unge holder fokus på deres vækst-punkter De unge reflekterer over potentielle udd.valg De unge tager et realistisk udd.valg Udfordring Vi bruger begrebet antagelser Andre vil måske sige ”trin på vejen” (EVA) => aktivitetsbeskrivelse Valgt antagelser = det er jeres antagelser om hvordan I kommer frem til virkningerne Hvad er forudsætningerne for, at virkningerne fremkommer Handler om hvordan + hvorfor Er der arbejdsgange / vejledningsmetoder som frembringer en ønsket adfærd? Er det nogle bestemte pædagogiske / didaktiske metoder som I antager skal frembringe virkningerne Hvad skaber fremdriften? Hvilke mekanismer antager I er på spil, og hvorfor antager I at de er på spil? Handler ikke specifikke ting som I skal gøre Antagelser behøver ikke være lineær efterfulgt af hinanden Men antagelserne bag disse: Valgt at bruge gruppevejledning => hvilke virkninger skal det skabe? Skaber refleksion hos de unge … Hvordan? Vejleder skal agere på den bestemt måde: hvordan og hvorfor Antager I: Hvilke rutiner/strukturer skal til? Ændringer i det fysiske miljø? Personalet => nye kompetencer? Hvilke handlinger skal sættes i gang? Hvordan antages virkningerne at frembringes hos målgruppen? Og hvorfor?

Aktivitet og formål Aktivitet = indsats, som I foretager jer Formål Antagelser Kortsigtede virkninger Langsigtede virkninger Styrke de unges grundlag for at træffe et udd.valg Gruppe-vejledning Skabe fælles refleksions-rum hvor den unges valgproces kan spejle sig i og få inspiration fra andre Vejleder skal være anerkende facilitator for at de unge holder fokus på deres vækst-punkter De unge reflekterer over potentielle udd.valg De unge tager et realistisk udd.valg Udfordring Aktiviteter Kan være de fleste punkterne i refleksionsværktøjet / edderkoppespindet = Den indsats som I foretager > kickstarter handlinger til at nå virkningerne Formål Hvorfor laver I denne aktivitet? Hvad skal aktiviteten løse? Om man arbejder med udfordringer eller formål er lige meget Nogle har begge Nogle har kun den ene Aktivitet = indsats, som I foretager jer ???

Indsatsteori - skabelon Formål Aktivitet Antagelser Kortsigtede virkninger Langsigtede virkninger Hoved- linje Tegn Tegn Tegn Tegn Udfordring Succes- kriterie Succes- kriterie Succes- kriterie Den gule linie af post-it er kun hovedlinjen som forklarer hvordan og hvorfor I gør som I gør Samt viser hvordan resultaterne fremkommer Ligesom det overordnede Nu går vi et lag dybere Vi skal have sat tegn på Så vi er enige om hvad vi kigger efter Vi skal blive enige om succeskriterier Og fundet ud af hvordan vi indsamler viden Evaluerings-metode Evaluerings-metode

Tegn Er neutrale eller objektive Formuleres neutral Hvilken adfærd skal I se for, at antagelsen har fundet sted? Hvad skal I kunne observere, når I evaluerer? => finder tegnene Hvad er det som får jer til at se, at I har opnået jeres antagelser? Tegn – hvad skal I kunne iagttage for at antagelsen sker? Et neutralt målepunkt som I skal rette fokus efter, når I skal vurdere om antagelsen sker

Eksempel på indsatsteori Formål Aktivitet Antagelser Kortsigtede virkninger Langsigtede virkninger Styrke de unge grundlag for at træffe et udd.valg Gruppe-vejledning Skabe fælles refleksions-rum hvor den unges valgproces kan spejle sig i og få inspiration fra andre Vejleder skal være anerkende facilitator for at de unge holder fokus på deres vækst-punkter De unge reflekterer over potentielle udd.valg De unge tager et realistisk udd.valg De unge udtrykker fordele og ulemper ved forskellig udd.valg Udfordring - Afholde mdl. GV i hver klasse Tegn = neutrale Eksempler Antagelse: Skabe fælles refleksionsrum hvor den unges valgproces kan spejle sig i og få inspiration fra andre Tegn: - Afholde mdl. GV i hver klasse (kvantitativ tegn = om det er sket) Tegn: De unge udtrykker trygt deres overvejelser (kvalitativ tegn = hvordan det er sket) Antagelse: Vejleder skal være anerkende facilitator for at de unge holder fokus på deres vækst-punkter Tegn: De unge udtrykker trygt deres overvejelser (hvad giver mening i jeres kontekst) Tegn: De unge fokusere på muligheder De unge udtrykker trygt deres overvejelser ??? De unge fokusere på muligheder

Succeskriterier Værdisættende Hvor mange gange skal I observere X for at jeres indsats er en succes? Kvantitative succeskriterier Fokus på antal og omfang Kvalitative succeskriterier Fokus på indholdsmæssige forandring og tilvækst Succeskriterier er at sætte en værdi på et tegn Hvor mange gange skal I observere det? Succeskriterium = værdisættende Hvad skal I opnå for at tilfredse? Jeres succeskriterier hænger sammen med jeres virkninger Det I opstiller som et succeskriterium = bringe jer tættere på jeres virkninger Kvantitativ succeskriterier = Om noget er sket Kvalitativ succeskriterier = Hvordan noget er sket

Eksempel på indsatsteori Formål Aktivitet Antagelser Kortsigtede virkninger Langsigtede virkninger Styrke de unge grundlag for at træffe et udd.valg Gruppe-vejledning Skabe fælles refleksion-srum hvor den unges valgproces kan spejle sig i og få inspiration fra andre Vejleder skal være anerkende facilitator for at de unge holder fokus på deres vækst-punkter De unge reflekterer over potentielle udd.valg De unge tager et realistisk udd.valg De unge udtrykker fordele og ulemper ved forskellig udd.valg Udfordring - Afholde mdl. GV i hver klasse Eksempler Tegnet: De unge udtrykker trygt deres overvejelser Succeskriteriet: Alle siger noget Kvalitativ succeskriterium Kvantitativ succeskriterium = 100 % af eleverne siger noget til gruppeevalueringen Tegnet: De unge udtrykker fordele og ulemper ved forskellig udd.valg Succeskriteriet: Alle eleverne har min. 1 eller flere udd. de overvejer Kvantitativ succeskriterium SPØRGSMÅL? De unge udtrykker trygt deres overvejelser Alle har min. 1 eller flere udd. De overvejer ??? Alle siger noget De unge fokusere på muligheder

Indsamling af viden Hvilken viden vil I gerne have fat i? Hvad har I brug for svar på? Om noget er sket Hvordan noget er sket OBS! Begræns jer! Hvad er det vigtigste at vide? Formuler et evalueringsspørgsmål Inden man ligesom går i gang med at sætte lyserrøde post-it på ens indsatsteori Kan det være en god idé lige først at gøre sig nogle overvejelser omkring Hvilken viden man har brug for? Det er uoverkommelig at måle på hver enkelt Hvilken viden besvarer om jeres kortsigtede og langsigtede virkninger er opnået? Men måske også jeres antagelser Vil I vide noget om hvordan en aktivitet fungerer? Skal det være på overordnet niveau eller i dybden Vil I vide noget om en kortsigtet virkning er fremkommet, eller hvordan den er fremkommet? Om = kvantitativ metode Hvordan = kvalitativ Hvem kan give jer den viden? De unge? Undervisere? Andre personale grupper? Vi kan se, at dette kan være en frustrerende fase for folk Der er SÅ mange ting vi gerne vil vide, MEN vi begrænset ressourcer Så derfor er vi begyndt at anbefale folk at formulere et evalueringsspørgsmål (fungerer om en problemformulering) Eva.spm = med til at styre jeres perspektiv / jeres undersøgelsesområde Et evalueringsspørgsmål viser jer hvilken viden I går efter Hvad vil I egentlig gerne have svar på? Udfordringen er at skærer ned. Når man starter vil man gerne have at vide Hvilken vejledningsaktivitet har virket bedst? Ved min leder/mine kollegaer hvad jeg bidrager med? Hvad er vigtig viden for mig som vejleder? Hvad er vigtig viden for min leder/kollegaer? Osv Ja – man får svar som man spørg Men men men – for gud skyld begræns jer! Lige så meget viden / data i tal eller ord, som I får ind Lige så meget data skal I bearbejde Fokuserer! Hvad er det vigtigste at vide? Hvilken form for viden vil I bruge fremadrettet? Hvad er det man skal bruge evalueringen til? Halter mange steder Eksempel på evalueringsspørgsmål: Hvordan har gruppevejledning bidraget til refleksion hos de unge? (kvalitativ) Har gruppevejledning bidraget til refleksion hos de unge? (kvantitativ)

Indsamling af viden Hvorfor nulpunkt kan være vigtig Jeres redskab = indsatsteorien Virkningerne Antagelser Hvorfor nulpunkt kan være vigtig Det er her jeres indsatsteori skal rede jer! I har jo opstilet nogle virkninger, som I vil opnå Og nogle antagelser, som I regner med at finde sted Simple løsning = hvilken post-it vil I evalurere Eks = Hvorfor nulpunkt kan være vigtig Starte med: Hvad er nulpunkt? Nulpunkt i evalueringssammenhænge = der hvor det i måler er, når I starter Eks: hvad den unge kan, når de kommer hos jer Tegn eks med søjler Nulpunktet er vigtig, i det tilfælde at I vil undersøge: fremgang / progression Faktisk hver gang I vil undersøge forskellen mellem Hvor folk (de unge / undervisere) er når de starter Hvor de er når de slutter Der er selvfølgelig en masse udefra kommende faktorer Som også påvirker Og som I ikke kan kontrollere Men I kan forsøge ved at danne jer et indtryk af udgangspunktet Udgangspunkt = nulpunkt i kvantativ sprog

Eksempel på indsatsteori Formål Aktivitet Antagelser Kortsigtede virkninger Langsigtede virkninger Styrke de unge grundlag for at træffe et udd.valg Gruppe-vejledning Skabe fælles refleksionsrum hvor den unges valgproces kan spejle sig i og få inspiration fra andre Vejleder skal være anerkende facilitator for at de unge holder fokus på deres vækst-punkter De unge reflekterer over potentielle udd.valg De unge tager et realistisk udd.valg De unge udtrykker fordele og ulemper ved forskellig udd.valg Udfordring Eksempel Man synes det er en centralt og afgørende at skabe et fælles refleksionsrum i GV = Det måler man på Tegnet: De unge udtrykker trygt deres overvejelser Succes = Alle siger noget Metode til indsamling = observation - Afholde mdl. GV i hver klasse De unge udtrykker trygt deres overvejelser Alle har min. 1 eller flere udd. De overvejer ??? Alle siger noget De unge fokusere på muligheder Observation Spørge-skema Observation

Spørgsmål ? ? ? ? Hvad er I nysgerrig på at vide om jeres vejledningspraksis?

Tak for jeres tid