Validitet og reliabilitet(gyldighed og pålidelighed)

Slides:



Advertisements
Lignende præsentationer
Kvantitativ metode og spørgeskemaer
Advertisements

Fokusgruppe Hvad er en fokusgruppe?
PRAKTIKDOKUMENTET CUPP –PROJEKT
9. Kvantitative metoder -spørgeskemaer
Den danske befolknings syn på handicappedes rettigheder
Atomer Et programmeret forløb. En måde at lære på.
TPG handleplans-skema
Analyse og fortolkning
Hvad er videnskab? - videnskabsteori i relation til projektarbejde
Torbenfeldvej Vallensbæk strand Tlf.: – – dagligt brug af vores hjemmeside •AGEN LYS har en stor og omfattende.
Analyse af kvalitative data
Læringsmiljø på hhx; kvaliteter og udfordringer Temaoplæg 2: IKT i undervisningen på hhx DEA, 13. Oktober 2010 Ph.d.-stipendiat, Arnt Louw Vestergaard.
Kursus den 12. marts Program i dag: Opsamling fra sidst.
A&B ANALYSEs Danmarkspanel - Foreningen ”Odinstårnet” -
1 Alder år 55 % år 24 % år 17 % Hvor længe på VUC? 1 år 93%
Dataindsamling og kildebearbejdning
Analyse for Ældre Sagen: Anvendelse af nye teknologiske kommunikationsmidler Rapport Oktober 2008.
Samlet årsrapport for Gårdhaven 2012 SIP-socialpsykiatri
Humanistisk fagsprog Humanistiske fag – dansk, engelsk, tysk, historie mfl. Udgangspunk i ”tekster” Forståelse og fortolkning er overordnet karakteristisk.
Henriette Lungholt Uge Kreative metoder.
Kreative metoder Henriette Lungholt
Bolig selskabernes Landsforening– Almene lejeboliger - Maj/Juni Almene lejeboliger - Danmarkspanelet - Maj/Juni 2010.
Darum skole 4. november 2013.
Samarbejde bibliotek og uddannelse – et bud på hvordan
Kvantitative metoder
Trivselsundersøgelse og ledelsesevaluering
Boligselskabernes Landsforening – Danmarkspanel - Januar A&B ANALYSEs Danmarkspanel - Boligselskabernes Landsforening - Januar 2010.
2 Kvalitative og kvantitative metoder
Problemløsningsheuristik I.1 Hvordan besvarer man sin problemstilling? I.Forstå problemstillingen 1.Hvad er det (i min problemstilling) som jeg ikke ved.
SMUT PAKKE 4 VIDEN OM MOTION.
Teori, begreber, faglige metoder og undersøgelsesmetode
SEO PÅ AU.
Efteruddannelsesindsatsen 2007 Analyse Danmarks undersøgelse januar 2008 Oplæg på Kompetencerådets møde den v./ Merete.
©Jenny Bohr – Til underviserne Voksne med ADHD har ofte mange negative erfaringer med sig. Mange har fået megen skæld ud som børn, og de.
7. kursusgang Kvantitative metoder.
Validitet og reliabilitet(gyldighed og pålidelighed)
Hvad er målgruppeanalyse
Teori, metodologi og metode
11. Kursusgang Generaliserbarhed.
11. Kursusgang Generaliserbarhed
Kursus om borger.dk og brugen af digital signatur
12 Kursusgang: Brug af undersøgelser, evaluering og eksamen
Metode Henriette Lungholt Uge
Chr. Viktor Rasmussen IT-Universitetet april 2009 Målgruppeanalyse Målgruppeanalyse Metode 4 Farer og fejlkilder.
Titel: Arial, fed, skriftstr. 20, mørkegrå. Tekst: Arial, normal, fed eller kursiv, skriftstr. 10, 12 og 14 til print – 16 og 18 til projektor – mørkegrå.
Samfundsvidenskab Hvad er samfundsvidenskab?
Workshop 1 Forskningsprojektet Ind i undervisningsrummet på EUD.
Anders K. Jensen og Paul Metelmann Eksamen – gode råd.
Region Midtjyllands tilbud 2013
Validitet og reliabilitet
13. Eksamen Målgruppeanalyse
Trivselsundersøgelse og ledelsesevaluering Anæstesiologisk Afdeling Flere ledere
7. kursusgang Kvantitative metoder.
Validitet og reliabilitet
Validitet og reliabilitet
Den digitale kløft Professor Birgit Jæger Institut for Samfund og Globalisering Roskilde Universitet.
4.lektion: Identitet og sociale grupper
Claus Brabrand, ITU, Denmark Mar 10, 2009EFFECTIVE JAVA Effective Java Presentation Workshop Claus Brabrand [ ] ( “FÅP”: First-year Project.
Grunde til at jeg elsker dig
Fundamentale datastrukturer
Kvantitativ metode og triangulering
Problemløsningsheuristik I.1 1.Hvad er det (i min problemstilling) som jeg ikke ved endnu? Dvs. hvad leder jeg efter (og hvorfor er det vigtigt/interessant.
Problemløsningsheuristik A.1 1.Hvad er det (i min problemstilling) som jeg ikke ved endnu? Dvs. hvad leder jeg efter (og hvorfor er det vigtigt/interessant.
Kursus i Målgruppeanalyse
Validitet og reliabilitet(gyldighed og pålidelighed)
Validitet, reliabilitet og generaliserbarhed
Hvordan skriver man sin afsluttende opgave?
SKABELON.
Kvalitative og kvantitative undersøgelser
Præsentationens transcript:

Validitet og reliabilitet(gyldighed og pålidelighed) 07.05.12 11. Kursusgang Validitet og reliabilitet(gyldighed og pålidelighed) 07.05.12

Et spørgsmål om validitet 70 procent af alle P3´s lyttere er yngre mænd, mens resten er kvinder Problemformulering: Hvad er det der er galt med indholdet i P3’s programmer, som betyder at kvinder ikke lytter til kanalen? Er det en gyldig problemstilling?

Kvales syv stadier Tematisering Design Interview Transskribering Analyse Validering Rapportering

Eksamen Projektrapport Refleksion Selvkritik Argumenter for valg Husk: Validitet og reliabilitet Oplæg Selvkritik Perspektivering Eksamination Reflekter over spørgsmål Indrøm fejl

Validitet og reliabilitet De kvalitative kriterier De kvantitative kriterier

Gyldighed og pålidelighed Validitet/gyldighed Hele undersøgelsen Hvad kan den sige om mit emne? Reliabilitet/pålidelighed Har jeg lavet fejl i min indsamling af data? Er der fejl i mine data?

Et spørgsmål Er en undersøgelse der er pålidelig også gyldig?

Metodekravene Lund, Anker Brink (1986): Habermas i hovedet og Gallup på papiret, s.

Validitet – både kval/kvan Validitet (gyldighed) "Validitet handler om at sikre sig, at man konkret undersøger det, som man sætter sig for at undersøge." (Bente Halkier 2001: "Fokusgrupper, s.109)   Har du undersøgt det, man skal undersøge? Ydre validitet (autencitet og dybde) Indre validitet (konsensus)

Validitet i praksis Lav et systematisk stykke håndværk Gør det gennemskueligt for andre og så dine forforståelser Fremlæg præmisserne for din bearbejdning Argumenter for dine resultater Fokusgrupper: Bente Halkier

Styrk validiteten ved Metodetriangulering At have nogle fornuftige udvælgelseskriterier "Når samfundsforskere nævner tre ting, der har betydning for validiteten burde de sige systematik, systematik, systematik" Bente Halkier 2001: "Fokusgrupper, s.113

Tre elementer i validitet

Tjeklisten for validitet - 1 Konstruktionsvaliditet Har du fat i det rigtige problem og har du fat i de rigtige variable (forskningsspørgsmål) Med al data ind kan du vurderer på validiteten i projektet Vurder om du har overset faktorer, som kan have betydning for validiteten Datavaliditet Kan du svare på problemformulering på baggrund af din empiri Forhold dig kritisk til din undersøgelser og vurder hele tiden, om du har tilstrækkeligt datamateriale til at kunne drage nogle konklusioner (data-validitetsproblemer). Ellers lav opfølgende undersøgelser for at få flere data indsamlet. Undersøgelsesvaliditeten Her vurderer du hele din metode i forbindelse med både empiriindsamling, teorivalg og problemformulering. Lav en selvkritisk vurdering Samle dem i et metodekritikkapitel eller skriv dem ind i dine delkonklusioner.

Tjekliste for validitet - 2 Derudover skal du: Lav et systematisk stykke håndværk Gør det gennemskueligt for andre Fremlæg præmisserne for din bearbejdning Argumenter for dine resultater

Tjek tjeklisten… …og vend den med din sidemand, du ikke er i gruppe med…

Reliabilitet Reliabilitet (pålidelighed) Har man målt rigtigt? "I dag handler reliabilitet om at gøre sine måder at producere og bearbejde data eksplicitte og gennemskuelige for andre, så andre kan vurdere, om der er lavet et ordentligt stykke håndværk." (Bente Halkier 2001: "Fokusgrupper, s.111)

Kriterier fra den kvantitative metode Objektivitet Kan tilstræbes – men kan vi nogensinde ikke være subjekter? Det væsentlige kriterium er intersubjektivitet, både i forhold til de interviewede og de andre forskere   Repræsentativitet Næsten uladsiggørlig, forbeholdt den kvantitative metode, men interviewede man alle kirkegængere i Lumsås kirke eller medlemmer af et community så er man tæt på.

Tendenser – flere fokusgrupper Give mulighed for at lave mange modelbrugere Være up-front overfor de kvantitative undersøgelser Men det handler om hvad man vil undersøge og hvor komplekst det er

Formålet med kvantitative undersøgelser ”Formålet med kvantitative stikprøve-undersøgelser er at finde mønstre i mangfoldigheden. Disse undersøgelser fokuserer på et mindre antal kendetegn hos mange respondenter, hvor den kvalitative undersøgelse fokuserer på et større antal kendetegn hos få undersøgte enheder.” Sepstrup, Preben (2002): ”En undersøgelse viser…”, s. 19

Måle og veje Den kvantitative metode antager, at de undersøgte forhold kan måles og værdisættes eks:   Hvor hyppigt taler du i mobiltelefon? Hvor vigtig er din mobiltelefon for dig på en skala fra 1-5? Kan man så det?

Styrke og svagheder Metodens styrke Metodens svaghed Klarhed Overblik Tal (– en undersøgelse viser…) (Anerkendelse)   Metodens svaghed Reduceret forståelse Minus nuancer Minus dybde

Validitet og repræsentativitet Den gruppe, man spørger, skal repræsentere den gruppe, man vil vide noget om Validitet: Kan man tro på svarene? Forstås de rigtigt og ens – eks. ”bjørnetjeneste” .

Validitet - spørgeskema ”Hvad synes du om hjemmehjælpen?” - Hvem skal vi spørge? - Hvor og hvordan kan man spørge dem henne? - Hvad hvis vi spørger de gamle på biblioteket? - Hvad hvis vi sender det ud til de gamle i deres hjem Spørger man på biblioteket, er det de stærke ældre, der svarer. Sender man skemaet ud til pensionisterne i kommunen, er det måske dem, der har behov eller er utilfredse, der svarer

Udvælgelse af svarpersoner Systematisk udvælgelse F.eks. hver tiende husstand eller computergeneret), CPR-numre (koster penge), medlemslister (eks. hver femte), Nørreport (hver tiende person der går forbi), arbejde etc. Klyngeudvælgelse Populationen opdeles i delgrupper – klynger, der er repræsentative. Det kunne være alle 8. klasser i Nordjyllands amt.

Stikprøvens størrelse Gallup bruger 1000 enheder til at sige noget om den danske befolkning, men ofte er 500 nok I USA bruger de også 1000 enheder Tommelfingerregel = ikke færre end 100 enheder

Konstruktion af strukturerede spørgeskemaer Vær klar over formålet; hvad skal det bruges til?   Begrænsningerne: Hvad kan man ikke forvente at få besvaret ved denne metode? Spørgeskemaerne kan være åbne, lukkede, semilukkede. Med efterfølgende konsekvenser for bearbejdningen.

Reliabilitet – kval/kvan Reliabilitet er spørgsmålet om målingens kvalitet. Man kan vurdere reliabiliteten i forhold til følgende potentielle fejlkilder: Subjekt-reliabiliteten: karakteristika hos respondenten under undersøgelsen, humør, tid... Observatør-reliabilitet: fortolkning eller påvirkning af respondentens svar fra interviewerens side. Instrument-reliabilitet: ex. var spørgsmålene klare for alle? Situationsreliabilitet: omgivelsernes påvirkning i indsamlingssituationen f.eks manglende briller eller link til spørgeskema i bunden af en mail (DDA-nyt (1983):15-16)

Tjeklisten - reliabiliteten Hvor pålidelige er de indsamlede data? Herunder: hvad kan have påvirket dataindsamlingen? (fx følsomme emner, respondenterne etc.) Hvordan har du foretaget målingerne? Hvordan analyserer og bearbejder du data? Kan du argumentere for din metode? Og kan andre læse sig frem til, Hvorfor du er kommet frem til de resultater, du kommer frem til? (vedlagte interviewudskrift og/eller citater, der underbygger en påstand) Hvis du fx har undersøgt det psykiske arbejdsmiljø kort før en sommerferie, kan det godt have indflydelse på resultatet.

Tjek tjeklisten… …og vend den med din sidemand, du ikke er i gruppe med…

Styrk validiteten Både af den kvalitative og den kvantitative undersøgelse

Hvad er metodetriangulering   "En måte å styrke validiteten i et prospekt på er metodetriangluering. Metodisk triangulering betyr å kompensere for svakheter ved én metode ved å bruke også andre metodiske tilnærminger.......Slik triangulering kan innebære at en bruker både kvalitative og kvantitative metoder..., eller at en bruker flere ulike kvantitative eller kvalitative metoder for å analysere en problemstilling.” Helge Østbye m.fl. (1997): "Metodebok for mediefag", s. 101

Hvad kan metodetriangulering? Støtte validiteten (gyldighed - måler man det man vil måle) af undersøgelsen Dette kan også bruges til at vurdere, validiteten af de involverede undersøgelser. Levere viden, som det kvalitative interview er dårligt til f.eks. antal brugere, uddannelse, køn, etc Åbne øjnene for nye aspekter - f.eks. hvem der er de primære brugere af en hjemmeside Sikkertrafik.dk - bekymrede mødre og mandlige trailerentusiaster   Forbehold Men dette forudsætter, at alle involverede metoder (delundersøgelser) er valide

Former for metodetriangulering, 1 Bente Halkier beskriver tre årsager til at lave metodetriangulering:   1) For at forbedre metoderne gensidigt Ved at bruge den ene metode f.eks. fokusgruppeinterview som pilotmetode for at udvikle et større spørgeskema. 2) Som opfølgning efter hinanden for at opnå yderligere relevant information Ex. hvis individuelle interview viser, at den sociale interaktion er vigtig, så kan der følges op med fokusgruppeinterview – og omvendt.

Former for metodetriangulering, 2 3) Som ligestillede former for empiri Ex. både at bruge individuelle interview og fokusgrupper for at opnå forskellige perspektiver. (Halkier (2002): ”Fokusgrupper”, s. 18-23) Hvis I bruger metodetriangulering, så tænk over: Hvorfor er det en væsentligt eller en udbytterig fremgangsmåde til jeres formål?

Kritik af metodetriangulering Kim Schrøder kritik: For at sige, at hvis resultaterne fra de anvendte metoder understøtter hinanden er det fint. Hvis ikke behøver, det ikke være et problem, men tegn på mangfoldighed.   Kim Schrøder mener at: ”Måske skulle vi med en anden metafor hellere se de forskellige metoder som forskellige optiske linser, hvor man jo forventer, at man ser noget forskelligt igennem dem?" Kim Schrøder: "Pionerdagene er forbi, hvor går receptionsforskningen hen", s. 13.

Slut for i dag Bonus info: www.statistikbank.dk www.matematiksider.dk/statistik1.html

Kan man generalisere? Det store spørgsmål er om man kan bruge resultaterne fra f.eks. fokusgrupper til at sige noget generelt om en større gruppe?

Generaliserbarhed Hvorledes kan kvalitative resultater generaliseres ?   Statistisk generaliserbarhed Hvor man ønsker at generalisere fra en udvalgt stikprøve til befolkningen som helhed. Dette kan lade sig gøre, hvis stikprøven er udvalgt tilfældig, og er repræsentativ. Analytisk generaliserbarhed Hvor man ønsker at generalisere fra et udvalg til nogle idealtyper, ex. forskellige brugerprofiler eller personaer. For at sige, hvorledes lignende situationer eller målgrupper kunne tænkes at se ud eller opføre sig. (Halkier 2002: 113)

Idealtyper – hvad er essensen Fremhæver eller tydeliggøre det vigtige for et område Nedtoner det der ikke har så stor betydning En idealtype er ikke en rigtig person

Bentes idealtyper Bente opstiller 3 forskellige idealtyper for måder at håndtere risiko på:   Bekymret risikohåndtering Irriteret risikohåndtering Pragmatisk risikohåndtering (Bente Halkier (2002): "Fokusgrupper" s. 114) I hendes nye projekt er der seks forskellige måder at håndtere madlavning på f.eks.: Madlavning som nødvendighed

Kim Schrøders idealtyper Kim Schrøder opstiller ud fra forskning i folks reception af reklamer, disse 3 idealtypiske reaktioner på reklamer: Kim Schrøder:Pionerdagene er forbi – hvor går receptionsforskningen hen?

Generaliseringsmål I følge Kvale kan man tale om tre mål med at foretage generaliseringer. Ønsket om at studere:   Hvordan det er: dvs. forsøge at fastslå det typiske, det almindelige, det sædvanlige. Hvad der er muligt: ex. undersøge skoler der er på forkant med integration af IT i undervisningen, for at finde ud af, hvordan folkeskolen kan blive bedre til at integrere IT i undervisningen. Hvordan det kunne blive: ex. undersøge situationer, der er ideelle eller exceptionelle, for at se, hvad der foregår der.

Personaer/modelbrugere Nogle grupper ønsker afslutningsvist at opstille en eller flere personaer eller modelbrugere. Ex. Havde en rapport om skoleelver tre drengeprofiler, de fremlagde (frit fra hukommelsen): Jesper: den typiske, sociale, aktive fodbolddreng, med mange venner... Mikael: der var til rollespil, lidt en enspænder.... Ali: indvandrerdreng, der ...

2 intranetpersonaer, Margit En målgruppeanalyse til et intranet på et hospital resulterede i 2 personaer: Livssituation: Margit Hansen er 38 år og bor i Brønshøj med sin mand Preben og sine to døtre. Hun er sygeplejerske og mellemleder på børneafdelingen på xx Hospital.... Arbejdsmæssigt: Interessen for at arbejde med mennesker har Margit haft så længe... Faglig interesse: Margit har en stærk faglig interesse og læser næsten altid sit fagblad ”Sygeplejersken”... Intranettet: Intranettet er det sted, Margit henter hovedparten af sine oplysninger om hospitalet, og... (Positiv)

2 intranetpersonaer, Hanne Livssituation: Husassistenten Hanne er mellemleder i rengøringen på xx hospital. Hun er ryger, 49 år og har sammen med sin mand Steen, der er tømrer, sønnen Claus.... Arbejdsmæssigt: Hun har lige fejret sit 20 års jubilæum. Faglig interesse: Hanne er ufaglært, men hun har flere gange benyttet sig af kursustilbud fra sin fagforening,... Intranettet: Hun bruger intranettet jævnligt, og sætter pris på at hun derigennem kan få informationerne hurtigt, men hun syntes at computere er lidt og upersonlige og foretrækker at snakke med sine kollegaer ansigt til ansigt....(Mere skeptisk. det er ok men synes det kan være en besværlig ekstra kanal)

2 modelbrugere til psykologhjemmeside Modelbruger A: er meget visuelt orienteret. Hvis en hjemmeside skal opleve at få modelbruger A’s indledende opmærksomhed, skal hjemmesiden være visuelt velfungerende. Hænger hjemmesidens layout ikke sammen med emnet, kan det let resultere i, at modelbruger A klikker væk. For at modelbruger A bliver på hjemmesiden og fortsat er opmærksom, kræver det at tekst og elementer er sat hensigtsmæssigt op. Tekslinier må ikke være for lange og linieafstanden ikke for lille, er dette ikke i orden er der atter risiko for at modelbruger A klikker væk. Det er ofte først herefter at modelbruger A forholder sig til selve indholdet på hjemmesiden.

Modelbruger B Modelbruger B: er meget indholdsorienteret. Det første modelbruger B lægger mærke til på en hjemmeside er eksempelvis overskrifterne, der er her tale om den indledende opmærksomhed. Hvis overskrifterne er underlige eller indeholder stavefejl, er der risiko for at modelbruger B klikker væk fra hjemmesiden. Er det derimod iorden, er der stor sansynlighed for at modebruger B begynder at forholde sig til de visuelle elementer. De visuelle elementer har sjældent betydning for om modelbruger B forbliver på hjemmesiden eller klikker væk, det er indholdet der er relevant.

Lene Nielsens modelbruger ”Fordi modelbrugeren er hovedperson i scenariets fortælling, har modelbrugeren en række karakteristika, ligesom alle hovedpersoner i fortællinger har det.” (Lene Nielsen 2002: 6) Et dramatisk ønske: det som hun ønsker at opnå gennem handlingen. Et point of view: den måde hun oplever verden på. En forandring/forvandling: det der sker med hende undervejs i fortællingen. En holdning: den holdning hun har.

Idealtyper Om dette siger Bente Halkier: " Disse idealtyper fungerer som en slags kondensering af et kompleks af viden om typiske sociokulturelle relationer på området for fokusgrupperne. Det være sig relationer for betydninger, relationer for betydningsdannelser og relationer for normer - eller hvad projektet nu koncentrerer sin vidensproduktion om." (Bente Halkier (2002): "Fokusgrupper" s. 113-114)

Slut

Sammenhæng ”Med traditionel metodisk sprogbrug skal man altså sikre sig, at man laver nogle fornuftige operationaliseringer af de vidensinteresser, som kan udmøntes fra problemstillingen i projektet, og som er i vis samklang med det empiriske felt. Både når det gælder udvælgelse, spørgeguide, moderation, analyse og fortolkning. Derfor handler validitet også om, at de anvendte begreber og kategorier hænger sammen med projektets vidensinteresse.” (Halkier 2002, 110)

Lidt historie Kilde: http://www. clbs. dk/userfiles/pdf/metoder_opslag

Population og delmængder  2 typer af stikprøver: 1) Repræsentative stikprøver 2) Ikke-repræsentative stikprøver Hvis det er for omkostningsfuldt at spørge hele populationen, kan man lave en stikprøveundersøgelse - en delmængde. Husk at have nogle kriterier for udvælgelsen eller vurderingen af en stikprøve Helge Østbye et al.: Metodebok for mediefag, Bergen-Sandviken, 1997