Validitet og reliabilitet(gyldighed og pålidelighed)

Præsentationer af emnet: "Validitet og reliabilitet(gyldighed og pålidelighed)"— Præsentationens transcript:

1 Validitet og reliabilitet(gyldighed og pålidelighed) 07.05.12
11. Kursusgang Validitet og reliabilitet(gyldighed og pålidelighed)

2 Et spørgsmål om validitet
70 procent af alle P3´s lyttere er yngre mænd, mens resten er kvinder Problemformulering: Hvad er det der er galt med indholdet i P3’s programmer, som betyder at kvinder ikke lytter til kanalen? Er det en gyldig problemstilling?

3 Kvales syv stadier Tematisering Design Interview Transskribering
Analyse Validering Rapportering

4 Eksamen Projektrapport Refleksion
Selvkritik Argumenter for valg Husk: Validitet og reliabilitet Oplæg Selvkritik Perspektivering Eksamination Reflekter over spørgsmål Indrøm fejl

5 Validitet og reliabilitet
De kvalitative kriterier De kvantitative kriterier

6 Gyldighed og pålidelighed
Validitet/gyldighed Hele undersøgelsen Hvad kan den sige om mit emne? Reliabilitet/pålidelighed Har jeg lavet fejl i min indsamling af data? Er der fejl i mine data?

7 Et spørgsmål Er en undersøgelse der er pålidelig også gyldig?

8 Metodekravene Lund, Anker Brink (1986): Habermas i hovedet og Gallup på papiret, s.

9 Validitet – både kval/kvan
Validitet (gyldighed) "Validitet handler om at sikre sig, at man konkret undersøger det, som man sætter sig for at undersøge." (Bente Halkier 2001: "Fokusgrupper, s.109) Har du undersøgt det, man skal undersøge? Ydre validitet (autencitet og dybde) Indre validitet (konsensus)

10 Validitet i praksis Lav et systematisk stykke håndværk
Gør det gennemskueligt for andre og så dine forforståelser Fremlæg præmisserne for din bearbejdning Argumenter for dine resultater Fokusgrupper: Bente Halkier

11 Styrk validiteten ved Metodetriangulering
At have nogle fornuftige udvælgelseskriterier "Når samfundsforskere nævner tre ting, der har betydning for validiteten burde de sige systematik, systematik, systematik" Bente Halkier 2001: "Fokusgrupper, s.113

12 Tre elementer i validitet

13 Tjeklisten for validitet - 1
Konstruktionsvaliditet Har du fat i det rigtige problem og har du fat i de rigtige variable (forskningsspørgsmål) Med al data ind kan du vurderer på validiteten i projektet Vurder om du har overset faktorer, som kan have betydning for validiteten Datavaliditet Kan du svare på problemformulering på baggrund af din empiri Forhold dig kritisk til din undersøgelser og vurder hele tiden, om du har tilstrækkeligt datamateriale til at kunne drage nogle konklusioner (data-validitetsproblemer). Ellers lav opfølgende undersøgelser for at få flere data indsamlet. Undersøgelsesvaliditeten Her vurderer du hele din metode i forbindelse med både empiriindsamling, teorivalg og problemformulering. Lav en selvkritisk vurdering Samle dem i et metodekritikkapitel eller skriv dem ind i dine delkonklusioner.

14 Tjekliste for validitet - 2
Derudover skal du: Lav et systematisk stykke håndværk Gør det gennemskueligt for andre Fremlæg præmisserne for din bearbejdning Argumenter for dine resultater

15 Tjek tjeklisten… …og vend den med din sidemand, du ikke er i gruppe med…

16 Reliabilitet Reliabilitet (pålidelighed) Har man målt rigtigt?
"I dag handler reliabilitet om at gøre sine måder at producere og bearbejde data eksplicitte og gennemskuelige for andre, så andre kan vurdere, om der er lavet et ordentligt stykke håndværk." (Bente Halkier 2001: "Fokusgrupper, s.111)

17 Kriterier fra den kvantitative metode
Objektivitet Kan tilstræbes – men kan vi nogensinde ikke være subjekter? Det væsentlige kriterium er intersubjektivitet, både i forhold til de interviewede og de andre forskere Repræsentativitet Næsten uladsiggørlig, forbeholdt den kvantitative metode, men interviewede man alle kirkegængere i Lumsås kirke eller medlemmer af et community så er man tæt på.

18 Tendenser – flere fokusgrupper
Give mulighed for at lave mange modelbrugere Være up-front overfor de kvantitative undersøgelser Men det handler om hvad man vil undersøge og hvor komplekst det er

19 Formålet med kvantitative undersøgelser
”Formålet med kvantitative stikprøve-undersøgelser er at finde mønstre i mangfoldigheden. Disse undersøgelser fokuserer på et mindre antal kendetegn hos mange respondenter, hvor den kvalitative undersøgelse fokuserer på et større antal kendetegn hos få undersøgte enheder.” Sepstrup, Preben (2002): ”En undersøgelse viser…”, s. 19

20 Måle og veje Den kvantitative metode antager, at de undersøgte forhold kan måles og værdisættes eks: Hvor hyppigt taler du i mobiltelefon? Hvor vigtig er din mobiltelefon for dig på en skala fra 1-5? Kan man så det?

21 Styrke og svagheder Metodens styrke Metodens svaghed Klarhed Overblik
Tal (– en undersøgelse viser…) (Anerkendelse) Metodens svaghed Reduceret forståelse Minus nuancer Minus dybde

22 Validitet og repræsentativitet
Den gruppe, man spørger, skal repræsentere den gruppe, man vil vide noget om Validitet: Kan man tro på svarene? Forstås de rigtigt og ens – eks. ”bjørnetjeneste” .

23 Validitet - spørgeskema
”Hvad synes du om hjemmehjælpen?” - Hvem skal vi spørge? - Hvor og hvordan kan man spørge dem henne? - Hvad hvis vi spørger de gamle på biblioteket? - Hvad hvis vi sender det ud til de gamle i deres hjem Spørger man på biblioteket, er det de stærke ældre, der svarer. Sender man skemaet ud til pensionisterne i kommunen, er det måske dem, der har behov eller er utilfredse, der svarer

24 Udvælgelse af svarpersoner
Systematisk udvælgelse F.eks. hver tiende husstand eller computergeneret), CPR-numre (koster penge), medlemslister (eks. hver femte), Nørreport (hver tiende person der går forbi), arbejde etc. Klyngeudvælgelse Populationen opdeles i delgrupper – klynger, der er repræsentative. Det kunne være alle 8. klasser i Nordjyllands amt.

25 Stikprøvens størrelse
Gallup bruger 1000 enheder til at sige noget om den danske befolkning, men ofte er 500 nok I USA bruger de også 1000 enheder Tommelfingerregel = ikke færre end 100 enheder

26 Konstruktion af strukturerede spørgeskemaer
Vær klar over formålet; hvad skal det bruges til? Begrænsningerne: Hvad kan man ikke forvente at få besvaret ved denne metode? Spørgeskemaerne kan være åbne, lukkede, semilukkede. Med efterfølgende konsekvenser for bearbejdningen.

27 Reliabilitet – kval/kvan
Reliabilitet er spørgsmålet om målingens kvalitet. Man kan vurdere reliabiliteten i forhold til følgende potentielle fejlkilder: Subjekt-reliabiliteten: karakteristika hos respondenten under undersøgelsen, humør, tid... Observatør-reliabilitet: fortolkning eller påvirkning af respondentens svar fra interviewerens side. Instrument-reliabilitet: ex. var spørgsmålene klare for alle? Situationsreliabilitet: omgivelsernes påvirkning i indsamlingssituationen f.eks manglende briller eller link til spørgeskema i bunden af en mail (DDA-nyt (1983):15-16)

28 Tjeklisten - reliabiliteten
Hvor pålidelige er de indsamlede data? Herunder: hvad kan have påvirket dataindsamlingen? (fx følsomme emner, respondenterne etc.) Hvordan har du foretaget målingerne? Hvordan analyserer og bearbejder du data? Kan du argumentere for din metode? Og kan andre læse sig frem til, Hvorfor du er kommet frem til de resultater, du kommer frem til? (vedlagte interviewudskrift og/eller citater, der underbygger en påstand) Hvis du fx har undersøgt det psykiske arbejdsmiljø kort før en sommerferie, kan det godt have indflydelse på resultatet.

29 Tjek tjeklisten… …og vend den med din sidemand, du ikke er i gruppe med…

30

31 Styrk validiteten Både af den kvalitative og den kvantitative undersøgelse

32 Hvad er metodetriangulering
"En måte å styrke validiteten i et prospekt på er metodetriangluering. Metodisk triangulering betyr å kompensere for svakheter ved én metode ved å bruke også andre metodiske tilnærminger Slik triangulering kan innebære at en bruker både kvalitative og kvantitative metoder..., eller at en bruker flere ulike kvantitative eller kvalitative metoder for å analysere en problemstilling.” Helge Østbye m.fl. (1997): "Metodebok for mediefag", s. 101

33 Hvad kan metodetriangulering?
Støtte validiteten (gyldighed - måler man det man vil måle) af undersøgelsen Dette kan også bruges til at vurdere, validiteten af de involverede undersøgelser. Levere viden, som det kvalitative interview er dårligt til f.eks. antal brugere, uddannelse, køn, etc Åbne øjnene for nye aspekter - f.eks. hvem der er de primære brugere af en hjemmeside Sikkertrafik.dk - bekymrede mødre og mandlige trailerentusiaster Forbehold Men dette forudsætter, at alle involverede metoder (delundersøgelser) er valide

34 Former for metodetriangulering, 1
Bente Halkier beskriver tre årsager til at lave metodetriangulering: 1) For at forbedre metoderne gensidigt Ved at bruge den ene metode f.eks. fokusgruppeinterview som pilotmetode for at udvikle et større spørgeskema. 2) Som opfølgning efter hinanden for at opnå yderligere relevant information Ex. hvis individuelle interview viser, at den sociale interaktion er vigtig, så kan der følges op med fokusgruppeinterview – og omvendt.

35 Former for metodetriangulering, 2
3) Som ligestillede former for empiri Ex. både at bruge individuelle interview og fokusgrupper for at opnå forskellige perspektiver. (Halkier (2002): ”Fokusgrupper”, s ) Hvis I bruger metodetriangulering, så tænk over: Hvorfor er det en væsentligt eller en udbytterig fremgangsmåde til jeres formål?

36 Kritik af metodetriangulering
Kim Schrøder kritik: For at sige, at hvis resultaterne fra de anvendte metoder understøtter hinanden er det fint. Hvis ikke behøver, det ikke være et problem, men tegn på mangfoldighed. Kim Schrøder mener at: ”Måske skulle vi med en anden metafor hellere se de forskellige metoder som forskellige optiske linser, hvor man jo forventer, at man ser noget forskelligt igennem dem?" Kim Schrøder: "Pionerdagene er forbi, hvor går receptionsforskningen hen", s. 13.

37 Slut for i dag Bonus info: www.statistikbank.dk

38 Kan man generalisere? Det store spørgsmål er om man kan bruge resultaterne fra f.eks. fokusgrupper til at sige noget generelt om en større gruppe?

39 Generaliserbarhed Hvorledes kan kvalitative resultater generaliseres ?
Statistisk generaliserbarhed Hvor man ønsker at generalisere fra en udvalgt stikprøve til befolkningen som helhed. Dette kan lade sig gøre, hvis stikprøven er udvalgt tilfældig, og er repræsentativ. Analytisk generaliserbarhed Hvor man ønsker at generalisere fra et udvalg til nogle idealtyper, ex. forskellige brugerprofiler eller personaer. For at sige, hvorledes lignende situationer eller målgrupper kunne tænkes at se ud eller opføre sig. (Halkier 2002: 113)

40 Idealtyper – hvad er essensen
Fremhæver eller tydeliggøre det vigtige for et område Nedtoner det der ikke har så stor betydning En idealtype er ikke en rigtig person

41 Bentes idealtyper Bente opstiller 3 forskellige idealtyper for måder at håndtere risiko på: Bekymret risikohåndtering Irriteret risikohåndtering Pragmatisk risikohåndtering (Bente Halkier (2002): "Fokusgrupper" s. 114) I hendes nye projekt er der seks forskellige måder at håndtere madlavning på f.eks.: Madlavning som nødvendighed

42 Kim Schrøders idealtyper
Kim Schrøder opstiller ud fra forskning i folks reception af reklamer, disse 3 idealtypiske reaktioner på reklamer: Kim Schrøder:Pionerdagene er forbi – hvor går receptionsforskningen hen?

43 Generaliseringsmål I følge Kvale kan man tale om tre mål med at foretage generaliseringer. Ønsket om at studere: Hvordan det er: dvs. forsøge at fastslå det typiske, det almindelige, det sædvanlige. Hvad der er muligt: ex. undersøge skoler der er på forkant med integration af IT i undervisningen, for at finde ud af, hvordan folkeskolen kan blive bedre til at integrere IT i undervisningen. Hvordan det kunne blive: ex. undersøge situationer, der er ideelle eller exceptionelle, for at se, hvad der foregår der.

44 Personaer/modelbrugere
Nogle grupper ønsker afslutningsvist at opstille en eller flere personaer eller modelbrugere. Ex. Havde en rapport om skoleelver tre drengeprofiler, de fremlagde (frit fra hukommelsen): Jesper: den typiske, sociale, aktive fodbolddreng, med mange venner... Mikael: der var til rollespil, lidt en enspænder.... Ali: indvandrerdreng, der ...

45 2 intranetpersonaer, Margit
En målgruppeanalyse til et intranet på et hospital resulterede i 2 personaer: Livssituation: Margit Hansen er 38 år og bor i Brønshøj med sin mand Preben og sine to døtre. Hun er sygeplejerske og mellemleder på børneafdelingen på xx Hospital.... Arbejdsmæssigt: Interessen for at arbejde med mennesker har Margit haft så længe... Faglig interesse: Margit har en stærk faglig interesse og læser næsten altid sit fagblad ”Sygeplejersken”... Intranettet: Intranettet er det sted, Margit henter hovedparten af sine oplysninger om hospitalet, og... (Positiv)

46 2 intranetpersonaer, Hanne
Livssituation: Husassistenten Hanne er mellemleder i rengøringen på xx hospital. Hun er ryger, 49 år og har sammen med sin mand Steen, der er tømrer, sønnen Claus.... Arbejdsmæssigt: Hun har lige fejret sit 20 års jubilæum. Faglig interesse: Hanne er ufaglært, men hun har flere gange benyttet sig af kursustilbud fra sin fagforening,... Intranettet: Hun bruger intranettet jævnligt, og sætter pris på at hun derigennem kan få informationerne hurtigt, men hun syntes at computere er lidt og upersonlige og foretrækker at snakke med sine kollegaer ansigt til ansigt....(Mere skeptisk. det er ok men synes det kan være en besværlig ekstra kanal)

47 2 modelbrugere til psykologhjemmeside
Modelbruger A: er meget visuelt orienteret. Hvis en hjemmeside skal opleve at få modelbruger A’s indledende opmærksomhed, skal hjemmesiden være visuelt velfungerende. Hænger hjemmesidens layout ikke sammen med emnet, kan det let resultere i, at modelbruger A klikker væk. For at modelbruger A bliver på hjemmesiden og fortsat er opmærksom, kræver det at tekst og elementer er sat hensigtsmæssigt op. Tekslinier må ikke være for lange og linieafstanden ikke for lille, er dette ikke i orden er der atter risiko for at modelbruger A klikker væk. Det er ofte først herefter at modelbruger A forholder sig til selve indholdet på hjemmesiden.

48 Modelbruger B Modelbruger B: er meget indholdsorienteret. Det første modelbruger B lægger mærke til på en hjemmeside er eksempelvis overskrifterne, der er her tale om den indledende opmærksomhed. Hvis overskrifterne er underlige eller indeholder stavefejl, er der risiko for at modelbruger B klikker væk fra hjemmesiden. Er det derimod iorden, er der stor sansynlighed for at modebruger B begynder at forholde sig til de visuelle elementer. De visuelle elementer har sjældent betydning for om modelbruger B forbliver på hjemmesiden eller klikker væk, det er indholdet der er relevant.

49 Lene Nielsens modelbruger
”Fordi modelbrugeren er hovedperson i scenariets fortælling, har modelbrugeren en række karakteristika, ligesom alle hovedpersoner i fortællinger har det.” (Lene Nielsen 2002: 6) Et dramatisk ønske: det som hun ønsker at opnå gennem handlingen. Et point of view: den måde hun oplever verden på. En forandring/forvandling: det der sker med hende undervejs i fortællingen. En holdning: den holdning hun har.

50 Idealtyper Om dette siger Bente Halkier:
" Disse idealtyper fungerer som en slags kondensering af et kompleks af viden om typiske sociokulturelle relationer på området for fokusgrupperne. Det være sig relationer for betydninger, relationer for betydningsdannelser og relationer for normer - eller hvad projektet nu koncentrerer sin vidensproduktion om." (Bente Halkier (2002): "Fokusgrupper" s )

51 Slut

52 Sammenhæng ”Med traditionel metodisk sprogbrug skal man altså sikre sig, at man laver nogle fornuftige operationaliseringer af de vidensinteresser, som kan udmøntes fra problemstillingen i projektet, og som er i vis samklang med det empiriske felt. Både når det gælder udvælgelse, spørgeguide, moderation, analyse og fortolkning. Derfor handler validitet også om, at de anvendte begreber og kategorier hænger sammen med projektets vidensinteresse.” (Halkier 2002, 110)

53 Lidt historie Kilde: http://www. clbs. dk/userfiles/pdf/metoder_opslag

54 Population og delmængder
 2 typer af stikprøver: 1) Repræsentative stikprøver 2) Ikke-repræsentative stikprøver Hvis det er for omkostningsfuldt at spørge hele populationen, kan man lave en stikprøveundersøgelse - en delmængde. Husk at have nogle kriterier for udvælgelsen eller vurderingen af en stikprøve Helge Østbye et al.: Metodebok for mediefag, Bergen-Sandviken, 1997