Validitet, reliabilitet og generaliserbarhed 26.04.10 10-11. Kursusgang Validitet, reliabilitet og generaliserbarhed 26.04.10

Miniprojekt: Opgave Validiteten, reliabiliteten og generaliserbarhed Vurder validiteten og reliabiliteten af jeres undersøgelse. Overvej om der kan generaliseres ud fra jeres data Forhold jer til metodekravene til de forskellige metoder. Evaluer jeres undersøgelse i forhold til dem. Deadline er fredag d. 03.05.10 kl. 16. Send oplægget til mig på paul@media4masses.dk og prm@itu.dk

Er noget objektivt? ” I virkeligheden er alle rådata kvalitative af natur. Nogle af disse data har vi valgt at kategorisere og tælle op i antal, symboliseret ved arabiske tegn, som vi kalder tal. Men det bliver de jo ikke mere objektive af” Ib Andersen i ”Den skinvarlige virkelighed”

Validitet og reliabilitet - i teori og praksis De kvalitative kriterier De kvantitative kriterier

Metodekravene Lund, Anker Brink (1986): Habermass i hovedet og Gallup på papiret, s.

Kvalitativ validitet Validitet (gyldighed) "Validitet handler om at sikre sig, at man konkret undersøger det, som man sætter sig for at undersøge." (Bente Halkier 2001: "Fokusgrupper, s.109)   Har man undersøgt det, man skal undersøge? Ydre validitet (autencitet og dybde) Indre validitet (konsensus)

Validitet i praksis Lav et systematisk stykke håndværk Gør det gennemskueligt for andre Fremlæg præmisserne for din bearbejdning Argumenter for dine resultater

Styrk validiteten ved Metodetriangulering At have nogle fornuftige udvælgelseskriterier "Når samfundsforskere nævner tre ting, der har betydning for validiteten burde de sige systematik, systematik, systematik" (Bente Halkier 2001: "Fokusgrupper, s.113)

Kvalitativ reliabilitet Reliabilitet (pålidelighed) Har man målt rigtigt? "I dag handler reliabilitet om at gøre sine måder at producere og bearbejde data eksplicitte og gennemskuelige for andre, så andre kan vurdere, om der er lavet et ordentligt stykke håndværk." (Bente Halkier 2001: "Fokusgrupper, s.111) Intersubjektivitet

Kriterier fra den kvantitative metode Objektivitet Kan tilstræbes – men kan vi nogensinde ikke være subjekter? Det væsentlige kriterium er intersubjektivitet, både i forhold til de interviewede og de andre forskere   Repræsentativitet Næsten uladsiggørlig, forbeholdt den kvantitative metode, men interviewede man alle kirkegængere i Lumsås kirke eller medlemmer af Vagcars så er man tæt på.

Kvantitativ validitet Her er validiteten spørgsmålet om, i hvor høj grad spørgeskemaundersøgelsen i virkeligheden måler det, den skal måle. Der er tre former for validitet: Prædikativ validitet: måleinstrumentets forudsigelseskraft – hvad kan denne undersøgelse faktisk sige noget om? Hvad kan vi måle noget om? Indholdsvaliditet: belyser måleinstrumentets repræsentativitet for det fænomen, der skal måles – ex. hvilken kunstoplevelse er mødet med Mona Lisa? Hvor stor gyldighed vil et spørgeskema med en skala på 1-5 kunne forklare kunstoplevelsen? Konstrukt validitet: belyser, om et givent mål er et validt udtryk for det, man har ville måle. Handler om operationaliseringen af forskningsinteressen. Hvordan skal mine spørgsmål se ud for at kunne måle en kunstoplevelsen skala eller udsagn f.eks. stor oplevelse, etc.

Kvantitativ reliabilitet Reliabilitet er spørgsmålet om målingens kvalitet. Man kan vurdere reliabiliteten i forhold til følgende potentielle fejlkilder: Subjekt-reliabiliteten: karakteristika hos respondenten under undersøgelsen, humør, tid... Observatør-reliabilitet: fortolkning eller påvirkning af respondentens svar fra interviewerens side. Instrument-reliabilitet: ex. var spørgsmålene klare for alle? Situationsreliabilitet: omgivelsernes påvirkning i indsamlingssituationen f.eks manglende briller eller link til spørgeskema i bunden af en mail (DDA-nyt (1983):15-16)

Kan man generalisere? Det store spørgsmål er om man kan bruge resultaterne fra f.eks. fokusgrupper til at sige noget generelt om en større gruppe?

Generaliserbarhed Hvorledes kan kvalitative resultater generaliseres ?   Statistisk generaliserbarhed Hvor man ønsker at generalisere fra en udvalgt stikprøve til befolkningen som helhed. Dette kan lade sig gøre, hvis stikprøven er udvalgt tilfældig, og er repræsentativ. Analytisk generaliserbarhed Hvor man ønsker at generalisere fra et udvalg til nogle idealtyper, ex. forskellige brugerprofiler eller personaer. For at sige, hvorledes lignende situationer eller målgrupper kunne tænkes at se ud eller opføre sig. (Halkier 2002: 113)

Idealtyper – hvad er essensen Fremhæver eller tydeliggøre det vigtige for et område Nedtoner det der ikke har så stor betydning En idealtype er ikke en rigtig person

Bentes idealtyper Bente opstiller 3 forskellige idealtyper for måder at håndtere risiko på:   Bekymret risikohåndtering Irriteret risikohåndtering Pragmatisk risikohåndtering (Bente Halkier (2002): "Fokusgrupper" s. 114) I hendes nye projekt er der seks forskellige måder at håndtere madlavning på f.eks.: Madlavning som nødvendighed

Kim Schrøders idealtyper Kim Schrøder opstiller ud fra forskning i folks reception af reklamer, disse 3 idealtypiske reaktioner på reklamer: Kim Schrøder:Pionerdagene er forbi – hvor går receptionsforskningen hen?

Generaliseringsmål I følge Kvale kan man tale om tre mål med at foretage generaliseringer. Ønsket om at studere:   Hvordan det er: dvs. forsøge at fastslå det typiske, det almindelige, det sædvanlige. Hvad der er muligt: ex. undersøge skoler der er på forkant med integration af IT i undervisningen, for at finde ud af, hvordan folkeskolen kan blive bedre til at integrere IT i undervisningen. Hvordan det kunne blive: ex. undersøge situationer, der er ideelle eller exceptionelle, for at se, hvad der foregår der.

Personaer/modelbrugere Nogle grupper ønsker afslutningsvist at opstille en eller flere personaer eller modelbrugere. Ex. Havde en rapport om skoleelver tre drengeprofiler, de fremlagde (frit fra hukommelsen): Jesper: den typiske, sociale, aktive fodbolddreng, med mange venner... Mikael: der var til rollespil, lidt en enspænder.... Ali: indvandrerdreng, der ...

2 intranetpersonaer, Margit En målgruppeanalyse til et intranet på et hospital resulterede i 2 personaer: Livssituation: Margit Hansen er 38 år og bor i Brønshøj med sin mand Preben og sine to døtre. Hun er sygeplejerske og mellemleder på børneafdelingen på xx Hospital.... Arbejdsmæssigt: Interessen for at arbejde med mennesker har Margit haft så længe... Faglig interesse: Margit har en stærk faglig interesse og læser næsten altid sit fagblad ”Sygeplejersken”... Intranettet: Intranettet er det sted, Margit henter hovedparten af sine oplysninger om hospitalet, og... (Positiv)

2 intranetpersonaer, Hanne Livssituation: Husassistenten Hanne er mellemleder i rengøringen på xx hospital. Hun er ryger, 49 år og har sammen med sin mand Steen, der er tømrer, sønnen Claus.... Arbejdsmæssigt: Hun har lige fejret sit 20 års jubilæum. Faglig interesse: Hanne er ufaglært, men hun har flere gange benyttet sig af kursustilbud fra sin fagforening,... Intranettet: Hun bruger intranettet jævnligt, og sætter pris på at hun derigennem kan få informationerne hurtigt, men hun syntes at computere er lidt og upersonlige og foretrækker at snakke med sine kollegaer ansigt til ansigt....(Mere skeptisk. det er ok men synes det kan være en besværlig ekstra kanal)

2 modelbrugere til psykologhjemmeside Modelbruger A: er meget visuelt orienteret. Hvis en hjemmeside skal opleve at få modelbruger A’s indledende opmærksomhed, skal hjemmesiden være visuelt velfungerende. Hænger hjemmesidens layout ikke sammen med emnet, kan det let resultere i, at modelbruger A klikker væk. For at modelbruger A bliver på hjemmesiden og fortsat er opmærksom, kræver det at tekst og elementer er sat hensigtsmæssigt op. Tekslinier må ikke være for lange og linieafstanden ikke for lille, er dette ikke i orden er der atter risiko for at modelbruger A klikker væk. Det er ofte først herefter at modelbruger A forholder sig til selve indholdet på hjemmesiden.

Modelbruger B Modelbruger B: er meget indholdsorienteret. Det første modelbruger B lægger mærke til på en hjemmeside er eksempelvis overskrifterne, der er her tale om den indledende opmærksomhed. Hvis overskrifterne er underlige eller indeholder stavefejl, er der risiko for at modelbruger B klikker væk fra hjemmesiden. Er det derimod iorden, er der stor sansynlighed for at modebruger B begynder at forholde sig til de visuelle elementer. De visuelle elementer har sjældent betydning for om modelbruger B forbliver på hjemmesiden eller klikker væk, det er indholdet der er relevant.

Metodetriangulering Hvad er metodetriangulering?   "En måte å styrke validiteten i et prospekt på er metodetriangluering. Metodisk triangulering betyr å kompensere for svakheter ved én metode ved å bruke også andre metodiske tilnærminger.......Slik triangulering kan innebære at en bruker både kvalitative og kvantitative metoder..., eller at en bruker flere ulike kvantitative eller kvalitative metoder for å analysere en problemstilling." (Helge Østbye m.fl. (1997): "Metodebok for mediefag", s. 101)

Hvad kan metodetriangulering? Støtte validiteten (gyldighed - måler man det man vil måle) af undersøgelsen Dette kan også bruges til at vurdere, validiteten af de involverede undersøgelser. Levere viden, som det kvalitative interview er dårligt til f.eks. antal brugere, uddannelse, køn, etc Åbne øjnene for nye aspekter - f.eks. hvem der er de primære brugere af en hjemmeside Sikkertrafik.dk - bekymrede mødre og mandlige trailerentusiaster   Forbehold Men dette forudsætter, at alle involverede metoder (delundersøgelser) er valide

Kritik af metodetriangulering Kim Schrøder kritik: For at sige, at hvis resultaterne fra de anvendte metoder understøtter hinanden er det fint. Hvis ikke behøver, det ikke være et problem, men tegn på mangfoldighed.   Kim Schrøder mener at: ”Måske skulle vi med en anden metafor hellere se de forskellige metoder som forskellige optiske linser, hvor man jo forventer, at man ser noget forskelligt igennem dem?" (Kim Schrøder: "Pionerdagene er forbi, hvor går receptionsforskningen hen", s. 13.)

Former for metodetriangulering, 1 Bente Halkier beskriver 3 årsager til at foretage metodetriangulering:   1) For at forbedre metoderne gensidigt Ved at bruge den ene metode f.eks. fokusgruppeinterview som pilotmetode for at udvikle et større spørgeskema. 2) Som opfølgning efter hinanden for at opnå yderligere relevant information Ex. hvis individuelle interview viser, at den sociale interaktion er vigtig, så kan der følges op med fokusgruppeinterview – og omvendt.

Former for metodetriangulering, 2 3) Som ligestillede former for empiri Ex. både at bruge individuelle interview og fokusgrupper for at opnå forskellige perspektiver. (Halkier (2002): ”Fokusgrupper”, s. 18-23) Hvis I anvender metodetriangulering, så tænk over: Hvorfor er det en væsentligt eller en udbytterig fremgangsmåde til jeres formål?

Tendenser Flere fokusgrupper med mange deltagere Give mulighed for at lave mange modelbrugere Være up-front overfor de kvantitative undersøgelser Men det handler om hvad man vil undersøge og hvor komplekst det er

Slut for i dag

Lene Nielsens modelbruger ”Fordi modelbrugeren er hovedperson i scenariets fortælling, har modelbrugeren en række karakteristika, ligesom alle hovedpersoner i fortællinger har det.” (Lene Nielsen 2002: 6) Et dramatisk ønske: det som hun ønsker at opnå gennem handlingen. Et point of view: den måde hun oplever verden på. En forandring/forvandling: det der sker med hende undervejs i fortællingen. En holdning: den holdning hun har.

Idealtyper Om dette siger Bente Halkier: " Disse idealtyper fungerer som en slags kondensering af et kompleks af viden om typiske sociokulturelle relationer på området for fokusgrupperne. Det være sig relationer for betydninger, relationer for betydningsdannelser og relationer for normer - eller hvad projektet nu koncentrerer sin vidensproduktion om." (Bente Halkier (2002): "Fokusgrupper" s. 113-114)

Slut

Sammenhæng ”Med traditionel metodisk sprogbrug skal man altså sikre sig, at man laver nogle fornuftige operationaliseringer af de vidensinteresser, som kan udmøntes fra problemstillingen i projektet, og som er i vis samklang med det empiriske felt. Både når det gælder udvælgelse, spørgeguide, moderation, analyse og fortolkning. Derfor handler validitet også om, at de anvendte begreber og kategorier hænger sammen med projektets vidensinteresse.” (Halkier 2002, 110)

3 former for validitet, 1 Kvale definere 3 former for validitet: Validitet som håndværksmæssig kvalitet Hovedtanke: kvaliteten af fremgangsmåden er en validering i sig selv. At validerer er: - at kontrollere - at spørge (selvkritisk/djævlens advokat) - at teoretisere (anvendelse af teori til forståelse)

3 former for validitet, 2 At validerer bliver at dokumentere: 2. Validering som kommunikation Hovedtanke: Viden udvikles i dialog mellem involverede parter som begge lærer og forandrer sig. At validerer er, at spørge og svare på: - Hvordan kommunikation – f.eks. i en retssal eller i en eksamenssituation - Hvorfor kommunikation - Med hvem kommunikation 3. Pragmatisk validitet/Validitet som handling At validerer bliver at dokumentere: - Hvordan det er relevant - For hvem det er relevant - Hvor det er relevant - Hvorfor det er relevant

Variablenes måleniveau, 1 Variable har forskelligt måleniveau. Nogle variables værdi får vi som et tal, andre som angivelse af ex. køn. Dette har betydning for, hvilke beregninger vi kan foretage udfra variablenes værdier.   Der er 4 kriterier for variablenes måleniveau: 1) Fastslå lighed og ulighed (=, ) Her bruges variablens værdi til at skelne imellem lighed og ulighed blandt enhederne. Ex. ’brugere’ og ’ikke-brugere’ af IP-telefoni.

Variablenes måleniveau, 2 2) Rangordning af enheder eller værdier (<,>) Med variablen ’uddannelsesniveau’, kan man ligeledes fastslå lighed og ulighed. Ydermere kan man rangordne efter ’kortere’ og ’længere’ uddannelse.   3) Reelle intervaller imellem værdierne (+, -) Når man har reelle intervaller imellem værdierne, altså ex. forskel på hvor hyppigt, man besøger netdoktor kan man begynde at lave statistik og beregne gennemsnit. 4) Absolut nulpunkt (x, :) Ex. alder i modsætning til år 0, der er valgt. (Østbye, Helge et al.: ”Metodebok for mediefag”, s. 140-142)