Validitet og reliabilitet(gyldighed og pålidelighed) 26.04.11 11. Kursusgang Validitet og reliabilitet(gyldighed og pålidelighed) 26.04.11

Opgave til næste gang Deadline er fredag d.29.04.11 kl. 16. Send til: Dem der har lavet deres interviews: Overvejelser og evt. eksempler på analyse af jeres empiri og brug af teori i den forbindelse. Overvejelser om validitet og reliabilitet i jeres opgave – husk det både drejer sig om selve jeres interview og hvordan jeres opgave hænger sammen fra A til Z Dem der endnu ikke har lavet interviews: Spørgeguide og oplæg for afholdelse af interview/anden indsamling af data Deadline er fredag d.29.04.11 kl. 16. Send til: Paul@media4masses.dk og prm@itu.dk

Kvales syv stadier Tematisering Design Interview Transskribering Analyse Validering Rapportering

Er noget objektivt? ” I virkeligheden er alle rådata kvalitative af natur. Nogle af disse data har vi valgt at kategorisere og tælle op i antal, symboliseret ved arabiske tegn, som vi kalder tal. Men det bliver de jo ikke mere objektive af” Ib Andersen i ”Den skinbarlige virkelighed”

Validitet og reliabilitet De kvalitative kriterier De kvantitative kriterier

Metodekravene Lund, Anker Brink (1986): Habermass i hovedet og Gallup på papiret, s.

Kvalitativ validitet Validitet (gyldighed) "Validitet handler om at sikre sig, at man konkret undersøger det, som man sætter sig for at undersøge." (Bente Halkier 2001: "Fokusgrupper, s.109)   Har man undersøgt det, man skal undersøge? Ydre validitet (autencitet og dybde) Indre validitet (konsensus)

Validitet i praksis Lav et systematisk stykke håndværk Gør det gennemskueligt for andre Fremlæg præmisserne for din bearbejdning Argumenter for dine resultater

Styrk validiteten ved Metodetriangulering At have nogle fornuftige udvælgelseskriterier "Når samfundsforskere nævner tre ting, der har betydning for validiteten burde de sige systematik, systematik, systematik" Bente Halkier 2001: "Fokusgrupper, s.113

Kvalitativ reliabilitet Reliabilitet (pålidelighed) Har man målt rigtigt? "I dag handler reliabilitet om at gøre sine måder at producere og bearbejde data eksplicitte og gennemskuelige for andre, så andre kan vurdere, om der er lavet et ordentligt stykke håndværk." (Bente Halkier 2001: "Fokusgrupper, s.111) Intersubjektivitet

Kriterier fra den kvantitative metode Objektivitet Kan tilstræbes – men kan vi nogensinde ikke være subjekter? Det væsentlige kriterium er intersubjektivitet, både i forhold til de interviewede og de andre forskere   Repræsentativitet Næsten uladsiggørlig, forbeholdt den kvantitative metode, men interviewede man alle kirkegængere i Lumsås kirke eller medlemmer af et community så er man tæt på.

Tendenser – flere fokusgrupper Give mulighed for at lave mange modelbrugere Være up-front overfor de kvantitative undersøgelser Men det handler om hvad man vil undersøge og hvor komplekst det er

Lidt historie Kilde: http://www. clbs. dk/userfiles/pdf/metoder_opslag

Formålet med kvantitative undersøgelser ”Formålet med kvantitative stikprøve-undersøgelser er at finde mønstre i mangfoldigheden. Disse undersøgelser fokuserer på et mindre antal kendetegn hos mange respondenter, hvor den kvalitative undersøgelse fokuserer på et større antal kendetegn hos få undersøgte enheder.” Sepstrup, Preben (2002): ”En undersøgelse viser…”, s. 19

Måle og veje Den kvantitative metode antager, at de undersøgte forhold kan måles og værdisættes eks:   Hvor hyppigt taler du i mobiltelefon? Hvor vigtig er din mobiltelefon for dig på en skala fra 1-5? Kan man så det?

Styrke og svagheder Metodens styrke Metodens svaghed Klarhed Overblik Tal (– en undersøgelse viser…) (Anerkendelse)   Metodens svaghed Reduceret forståelse Minus nuancer Minus dybde

Population og delmængder  2 typer af stikprøver: 1) Repræsentative stikprøver 2) Ikke-repræsentative stikprøver Hvis det er for omkostningsfuldt at spørge hele populationen, kan man lave en stikprøveundersøgelse - en delmængde. Husk at have nogle kriterier for udvælgelsen eller vurderingen af en stikprøve Helge Østbye et al.: Metodebok for mediefag, Bergen-Sandviken, 1997

Validitet og repræsentativitet Den gruppe, man spørger, skal repræsentere den gruppe, man vil vide noget om Validitet: Kan man tro på svarene? Forstås de rigtigt og ens – eks. ”bjørnetjeneste” Et eksempel Hvad synes du om hjemmehjælpen: Spørger man på biblioteket, er det de stærke ældre, der svarer. Sender man skemaet ud til pensionisterne i kommunen, er det måske dem, der har behov eller er utilfredse, der svarer.

Udvælgelse af svarpersoner Systematisk udvælgelse F.eks. hver tiende husstand eller computergeneret), CPR-numre (koster penge), medlemslister (eks. hver femte), Nørreport (hver tiende person der går forbi), arbejde etc. Klyngeudvælgelse Populationen opdeles i delgrupper – klynger, der er repræsentative. Det kunne være alle 8. klasser i Nordjyllands amt.

Stikprøvens størrelse Gallup bruger 1000 enheder til at sige noget om den danske befolkning, men ofte er 500 nok I USA bruger de 2000 enheder(måske!) Tommelfingerregel = ikke færre end 100 enheder

Konstruktion af strukturerede spørgeskemaer Vær klar over formålet; hvad skal det bruges til?   Begrænsningerne: Hvad kan man ikke forvente at få besvaret ved denne metode? Spørgeskemaerne kan være åbne, lukkede, semilukkede. Med efterfølgende konsekvenser for bearbejdningen.

Kvantitativ reliabilitet Reliabilitet er spørgsmålet om målingens kvalitet. Man kan vurdere reliabiliteten i forhold til følgende potentielle fejlkilder: Subjekt-reliabiliteten: karakteristika hos respondenten under undersøgelsen, humør, tid... Observatør-reliabilitet: fortolkning eller påvirkning af respondentens svar fra interviewerens side. Instrument-reliabilitet: ex. var spørgsmålene klare for alle? Situationsreliabilitet: omgivelsernes påvirkning i indsamlingssituationen f.eks manglende briller eller link til spørgeskema i bunden af en mail (DDA-nyt (1983):15-16)

Hvad er metodetriangulering   "En måte å styrke validiteten i et prospekt på er metodetriangluering. Metodisk triangulering betyr å kompensere for svakheter ved én metode ved å bruke også andre metodiske tilnærminger.......Slik triangulering kan innebære at en bruker både kvalitative og kvantitative metoder..., eller at en bruker flere ulike kvantitative eller kvalitative metoder for å analysere en problemstilling.” Helge Østbye m.fl. (1997): "Metodebok for mediefag", s. 101

Hvad kan metodetriangulering? Støtte validiteten (gyldighed - måler man det man vil måle) af undersøgelsen Dette kan også bruges til at vurdere, validiteten af de involverede undersøgelser. Levere viden, som det kvalitative interview er dårligt til f.eks. antal brugere, uddannelse, køn, etc Åbne øjnene for nye aspekter - f.eks. hvem der er de primære brugere af en hjemmeside Sikkertrafik.dk - bekymrede mødre og mandlige trailerentusiaster   Forbehold Men dette forudsætter, at alle involverede metoder (delundersøgelser) er valide

Former for metodetriangulering, 1 Bente Halkier beskriver tre årsager til at lave metodetriangulering:   1) For at forbedre metoderne gensidigt Ved at bruge den ene metode f.eks. fokusgruppeinterview som pilotmetode for at udvikle et større spørgeskema. 2) Som opfølgning efter hinanden for at opnå yderligere relevant information Ex. hvis individuelle interview viser, at den sociale interaktion er vigtig, så kan der følges op med fokusgruppeinterview – og omvendt.

Former for metodetriangulering, 2 3) Som ligestillede former for empiri Ex. både at bruge individuelle interview og fokusgrupper for at opnå forskellige perspektiver. (Halkier (2002): ”Fokusgrupper”, s. 18-23) Hvis I bruger metodetriangulering, så tænk over: Hvorfor er det en væsentligt eller en udbytterig fremgangsmåde til jeres formål?

Kritik af metodetriangulering Kim Schrøder kritik: For at sige, at hvis resultaterne fra de anvendte metoder understøtter hinanden er det fint. Hvis ikke behøver, det ikke være et problem, men tegn på mangfoldighed.   Kim Schrøder mener at: ”Måske skulle vi med en anden metafor hellere se de forskellige metoder som forskellige optiske linser, hvor man jo forventer, at man ser noget forskelligt igennem dem?" Kim Schrøder: "Pionerdagene er forbi, hvor går receptionsforskningen hen", s. 13.

Slut for i dag Bonus info: www.statistikbank.dk www.matematiksider.dk/statistik1.html

Kan man generalisere? Det store spørgsmål er om man kan bruge resultaterne fra f.eks. fokusgrupper til at sige noget generelt om en større gruppe?

Generaliserbarhed Hvorledes kan kvalitative resultater generaliseres ?   Statistisk generaliserbarhed Hvor man ønsker at generalisere fra en udvalgt stikprøve til befolkningen som helhed. Dette kan lade sig gøre, hvis stikprøven er udvalgt tilfældig, og er repræsentativ. Analytisk generaliserbarhed Hvor man ønsker at generalisere fra et udvalg til nogle idealtyper, ex. forskellige brugerprofiler eller personaer. For at sige, hvorledes lignende situationer eller målgrupper kunne tænkes at se ud eller opføre sig. (Halkier 2002: 113)

Idealtyper – hvad er essensen Fremhæver eller tydeliggøre det vigtige for et område Nedtoner det der ikke har så stor betydning En idealtype er ikke en rigtig person

Bentes idealtyper Bente opstiller 3 forskellige idealtyper for måder at håndtere risiko på:   Bekymret risikohåndtering Irriteret risikohåndtering Pragmatisk risikohåndtering (Bente Halkier (2002): "Fokusgrupper" s. 114) I hendes nye projekt er der seks forskellige måder at håndtere madlavning på f.eks.: Madlavning som nødvendighed

Kim Schrøders idealtyper Kim Schrøder opstiller ud fra forskning i folks reception af reklamer, disse 3 idealtypiske reaktioner på reklamer: Kim Schrøder:Pionerdagene er forbi – hvor går receptionsforskningen hen?

Generaliseringsmål I følge Kvale kan man tale om tre mål med at foretage generaliseringer. Ønsket om at studere:   Hvordan det er: dvs. forsøge at fastslå det typiske, det almindelige, det sædvanlige. Hvad der er muligt: ex. undersøge skoler der er på forkant med integration af IT i undervisningen, for at finde ud af, hvordan folkeskolen kan blive bedre til at integrere IT i undervisningen. Hvordan det kunne blive: ex. undersøge situationer, der er ideelle eller exceptionelle, for at se, hvad der foregår der.

Personaer/modelbrugere Nogle grupper ønsker afslutningsvist at opstille en eller flere personaer eller modelbrugere. Ex. Havde en rapport om skoleelver tre drengeprofiler, de fremlagde (frit fra hukommelsen): Jesper: den typiske, sociale, aktive fodbolddreng, med mange venner... Mikael: der var til rollespil, lidt en enspænder.... Ali: indvandrerdreng, der ...

2 intranetpersonaer, Margit En målgruppeanalyse til et intranet på et hospital resulterede i 2 personaer: Livssituation: Margit Hansen er 38 år og bor i Brønshøj med sin mand Preben og sine to døtre. Hun er sygeplejerske og mellemleder på børneafdelingen på xx Hospital.... Arbejdsmæssigt: Interessen for at arbejde med mennesker har Margit haft så længe... Faglig interesse: Margit har en stærk faglig interesse og læser næsten altid sit fagblad ”Sygeplejersken”... Intranettet: Intranettet er det sted, Margit henter hovedparten af sine oplysninger om hospitalet, og... (Positiv)

2 intranetpersonaer, Hanne Livssituation: Husassistenten Hanne er mellemleder i rengøringen på xx hospital. Hun er ryger, 49 år og har sammen med sin mand Steen, der er tømrer, sønnen Claus.... Arbejdsmæssigt: Hun har lige fejret sit 20 års jubilæum. Faglig interesse: Hanne er ufaglært, men hun har flere gange benyttet sig af kursustilbud fra sin fagforening,... Intranettet: Hun bruger intranettet jævnligt, og sætter pris på at hun derigennem kan få informationerne hurtigt, men hun syntes at computere er lidt og upersonlige og foretrækker at snakke med sine kollegaer ansigt til ansigt....(Mere skeptisk. det er ok men synes det kan være en besværlig ekstra kanal)

2 modelbrugere til psykologhjemmeside Modelbruger A: er meget visuelt orienteret. Hvis en hjemmeside skal opleve at få modelbruger A’s indledende opmærksomhed, skal hjemmesiden være visuelt velfungerende. Hænger hjemmesidens layout ikke sammen med emnet, kan det let resultere i, at modelbruger A klikker væk. For at modelbruger A bliver på hjemmesiden og fortsat er opmærksom, kræver det at tekst og elementer er sat hensigtsmæssigt op. Tekslinier må ikke være for lange og linieafstanden ikke for lille, er dette ikke i orden er der atter risiko for at modelbruger A klikker væk. Det er ofte først herefter at modelbruger A forholder sig til selve indholdet på hjemmesiden.

Modelbruger B Modelbruger B: er meget indholdsorienteret. Det første modelbruger B lægger mærke til på en hjemmeside er eksempelvis overskrifterne, der er her tale om den indledende opmærksomhed. Hvis overskrifterne er underlige eller indeholder stavefejl, er der risiko for at modelbruger B klikker væk fra hjemmesiden. Er det derimod iorden, er der stor sansynlighed for at modebruger B begynder at forholde sig til de visuelle elementer. De visuelle elementer har sjældent betydning for om modelbruger B forbliver på hjemmesiden eller klikker væk, det er indholdet der er relevant.

Lene Nielsens modelbruger ”Fordi modelbrugeren er hovedperson i scenariets fortælling, har modelbrugeren en række karakteristika, ligesom alle hovedpersoner i fortællinger har det.” (Lene Nielsen 2002: 6) Et dramatisk ønske: det som hun ønsker at opnå gennem handlingen. Et point of view: den måde hun oplever verden på. En forandring/forvandling: det der sker med hende undervejs i fortællingen. En holdning: den holdning hun har.

Idealtyper Om dette siger Bente Halkier: " Disse idealtyper fungerer som en slags kondensering af et kompleks af viden om typiske sociokulturelle relationer på området for fokusgrupperne. Det være sig relationer for betydninger, relationer for betydningsdannelser og relationer for normer - eller hvad projektet nu koncentrerer sin vidensproduktion om." (Bente Halkier (2002): "Fokusgrupper" s. 113-114)

Slut

Sammenhæng ”Med traditionel metodisk sprogbrug skal man altså sikre sig, at man laver nogle fornuftige operationaliseringer af de vidensinteresser, som kan udmøntes fra problemstillingen i projektet, og som er i vis samklang med det empiriske felt. Både når det gælder udvælgelse, spørgeguide, moderation, analyse og fortolkning. Derfor handler validitet også om, at de anvendte begreber og kategorier hænger sammen med projektets vidensinteresse.” (Halkier 2002, 110)

3 former for validitet, 1 Kvale definere 3 former for validitet: Validitet som håndværksmæssig kvalitet Hovedtanke: kvaliteten af fremgangsmåden er en validering i sig selv. At validerer er: - at kontrollere - at spørge (selvkritisk/djævlens advokat) - at teoretisere (anvendelse af teori til forståelse)

3 former for validitet, 2 At validerer bliver at dokumentere: 2. Validering som kommunikation Hovedtanke: Viden udvikles i dialog mellem involverede parter som begge lærer og forandrer sig. At validerer er, at spørge og svare på: - Hvordan kommunikation – f.eks. i en retssal eller i en eksamenssituation - Hvorfor kommunikation - Med hvem kommunikation 3. Pragmatisk validitet/Validitet som handling At validerer bliver at dokumentere: - Hvordan det er relevant - For hvem det er relevant - Hvor det er relevant - Hvorfor det er relevant

Variablenes måleniveau, 1 Variable har forskelligt måleniveau. Nogle variables værdi får vi som et tal, andre som angivelse af ex. køn. Dette har betydning for, hvilke beregninger vi kan foretage udfra variablenes værdier.   Der er 4 kriterier for variablenes måleniveau: 1) Fastslå lighed og ulighed (=, ) Her bruges variablens værdi til at skelne imellem lighed og ulighed blandt enhederne. Ex. ’brugere’ og ’ikke-brugere’ af IP-telefoni.

Variablenes måleniveau, 2 2) Rangordning af enheder eller værdier (<,>) Med variablen ’uddannelsesniveau’, kan man ligeledes fastslå lighed og ulighed. Ydermere kan man rangordne efter ’kortere’ og ’længere’ uddannelse.   3) Reelle intervaller imellem værdierne (+, -) Når man har reelle intervaller imellem værdierne, altså ex. forskel på hvor hyppigt, man besøger netdoktor kan man begynde at lave statistik og beregne gennemsnit. 4) Absolut nulpunkt (x, :) Ex. alder i modsætning til år 0, der er valgt. (Østbye, Helge et al.: ”Metodebok for mediefag”, s. 140-142)