7. kursusgang Kvantitative metoder

Seneste nyt på websitet Tidligere målgruppeanalyse rapport med børn i målgruppen Oversigt over 1. midtvejsevaluering Slides om problemformulering Artikler om skriveprocesser Eksempel på en fokusgrupperapport Slides gang 6.

På programmet Eksamensnyt Midtvejsevaluering Metodetriangulering Kort introduktion til Kvantitative metoder Hvad kan man bruge kvantitative metoder til? Repræsentative stikprøver Ikke-repræsentative stikprøver Netanalyser Metodekrav Konstruktion af strukturerede spørgeskemaer

Miniprojektet - status Red arrow of Doom!

Opgave til 1. midtvejsevaluering, 1 Midtvejsevaluering i uge 9! Hver gruppe skal aflevere en opgave på ca. 10 sider, om planlægningen af jeres målgruppeanalyse. Jeg vil foreslå følgende struktur:   1-2 sider med valg af case/beskrivelse af opgave, undersøgelsens formål, problemformulering, kommunikationsprodukt og evt. afsender, samt jeres motivation for at lave undersøgelsen. 2-3 sider om jeres overordnede tilgang til undersøgelsen. Hvilke kommunikationsteorier vælger I at anvende, hvad er jeres undersøgelsesdesign – og hvorfor?

Opgave til 1. Midtvejsevaluering, 2 2-3 sider med begrundelse for jeres udformning af spørge- skema eller interviewguide. Hvad er det for en viden, I gerne vil opnå? Hvilke typer af spørgsmål stiller I? Og hvordan får I operationaliseret teorien i undersøgelsen?   1 side med begrundede spørgsmål, som I gerne vil have feedback på til midtvejsevalueringen. Vedlæg interviewguide og/eller spørgeskema i bilag

Opgave til 1. Midtvejsevaluering, 3 OVERSIGT over afleveringskrav til 1. midtvejsevaluering på websitet! Afleveres til Anders hin Onde og opponentgruppen senest 17.3 kl. 10.00 (dvs. i uge 8)

Opgave til næste gang (obligatorisk) Konstruere undersøgelsesdesign til miniprojekt Hvem skal I interviewe? (hvorfor?) Hvad er jeres forskningsspørgsmål? Hvor mange interview? Vil I supplere med andre metoder? Hvis I vælger at triangulere med kvantitative metoder Hvad er så formålet? Hvilket viden vil I opnå herved? Vælger I repræsentative/ikke-repræsentative stikprøver, og hvorledes udvælgelse? Hvilken teori vil I anvende og hvorledes inddrages det i undersøgelsen? Problemformulering + formål (igen! Har ikke fået noget færdigt fra nogen af grupperne ) Har I nogle vejledningsspørgsmål? Deadline er tirsdag d. 11. 03 kl.10 sharp, anty@itu.dk.

Metodetriangulering Hvad er metodetriangulering? En måde at styrke validiteten i et projekt At kompensere for svagheder i een metode ved at bruge andre metoder til at samle data om samme problemstilling   For eksempel: Kvantitative metoder med kvalitative, eller flere forskellige kvantitative/kvalitative metoder for at analysere en problemstilling

Hvad kan metodetriangulering? Støtte validiteten af undersøgelsen Måler vi det vi antages at måle? Dette kan også bruges til at vurdere, validiteten af de involverede undersøgelser. Levere viden, som det kvalitative interview er dårligt til Åbne øjnene for nye aspekter   Forbehold: Dette forudsætter, at alle involverede metoder (delundersøgelser) er valide

Kritik af metodetriangulering Man skal være forsigtig med at bruge forskellige typer data til at understøtte hinanden Forskellige metoder har forskellige bias, formodninger o.s.v. Forskellige metoder er som linser, man ser et objekt igennem. Hver forvrænger billedet på en eller anden måde, men forskelligt  

Former for metodetriangulering, 1 3 årsager til at foretage metodetriangulering:   1) For at forbedre metoderne gensidigt Ved at bruge den ene metode ex. fokusgruppeinterview som pilotmetode for at udvikle et større spørgeskema. 2) Som opfølgning efter hinanden for at opnå yderligere relevant information Ex. hvis individuelle interview viser, at den sociale interaktion er vigtig, så kan der følges op med fokusgruppeinterview – og omvendt.

Former for metodetriangulering, 2 3) Som ligestillede former for empiri Ex. både at bruge individuelle interview og fokusgrupper for at opnå forskellige perspektiver. (Halkier (2002): ”Fokusgrupper”, s. 18-23) Ikke så forskellige fra 2, det er mere, hvad intentionen er fra starten. Hvis I anvender metodetriangulering, så tænk over: Hvorfor er det en væsentligt eller en udbytterig fremgangsmåde til jeres formål? Skriv dette ind i metodeovervejelser i rapporten!

Triangulering med kvalitative og kvantitative metoder For at sikre repræsentativitet Få forskellige ”linser” på problemstillingen For at øge mængden af indsamlede data For at kunne krydskorrelere resultater Til respondentudvælgelse

Formålet med kvantitative undersøgelser ”Formålet med kvantitative stikprøve-undersøgelser er at finde mønstre i mangfoldigheden. Disse undersøgelser fokuserer på et mindre antal kendetegn hos mange respondenter, hvor den kvalitative undersøgelse fokuserer på et større antal kendetegn hos få undersøgte enheder.” (Sepstrup, Preben(2002): ”En undersøgelse viser…”, s. 19)

Forudsætninger for metoden Den kvantitative metode antager, at de undersøgte forhold kan måles og værdisættes, ex:   Hvor hyppigt taler du i mobiltelefon? Hvor vigtig er din mobiltelefon for dig på en skala fra 1-5? Altså: numeriske data

Metodens styrke/svaghed Klarhed Overblik Tal (der kan sammenlignes med andre tal) (Anerkendelse)   Metodens svaghed Reduceret forståelse af problemstillingens bredde Minus nuancer Minus dybde

Metodens styrke/svaghed God til at danne overblik og få detaljer, men ikke god til at finde ud af nuancerne i folks væremåder Generelt: God til at fortælle HVAD folk gør, men ikke HVORFOR

Fornuftig anvendelse Advarsel: ”Varsomhed ved omgang med tal!” Husk at tal kan bruges og misbruges! Vær klar over de bias der ligger bag tal (e.g. ledende spørgsmål, stikprøver o.s.v.) Hvilket er enormt sjovt men også lidt farligt ... har man gjort det een gang er det nemt at gøre det igen

Hvad kan man bruge kvantitative metoder til? Kvantitative undersøgelser for kommunikation Måle tendenser? Generalisere Prognoser Triangulering Få et fingerpeg, en stikprøve Udvælgelse af interviewpersoner

Stikprøveundersøgelser Hvis det er for omkostningsfuldt at spørge hele populationen, kan man lave en stikprøveundersøgelse – det er det som regel. Estimerer karakteristika ved en fastlagt gruppe af personer (en population) Mål: med hvilken grad af statistisk sandsynlighed forekommer fænomen X i en population?  

Stikprøveundersøgelser 2 typer af stikprøver: 1) Repræsentative stikprøver Sandsynlighedsbaseret udvælgelse (tilfældig) Kendt sansyndlighed for at det enkelte medlem af populationen indgår i stikprøven Uafhængighed af observatøren Kan beregne resultaternes pålidelighed of reliabilitet 2) Ikke-repræsentative stikprøver Ikke-vilkårlig udvælgelse af stikprøven Bevidst udvælgelse (meget, meget normalt)

Vidensproduktion Vidensproduktionen via Induktion   • Man ønsker at generalisere fra en stikprøve til hele populationen. • Dette kan kun lade sig gøre, hvis stikprøven er repræsentativ.

Population ”En undersøgelses population er de personer, husholdninger, virksomheder eller organisationer, undersøgelsen skal omfatte …. Formålet med at afgrænse en population er at sikre, at man får information om alle enheder, der er omfattet af undersøgelsens problemstilling og kun om disse.” (Sepstrup, Preben(2002): ”En undersøgelse viser…”, s. 29)   Begrebet population er ikke så entydigt - ex. ”Københavner”, ”Dansker”, ”Gamer”, ”Kvinde”

Enheder? Analyseenheder De enheder der skal indsamles data fra. Det er vigtigt, at der er fuld overensstemmelse imellem population og analyseenhed. Ex. private brugere af ZOOMobil: forældre/familie + pædagoger.   Udvalgsenheder F.eks. husholdning – analysehed: Vaskeansvarlige. Kan give fejlkilder, ex. den ældste i hustanden

Enheder? Liste over populationen En repræsentativ stikprøve kræver en liste over populationen: Stikprøverammen F.eks. Abonnenter på et medlemsblad Stikprøverammen må ikke give årsag til systematiske fejl (telefonbøger uden mobilnumre)

Valg af stikprøve Udvalgsmetode bestemmer om prøven er repræsentativ og tilfældigt udvalg Kræver samme udvalgssandsynlighed for alle i popul. Alle karakteristika ved personer i stikprøven skal være fordelt som i populationen Lille mulighed for at enhver lodtrækning giver en skæv slice af populationen – men variationerne ligger om en forventet værdi, og er tilfældig, så vi kan lave statistisk på resultaterne (hurra!)

Valg af stikprøve Simpel tilfældig udvælgelse Systematisk udvælgelse (ex. hver 10’ende på listen)   Stratificeret udvælgelse Opdeling i strata, når man ved en variabel er tilknyttet det man ønsker undersøgt Variablen bruges som basis for udvælgelse af stikprøven Tilfældigt vælger respondenter indenfor hver gruppe i et antal der modsvarer gruppens andel af populationen Sikrer alle delgrupper er medtaget i stikprøven

Valg af stikprøve Klyngeudvælgelse Populationen opdeles i delgrupper – klynger, der er repræsentative. Alle i en valgt klynge indgår i stikprøven Ex. alle elever i X antal 8. klasser i Nordjyllands amt. Klynger afgrænses så omkostninger ved dataindsamling mindskes

Variable De forhold der skal undersøges i en stikprøveundersøgelse En egenskab som kan antage forskellige værdier Kan være afhængige eller uafhængige

2 slags variable Afhængige variable De fænomener eller forhold, der ønskes beskrevet eller forklaret, ex. nyhedslæsning på nettet.   Uafhængige variable De forhold der antages at påvirke eller forklare forskelle og værdi af de afhængige variabler, ex. uddannelse, job, bopæl, IT-brug…(køn?) Jo flere variable, jo længere bliver spørgeskemaet, og jo mere tid tager det at bearbejde det i den sidste ende.

Definition af variable, 1 Variable kan defineres på 4 niveauer:   1) Egenskab Hvilken egenskab har variablen? Minder om begrebet forskningsspørgsmål. Ex. Kompatibilitet 2) Dimensioner Hvilke dimensioner har egenskaben – ”kompatibilitet” - altså hvilke parametre skal man undersøge for at kunne vurdere kompatibiliteten? Ex. IT-kompetencer, filmvaner, økonomi…

Definition af variable, 2 3) Indikatorer Hvilke indikatorer er der for dimensionen IT-kompetencer? Hvilke variable kan siges at repræsentere dimensionen IT-kompetencer? Ex. Selvsegmentering (rutineret, urutineret), PC-kørekort, E-handel…   4) Operationalisering Er de egentlige spørgsmål i spørgeskemaet. Der kan godt være flere spørgsmål til hver indikator.  (Hellevik, Ottar(1977): Forskningsmetode i sosiologi og statsvitenskab, s. 141)

Lipsets figur

Øvelse Definer jeres variable - gruppevis   Hvis I vil lave en kvantitativ undersøgelse, så brug den i forhold til den, og ellers i forhold til jeres kvalitative undersøgelse. Tag udgangspunkt i ovenstående 4-punktsinddeling: Fastlæg hvilke egenskaber I ønsker at få undersøgt? Hvilke dimensioner har de? Hvilke indikatorer er der på dimensionerne? Lav evt. nogle spørgsmålsformuleringer.

Repræsentative stikprøver Når man kender populationen, kan man lave repræsentative stikprøver:   ”..en sandsynlighedsbaseret stikprøve, der defineres som en tilfældig udvalgt stikprøve med en kendt sansynlighed for, at det enkelte medlem af populationen indgår i stikprøven.” (Sepstrup, Preben(2002): ”En undersøgelse viser…”, s. 26) Kendetegn Kendt sandsynlighed

Stikprøvens størrelse Gallup bruger 1000 enheder til at sige noget om den danske befolkning. I USA bruger de 2000 enheder. Tommelfingerregel = ikke færre end 100 enheder. (Sepstrup, Preben(2002): ”En undersøgelse viser…”, s. 39) Men ved 30 enheder approximerer udvælgelsen til normalfordeling. Dette er vedtaget rent statistisk. Så minimum 30 af hver. Det er ikke det samme som repræsentativitet

4 forhold ved stikprøvens størrelse 4 forhold at være opmærksom på, når man skal afgøre stikprøvens størrelse: Nedbrydning af resultaterne Populationens homogenitet Reliabiliteten (kvalitet af undersøgelsen) Omkostningerne

Fejlkilder Statistiske fejl Systematiske fejl: statistisk sandsynlighed Systematiske fejl:  Udvalgsfejl: fejl i def. af populationen, stikprøve, stikprøveramme Interviewfejl: fejl i dataindsamling grundet spørgsmål og formidling

Fejlkilder Frafald: Når der ikke opnås kontakt med alle respondenter i stikprøven. Sker altid. Kan både være spørgsmål og respondenter Påvirker undersøgelsens validtitet – kan skabe systematiske fejl Generelt skal der være 2* stikprøvens størrelse Frafaldsfejl kan IKKE imødegås med at lave en ny undersøgelse – det er så en ANDEN stikprøve

Vejning Resultater kan vejes i forhold til en uafhængig variabel Kræver viden om den undersøgte population F.eks. Køn: 49% mænd, 51% kvinder Svar vægtes tilsvarende: 1.05 og 0.95 (hvis relevant)

Ikke-repræsentative stikprøver Når man ikke kender populationen, ex. Skypes brugere, må man nøjes med at lave ikke-repræsentative stikprøver:   ”Den ikke-repræsentative stikprøve er defineret ved, at udvælgelsen ikke er tilfældig, og at sandsynligheden for, at et medlem af populationen udvælges, ikke kendes.” (Sepstrup, Preben(2002): ”En undersøgelse viser…”, s. 27)  Kendetegn minus tilfældig distribution minus kendt sandsynlighed for udvælgelse

Kritik Pas på med, hvad I anvender en ikke-repræsentativ stikprøve til. Den siger ikke nødvendigvis særlig meget om populationen eller virkeligheden.   Anvendelse ”Fremgangsmåden kan være nyttig, hvis det f.eks. ikke er muligt at sammensætte en repræsentativ stikprøve – f.eks. af udstationerede soldater der har erfaring med bordelbesøg under udstationeringen.” (Sepstrup, Preben(2002): ”En undersøgelse viser…”, s. 56)

Bevidst udvælgelse, 1 I ikke-repræsentative stikprøver må man ty til bevidst udvælgelse. Der er 4 former:   Sneboldsudvælgelse Beder respondenter om at finde flere respondenter 2) Bekvemmlighedsudvælgelse Hvis man skal have informationen hurtigt eller let tilgængeligt, ex. andre studerende, eller de første 100 der besvarer en tilsendt e-mail.

Bevidst udvælgelse, 2 3) Selvudvælgelse Meget brugt ved netanalyser. Svaghed: Hvorfor ønsker de at deltage? Hvem gør ikke?   4) Kvoteudvælgelse Bevidst valg af analyseenheder udfra retningslinier, der sikrer, at kvoten er sammensat som populationen i én eller flere dimensioner. Kun repræsentativ forstået som ”sammensat som populationen mht. kvoteringsvariable”

Netanalyser Efterhånden meget brugt - til målgrupper, der er:   Vante internetbrugere, og skal repræsentere dette Afgrænset som population, ex. IKT-forskere i DK Vanskeligt tilgængelige – ex. i udlandet Medarbejderanalyser  Desuden godt til indledende eksplorative undersøgelser. Svagheder: Minus repræsentativitet (ved store målgrupper) Selvudvælgelse

Metodekravene Validitet = repræsentativitet (hvor repræsentative er resultaterne for populationen som helhed?) Reliabilitet = objektivitet (hvor meget kan vi stole på resultatet?)

Konstruktion af strukturerede spørgeskemaer Fem typiske problemer (bør overvejes): 1) Hvordan skal respondenter udvælges 2) Hvilket instrument skal anvendes 3) Hvordan skal materialet behandles når det er indsamlet 4) Hvordan skal materialet analyseres 5) Hvilke fortolkninger kan materialet bære

Konstruktion af strukturerede spørgeskemaer Tanker, overvejelser, afgrænsninger etc. i de indledende faser munder ud i et antal nominelle variable, som skal operationaliseres i et antal spørgsmål Nominel variabel: Boligens kvalitet Operationel variable: antal rum, ejet/lejet o.s.v.

Konstruktion af strukturerede spørgeskemaer Vær klar over formålet; hvad skal det bruges til?   Begrænsningerne: Hvad kan man ikke forvente at få besvaret ved denne metode? Spørgeskemaerne kan være åbne, lukkede, semilukkede. Med efterfølgende konsekvenser for bearbejdningen. Undgå så vidt muligt filtre: Hvis ja så ... hvis nej så ... Filtre gør det svært at overskue og navigerer igennem skemaet, hvilket bl.a problematisk ved telefoninterview.

Spørgsmålsformulering 1) Spørgsmålene skal være entydige 2) Spørgsmålene må kun have én dimension 3) Spørgsmålene må ikke være ledende 4) Spørgsmålene skal være korte, præcise og forståelige 5) Spørgsmålene må ikke være provokerende 6) Successive spørgsmål skal være enslydende 7) Undgå hypotetiske spørgsmål Vær meget opmærksom på ledende spørgsmål

Svarmuligheder De skal være gensidigt udelukkende De skal være relevante De skal være ensartede De skal være tilstrækkeligt findelte Undgå for mange svarmuligheder (3, 5 og 7 typisk) Åbne spørgsmål kan bruges hvis en kategorisering bliver for kluntet eller tilsidst til f.eks. evaluering   Kortfattet kan man sige at svarmulighederne skal være fornuftige og væsentlige. Der skal være nok, og ikke for mange muligheder

Rækkefølgen 1) Rækkefølgen må ikke være ledende 2) Gå fra det generelle til det specielle 3) Gå fra det kendte til det mindre kendte 4) Spørgsmål om samme emne bringes sammen 5) Spørgsmål der kan forventes mindre svarvillighed på, bringes til sidst   Kortfattet skal rækkefølgen være logisk og overskuelig.

I øvrigt Kom til sagen! Lad være med at trætte folk Spørg kun om det, der er væsentligt. Tal er så forherligende. Men de siger ikke så meget i sig selv.   Stil hellere mange personer få spørgsmål end omvendt - for så kunne I lige så godt have interviewet.

Hvorledes får man svar i praksis Distributionen kan være 100% tilfældig, eller til udvalgte grupper, som er repræsentative i forhold til, ex. køn, husstandsindkomst, geografisk placering.   Hvad kan man gøre (bemærk bias ved hver): Sende med posten (kræver rykkere) Rundringning Giver høj svarprocent. Personlig kontakt - opsøgende På gaden Eller udvalgte steder som på cafeer, foran museer, foran bestemte tøjbutikker mv. På nettet

Øvelse Hvis I skulle lave en mindre kvantitativ undersøgelse som research: Hvad skulle formålet være? Hvad ville I Måle Kortlægge… hos målgruppen? Vælg max. 5 spørgsmål Udform spørgeskemaet