9. Kvantitative metoder -spørgeskemaer

Opgave efter midtvejsevalueringen den 16/4 Lav tilpasning efter jeres 1. midtvejsevaluering Udkast til spørgeskema og hvad der skal undersøges med skemaet. Saml jeres opgave indtil nu og send den til: paul@media4masses.dk og prm@itu.dk og jeres opponentgruppe Senest den weekenden 20-21 april.

Er noget objektivt? ” I virkeligheden er alle rådata kvalitative af natur. Nogle af disse data har vi valgt at kategorisere og tælle op i antal, symboliseret ved arabiske tegn, som vi kalder tal. Men det bliver de jo ikke mere objektive af” Ib Andersen i ”Den skinbarlige virkelighed” …eller sande…!

Kvales syv stadier Tematisering Design Interview Transskribering Analyse Validering Rapportering

Kvantitativ vs kvalitativ At beskrive At generalisere Bredde Intervieweren – objektiv Eks. hvor mange ryger At forstå At illustrere tendenser Dybde Intervieweren - subjektiv Eks. hvorfor de ryger

Et spørgsmål? Hvilke af de to udsagn er mest i overensstemmelse med din holdning? Tyrkiet bør blive medlem af EU en gang i fremtiden, hvis landet gennemfører de nødvendige politiske og økonomiske reformer Tyrkiet bør aldrig optages I EU på grund af landets kulturelle og religiøse forhold.

Det ene eller det andet..? Respondenter – primært i spørgeskemaer Informanter – interview og fokusgrupper

Hvornår er spørgeskemaer det rigtige redskab? Når man gerne vil indsamle mange besvarelser Når man gerne vil arbejde med kvantificerbare data Når man gerne vil kunne generalisere sin resultater fra undersøgelsen til en større population

Dataindsamling Skal tilrettelægges, så vi får en repræsentativ stikprøve – i den virkelige verden Overvej: Hvem er målgruppen for undersøgelsen? Hvem er det, vi vil sige noget om? Hvordan får jeg indsamlet en repræsentativ stikprøve af besvarelser fra denne målgruppe?

Undersøgelsens målgruppe Vigtigt, at I er helt skarpe på, hvem det er, undersøgelsen skal sige noget om. I skal have en helt præcist defineret målgruppe. Ellers kan I ikke lave en repræsentativ stikprøve, og I kan ikke sige noget om noget som helst. I april 2009 lavede analyseinstituttet Capacent en undersøgelse for DR nyheder om, hvorvidt muslimer i Danmark mente, at sharia-loven skulle integreres i dansk lov. Overskriften på DR nyhederne på nettet den 29. april 2009 lød derefter: ”Hver femte danske muslim ønsker sharia-lov.” Hvis man nærlæser netartiklen, kan man se, at det er 18% af muslimerne, der erklærer sig enig eller helt enig i udsagnet. Vi kan ikke læse ud af artiklen, hvordan man definerer enig og helt enig. Der må jo være en forskel, når der er to kategorier, og det er derfor med forbehold, at man kan sige, at hver femte danske muslim ønsker sharia-lov. Vi ved heller ikke, hvordan der er blevet spurgt, og derudover bliver sharia-loven tolket meget forskelligt af muslimer rundt om i verden. Det kan derfor have en betydning, om det er overvejende danske muslimer, der oprindelig kommer fra Iran, man har spurgt, eller om det er danske muslimer, der kommer fra Tyrkiet. Alt i alt bliver denne undersøgelse noget usikker, når vi ikke kan læse, hvordan der er blevet spurgt, og hvordan man har defineret eksempelvis sharia-loven. Men den almindelige læser vil sidde tilbage med et indtryk af, at hver femte muslim ønsker sharia-lov, og det er faktisk ikke helt sandt.

Metodiske overvejelser Udvikling af spørgeskemaet, så det er validt - så det faktisk måler det, vi gerne vil måle. Dataindsamlingen: Hvordan indsamler jeg data, så jeg får en repræsentativ stikprøve Databehandling: Forholde sig til det indsamlede data. Er det i orden? Hvad kan jeg sige med det indsamlede data i hånden?

Udformning af et spørgeskema - målgruppen Tænk over, hvem målgruppen er. Det har blandt andet betydning for: Det sprog, I kan bruge i skemaet. Hvilke spørgsmål I meningsfyldt kan stille Hvor mange spørgsmål, I kan tillade jer at stille Brug et personligt og aktivt sprog, fx ”du” og ”dig” i stedet for ”man”. Undgå passiver, så dit sprog bliver mere aktivt. Det letter respondenternes forståelse af dine spørgsmål. Dobbelte benægtelser Undgå dobbelte benægtelser. Et eksempel: ”Ville du ikke undlade at gøre opmærksom på….?” Skriv i stedet: ”Ville du gøre opmærksom på…?” Tvetydige svar Vær opmærksom på uklare spørgsmål, der giver tvetydige svar. Eksempelvis: ”Har du været syg eller har du pjækket inden for de sidste to uger, ja/nej?” Formuleringer Forskellige formuleringer kan påvirke respondenten: ”Har du været ude for en alvorlig arbejdsulykke?” Her mangler en definition af alvorlig. ”Pjækker du på arbejdet?” Ordet ”pjækker” er negativt ladet og kan få respondenten til at svare uærligt eller droppe spørgeskemaet. ”Hvad er din holdning til sort arbejde?” Det er for abstrakt og kan give mange forskellige svar. Det er bedre at spørge til mere konkrete situationer, fx: ”Hvis du fandt ud af, at din nabo benyttede sort rengøring, ville du melde ham/ hende til politiet?” ”Hvor mange penge bruger du på prostitution?” er et ledende spørgsmål, der ikke giver mulighed for at svare, at man ikke bruger prostituerede. Pendulord Nogle ord, de såkaldte pendulord, har forskellig betydning alt efter, hvilken alder du har. Bjørnetjeneste: – Ældre: Tjeneste, der gør mere skade end gavn – Yngre: Stor tjeneste. Klokken er godt 12 – Ældre: Lidt over tolv – Yngre: Lidt i tolv. Forfordele: Ældre: At blive snydt – Yngre: At få en fordel. Lapset: – Ældre: En mand, der går op i sit tøj – Yngre: En person, som har mange lapper på sit tøj. Derfor bør du enten undgå den slags ord, der kan misforstås, eller målrettet bruge ordene i forhold til den målgruppe du henvender dig til. Er du i tvivl, om ordet kan bruges, kan du lave en test af dit spørgeskema. Det har også mange andre fordele for kvaliteten af dit spørgeskema. Formuleringer kan være ledende Formuleringen kan påvirke respondenten i en bestemt retning. Spørgsmålet ”Hvor enig er du i?...” kan opfattes, som om det ikke er o.k. at være uenig, eller ”Bortset fra mord, hvornår mener du så, at dødsstraf bør anvendes?” Dine spørgsmål og din tone kan virke nedværdigende Tag højde for respondentens selvværd, fx ved et spørgsmål om, hvad en minister hedder, eller andre spørgsmål, der kan få respondenten til at føle sig dum. Og undgå at spørge, så det virker nedværdigende, fx ”Når du nu ikke kan finde ud af at bruge digital signatur, hvad gør du så, når du skal…?”

Udformning af et spørgeskema - længde Hvor langt må skemaet være? Så kort som muligt Hvad er ”need to know” og hvad er ”nice to know”. Et kort skema og objektive spørgsmål øger svarprocenten Afhænger af spørgsmålenes emne og undersøgelsens målgruppe Som hovedregel bør det ikke tage mere end 15- 20 minutter at besvare. Herefter falder folk fra…på nettet er det kortere tid.

Udformning af et spørgeskema – gør det let! Sørg for at gøre det let at besvare det: Skab et godt flow i spørgsmålene Gør det let for respondenterne at overskue skemaet og strukturen i skemaet F.eks. Ved at samle spørgsmålene i grupper efter emne, bruge de samme svarkategorier og indsætte tekst, der guider respondenten igennem skemaet Folk springer fra, hvis det er for besværligt - ikke mindst på nettet

Udformning af et spørgeskema - rækkefølgen Rækkefølgen på spørgsmålene: Vigtigt at tænke det godt igennem. Et spørgsmål kan påvirke respondenternes svar på et andet spørgsmål. Tænk derfor over, hvad respondenterne præsenteres for, hvornår. JA ELLER NEJ TIL ØMU’EN For nogle år tilbage lavede analyseinstituttet Megafon en undersøgelse af, om danskerne ville stemme ja eller nej til ØMU-samarbejde til tv-programmet Dags Dato. Megafon havde spurgt: ”Danmark deltager ikke i ØMU-samarbejdet om den fælles valuta euroen. Mener du, at Danmark skal holde fast ved denne undtagelse, eller skal vi deltage i samarbejdet om den fælles mønt?.” 50% svarede ja, 38% nej og 12% ved ikke. Dags Dato bad analyseinstituttet om at lave en meningsmåling helt magen til – bare med en anden formulering af spørgsmålet: ”Mener du, at Danmark skal tiltræde EU’s Økonomiske og Monetære Union og erstatte den danske krone med euroen?” 44% svarede ja, 44% svarede nej og 12% ved ikke. Undersøgelsen viser, at resultaterne hænger nøje sammen med, hvordan man spørger. Kilde: www.analysegruppen.dk/00053/00101/00180

Hvad gik galt? I forbindelse med et kursus blev deltagerne bedt om at give svar på enten en hjemmeside eller et skema, der blev udleveret på kurset. Resultaterne viste, at de, der udfyldte det på internettet, svarede, at de var ”meget tilfredse” eller ”tilfredse” med kurset generelt. Men de, der svarede på papirskemaet, var ”meget utilfredse” eller ”utilfredse” med kurset generelt. Men i de efterfølgende svar var de meget positive over for kurset. Det viste sig, at rækkefølgen af spørgsmålene i papirudgaven af spørgeskemaet var vendt om, så de startede med ”meget utilfreds”, ”utilfreds”, ”hverken eller”, ”tilfreds” eller ”meget tilfreds”. Respondenterne havde ikke læst spørgsmålene grundigt, men var gået ud fra, at det mest positive var øverst. Banale fejl kan have indflydelse – f.eks. Hvor er linket til et spørgeskema i en mail. Forneden gav 16 svar – hos 1300 modtagere af et elektronisk nyhedsbrev. Det kom op i toppen var der 25 flere der svarede. Den lave svarprocent gav os et hint om at mange ikke læste nyhedsbrevet.

Udformning af et spørgeskema – generelt til konkret Rækkefølgen på spørgsmålene: Gå fra det overordnede/generelle til det mere konkrete. F.eks. start med overordnet tilfredshed og spørg derefter til tilfredshed med konkrete elementer.

Udformning af et spørgeskema Rækkefølgen på spørgsmålene: Start med de ”lette/ukontroversielle” spørgsmål. Gem de mere svære spørgsmål. Men start ikke med: alder, køn – hvis I ikke skal sorterer folk fra Folk må heller ikke føle sig ”gået for nær” – så start ikke med at spørge til folks indkomst Slut med de simple – alder, køn, etc.

Spørgsmålstyper: Åbne spørgsmål Ingen prædefinerede svarmuligheder F.eks. Hv-spørgsmål. Respondenten får lov til at komme med sin umiddelbare og ”ustyrede” holdning. Skal ikke presses ned i svar-kategorier. Begræns brugen af det. Data svære at behandle Brug det som et supplement til de lukkede spørgsmål. ”Har du yderligere kommentarer”, ”Uddyb evt. din besvarelse her”. Ellers overvej kvalitative interviews i stedet.

Spørgsmålstyper: lukkede spørgsmål Prædefinerede svarmuligheder Respondenten kan kun vælge mellem bestemte svarmuligheder. Man tvinger respondenten Giver andre muligheder i databehandlingen Derfor meget vigtigt, at svarmulighederne er dækkende.

Spørgsmålstyper: Halvåbne spørgsmål Prædefinerede svarmuligheder og en åben svarmulighed De respondenter, der ikke føler sig dækkede de prædefinerede svarmuligheder, kan notere et svar i den åbne. Er ofte en god løsning

Spørgsmålsformuleringer Det er vigtigt for undersøgelsens validitet, at vi spørger rigtigt. Som man spørger, får man svar. Hvis vi spørger forkert, måler vi ikke det, vi gerne vil måle.

Udformning af et spørgeskema - adfærd Er det særligt validt at måle folks adfærd ved at spørge til den? Holdninger ><adfærd. Folk ser altid DR2 og stemmer aldrig DF

Udformning af et spørgeskema – hypotetiske ? Ikke hypotetiske spørgsmål. ”Hvad ville du gøre, hvis…”? Alle ville altid gerne gøre en masse godt for miljøet, børnefamilierne og hinanden, hvis de bare havde mere tid og flere penge... Igen, hvor validt et mål er det?

Udformning af et spørgeskema – en fri frokost? Hvad giver det mening at spørge folk om? ”Bør der efter din mening bruges flere penge på at forberede den offentlige service?” Det er aldrig en gratis frokost…

Udformning af et spørgeskema – følsomme emner Hvad giver det mening at spørge folk om? Tænk over følsomme emner. Hvordan kan jeg spørge, så folk svarer ærligt?

Spørgsmålsformuleringer Eksempler på dårlige spørgsmål og en forklaring på, hvorfor de ikke fungerer. Gør ikke de samme fejl!

Eksempel 1 Er du enig eller uenig i følgende udsagn? Efterspørgslen efter energi vil i de kommende år blive så stor, at det er en god idé at indføre atomkraft i Danmark, da A-kraftværkerne nu er meget sikre. Helt uenig Uenig Hverken enig eller uenig Enig Helt Enig Ved ikke/Vil ikke svare

Kun én dimension i ét spørgsmål Spørgsmål må kun have én dimension. I det spørgsmål er der 3 dimensioner. Der må kun være ét udsagn i hvert spørgsmål. Ellers ved man ikke, hvad folk svarer på. Spørgsmålet er ledende: Lægger ord i munden på folk

Eksempel 2 Det diskuteres for øjeblikket, hvordan vi får råd til fremtidens velfærd. En af mulighederne er at forebygge ulykker, sygdomme og nedslidning, hvilket måske kan spare det offentlige for mange milliarder kroner. Bruger vi penge nok på forebyggelse? Ja Nej Ved ikke/Vil ikke svare

Spørgsmål må ikke være ledende Den spørgsmålstekst er ledende Man kan næsten ikke svare nej Det er meget vigtigt, at spørgsmålene er formuleret så neutralt som muligt. Undgå ladede ord Tænk nøje over de ord, I bruger! Ellers påvirker vi respondenterne til at svare noget bestemt

Eksempel 3 Er du enig eller uenig i følgende udsagn? Der er behov for grundlæggende reformer af det danske velfærdssamfund. Helt uenig Uenig Hverken enig eller uenig Enig Helt Enig Ved ikke/Vil ikke svare

Klart sprog! Det er uklart, hvad respondenterne erklærer sig enige eller uenige i Hvad er ”grundlæggende reformer”? Spørgsmålsformuleringer og svarmuligheder må ikke kunne misforstås Ellers er respondenterne ikke sikre på, hvad de svarer på… Og fortolkningen af svarene bliver svær.

Klart sprog! I skal bruge ord, der ikke kan misforstås Formuleringerne skal være korte og præcise Skriv i øjenhøjde med respondenterne Lange spørgsmål er forvirrende og svære at svare på Undgå fagudtryk og indforståede begreber ”community” eller ”lurkers” Undgå ord som f.eks. ”forfordele”.

Eksempel 4 Er du enig eller uenig i følgende udsagn? De stramme regler for asyl og familiesammenføring bør fastholdes. Kræfterne bør fremover bruges på bedre integration. Helt uenig Uenig Hverken enig eller uenig Enig Helt enig Ved ikke/Vil ikke svare

Igen flere udsagn i ét spørgsmål Der er to udsagn i det samme spørgsmål. Man kan sagtens være enig i det ene og uenig i det andet. Hvilket af dem svarer folk så på? Det er svært for folk at svare på og svært at fortolke bagefter. Jeg ville også undgå ordet ”stramme”.

Eksempel 5 Sæt kryds ved de udsagn, du mener passer på Kanal Y (Sæt gerne flere kryds) Kanal Y er vigtig for mig Jeg vil nødig undvære kanalen Min partner eller andre i husstanden vil nødig undvære kanalen

Dækkende svarmuligheder Hvad med dem, der ikke bryder sig om kanal Y? De har ingen svarmuligheder Svarmulighederne skal være dækkende Alle skal kunne finde en svarmulighed, som passer på dem. Ellers tvinger man folk til at svare noget, der måske ikke reelt dækker deres holdninger

Dækkende svarmuligheder Skal folk have mulighed for at svare ”Ved ikke”? Folk skal have mulighed for ”ikke at have en holdning” eller være uafklarede Der skal være en god grund til at tvinge folk til at tage stilling. F.eks. Ved baggrundsspørgsmål som køn, alder ol.

Symmetriske svarskalaer Eksempelvis den såkaldte: Lickert-skala 5 – punktsskala med neutral midterkategori Helt enig, enig, hverken enig eller uenig, Helt uenig. Meget tilfreds, tilfreds, hverken tilfreds eller utilfreds, utilfreds, meget utilfreds. Osv.

Mere om svarmuligheder Sørg for, at de er tilstrækkeligt findelte og præcise Vi vil jo gerne have så meget information som muligt. Man kan altid slå svarkategorier sammen bagefter, men man kan ikke gå den anden vej. Spørg f.eks. til partivalg i stedet for blok. Dog må spørgsmålet heller ikke blive for langt og uoverskueligt Generelt max 7 svarmuligheder

Generelt om svarmuligheder De skal opleves som relevante og dækkende Betydningen skal være klar, og det skal være let for respondenten at placere sig selv Spørgsmålet skal være let for respondenten at overskue Skal være gensidigt udelukkende Husk også at overveje, om det kan være relevant at lade respondenterne vælge flere svarmuligheder

Metodefejl http://ekstrabladet.dk/nationen/article1410368.ece En lektor går amok… http://metelmann.wordpress.com/2010/09/16/nar-journalister-skriver-til-overskriften/

Spørgeskemaer på nettet Her er en oversigt over steder, hvor man oprette webbaserede spørgeskemaer. Nogle af stederne er der dog begrænsninger på hvor man mange besvarelser, der kan indtastes. Desuden kan det være at de forlanger betaling for større undersøgelser. http://www.defgo.dk/contact/students.html http://www.trictrac.com/ http://www.onlineinterview.dk/index.html www.surveymonkey.com www.questback.dk http://my.intrateam.dk/tags/sp-rgeskemaer www.surveyxact.dk www.eplugs.net/plugs/.Home/W3/ThePlugsEplugs <http://www.eplugs.net/plugs/.Home/W3/ThePlugsEplugs> www.inquisite.com www.zite3.dk docs.google.com www.limesurvey.org www.enalyzer.dk http://www.questionpro.com/akira/showEntry.do?utm_source=QuestionPro&utm_medium=surveyref&utm_content=freetrial28&siteRef=367241 Jeg har hørt meget godt om Enalyzer og Surveymonkey. Googledocs skulle også være godt til mindre avancerede spørgeskemaer. Husk at tjekke om de skal have penge for nogle af oplysningerne kan hentes hos dem eller hvis det er over en hvis grænse af respondenter.