Merete Watt Boolsen mwb@ifs.ku.dk SPØRGESKEMA UNDERSØGELSER - fra konstruktion af spørgsmål til analyse af svarene UCSF December 2008 UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Dag 1 1. Hvad er en spørgeskemaundersøgelse? 2. Forskellige former for spørgeskemaundersøgelser 3. Hvordan gennemføres en spørgeskemaundersøgelse? 4. Praktiske, juridiske og etiske forhold UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Dag 2 5. Hvordan man kommer fra spørgeskema til statistisk analyse 6. Variable og skalatyper 7. Udvalgsmetoder, 8. Stikprøver og usikkerhed 9. Tabeller Men alene på det overordnede og introducerende niveau … UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Først et overblik Hvorfor spørgeskemaundersøgelser? Hvordan ser et ’godt’ spørgeskema ud? Typer af spørgsmål Gode spørgsmål Gode svarkategorier Masser af eksempler… UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Hvorfor spørgeskemaundersøgelser? Indsigt i samspillet mellem holdninger og adfærd Data der minder lidt om dokumentation og faktuel viden – en mangelvare Efterprøvning af hypoteser UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Hvordan ser et ’godt’ spørgeskema ud? De ’rigtige’ spørgsmålsformuleringer Minimal stikprøveskævhed Godt interviewarbejde Usikkerheder og fejlkilder er minimeret UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Typer af spørgsmål Svarmuligheder Lukkede Åbne Halvåbne Skalaspørgsmål Numeriske spørgsmål Multiple spørgsmål UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Skalaspørgsmål: Vurdering af etik og troværdighed hos faggrupper UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk Kilde: Institut for Konjunktur-Analyse for Søndagsavisen, september 1999

Åbent, multipelt spørgsmål ”Hvilke politiske problemer anser De personligt for at være de vigtigste i Danmark lige nu?” UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk Kilde: Gallup for Berlingske Tidende, februar 2005

Skalaspørgsmål, oplevet årsagssammenhæng Jeg nævner nu en række emner, der kan få betydning for det kommende folketingsvalg. Jeg vil for hvert enkelt emne bede Dem fortælle, om det betyder meget, en del, kun lidt eller slet ikke noget for hvilket parti, De vil stemme på? UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk Kilde: Gallup for Berlingske Tidende, februar 2005

De ’rigtige’ spørgsmål Relevante Forståelige Klare Entydige Konkrete Nærværende Svaret kendes Neutrale Sprogligt korrekte Med dækkende svarkategorier UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Eksempler …(alt sammen fra Gallup) Respondenten kender ikke svaret ”Hvilken betydning tror du Danmarks deltagelse i Irak-krigen får for dansk eksport?” Ukonkret, ikke nærværende ”Synes De, at regeringens politik gennem de seneste 3-4 år har været for kritisk, for lidt kritisk eller tilpas kritisk over for USA’s udenrigspolitik” UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Eksempler … Uklar begrebsanvendelse ”Den kommunale sektor i Danmark er generelt set god til innovation” ”Mener De, alt i alt at Deres kompetence er større i dag end for et år siden?” UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Eksempler … Tvetydighed ”TDC er en virksomhed der har en monopollignende status og ikke ville kunne klare sig på markedet uden særordninger” ”Jeg nævner nu en række samfundsproblemer og beder Dem fortælle, om det er noget der bekymrer dem meget, en del, kun lidt, eller slet ikke – vold og kriminalitet?” ”Hvor længe har De alt i alt levet i parforhold?” UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Eksempler … Kompliceret, uklart, tvetydigt ”Forsvaret er en samfundsinstitution, der er fleksibel og handlekraftig og som hurtig har formået at omstille sig til den nye tids fjendebilleder?” (Enighed) Den akademiske faldgrube ”På trods af sine mangler, er liberalt demokrati alligevel den bedste styreform?” (Enighed) UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Eksempler … Ledende ”Mener De, det var rigtigt eller forkert af regeringen at fjerne demokratiet fra universiteterne og drive dem mere som virksomheder?” Sproglige finesser (svarkategorier) Stemte med begejstring Stemte med tilfredshed Stemte med blandede følelser Måtte nærmest vælge det mindste onde UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Gode svarkategorier… Udtømmende Ikke-overlappende Veldefinerede Symmetriske gradbøjninger Husk de ikke-substantielle kategorier Andet (evt. åbent svarkategori) Ved ikke Vil ikke svare Ikke relevant UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Eksempler … Udtømmende svarkategorier ”Hvad er det særligt ved volden og kriminaliteten der bekymrer Dem?” Volden er stigende Utryghed ved at færdes på gaden Bekymring for familiens sikkerhed Frygten for at miste værdigenstande Politiets manglende efterforskning Andet UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Eksempler … Ikke-overlappende svarkategorier ”Hvad har De benyttet internet til inden for den seneste uge?” E-mail Søge informationer Handel/indkøb i øvrigt Chat/debat/beskeder Downloade/fildeling Spil/underholdning Surfe Bestille billetter/reservation Homebank/netbank/aktier Nyheder/sport/vejret Arbejde Uddannelse Jobsøgning UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Eksempler … Asymmetriske svarkategorier ”Synes du, at dit skattebidrag til kunst og kultur er givet godt ud?” Meget godt Godt Mindre godt Dårligt Ved ikke UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Eksempler … Udtømmende svarkategorier ”Hvordan har du mødt de venner, du for tiden ser mest?” Skole, uddannelse, klubber, arbejde, rejser, fester, militærtjeneste Gennem venner, kærester, familie Naboer, barndomsvenner, etc. UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Hvad er en god spørgeskemaundersøgelse så? De rigtige spørgsmålsformuleringer Minimal stikprøveskævhed Godt interviewarbejde Færrest mulige usikkerheder og fejlkilder UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Systematiske skævheder i telefoniske surveys/spørgeskemaundersøgelser Frafald Nægtere Ikke-hjemme Hemmeligt telefonnummer Manglende fastnetdækning Vil ikke svare Forkerte svar UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Kvaliteten af interviewarbejdet Aflønning Kontrol Instruktion Supervision Arbejdsforhold Rekruttering UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Usikkerheder og fejlkilder Statistisk usikkerhed Tilfældig Normalfordelt (omtrent) Fejlkilder Systematisk Både kendte og ukendte fejlkilder UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Øvelse Udfyld et spørgeskema - max 5 minutter og så en pause UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Opsamling på besvarelserne UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Résume: hvad er en spørgeskemaundersøgelse En undersøgelse af mange personer, Der er udtrukket statistisk tilfældigt, Fordi formålet ofte er generaliserende. Spørgsmålene er (typisk) overfladiske Undersøgelsen resulterer i en analyse, der kan være … UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Résume: hvordan gennemføres en spørgeskemaundersøgelse? Man skal vurdere og kunne overskue hele undersøgelsesprocessen, før end dataindsamlingen starter Start med formålet med undersøgelsen UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk … det kan være BESKRIVENDE FORSTÅENDE/FORKLARENDE KRITISK PERSPEKTIVERENDE UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Af og til er formålet, at … Kunne sammenligne resultater (benchmarking) Vurdere processer Udvikle hypoteser Afprøve hypoteser UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Undersøgelsens design skal ALTID afspejle formålet med undersøgelsen og undersøgelsens problematik UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

I dag taler vi meget om brugerundersøgelser og evalueringer set fra et organisationsperspektiv kan der være særlige formål … UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Hvorfor? - fortælle andre om organisationen - måle ”effektiviteten” - måle ”kvaliteten” - sammenligne med andre organisationer - foretage justeringer UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Tænk også HVIS PERSPEKTIV? (a) klientens/patientens (b) organisationens (c) personalets (d) dit eget UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Men uanset om det er eksterne eller interne formål Vil der være nogle helt generelle regler for Hvordan en sociologisk undersøgelse gennemføres? UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk DER ER FIRE FASER i en undersøgelse: 1. Problemformulering 2. Planlægning af undersøgelsen 3. Indsamling af data 4. Status, analyse, evaluering og rapportering UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk 1 Problemformulering hvad ønsker man at vise? hvad er formålene med undersøgelsen? hvilke formål er vigtigere end andre? hvilken forforståelse haves? hvilket teoretisk udgangspunkt haves? UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

2 Planlægning af undersøgelsen hvad vides allerede om emnet? hvad vil blive afprøvet her? hvilke variabler indgår? hvordan måles de? hvilke metoder kan/skal anvendes? og overfor hvem? tid, penge og personer? UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk 3 Indsamling af data fremgangsmåde, beslutninger, aftaler, resultater osv. skal registreres ”forskningsdagbog” kan anbefales 5 UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

4 Status, analyse, evaluering og rapportering analysemetoder teoretisk integration kommunikatorisk metode: hvordan skrives en rapport? UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Brugerundersøgelser skal måle tilfredshed Tilfredshed er (1) ’kundernes’ forventninger til organisationens service og kvalitet (2) ’kundernes’ oplevelse af organisationens service og kvalitet UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Forventninger og oplevelser = HOLDNINGER OG HANDLINGER Begge dele er vigtige, fordi vi gør ikke altid, hvad vi mener – og vi mener ikke altid det, vi gør UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Résume: praktiske, juridiske og etiske forhold omkring spørgeskemaundersøgelser www.datatilsynet.dk Sund fornuft Etik og moral UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Spørgsmålskonstruktion fortsat … Generelle regler: Der skal være en entydig sammenhæng mellem det, der foregår i forskerens hoved, når hun/han stiller spørgsmål, og det som interviewpersonen forstår ved spørgsmålet og det svar, som efterfølgende gives. UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Interviewformen spiller også en rolle - face-to-face - telefoninterviewing - postspørgeskema - it-skema UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Generelt … ”Som man spørger får man svar” Vi kan altså selv bestemme resultaterne – eller også kan vi ingenting bestemme! UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Videnskabelige krav: Gyldighed Præcision Pålidelighed Relevans Objektivitet UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Specifikke regler 1 UNDGÅ Lange spørgsmål Spørgsmål med fagudtryk (nogle) Følelsesmæssige spørgsmål Tvetydige ord og vendinger Tvetydige spørgsmål Meget generelle spørgsmål UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Specifikke regler 2 UNDGÅ Ledende spørgsmål Spørgsmål med flere spørgsmål i Spørgsmål med negationer Spørgsmål med ’tekniske’ termer Spørgsmål, der forudsætter særlig viden Spørgsmål, der trækker på hukommelsen UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Specifikke regler 3 ANVEND DERFOR Kortest mulige spørgsmål – FÅ ORD Kortest mulige ord – FÅ BOGSTAVER Svarkort med –kategorier og spørgsmål UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Om svarkategorier Er lige så vigtige som spørgsmålene, fordi de definerer svarene - eksempelvis JA NEJ VED IKKE (plus Spies) UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Om at kombinere handlinger og holdninger Klimaundersøgelsen se kapitel 2 UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Er spørgeskemaer altid det bedste? Der findes andre metoder MANTRA: Problemstillingen skal ALTID bestemme metoden UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

Merete Watt Boolsen mwb@ifs.ku.dk Afslutningsvis et par ord om VIDENSKABSTEORI OG FAGTEORI UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk

HANDLINGER-HOLDNINGER; kvantitativ-kvalitativ Kvantitav metodik HOLDNING Kvalitativ metodik Teoriers rolle i forskningen Deduktiv Induktiv Epistemologisk orientering (Hvad er accepteret viden?) Positivisme Interpretisme (hermeneutik) Ontologisk basis (Hvad er/hvad eksisterer?) Objektivisme Subjektivisme Konstruktionisme UCSF, december 2008 Merete Watt Boolsen mwb@ifs.ku.dk