Eksperimental Design and Analysis Dagens program Hvem er I og hvem er jeg? Om kurset: Læringsmål Kursets problemstilling: X → Y eller X Y Indhold, form, opgaver, eksamen og praktik Gruppeinddeling Øvelsesopgave

Læringsmål Efter kurset skal I kunne: Udforme et spørgeskema til brug for en undersøgelse. Tilrettelægge og gennemføre spørgeskemaundersøgelser (surveys) og eksperimenter. Analysere data fra observa-tionsstudier og eksperimenter. Vurdere om ændringer på en hjemmeside har en effekt.

Survey Design & Analysis 1. Introduction 2. What is a survey? 2.1 Why survey? 3. Preparation 3.1 Before doing a survey 3.2 Types of survey 4. Sampling 4.1 Why do we need a sample? 4.2 Sampling frames 4.3 Sampling error 4.4 Size of the sample 5. Questionnaire design 5.1 Introducing the questionnaire ... 5.6 Routing 6. Piloting the survey 7. Analyzing the results 8. Reporting 8.1 Presenting the results

Dataindsam- lingsmetode Fordele Ulemper Postal Wide distribution Low cost No interviewer bias Easier to conduct in-house No embarrassment for respondent Low response rate Not suitable for some subgroups Questionnaire: must be simple and short, not too probing Telefon-interviews (CATI) Quick Reasonable response rate Potential bias: i.e. individuals with no landline phone or ex-directory Questionnaire constraints: Limited to a few response categories; unsuitable for sensitive questions Internet surveys (CAWI) Data automatically collected Low cost Respondents are automatically ‘routed’ through the survey Potential bias: i.e. individuals with no internet access Sample sometimes self-selecting: i.e. survey ‘pop ups’ when an individual is on a Website

Sampling Stikprøvemetode Fordele Ulemper Probability sampling Simple random sampling Stratified sampling • Can be generalized to the whole group from which the sample is selected • Better quality estimates • More accurate results • Costly • Time consuming • Requires a sampling frame Non-probability sampling Self-selected samples Street interviews • Higher response rates • Best method for asking open and closed questions • Flexibility (able to question the respondent to get a full reply) • Cannot be generalized to the population • Poor quality estimates • Cannot tell if results are accurate

Population og stikprøve Stikprøveenhed (subject / unit)

Stikprøvestørrelse Population, N 5% af N Simpel tilfældig udvælgelse * Difference 1.000 50 278 -228 2.000 100 322 -222 5.000 250 357 -107 7.500 375 365 10 10.000 500 370 130 15.000 750 20.000 377 623 30.000 1.500 379 1.121 * Estimation af en forventet andel på 50 %, fejlmargin 5 %, sikkerhed 95 %.

www.bedstpaanettet.dk 8

Observationsstudie el. eksperiment? Et webbureau vil finde ud af om en menu i toppen eller venstre kolonne giver den mest brugervenlige hjemmeside. Alle besøgende på bureauets hjemmeside bliver præsenteret for et pop-up spørgeskema. De bliver bl.a. spurgt, hvor tilfredse de alt-i-alt var med den seneste hjemmeside de besøgte og om denne hjemmeside har en topmenu eller venstre menu. Er det et observationsstudie eller et eksperiment? Placering af menu Samlet tilfredshed med hjemmesiden Tilfredse Både og Utilfredse Antal Topmenu 46% 43% 11% 131 Venstre menu 65% 35% 6% 149 9

Eksperimental Design and Analysis Dagens program Hvem er I og hvem er jeg? Om kurset: Læringsmål Kursets problemstilling: X → Y eller X Y Indhold, form, opgaver, eksamen og praktik Gruppeinddeling Øvelsesopgave

Observationsstudier vs. eksperimenter Enheders (units) værdier på responsvariablen og forklar-ende variable observeres, uden at udsætte enhederne for påvirkninger (treatments) Eksempel En brugerundersøgelse, hvor et spørgeskema popper op på en hjemmeside. Eksperiment Enhederne (subjects) udsættes for påvirkninger (i forsøg) og man observerer effekten på responsvariablen (dens værdi). Påvirkningerne (treatments) udgør de forklarende variable. Eksempler: Undersøgelse af ny medicin. Gr. A får kalktabletter, Gr. B får den nye medicin. Skibe males med maling A på den ene side og maling B på den anden side. Antal m2 rust på hver side måles efter 3 år. Population Sample

Problemstilling: Konversionsrate www.houseofkids.dk flyttede sit e-mærke op ved siden af indkøbskurven og opnåede et løft i konversionsraten på 32%! (Kilde: www.emaerket.dk) Konversionsraten: Andelen af besøgende, der køber. Hvad med andre ændringer af hjemmesiden?

Værktøj: Google Website Optimizer

Kursets problemstilling Kan digital kommunikation f.eks. sælge rejser?

Hvad er gevinsten ved høj brugervenlighed? Profitmaksimerende virksomheder: Giver en høj brugervenlighed et stort salg? Offentlige virksomheder: Giver en høj brugervenlighed færre borgerhenvendelser? Hvad giver en høj brugervenlighed? Kursets problemstilling: X → Y eller X Y Y = salg X = brugervenlighed 15

Eksperimental Design and Analysis Dagens program Hvem er I og hvem er jeg? Om kurset: Læringsmål Kursets problemstilling: X → Y eller X Y Indhold, form, opgaver, eksamen og praktik Brugerundersøgelser og eksperimenter Teori Opgave

Fagligt indhold, form og praktik Pensum Artikler og bøger, der er gratis på nettet Form 2 x 45 min. forelæsning, inkl. øvelser 2 x 45 min. øvelser (en del med Excel) 2 gruppearbejder med skriftlig aflevering, præsentation samt forsvar og kritik 1 eksamensopgave

Fagligt indhold, form og praktik Aflevering af 3 opgaver i grupper Eksamen Mundtlig eksamen (20 min.) med afsæt i opg. 3 Kursushjemmeside Forelæsningsplan Slides Øvelser Opgaver Data Lokale Forelæsninger 4A16 Øvelser 4A58

Opsamling Population vs. stikprøve. Stikprøveenhed Stikprøveudvælgelse (prob. og non-prob) Observationsstudie vs. eksperiment Læringsmål: Udforme et spørgeskema til brug for en undersøgelse. Tilrettelægge og gennemføre spørgeskema-undersøgelser (surveys) og eksperimenter. Analysere data fra observationsstudier og eksperimenter. Vurdere om ændringer på en hjemmeside har en effekt. Cooligan Old School (normalfordelingen) Pris kr. 200, Hele bogen, kapitel 124, bortset fra kapitel X, Y, Z, er pensum

Dagens øvelse - undersøgelsesdesign Diskuter i jeres gruppe, hvordan I vil tilrettelægge en brugerundersøgelse af www.frederiksberg.dk. Undersøgelsen skal være færdig den 15. oktober. Besvarelsen, maks. 3 slides, skal omfatte en stillingtagen til: Hvad er population, stikprøve, stikprøveenhed? Hvordan vil I indsamle data? Hvordan vil I fat på de personer, som skal svare? Hvor mange data vil I indsamle? Hvor og hvornår vil I indsamle data? Hvad er de konkrete fordele og ulemper ved jeres dataindsamling? Hvordan ser jeres tids-/aktivitetsplan for undersøgelsen ud? Læg et link til jeres besvarelse på kursushjemmeside kl. 12.00 Cooligan Old School (normalfordelingen) Pris kr. 200, Hele bogen, kapitel 124, bortset fra kapitel X, Y, Z, er pensum