Dagens program 1.Information Hvordan går det med projekt 3 Evaluering 2.Opsamling Hvad er forudsætningerne for kausalitet? 3.Om eksperimenter 4.Variansanalyse, (one-way) ANOVA 5.Videre med projekt 3

Observationsstudier vs. eksperimenter Observationsstudie Enheders (units) værdier på responsvariablen og forklar-ende variable observeres, uden at udsætte enhederne for påvirkninger (treatments) Eksempel En brugerundersøgelse, hvor et spørgeskema popper op på en hjemmeside. Eksperiment Enhederne (subjects) udsættes for påvirkninger (i forsøg) og man observerer effekten på responsvariablen (dens værdi). Påvirkningerne (treatments) udgør de forklarende variable. Eksempler: Undersøgelse af ny medicin. Gr. A får kalktabletter, Gr. B får den nye medicin. Population Sample

Om eksperimenter Eksperimentet 1.I eksperimentet udsætter man med fuldt overlæg forsøgsenheder for en påvirkning og holder øje med effekten (responsvariablen). 2.Formålet med et eksperiment er at bestemme effekten af påvirkningen. Begreber 1.Enheder/elementer (units / subjects) i et eksperiment – de “ting” man udsætter for et forsøg. Eksempel: Rotter 2.Påvirkning (treatment): Den (be)handling eller de betingelser, som enhederne udsættes for. Eksempel: Bannerreklamer, stråler fra mobiltelefoner etc. 3.Forklarende variable: Inddeler / definer de grupper som sammenlignes. Eksempel: Køn, rygere/ikke-rygere 4.Responsvariablen: Det man måler enhederne på for at vurdere effekten af påvirkningen. Eksempel: Sygdomme, salg

Eksempel: Completely randomized experiment Der er udviklet en pille, Kind At Last, KAL til onde mennesker, som skal tages 2 gange dagligt 520 mean people (300 males and 220 females) are willing to participate in a study. Hvad er a) Subjects, b) Explanatory og c) Response Variable?

Opgave i eksperiment Et studiegruppe vil finde ud af om en menu i toppen eller i venstre kolonne giver den mest brugervenlige hjemmeside. Besøgende på en hjemmeside bliver skiftevis præsenteret for en top- hhv. en venstrekolonne menu samt et pop-up spørgeskema. De bliver bl.a. spurgt, hvor tilfredse de alt-i-alt er hjemmesiden. 1.Hvad er forsøgsenhederne? 2.Hvad består påvirkningen (treatment) i? 3.Hvad er responsvariablen hhv. den forklarende variabel? 4.Hvad er stikprøvemetoden? Placering af menu Samlet tilfredshed med hjemmesiden Tilfredse B å de og UtilfredseAntal Topmenu46%43%11%131 Venstre menu65%35%6%149

Tre principper for et godt eksperiment 1.Kontrolgruppe: Giver mulighed for at sammenligne effekten af påvirkningen. 2.Randomisering: Balancerer forsøgs- og kontrolgruppe og udelukker ”lurking variables” (støjfaktorer / den tredje forklaring). 3.Gentagelse (replication): Giver sikkerhed for at effekter kan tilskrives påvirkningen.

Eksempel: Randomiseret Blok Design, RDB Man formoder nu, at køn har betydning for effekten af KAL Så i stedet for et fuldstændig radomiseret eksperiment, gennemfører vi eksperimentet med et Randomiseret Blok Design Blok-variablen ”Køn” bruges til at dele forsøgspersonerne i 2 blokke (grupper). Derved kan effekten af køn på KAL bestemmes. Projekt 3

Randomiseret Blok Design En blok er en gruppe af forsøgsenheder, der er ens på en eller flere karakteristika, f.eks. køn (og familietype). Et Randomiset Blok Design, RBD, består i dele forsøgsenhederne op i blokke og dernæst allokere enhederne til påvirkningerne. RBD giver bedre mulighed for at vurdere effekten af den påvirkning eksperimentet skal belyse. RBD eliminerer den variation i responsvariablen, som skyldes blok variablen.

Observationsstudier vs. eksperimenter Eksperimenter giver “forskeren” mere kontrol over støj-faktorer. Eksperimentet reducerer risikoen for at støjfaktorer (lurking variables aka. confounding variables) påvirker resultatet. Eksperimenter giver mulighed for at udelukke visse forklarende variable (=visse forklaringer). Eksperimenter kan styrke formodningen om kausalitet (årsag- virkning). Det kan observationsstudier ikke. Eksperimenter kan være uladesiggørlige af etiske og praktiske, ressourcemæssige årsager (tid og penge).

Variansanalyse I variansanalysen sammenligner vi gennemsnit fra flere grupper. –g bruges som betegnelse for antallet af grupper. –Hver gruppe repræsenterer en population. –Responsvariablens g gns. repræsenterer de g middel- værdier i populationerne, som skrives µ 1, µ 2, … µ g Eksempler: –Er brugertilfredsheden på de tre højest placerede hjemmesider i Bedst på Net forskellige? –Er biografforbruget før, under og efter medlemsskab af Biografklub Danmark forskelligt?

Variansanalysens hypoteser Nul-hypotesen er, at populationernes middelværdier er ens: –H 0 : µ 1 = µ 2 = …= µ g Alternativhypotesen er: –H a : Mindst to af populationernes middel- værdier er forskellige.

Variansanalysens forudsætninger 1.Populationsfordelingerne af de g responsvariable er normalfordelte og har samme standardafvigelse. 2.Randomisering I stikprøvebaserede undersøgelser (surveys) stammer data fra g uafhængige stikprøver (fra de g populationer). I et eksperiment er forsøgsenhederne allokeret tilfældigt (randomly) på de g grupper.

Eksempel på en problemstiling 1.En virksomhed er klar til at lancere en ny hjemmeside og vil samtidig igangsætte AdWords for at øge trafikken. 2.Marketingafdelingen har testet tre typer af annoncer i løbet af 4 uger:  A: Samme type som konkurrenterne  B: Teknisk orienterede annoncer  C: ”Fjollede” annoncer (med rim) 3.Antallet af klik pr. annoncetype er registereret. 4.Hvad er responsvariablen og hvad den forklarende variabel? 5.Hvordan skal undersøgelsen tilrettelægges?

Eksemplets datagrundlag AnnonceAntal klik pr. ugenGns.Varians A129, 124, 115, B107, 101, 92, C91, 84, 81, ,3 Gns. fra de 3 stik- prøver repræsenterer gns. fra de tre popu- lationer: µ 1 = gns. for ad A µ 2 = gns. for ad B µ 3 = gns. for ad C Hvad er nul- og alternativhypotesen ?

Har populationerne samme μ? Herunder ses det forrige datasæt (nederst) og et nyt datasæt. Hvad er forskellen på de to datasæt? Hvad formoder vi om udfaldet af H 0 : μ 1 = μ 2 = μ 3 i de to datasæt? Hvor er beviserne mod H 0 stærkest? Gns. = 100 i begge sæt.

ANOVAs teststørrelse F ANOVAs teststørrelse: Jo større variationen er mellem grupper (between groups) i fht. variationen indenfor grupper (within groups), des større bliver teststørrelsen. Teststørrelsen følger en F-fordeling Jo større F er, des stærkere er beviserne mod H 0

ANOVA er en signifikanstest Fremgangsmåde – de fem trin 1.Forudsætninger Normalfordelte populationer med ens standardafvigelser 2.Hypoteseformulering H 0 : µ 1 = µ 2 = …= µ g H a : min. to af middelværdierne er forskellige 3.Beregning af teststørrelsen, F 4.Omregning af teststørrelsen til en P-værdi 5.Konklusion

Data og ANOVA i Excel 1.I Excel vælges Data Analyse (efter installation af Analysis ToolPak) og derefter ANOVA (single factor). 2.Dataområdet udpeges og der klikkes OK

ANOVA output fra Excel

F-fordelingen

ANOVA er en signifikanstest Trin 4 og 5 4.Omregning af F til en P-værdi 5.Konklusion. H 0 afvises da P < 5 %. Middelværdierne må formodes at være forskellige, dvs. at de tre annoncetyper giver forskelligt antal klik pr. uge.

Beregning af BETWEEN SS Estimatet på BETWEEN SS beregnes som gruppegns. afvigelser fra det samlede gns. Det samlede gns. er 100 Gr.Gns. Afv. fra 100Afv.^2 x 4 obs. A B C Sum 2.792

Beregning af WITHIN SS Estimatet på WITHIN SS beregnes som den vægtede sum af gruppernes varianser. Gr. (1) s 2 (2) n-1 (3)(2)x(3) A B C39,33118 Sum 526

Den samlede variation, SS Nr Sum Obs (Obs- 100)^ Gns. af alle obs. er 100

ANOVA på de reviderede data (øverste punkter i figuren herunder) Obs.ABC Gns

Om ANOVA OK med mindre afvigelser på den første af testens forudsætninger (normalfordelte responsvariable med samme standardafvigelse) Testen går galt, hvis –stikprøvefordelingerne er meget skæve og stikprøverne er små. Tjek om der er outliers (begynd med boxplot). –der er store forskelle på standardafvigelserne (er tilfældet hvis den største std.afv. er dobbelt så stor som den mindste). Når der mange grupper, giver F-testen bedre kontrol over type 1 fejlen end et stort antal parvise t-test. F-testen fortæller ikke, hvilke grupper der er forskellige

Om ANOVA One-way ANOVA har: –En kvantitativ responsvariabel –En kategoriseret forklarende variabel Two-way ANOVA har: –En kvantitativ responsvariabel –To kategoriserede forklarende variable