Dagens program Teori Øvelser Eksperimentelle design Kausalitet Om eksperimenter Tre principper for et godt eksperiment Multifaktor eksperiment Randomiserede blok design (RBD) Kausalitet Øvelser Arbejde med opgave 2 1

Om eksperimenter Eksperimentet I eksperimentet udsætter man med fuldt overlæg forsøgsenheder for en påvirkning og holder øje med effekten (responsvariablen). Formålet med et eksperiment er at bestemme effekten af påvirkningen. Begreber Enheder/elementer (units / subjects) i et eksperiment – de “ting” man udsætter for et forsøg. Eksempel: Rotter Påvirkning (treatment): Den (be)handling eller de betingelser, som enhederne udsættes for. Eksempel: Bannerreklamer, stråler fra mobiltelefoner etc. Forklarende variable: Inddeler / definer de grupper som sammenlignes. Eksempel: Køn, rygere/ikke-rygere Responsvariablen: Det man måler enhederne på for at vurdere effekten af påvirkningen. Eksempel: Sygdomme, salg

Observationsstudier vs. eksperimenter Enheders (units) værdier på responsvariablen og forklar-ende variable observeres, uden at udsætte enhederne for påvirkninger (treatments) Eksempel En brugerundersøgelse, hvor et spørgeskema popper op på en hjemmeside. Eksperiment Enhederne (subjects) udsættes for påvirkninger (i forsøg) og man observerer effekten på responsvariablen (dens værdi). Påvirkningerne (treatments) udgør de forklarende variable. Eksempler: Undersøgelse af ny medicin. Gr. A får kalktabletter, Gr. B får den nye medicin. Skibe males med maling A på den ene side og maling B på den anden side. Antal m2 rust på hver side måles efter 5 år. Population Sample

Observationsstudie el. eksperiment? Et webbureau vil finde ud af om en menu i toppen eller venstre kolonne giver den mest brugervenlige hjemmeside. Alle besøgende på bureauets hjemmeside bliver præsenteret for et pop-up spørgeskema. De bliver bl.a. spurgt, hvor tilfredse de alt-i-alt var med den seneste hjemmeside de besøgte og om denne hjemmeside har en topmenu eller venstre menu. Er det et observationsstudie eller et eksperiment? Placering af menu Samlet tilfredshed med hjemmesiden Tilfredse Både og Utilfredse Antal Topmenu 46% 43% 11% 131 Venstre menu 65% 35% 6% 149 4

Observationsstudier vs. eksperimenter Eksperimenter giver “forskeren” mere kontrol over støj-faktorer. Eksperimentet reducerer risikoen for at støjfaktorer (lurking variables aka. confounding variables) påvirker resultatet. Eksperimenter giver mulighed for at udelukke forklarende variable (=visse forklaringer) Eksperimenter kan påvise kausalitet (årsag-virkning). Det kan observationsstudier ikke. Eksperimenter kan være uladesiggørlige af etiske og praktiske, ressourcemæssige årsager (tid og penge).

Tre principper for et godt eksperiment Kontrolgruppe: Giver mulighed for at sammenligne effekten af påvirkningen. Randomisering: Balancerer forsøgs- og kontrolgruppe mht. forklarende variable og støjfaktorer (lurking variables). Gentagelse (replication): Giver sikkerhed for at effekter kan tilskrives påvirkningen.

Princip 1: Kontrolgruppe En placebopåvirkning er en påvirkning med en kendt effekt, fx. en kalktablet, ofte underforstået ”ingen effekt”. Nogle (enheder / subjects) reagerer på en placebo-påvirkning, hvilket giver en placeboeffekt. Placebopåvirkningen behøver ikke være virkningsløs, som f.eks. en kalktablet. Den skal blot være kendt. Kontrolgruppen gives placebo for man har noget at sammenligne effekten af forsøgspåvirkningen med. Eksempel: 50 elever i 9. klasse benytter www.lektiecafe.dk og deres karaktergennemsnit ved eksamen beregnes.

Princip 2: Randomisering (tilfældig allokering) For at opnå pålidelige resultater skal forsøgs-enhederne fordeles (allokeres) tilfældigt på påvirkninger. Tilfældig allokering ... eliminerer den bias der måtte komme af bevidst at forsøge at danne ”optimale” grupper. balancerer grupperne på variable, som man ved påvirker responsen. balancerer grupperne på støjfaktorer (lurking variable), som man ikke er opmærksomme på. balanceringen eliminerer effekten fra systematiske skævheder blandt enheder samt støj-faktorer

Princip 3: Gentagelse (replication) Gentagelse betyder, at mange enheder udsættes for påvirkningen. Man har mere tillid til at en påvirkning har en effekt, når stikprøvestørrelserne er store. Da en effekt teoretisk set også kan skyldes tilfældigheder, øger store stikprøver styrken af eksperimentets konklusioner.

Multifaktor eksperiment Et multifaktor eksperiment er ét eksperiment, hvor effekten af to eller flere forklarende variable analyseres. Er de forklarende variable kategoriserede kaldes de ofte faktorer Multifaktor eksperimenter er mere nyttige end simple en-faktor eksperimenter, da effekten (responsvariablen) kan varierer afhængig af kombinationen af forklarende variable.

Eksempel på et multifaktor eksperiment Forsøgsopstilling Enheder (subjects): Studerende på danske universiteter De studerende blev bedt om at bruge 10-minutter på at læse om et emne på en hjemmeside, som viste reklamer for et produkt. Faktor A: Halvdelen af de studerende fik vist en reklame der kom til syne i 30 sekunder. Den anden halvdel fik den vist i 90 sekunder. Faktor B: Reklamen blev vist hhv. 1, 3, og 5 gange i løbet af de 10 min. Eksperimentet har to faktorer, A og B: Visningslængde: 2 niveauer (= 2 levels) Antal af visninger: 3 niveauer (3 visninger = 3 levels)

Multifaktor eksperiment De 2 x 3 kombinationer af de to faktorer giver 6 påvirkninger (treatments). Faktor B Antal visninger 1 gang 3 gange 5 gange Faktor A Reklamens længde 30 sek. 1 2 3 90 sek. 4 5 6 Studerende allokeret til påvirkning 3 ser reklamen af 30 sek. varihed 5 gange i løbet af de 10 min. Efter de 10 minutter blev de studerende bedt om at besvare et spørgeskema. De skulle fortælle om tre responsvariable: 1) kunne de huske hvad reklamen handlede om, hvad deres holdning til reklamen er og deres interesse for at købe produktet

Eksempel på et multifaktor eksperiment Forsøgsopstilling Enheder (subjects): Alvorligt deprimerede mennesker med tilbøjelighed til at begå selvmord. I psykiatrien har man anvendt to typer af terapi, T1 og T2, til at hjælpe deprimerede mennesker. I udlandet har man gode erfaringer med en tredje metode, T3, som man ønsker at tage i anvendelse. Psykiatere, der har brugt T1 og T2 i mange år, diskuterer, om den nye metode T3 er lige velegnet til mænd og kvinder. Diskussionen har delt psykiaterne i to lejre.

Eksempel: Randomiseret Blok Design Blok = køn. Behandlinger (treatments) = 3 typer af terapi Mænd og kvinder allokeres tilfældigt til de 3 behandlinger Forskelle i responsen forklares med køn og type af terapi

Randomiseret Blok Design En blok er en gruppe af forsøgsenheder, der er ens på en eller flere karakteristika, f.eks. køn (og familietype). Et Randomiset Blok Design, RBD, består i dele forsøgsenhederne op i blokke og dernæst allokere enhederne til påvirkningerne indenfor blokken. RBD giver bedre mulighed for at vurdere effekten af den påvirkning, eksperimentet skal belyse. RBD eliminerer den variation i responsvariablen, som skyldes blok variablen.

Fører øget brugervenlighed fx. til øget salg? Y, responsvariabel Fælles Antal besøgende på hjemmesiden Kommercielle organisationer Antal besøgende, der køber (hitrate) Størrelsen af købet (basketsize) Ikke-kommercielle organisationer Fremme af organisationens formål Y = salg X = brugervenlighed 16

Kausalitet: Årsag og virkning Betingelser for kausalitet Rækkefølge (X → Y, ikke X ← Y) Association mellem X og Y. Udtrykkes operationelt ved en korrelations-koefficient, fx. Pearsons r. Positive r værdier tyder på en positive association (sammenhæng) Negative r værdier tyder på en negative association r værdier tæt på +1 eller -1 tyder på en stærk lineær association r værdier tæt på 0 tyder på en svag association Udelukkelse af andre forklaringer X: Salg af is, Y: Drukne ulykker Hypotese: X → Y Z: Årstid Mere plausibel hypotese: X ← Z → Y 4 P’er 17