Eksperimentel metode.

Præsentationer af emnet: "Eksperimentel metode."— Præsentationens transcript:

1 Eksperimentel metode

2 Den eksperimentelle metode
Måler effekten af systematiske ændringer i uafhængige variable på den afhængige variabel - mens alle andre variable holdes konstant Både i laboratoriet og i den virkelige verden Psykologien har ofte søgt at studere menneskelig adfærd i ”rene og kontekst-afhængige” situationer. Eksempel: Hukommelse for meningsløse stavelser - samarbejdsprocesser i samling af abstrakte puslespil. Human factors ser mennesket og maskinen/systemet som en integreret analyseenhed, der ikke kan adskilles. - menneskelig adfærd påvirker design - og designet påvirker den menneskelige adfærd Basic research: Udviklingen af teorier, principper og fund som kan generaliseres over en række forskellige mennesker, opgaver og situationer (power law of learning) Applied research: vedrører det, som er specifikt for bestemte mennesker, opgaver eller situationer Kontinium mellem basic og applied research Kan være svært at anvende basic research på konkrete problemer og omvendt svært at generalisere fra appliede research undersøgelser - design af remote kontrol - kan det også bruges på et web-baseret kontrolpanel til web-tv? Eksperimentelle metode: teknisk set den eneste måde der kan etableres en årsags-virkning sammenhæng - og eksperimenter er standarden, hvormed andre metoder vurderes Analogi: Medicinsk forskning - alternativ medicin

3 Variable i spøgelses eksperimentet
Afhængige: reaktions-tid fejl-rate genkendte spøgelser Subjektive ratings på spørgeskema Uafhængige: animation eller blink normal eller forvrænget perspektiv

4 5 trin i et eksperiment 1. Definer problem og hypotese
2. Opstil den eksperimentelle procedure 3. Udfør eksperimentet 4. Analyser data 5. Uddrag konklusioner Kommer til at lave lille øvelser hvor gennemløbes Eksempel: Skiftende dag- og nattevagter påvirker fejlrisikoen Hvad forstås ved skiftende nattevagter - hvordan måles fejlrisikoen Ofte se videnskabelige artikler som er struktureret som: Problem Experimental design Procedure Data analysis conclusions

5 Eksperimentelle designs
Two-group design: Eksperimentel gruppe og kontrolgruppe Multiple group designs: Evaluere flere niveauer af den uafhængige variabel Factorial design: kombinerer flere niveauer af to (eller flere) forskellige uafhængige variable Between-subjects:to forskellige forsøgsgrupper Within-subjects: samme person oplever alle niveauer af den uafhængige variable Mixed design: bruger between-subjects på en uafhængig variabel i et et factorielt design og with-in på en anden uafhængig variabel Eksempel: taler i mobiltelefon mens man kører vs. Bare kører Måler afvigelsen af optimal vejbane Flere nvieauer: eksempelvis håndholdt mobiltelefon eller mobiltelefon med mikrofon og højtaleranlæg i bilen Faktorielt design: eksempelvis påvirkningen på kørefærdigheder i let og svær trafik af henholdsvis kontrolgruppe, håndholdt mobiltelefon og mobiltelefon monteret i bilen (3x2) Mere kompliceret: kommunikationstype (3 niveauer) x trafikcondition (2 niveauer) x belastning v. kommunikation (svar/respons eller spørgsmål/opkald ) 2 niveauer x tidsbinding 2 nviauer (variabel tid - hurtigst muligt) Between subjects: forskellige forsøgspersoner i alle grupper Within-subjects: samme personer prøver alle konditioner Mi

6 Design 2x2x2

7 SMS forsøg Ordbog Tap-tap sidde gå kno N= 4 SE= 0,9 WPM= 21,2 N= 7
Coefficients of: WPM on int*sym Level of int*sym Coefficient std. err. t Ratio prob mt,gå 1,610 1,057 1,523 0,1361 mt,kno 1,477 0,8265 1,787 0,0819 mt,sidde -3,087 0, ,122 0,0034 Ordbog,gå -1,610 1,057 -1,523 0,1361 Ordbog,kno -1,477 0, ,787 0,0819 Ordbog,sidde 3,087 0,9889 3,122 0,0034

8 Normalfordelt?

9 Input-betingelser

10 System-betingelser

11 Interaktionseffekt

12 Signifikans signifikante forskelle er over 6 wpm
Difference std. err. Prob Ordbog,gå - mt,kno 6, ,583 0,045951 Ordbog,sidde - mt,gå 9, ,559 0,001822 Ordbog,sidde - mt,kno 14,7455 2,315 0,000001 Ordbog,sidde - mt,sidde 11,2286 2,485 0,000283 Ordbog,sidde - Ordbog,gå 8, ,028 0,038671 Ordbog,sidde - Ordbog,kno 12,6462 2,267 0,000012 Difference std. err. Prob Ordbog,gå - mt,kno 6, ,583 0,045951 Ordbog,sidde - mt,gå 9, ,559 0,001822 Ordbog,sidde - mt,kno 14,7455 2,315 0,000001 Ordbog,sidde - mt,sidde 11,2286 2,485 0,000283 Ordbog,sidde - Ordbog,gå 8, ,028 0,038671 Ordbog,sidde - Ordbog,kno 12,6462 2,267 0,000012

13 Kommunikationshastigheder

14 Mange slags afhængige variable
Ofte flere i samme forsøg Typer: Opgavetid, antal rigtige, antal fejl, præcision, antal falske alarmer, subjektive skalavurderinger, hjerterytme, galvanisk hud respons, pupilreaktioner, reaktionstid på secondary task, stresshormoner i blod, ekspertvurderinger af præstationer m.fl. Eksempelvis både måle afvigelser fra optimal rute og antal opbremsninger og antal fejlsvar i opgave

15 Eksperimentel planlægning
Udstyr Deltagere Kontrol af andre variable - eg. ved tilfældig fordeling af opgaver til subjekter fra en homogen gruppe eller fra en stor gruppe med normal diversitet Neutraliser rækkefølge-effekten Ikke have alle ældre i en gruppe og yngre i en anden - Neutralisering Counterbalancing (mod-balancering halvdelen først den ene og så den anden)

16 Eksempel: Mate

17 Eksperimentet udføres
Lav et pilot-forsøg for at sikre, at der ikke sker uventede ting Gennemfør forsøget med nøjagtig samme betingelser (eller stop det og lav et nyt forsøg) Sørg for at tjekke kalibrering af måleudstyr undervejs Overhold alle etiske regler

18 Data analyse Deskriptiv statistik: gennemsnit og standard fejlen
Statistiske analyser: T-test for two-group design Anova hvis der er mere end to grupper Udregner sandsynlighed for, at den fundne forskelle er tilfældige (p<0.05) Type I fejl og type II fejl Type 1 fejl: forekommer hver 20 gang - derfor ofte kræve eksempelvis hvis det er et spørgsmål om liv og død Kan ikke få artikler antaget til tidsskrifter eller konferencer hvis p er mere end 0.05 Type 2 fejl: man konkluderer at en uafhængig variabel ikke havde effekt, hvor den faktisk havde det! - sker ofte hvis man bruger et lavt antal forsøgspersoner, som svækker statistikkens udsigelseskraft Eksempel med kræftmedicin der kun viser en o.20 effekt - hvad gør man? Finder ud af om der er behov for flere subjekter - om der er en bagvedliggende faktor, som kan forklare den ringe effekt (eksempelvis at der er rigtig god effekt for nogle kræftformer, men ikke for andre) m.m. Meta-analyser - sammenligner resultater og udsigelseskraft ved de statistiske metoder der er anvendt - eg COCHRANE-center opkaldt efter opfinderen af metoden. Statistisk signifikans versus praktisk signifikans - lille, signifikant forskel ved en medicinsk behandling, men for lille og for dyr til, at man vil indføre den på landsplan.

19 Beskrivende metoder Målinger i den virkelige verden
Fx. fra web log filer Hastighedsmålinger i trafikken Udvikle taxonomi til at score observationer Ofte videooptagelser der scores Opinionsmålinger og spørgeskema-undersøgelser Fra selvadministrerede til strukturerede interviews Hændelsesanalyser Ulykkesrapporter og indberetninger i databaser Aviation safety reporting systems (ASRS) hos NASA har mere end hændelser i databasen

20 Dataanalyse ved beskrivende metoder
Gruppeforskelle - ANOVA Relationer mellem kontinuerlige variable (korrelationskoefficient (r)) Komplekse modeller - kendes fx. fra makroøkonomiske modeller Modeller kan være konceptuelle eller det kan være matematiske ligninger, vægte i et netværk m.m. Eksempel ”COMBIMAN” som er en matematisk model for den menneskelige fysiognomi Navigatørmodel til skibssimulatorer Korrelationskofficienter - pas på med at konkludere, at der er en årsags-virkningssammenhæng Klassisk eksempel: antal solgte is korrellerer med antal badeulykker (r= 0.8, p=0.005)

21 Målinger af variable Hvordan måler man den mentale arbejdsbelastning ?
Ikke bare tælle samtidige arbejdsopgaver, for nogen af dem kan være automatiseret I stedet har man fx. brugt: Subjektive angivelser Præstationsmålinger Fysiologiske målinger (hjernebølgeaktivitet og hjerterymer) Secondary task metoden

22 Objektive versus subjektive målinger
Objektive målinger som fx. præstationer, fysiologiske data er efter manges mening bedre end subjektive angivelser I HCI forskning kan computeren samle enorme mængder af objektive data - men hvad siger de? Ofte fundet af subjektive data er de bedste til at forudsige senere reaktioner eller adfærd Det er ofte nemmere at indsamle subjektive data

23 Kvalitetskriterier for human factors forskning (1)
Konstruktionsvaliditet: Manipulerede man den variabel man ville og målte man den rigtige afhængige variabel (er forsøgspersonerne virkelig trætte i et eksperiment om sammenhæng mellem fejlhyppighed og træthed) Intern validitet: Er det KUN de kausale variable der har været i spil?

24 Kvalitetskriterier for human factors forskning
Ekstern validitet: Kan de fundne resultater bruges udenfor den eksperimentelle situation - er præmisserne beskrevet så klart, at de umiddelbart kan generaliseres? Etisk korrekthed: Har forsøgspersonerne været skånet for fysisk og psykisk overlast, er deres anonymitet bevaret, er de frivillige og har de vidst hvad de gik ind til? Etik: Fra brugertest til brugervenligheds-tests Tilføje et etiks punkt: At deltagerne debriefes og/eller sikres informationer om undersøgelsens resultater - gode grunde hertil, eksempelvis i organisationer

25 Simulations and Experiments

26 Danish experiment

27 Japanese experiment

28 Typing speed, 12 Danish student subjects
Input: PC-mouse Smart Nav head tracker Quickglance eye tracker Design: 12 sentences in each block by 3 devices (counterbalanced) in two days Results: Learning effect for head and gaze Mouse is fastest No difference between head and gaze input

29 Typing speed, 15 Japanese student subjects
Input: PC-mouse Smart Nav head tracker Quickglance eye tracker Design: 12 sentences (including Kanji characters) by 3 devices (counterbalanced) in two days Results: Learning effect Mouse is fastest No difference between head and gaze input

30 Errors Significant most errors for gaze typing
Danish subjects made much more errors than Japanese subjects Significant drop in errors for head and gaze typing from day one to day two

31 Comments from novice users of gaze dwell time typing:
”A bit difficult to get used to not dwelling at un-intended buttons ..” ”Difficult to orient yourself without activating something” ”It can be hard to keep starring at the buttons you want”

32 Subjective ratings, Danish & Japanese subjects

33 15 minutters opgave: Forsøgsdesign
1. Bliver man dårligere til at stave almindeligt dansk, når man benytter automatisk stavekontrol? 2. Hjælper det på effektiviteten af en fly-evakuering, at besætningen instruerer om nødprocedurer før take off ? 3. Har advarsler på tobaksannoncer nogen effekt på rygere ? 4. Hvad er den ideelle placering af knap-paneler på en hjemmeside: for oven, til venstre eller andre steder ? 5. Hvordan afbilder man mest effektivt et web-steds struktur med en knap-struktur ? 6. Hvad har størst betydning for om brugere kan huske en hjemmeside de har besøgt