Eksperimentel metode John Paulin Hansen ITC, Usability F2003

Den eksperimentelle metode Måler effekten af systematiske ændringer i uafhængige variable på den afhængige variabel - mens alle andre variable holdes konstant

Variable i GazeTalk eksperimentet Afhængige: –Word per minute –Error rate –Key stroke per Character –Subjektive ratings på spørgeskema Uafhængige: –Antal ordforslag –Skriveform

5 trin i et eksperiment 1. Definer problem og hypotese 2. Opstil den eksperimentelle procedure 3. Udfør eksperimentet 4. Analyser data 5. Uddrag konklusioner

Eksperimentelle designs –Two-group design: Eksperimentel gruppe og kontrolgruppe –Multiple group designs: Evaluere flere niveauer af den uafhængige variabel –Factorial design: kombinerer flere niveauer af to (eller flere) forskellige uafhængige variable –Between-subjects:to forskellige forsøgsgrupper –Within-subjects: samme person oplever alle niveauer af den uafhængige variable –Mixed design: bruger between-subjects på en uafhængig variabel i et et factorielt design og with-in på en anden uafhængig variabel

Design 2x2x2

Design af Gazetalk eksperiment Otte ordforslag Fire ordforslag Skriveform museklik N = 12 N = 11 Skriveform dvæletid N = 10 N = 12

Resultateksempel WPM Otte ordforslag Fire ordforslag Skriveform museklikWpm = 8,2 SD = 2,1 Wpm = 7,2 SD = 2,0 Skriveform dvæletidWpm = 6,9 SD = 2,8 Wpm = 4,2 SD = 3,1

Mange slags afhængige variable Ofte flere i samme forsøg Typer: Opgavetid, antal rigtige, antal fejl, præcision, antal falske alarmer, subjektive skalavurderinger, hjerterytme, galvanisk hud respons, pupilreaktioner, reaktionstid på secondary task, stresshormoner i blod, ekspertvurderinger af præstationer m.fl.

Eksperimentel planlægning Udstyr Deltagere Kontrol af andre variable - eg. ved tilfældig fordeling af opgaver til subjekter fra en homogen gruppe eller fra en stor gruppe med normal diversitet Neutraliser rækkefølge-effekten

Eksperimentet udføres Lav et pilot-forsøg for at sikre, at der ikke sker uventede ting Gennemfør forsøget med nøjagtig samme betingelser (eller stop det og lav et nyt forsøg) Sørg for at tjekke kalibrering af måleudstyr undervejs Overhold alle etiske regler

Data analyse Deskriptiv statistik: gennemsnit og standardafvigelsen Statistiske analyser: –T-test for two-group design –Anova hvis der er mere end to grupper –Udregner sandsynlighed for, at den fundne forskelle er tilfældige (p<0.05) –Type I fejl og type II fejl

Lindsay and Staffon (1988) nuclear control interface

Increase of temperatures

Time tunnels in an unstable state

4 experimental displays

Analysis 3 factor analysis of variance (ANOVA) with the factors: –Display format (4 levels), –Data type (3 levels “slow”, “medium” an “Noise”) –Information type (2 levels: graphical and graphical plus digital).

Reaction time

Hit rate on all data types

Hit rate on HF data

Conclusion “ Both the temporal and the configural dimension seem important for the design of effective process displays. The result …… suggest that the spatial integration of temporal information in the time tunnel format shows promise as a support for process data when targets are to be detected in the presence of noise” (Human Factors, 37 (3), )

Eksempel: Mate

Beskrivende metoder Målinger i den virkelige verden –Fx. fra web log filer –Hastighedsmålinger i trafikken Udvikle taxonomi til at score observationer –Ofte videooptagelser der scores Opinionsmålinger og spørgeskema-undersøgelser –Fra selvadministrerede til strukturerede interviews Hændelsesanalyser –Ulykkesrapporter og indberetninger i databaser

Dataanalyse ved beskrivende metoder Gruppeforskelle - ANOVA Relationer mellem kontinuerlige variable (korrelationskoefficient (r)) Komplekse modeller - kendes fx. fra makroøkonomiske modeller –Modeller kan være konceptuelle eller det kan være matematiske ligninger, vægte i et netværk m.m. –Eksempel ”COMBIMAN” som er en matematisk model for den menneskelige fysiognomi –Navigatørmodel til skibssimulatorer

Målinger af variable Hvordan måler man den mentale arbejdsbelastning ? –Ikke bare tælle samtidige arbejdsopgaver, for nogen af dem kan være automatiseret –I stedet har man fx. brugt: Subjektive angivelser Præstationsmålinger Fysiologiske målinger (hjernebølgeaktivitet og hjerterymer) Secondary task metoden

Objektive versus subjektive målinger Objektive målinger som fx. præstationer, fysiologiske data er efter manges mening bedre end subjektive angivelser I HCI forskning kan computeren samle enorme mængder af objektive data - men hvad siger de? Ofte fundet af subjektive data er de bedste til at forudsige senere reaktioner eller adfærd Det er ofte nemmere at indsamle subjektive data

Kvalitetskriterier for human factors forskning (1) Konstruktionsvaliditet: Manipulerede man den variabel man ville og målte man den rigtige afhængige variabel (er forsøgspersonerne virkelig trætte i et eksperiment om sammenhæng mellem fejlhyppighed og træthed) Intern validitet: Er det KUN de kausale variable der har været i spil?

Kvalitetskriterier for human factors forskning Ekstern validitet: Kan de fundne resultater bruges udenfor den eksperimentelle situation - er præmisserne beskrevet så klart, at de umiddelbart kan generaliseres? Etisk korrekthed: Har forsøgspersonerne været skånet for fysisk og psykisk overlast, er deres anonymitet bevaret, er de frivillige og har de vidst hvad de gik ind til?

20 minutters opgave: Forsøgsdesign 1. Bliver man dårligere til at stave almindeligt dansk, når man benytter automatisk stavekontrol? 2. Hjælper det på effektiviteten af en fly-evakuering, at besætningen instruerer om nødprocedurer før take off ? 3. Har advarsler på tobaksannoncer nogen effekt på rygere ? 4. Hvad er den ideelle placering af knap-paneler på en hjemmeside: for oven, til venstre eller andre steder ? 5. Hvordan afbilder man mest effektivt et web-steds struktur med en knap-struktur ? 6. Hvad har størst betydning for om brugere kan huske en hjemmeside de har besøgt