Psykologi, Human Factors og HCI John Paulin Hansen ITC, Usability E2002

Den eksperimentelle metode Måler effekten af systematiske ændringer i uafhængige variable på den afhængige variabel - mens alle andre variable holdes konstant

5 trin i et eksperiment 1. Definer problem og hypotese 2. Opstil den eksperimentelle procedure 3. Udfør eksperimentet 4. Analyser data 5. Uddrag konklusioner

Eksperimentelle designs Two-group design: Eksperimentel gruppe og kontrolgruppe Multiple group designs: Evaluere flere niveauer af den uafhængige variabel Factorial design: kombinerer flere niveauer af to (eller flere) forskellige uafhængige variable Between-subjects:to forskellige forsøgsgrupper Within-subjects: samme person oplever alle niveauer af den uafhængige variable Mixed design: bruger between-subjects på en uafhængig variabel i et et factorielt design og with-in på en anden uafhængig variabel

Mange slags afhængige variable Ofte flere i samme forsøg Typer: Opgavetid, antal rigtige, antal fejl, præcision, antal falske alarmer, subjektive skalavurderinger, hjerterytme, galvanisk hud respons, pupilreaktioner, reaktionstid på secondary task, stresshormoner i blod, ekspertvurderinger af præstationer m.fl.

Eksperimentel planlægning Udstyr Deltagere Kontrol af andre variable - eg. ved tilfældig fordeling af opgaver til subjekter fra en homogen gruppe eller fra en stor gruppe med normal diversitet Neutraliser rækkefølge-effekten

Eksperimentet udføres Lav et pilot-forsøg for at sikre, at der ikke sker uventede ting Gennemfør forsøget med nøjagtig samme betingelser (eller stop det og lav et nyt forsøg) Sørg for at tjekke kalibrering af måleudstyr undervejs Overhold alle etiske regler

Data analyse Deskriptiv statistik: gennemsnit og standardafvigelsen Statistiske analyser: T-test for two-group design Anova hvis der er mere end to grupper Udregner sandsynlighed for, at den fundne forskelle er tilfældige (p<0.05) Type I fejl og type II fejl

Lindsay and Staffon (1988) nuclear control interface

Increase of temperatures

Time tunnels in an unstable state

4 experimental displays

Analysis 3 factor analyse of variance (ANOVA) with the factors: Display format (4 levels), Data type (3 levels “slow”, “medium” an “Noise”) Information type (2 levels: graphical and graphical plus digital).

Reaction time

Hit rate on all data types

Hit rate on HF data

Conclusion “ Both the temporal and the configural dimension seem important for the design of effective process displays. The result …… suggest that the spatial integration of temporal information in the time tunnel format shows promise as a support for process data when targets are to be detected in the presence of noise” (Human Factors, 37 (3), 539 - 552.)

Eksempel: Mate

Beskrivende metoder Målinger i den virkelige verden Fx. fra web log filer Hastighedsmålinger i trafikken Udvikle taxonomi til at score observationer Ofte videooptagelser der scores Opinionsmålinger og spørgeskema-undersøgelser Fra selvadministrerede til strukturerede interviews Hændelsesanalyser Ulykkesrapporter og indberetninger i databaser

Dataanalyse ved beskrivende metoder Gruppeforskelle - ANOVA Relationer mellem kontinuerlige variable (korrelationskoefficient (r)) Komplekse modeller - kendes fx. fra makroøkonomiske modeller Modeller kan være konceptuelle eller det kan være matematiske ligninger, vægte i et netværk m.m. Eksempel ”COMBIMAN” som er en matematisk model for den menneskelige fysiognomi Navigatørmodel til skibssimulatorer

Målinger af variable Hvordan måler man den mentale arbejdsbelastning ? Ikke bare tælle samtidige arbejdsopgaver, for nogen af dem kan være automatiseret I stedet har man fx. brugt: Subjektive angivelser Præstationsmålinger Fysiologiske målinger (hjernebølgeaktivitet og hjerterymer) Secondary task metoden

Objektive versus subjektive målinger Objektive målinger som fx. præstationer, fysiologiske data er efter manges mening bedre end subjektive angivelser I HCI forskning kan computeren samle enorme mængder af objektive data - men hvad siger de? Ofte fundet af subjektive data er de bedste til at forudsige senere reaktioner eller adfærd Det er ofte nemmere at indsamle subjektive data

Kvalitetskriterier for human factors forskning (1) Konstruktionsvaliditet: Manipulerede man den variabel man ville og målte man den rigtige afhængige variabel (er forsøgspersonerne virkelig trætte i et eksperiment om sammenhæng mellem fejlhyppighed og træthed) Intern validitet: Er det KUN de kausale variable der har været i spil?

Kvalitetskriterier for human factors forskning (2) Ekstern validitet: Kan de fundne resultater bruges udenfor den eksperimentelle situation - er præmisserne beskrevet så klart, at de umiddelbart kan generaliseres? Etisk korrekthed: Har forsøgspersonerne været skånet for fysisk og psykisk overlast, er deres anonymitet bevaret, er de frivillige og har de vidst hvad de gik ind til?

10 minutters opgave: Forsøgsdesign 1. Bliver man dårligere til at stave almindeligt dansk, når man benytter automatisk stavekontrol? 2. Hjælper det på effektiviteten af en fly-evakuering, at besætningen instruerer om nødprocedurer før take off ? 3. Har advarsler på tobaksannoncer nogen effekt på rygere ? 4. Hvad er den ideelle placering af knap-paneler på en hjemmeside: for oven, til venstre eller andre steder ? 5. Hvordan afbilder man mest effektivt et web-steds struktur med en knap-struktur?

Alternativer til den eksperimentelle metode Guru - konsultation / Terapi Egne erfaringer / Introspektion Observationer af brugere / Iagttagelse af mennesker (Kirkegaard) Darwinistisk designudvikling/ Socialpsykologiske eksperimenter (”Robinson-metoden”) Teoribaseret design / Psykoanalyse