Eksperimentel metode John Paulin Hansen ITC, Usability F2004.

Præsentationer af emnet: "Eksperimentel metode John Paulin Hansen ITC, Usability F2004."— Præsentationens transcript:

1 Eksperimentel metode John Paulin Hansen ITC, Usability F2004

2 Den eksperimentelle metode Måler effekten af systematiske ændringer i uafhængige variable på den afhængige variabel - mens alle andre variable holdes konstant

3 Variable i GazeTalk eksperimentet Afhængige: –Word per minute –Error rate –Key stroke per Character –Subjektive ratings på spørgeskema Uafhængige: –Antal ordforslag –Dvæle eller klik

4 5 trin i et eksperiment 1. Definer problem og hypotese 2. Opstil den eksperimentelle procedure 3. Udfør eksperimentet 4. Analyser data 5. Uddrag konklusioner

5 Eksperimentelle designs –Two-group design: Eksperimentel gruppe og kontrolgruppe –Multiple group designs: Evaluere flere niveauer af den uafhængige variabel –Factorial design: kombinerer flere niveauer af to (eller flere) forskellige uafhængige variable –Between-subjects:to forskellige forsøgsgrupper –Within-subjects: samme person oplever alle niveauer af den uafhængige variable –Mixed design: bruger between-subjects på en uafhængig variabel i et et factorielt design og with-in på en anden uafhængig variabel

6 Design 2x2x2

7 Design af Gazetalk eksperiment Otte ordforslag Et ordforslag Skriveform museklik N = 12 N = 11 Skriveform dvæletid N = 10 N = 12

8 Resultateksempel WPM Otte ordforslag Et ordforslag Skriveform museklikWpm = 8,2 SD = 1,1 Wpm = 7,2 SD = 2,0 Skriveform dvæletidWpm = 6,9 SD = 2,2 Wpm = 4,2 SD = 2,1

9 Mange slags afhængige variable Ofte flere i samme forsøg Typer: Opgavetid, antal rigtige, antal fejl, præcision, antal falske alarmer, subjektive skalavurderinger, hjerterytme, galvanisk hud respons, pupilreaktioner, reaktionstid på secondary task, stresshormoner i blod, ekspertvurderinger af præstationer m.fl.

10 Eksperimentel planlægning Udstyr Deltagere Kontrol af andre variable - eg. ved tilfældig fordeling af opgaver til subjekter fra en homogen gruppe eller fra en stor gruppe med normal diversitet Neutraliser rækkefølge-effekten

11 Eksperimentet udføres Lav et pilot-forsøg for at sikre, at der ikke sker uventede ting Gennemfør forsøget med nøjagtig samme betingelser (eller stop det og lav et nyt forsøg) Sørg for at tjekke kalibrering af måleudstyr undervejs Overhold alle etiske regler

12 Data analyse Deskriptiv statistik: gennemsnit og standardafvigelsen Statistiske analyser: –T-test for two-group design –Anova hvis der er mere end to grupper –Udregner sandsynlighed for, at den fundne forskelle er tilfældige (p<0.05) –Type I fejl og type II fejl

13 Beskrivende metoder Målinger i den virkelige verden –Fx. fra web log filer –Hastighedsmålinger i trafikken Udvikle taxonomi til at score observationer –Ofte videooptagelser der scores Opinionsmålinger og spørgeskema-undersøgelser –Fra selvadministrerede til strukturerede interviews Hændelsesanalyser –Ulykkesrapporter og indberetninger i databaser

14 Dataanalyse ved beskrivende metoder Gruppeforskelle - ANOVA Relationer mellem kontinuerlige variable (korrelationskoefficient (r)) Komplekse modeller - kendes fx. fra makroøkonomiske modeller –Modeller kan være konceptuelle eller det kan være matematiske ligninger, vægte i et netværk m.m. –Eksempel ”COMBIMAN” som er en matematisk model for den menneskelige fysiognomi –Navigatørmodel til skibssimulatorer

15 Målinger af variable Hvordan måler man den mentale arbejdsbelastning ? –Ikke bare tælle samtidige arbejdsopgaver, for nogen af dem kan være automatiseret –I stedet har man fx. brugt: Subjektive angivelser Præstationsmålinger Fysiologiske målinger (hjernebølgeaktivitet og hjerterymer) Secondary task metoden

16 Objektive versus subjektive målinger Objektive målinger som fx. præstationer, fysiologiske data er efter manges mening bedre end subjektive angivelser I HCI forskning kan computeren samle enorme mængder af objektive data - men hvad siger de? Ofte fundet af subjektive data er de bedste til at forudsige senere reaktioner eller adfærd Det er ofte nemmere at indsamle subjektive data

17 Kvalitetskriterier for human factors forskning (1) Konstruktionsvaliditet: Manipulerede man den variabel man ville og målte man den rigtige afhængige variabel (er forsøgspersonerne virkelig trætte i et eksperiment om sammenhæng mellem fejlhyppighed og træthed) Intern validitet: Er det KUN de kausale variable der har været i spil?

18 Kvalitetskriterier for human factors forskning Ekstern validitet: Kan de fundne resultater bruges udenfor den eksperimentelle situation - er præmisserne beskrevet så klart, at de umiddelbart kan generaliseres? Etisk korrekthed: Har forsøgspersonerne været skånet for fysisk og psykisk overlast, er deres anonymitet bevaret, er de frivillige og har de vidst hvad de gik ind til?

19 Gazetalk Commercial cameras Type-to-talk Synthetic speech E-mail Freeware and Open Source Danish, English and Japanese versions

20 Request Date: Tue, 06 Feb 2001 14:41:07 +0200 Hi there I stay in South Africa and my father has had a brain stem stroke. He cannot move or speak. He can communicate with his eyes. We are currently using an alphabet chart, but it takes too long and he gets tired quickly. I'm looking for some type of EyeMouse. Something we can plug into a PC, Design like a virtual keyboard. Can you please advise me. I will appreciate any help. Thanks Nuno Lourenco

21 Reply Dear Nuno, I'm sorry to tell you but eye trackers that are accurate enough for your father to indicate at which letter your father is looking at are much too expensive and are not available for private use. If your father still can hear, you can ask him to look left or right or up or down under certain conditions. It may work as a yes or no. Lo Bour, PhD Department of Neurology/Clinical Neurophysiology, H2-222 Academic Medical Centre, University of Amsterdam

22 System requirements Fast Robust Mobile Affordable Changes with progress of diseases

23 Progress of ALS disease (amyotrophic lateral sclerosis) Loss of voice Reduced control of arms and legs Reduced control of fingers Reduced head movements Just eye movements

24 Problems with some existing systems –Difficult or impossible to calibrate - needs helper –Mostly for stationary, indoor use –Requires a rather complicated installation by computer experts –The price is prohibitive (more than 10.000 $)

25 Standard cameras and PC Advantages: –High availability –Instant operation –Low cost –Steady increase in performance –System support Video cam Web cam

26 Means - End

27 Dwell time selection Continuous dwell activation Accumulated dwell activation Adaptive dwell activation

28 Forbedringsforslag

29 Simulations and Experiments

30 Typing speed, 12 Danish student subjects Input: –PC-mouse –Smart Nav head tracker –Quickglance eye tracker Design: –12 sentences in each block –by 3 devices (counterbalanced) –in two days Results: –Learning effect for head and gaze –Mouse is fastest –No difference between head and gaze input

31 Typing speed, 15 Japanese student subjects Input: –PC-mouse –Smart Nav head tracker –Quickglance eye tracker Design: –12 sentences (including Kanji characters) –by 3 devices (counterbalanced) –in two days Results: –Learning effect –Mouse is fastest –No difference between head and gaze input

32 Errors Significant most errors for gaze typing Danish subjects made much more errors than Japanese subjects Significant drop in errors for head and gaze typing from day one to day two

33 Comments from novice users of gaze dwell time typing: ”A bit difficult to get used to not dwelling at un-intended buttons..” ”Difficult to orient yourself without activating something” ”It can be hard to keep starring at the buttons you want”

34 Subjective ratings, Danish & Japanese subjects

35 Possible improvements (1) Effectiveness -> use under all conditions –Allow for frames of glasses, larger head movements etc. –Dynamic scaling of button sizes –Seamless re-calibration

36 Improvements (2) Efficiency -> towards 25 wpm –Improved full-word typing in daily communication by location and context sensitivity –Easy undo –Feedback (audio, shrinking effect etc.) (cf. the TAUCCHI-group)

37 Improvements (3) Satisfaction -> to motivate user –Introduce the system at early stage, if possible –From “yes/no” to the full keyboard –Personalization of voice –Leisure activities (gaming, browsing and chat)

38 DASHER Developed by David Mackay, Cambridge University, with Stephen Hawking ”in mind” 25 WPM after one hour 34 WPM when expert Requires a ”Drivers license” ”Fast hands-free writing by gaze direction” Nature 418:838 (August 2002)

39 How fast is fast enough? ”It should be clear that speed, in itself, should not be an object, but rather proficiency and ease of operation. On the other hand, when there is a lot to say, or when there is a need for extensive personal interchange, a minimum speed of 25 - 30 wpm is really needed to keep the thought moving” William G. Pierpont(2001): ”The art & skill of Radio-Telegraphy”

40 15 minutters opgave: Forsøgsdesign 1. Bliver man dårligere til at stave almindeligt dansk, når man benytter automatisk stavekontrol? 2. Hjælper det på effektiviteten af en fly-evakuering, at besætningen instruerer om nødprocedurer før take off ? 3. Har advarsler på tobaksannoncer nogen effekt på rygere ? 4. Hvad er den ideelle placering af knap-paneler på en hjemmeside: for oven, til venstre eller andre steder ? 5. Hvordan afbilder man mest effektivt et web-steds struktur med en knap-struktur ? 6. Hvad har størst betydning for om brugere kan huske en hjemmeside de har besøgt