Eksperimentel metode HUSK HOVEDTELEFONER!. Den eksperimentelle metode Måler effekten af systematiske ændringer i uafhængige variable på den afhængige.

Præsentationer af emnet: "Eksperimentel metode HUSK HOVEDTELEFONER!. Den eksperimentelle metode Måler effekten af systematiske ændringer i uafhængige variable på den afhængige."— Præsentationens transcript:

1 Eksperimentel metode HUSK HOVEDTELEFONER!

2 Den eksperimentelle metode Måler effekten af systematiske ændringer i uafhængige variable på den afhængige variabel - mens alle andre variable holdes konstant

3 Variable i spøgelses eksperimentet Afhængige: –reaktions-tid –fejl-rate –genkendte spøgelser –Subjektive ratings på spørgeskema Uafhængige: –animation eller blink –normal eller forvrænget perspektiv

4 5 trin i et eksperiment 1. Definer problem og hypotese 2. Opstil den eksperimentelle procedure 3. Udfør eksperimentet 4. Analyser data 5. Uddrag konklusioner

5 Eksperimentelle designs –Two-group design: Eksperimentel gruppe og kontrolgruppe –Multiple group designs: Evaluere flere niveauer af den uafhængige variabel –Factorial design: kombinerer flere niveauer af to (eller flere) forskellige uafhængige variable –Between-subjects:to forskellige forsøgsgrupper –Within-subjects: samme person oplever alle niveauer af den uafhængige variable –Mixed design: bruger between-subjects på en uafhængig variabel i et et factorielt design og with-in på en anden uafhængig variabel

6 Design 2x2x2

7 Resultateksempel WPM Otte ordforslag Et ordforslag Skriveform museklikWpm = 7,7Wpm = 9,9 Skriveform dvæletidWpm = 6,7Wpm = 7,0

8 Mange slags afhængige variable Ofte flere i samme forsøg Typer: Opgavetid, antal rigtige, antal fejl, præcision, antal falske alarmer, subjektive skalavurderinger, hjerterytme, galvanisk hud respons, pupilreaktioner, reaktionstid på secondary task, stresshormoner i blod, ekspertvurderinger af præstationer m.fl.

9 Eksperimentel planlægning Udstyr Deltagere Kontrol af andre variable - eg. ved tilfældig fordeling af opgaver til subjekter fra en homogen gruppe eller fra en stor gruppe med normal diversitet Neutraliser rækkefølge-effekten

10 Eksperimentet udføres Lav et pilot-forsøg for at sikre, at der ikke sker uventede ting Gennemfør forsøget med nøjagtig samme betingelser (eller stop det og lav et nyt forsøg) Sørg for at tjekke kalibrering af måleudstyr undervejs Overhold alle etiske regler

11 Data analyse Deskriptiv statistik: gennemsnit og standardafvigelsen Statistiske analyser: –T-test for two-group design –Anova hvis der er mere end to grupper –Udregner sandsynlighed for, at den fundne forskelle er tilfældige (p<0.05) –Type I fejl og type II fejl

12 Beskrivende metoder Målinger i den virkelige verden –Fx. fra web log filer –Hastighedsmålinger i trafikken Udvikle taxonomi til at score observationer –Ofte videooptagelser der scores Opinionsmålinger og spørgeskema-undersøgelser –Fra selvadministrerede til strukturerede interviews Hændelsesanalyser –Ulykkesrapporter og indberetninger i databaser

13 Dataanalyse ved beskrivende metoder Gruppeforskelle - ANOVA Relationer mellem kontinuerlige variable (korrelationskoefficient (r)) Komplekse modeller - kendes fx. fra makroøkonomiske modeller –Modeller kan være konceptuelle eller det kan være matematiske ligninger, vægte i et netværk m.m. –Eksempel ”COMBIMAN” som er en matematisk model for den menneskelige fysiognomi –Navigatørmodel til skibssimulatorer

14 Målinger af variable Hvordan måler man den mentale arbejdsbelastning ? –Ikke bare tælle samtidige arbejdsopgaver, for nogen af dem kan være automatiseret –I stedet har man fx. brugt: Subjektive angivelser Præstationsmålinger Fysiologiske målinger (hjernebølgeaktivitet og hjerterymer) Secondary task metoden

15 Objektive versus subjektive målinger Objektive målinger som fx. præstationer, fysiologiske data er efter manges mening bedre end subjektive angivelser I HCI forskning kan computeren samle enorme mængder af objektive data - men hvad siger de? Ofte fundet af subjektive data er de bedste til at forudsige senere reaktioner eller adfærd Det er ofte nemmere at indsamle subjektive data

16 Kvalitetskriterier for human factors forskning (1) Konstruktionsvaliditet: Manipulerede man den variabel man ville og målte man den rigtige afhængige variabel (er forsøgspersonerne virkelig trætte i et eksperiment om sammenhæng mellem fejlhyppighed og træthed) Intern validitet: Er det KUN de kausale variable der har været i spil?

17 Kvalitetskriterier for human factors forskning Ekstern validitet: Kan de fundne resultater bruges udenfor den eksperimentelle situation - er præmisserne beskrevet så klart, at de umiddelbart kan generaliseres? Etisk korrekthed: Har forsøgspersonerne været skånet for fysisk og psykisk overlast, er deres anonymitet bevaret, er de frivillige og har de vidst hvad de gik ind til?

18 Gazetalk Commercial cameras Type-to-talk Synthetic speech E-mail Freeware and Open Source Danish, English and Japanese versions

19 Headtracking

20 Typing speed, 12 Danish student subjects Input: –PC-mouse –Smart Nav head tracker –Quickglance eye tracker Design: –12 sentences in each block –by 3 devices (counterbalanced) –in two days Results: –Learning effect for head and gaze –Mouse is fastest –No difference between head and gaze input

21 Typing speed, 15 Japanese student subjects Input: –PC-mouse –Smart Nav head tracker –Quickglance eye tracker Design: –12 sentences (including Kanji characters) –by 3 devices (counterbalanced) –in two days Results: –Learning effect –Mouse is fastest –No difference between head and gaze input

22 Errors Significant most errors for gaze typing Danish subjects made much more errors than Japanese subjects Significant drop in errors for head and gaze typing from day one to day two

23 Comments from novice users of gaze dwell time typing: ”A bit difficult to get used to not dwelling at un-intended buttons..” ”Difficult to orient yourself without activating something” ”It can be hard to keep starring at the buttons you want”

24 Loose coupling of gaze and pointer 35 mouse activations analysed: –40% gaze remained at dwelling key –40% went to other key during dwell period –12% went to text field during dwell period –8% the eye was at another key during all the dwell period

25 Subjective ratings, Danish & Japanese subjects

26 Possible improvements (1) Effectiveness -> use under all conditions –Allow for frames of glasses, larger head movements etc. –Dynamic scaling of button sizes –Seamless re-calibration

27 Improvements (2) Efficiency -> towards 25 wpm –Improved full-word typing in daily communication by location and context sensitivity –Easy undo –Feedback (audio, shrinking effect etc.) (cf. the TAUCCHI-group)

28 Improvements (3) Satisfaction -> to motivate user –Introduce the system at early stage, if possible –From “yes/no” to the full keyboard –Personalization of voice –Leisure activities (gaming, browsing and chat)

29 How fast is fast enough? ”It should be clear that speed, in itself, should not be an object, but rather proficiency and ease of operation. On the other hand, when there is a lot to say, or when there is a need for extensive personal interchange, a minimum speed of 25 - 30 wpm is really needed to keep the thought moving” William G. Pierpont(2001): ”The art & skill of Radio-Telegraphy”

30 Big button browser

31 Scroll up Scroll down

32 Gaze control of panorama viewing

33 Other approaches Dario D. Salvucci (1999): User performance 9 - 28 wpm. Problems with misspellings should be expected

34 DASHER Developed by David Mackay, Cambridge University, with Stephen Hawking ”in mind” 25 WPM after one hour 34 WPM when expert Requires a ”Drivers license” ”Fast hands-free writing by gaze direction” Nature 418:838 (August 2002)

35 Dasher by the breath

36 Gaze interaction for special tasks Industrial inspection Field- communication Security Medical information systems

37 Last weeks finding Expert user typed 13.8 wpm with mouse click and microdisplay KSPC = 1.0

38 Tracking in vehicles

39 Design af spøgelses eksperiment AnimationBlink Normal perspektiv Forvrænget perspektiv