Kvantitative metoder.

Præsentationer af emnet: "Kvantitative metoder."— Præsentationens transcript:

1 Kvantitative metoder

2 Den eksperimentelle metode
Måler effekten af systematiske ændringer i uafhængige variable på den afhængige variabel - mens alle andre variable holdes konstant Både i laboratoriet og i den virkelige verden Psykologien har ofte søgt at studere menneskelig adfærd i ”rene og kontekst-afhængige” situationer. Eksempel: Hukommelse for meningsløse stavelser - samarbejdsprocesser i samling af abstrakte puslespil. Human factors ser mennesket og maskinen/systemet som en integreret analyseenhed, der ikke kan adskilles. - menneskelig adfærd påvirker design - og designet påvirker den menneskelige adfærd Basic research: Udviklingen af teorier, principper og fund som kan generaliseres over en række forskellige mennesker, opgaver og situationer (power law of learning) Applied research: vedrører det, som er specifikt for bestemte mennesker, opgaver eller situationer Kontinium mellem basic og applied research Kan være svært at anvende basic research på konkrete problemer og omvendt svært at generalisere fra appliede research undersøgelser - design af remote kontrol - kan det også bruges på et web-baseret kontrolpanel til web-tv? Eksperimentelle metode: teknisk set den eneste måde der kan etableres en årsags-virkning sammenhæng - og eksperimenter er standarden, hvormed andre metoder vurderes Analogi: Medicinsk forskning - alternativ medicin

3 5 trin i et eksperiment 1. Definer problem og hypotese
2. Opstil den eksperimentelle procedure 3. Udfør eksperimentet 4. Analyser data 5. Uddrag konklusioner Kommer til at lave lille øvelser hvor gennemløbes Eksempel: Skiftende dag- og nattevagter påvirker fejlrisikoen Hvad forstås ved skiftende nattevagter - hvordan måles fejlrisikoen Ofte se videnskabelige artikler som er struktureret som: Problem Experimental design Procedure Data analysis conclusions

4 Målinger af variable Hvordan måler man den mentale arbejdsbelastning ?
Ikke bare tælle samtidige arbejdsopgaver, for nogen af dem kan være automatiseret I stedet har man fx. brugt: Subjektive angivelser Præstationsmålinger Fysiologiske målinger (hjernebølgeaktivitet og hjerterymer) Secondary task metoden

5 Objektive versus subjektive målinger
Objektive målinger som fx. præstationer, fysiologiske data er efter manges mening bedre end subjektive angivelser I HCI forskning kan computeren samle enorme mængder af objektive data - men hvad siger de? Ofte fundet af subjektive data er de bedste til at forudsige senere reaktioner eller adfærd Det er ofte nemmere at indsamle subjektive data

6 Kvalitetskriterier for forskning (1)
Konstruktionsvaliditet: Manipulerede man den variabel man ville og målte man den rigtige afhængige variabel (er forsøgspersonerne virkelig trætte i et eksperiment om sammenhæng mellem fejlhyppighed og træthed) Intern validitet: Er det KUN de kausale variable der har været i spil?

7 Kvalitetskriterier for forskning
Ekstern validitet: Kan de fundne resultater bruges udenfor den eksperimentelle situation - er præmisserne beskrevet så klart, at de umiddelbart kan generaliseres? Etisk korrekthed: Har forsøgspersonerne været skånet for fysisk og psykisk overlast, er deres anonymitet bevaret, er de frivillige og har de vidst hvad de gik ind til? Etik: Fra brugertest til brugervenligheds-tests Tilføje et etiks punkt: At deltagerne debriefes og/eller sikres informationer om undersøgelsens resultater - gode grunde hertil, eksempelvis i organisationer

8 Mange slags afhængige variable
Ofte flere i samme forsøg Typer: Opgavetid, antal rigtige, antal fejl, præcision, antal falske alarmer, subjektive skalavurderinger, hjerterytme, galvanisk hud respons, pupilreaktioner, reaktionstid på secondary task, stresshormoner i blod, ekspertvurderinger af præstationer m.fl. Eksempelvis både måle afvigelser fra optimal rute og antal opbremsninger og antal fejlsvar i opgave

9 Kommunikationshastigheder

10 Data analyse Deskriptiv statistik: gennemsnit og standardafvigelsen
Statistiske analyser: T-test for two-group design Anova hvis der er mere end to grupper Udregner sandsynlighed for, at den fundne forskelle er tilfældige (p<0.05) Type I fejl og type II fejl Type 1 fejl: forekommer hver 20 gang - derfor ofte kræve eksempelvis hvis det er et spørgsmål om liv og død Kan ikke få artikler antaget til tidsskrifter eller konferencer hvis p er mere end 0.05 Type 2 fejl: man konkluderer at en uafhængig variabel ikke havde effekt, hvor den faktisk havde det! - sker ofte hvis man bruger et lavt antal forsøgspersoner, som svækker statistikkens udsigelseskraft Eksempel med kræftmedicin der kun viser en o.20 effekt - hvad gør man? Finder ud af om der er behov for flere subjekter - om der er en bagvedliggende faktor, som kan forklare den ringe effekt (eksempelvis at der er rigtig god effekt for nogle kræftformer, men ikke for andre) m.m. Meta-analyser - sammenligner resultater og udsigelseskraft ved de statistiske metoder der er anvendt - eg COCHRANE-center opkaldt efter opfinderen af metoden. Statistisk signifikans versus praktisk signifikans - lille, signifikant forskel ved en medicinsk behandling, men for lille og for dyr til, at man vil indføre den på landsplan.

11 Design 2x2x2

12 Beskrivende metoder Målinger i den virkelige verden
Fx. fra web log filer Hastighedsmålinger i trafikken Udvikle taxonomi til at score observationer Ofte videooptagelser der scores Opinionsmålinger og spørgeskema-undersøgelser Fra selvadministrerede til strukturerede interviews Hændelsesanalyser Ulykkesrapporter og indberetninger i databaser Aviation safety reporting systems (ASRS) hos NASA har mere end hændelser i databasen

13 Typing speed, 12 Danish student subjects
Input: PC-mouse Smart Nav head tracker Quickglance eye tracker Design: 12 sentences in each block by 3 devices (counterbalanced) in two days Results: Learning effect for head and gaze Mouse is fastest No difference between head and gaze input

14 Typing speed, 15 Japanese student subjects
Input: PC-mouse Smart Nav head tracker Quickglance eye tracker Design: 12 sentences (including Kanji characters) by 3 devices (counterbalanced) in two days Results: Learning effect Mouse is fastest No difference between head and gaze input

15 Errors Significant most errors for gaze typing
Danish subjects made much more errors than Japanese subjects Significant drop in errors for head and gaze typing from day one to day two

16 Comments from novice users of gaze dwell time typing:
”A bit difficult to get used to not dwelling at un-intended buttons ..” ”Difficult to orient yourself without activating something” ”It can be hard to keep starring at the buttons you want”

17 Subjective ratings, Danish & Japanese subjects

18 Forsøgsdesign 1. Bliver man dårligere til at stave almindeligt dansk, når man benytter automatisk stavekontrol? 2. Hjælper det på effektiviteten af en fly-evakuering, at besætningen instruerer om nødprocedurer før take off ? 3. Har advarsler på tobaksannoncer nogen effekt på rygere ? 4. Hvad er den ideelle placering af knap-paneler på en hjemmeside: for oven, til venstre eller andre steder ? 5. Hvordan afbilder man mest effektivt et web-steds struktur med en knap-struktur ? 6. Hvad har størst betydning for om brugere kan huske en hjemmeside de har besøgt

19 Lindsay and Staffon (1988) nuclear control interface

20 Increase of temperatures

21 Time tunnels in an unstable state

22 4 experimental displays

23 Analysis 3 factor analyse of variance (ANOVA) with the factors:
Display format (4 levels), Data type (3 levels “slow”, “medium” an “Noise”) Information type (2 levels: graphical and graphical plus digital).

24 Reaction time

25 Hit rate on all data types

26 Hit rate on HF data

27 Conclusion “ Both the temporal and the configural dimension seem important for the design of effective process displays. The result …… suggest that the spatial integration of temporal information in the time tunnel format shows promise as a support for process data when targets are to be detected in the presence of noise” (Human Factors, 37 (3), )

28 10 years after ” The results obtained with the time tunnel technique in the present evaluation are encouraging and complement those of Hansen (1995) with a substantially different implementation and a substantially different set of experimental tasks.” Bennet et. al, Human Factors, 47, (2)