COMPARISON OF EMPIRICAL TESTING AND WALKTHROUGH METHODS IN USER INTERFACE EVALUATION Af Clare Marie Karat, Robert Campbel og Tarra Fiegel IBM T.J. Watson.

Præsentationer af emnet: "COMPARISON OF EMPIRICAL TESTING AND WALKTHROUGH METHODS IN USER INTERFACE EVALUATION Af Clare Marie Karat, Robert Campbel og Tarra Fiegel IBM T.J. Watson."— Præsentationens transcript:

1 COMPARISON OF EMPIRICAL TESTING AND WALKTHROUGH METHODS IN USER INTERFACE EVALUATION Af Clare Marie Karat, Robert Campbel og Tarra Fiegel IBM T.J. Watson Research Center Konferencebidrag til Chi 1992, Monterey Californien, USA

2 Slide 2 af 18 Disposition Baggrund og motivation for studiet Mål for studiet Metode Databehandling Resultater Kritik

3 Slide 3 af 18 Baggrund og motivation for studiet Typisk 2 former for usability engineering –Empiriske studier i laboratoriet eller i felten –Usability walkthrough metoder Mange ubesvarede spørgsmål –Hvordan klarer metoderne sig mod hinanden? –Hvornår og hvordan er walkthroughs mest effektive?

4 Slide 4 af 18 Baggrund og motivation for studiet Empirisk test vs. walkthrough –Hvor mange problemer findes gennem metoderne? –Er problemidentifikationen systemafhængig? –Hvordan er den ressourcemæssige effektivitet mellem metoderne? –Hvilke krav er der til ”menneskelig kendskab”?

5 Slide 5 af 18 Baggrund og motivation for studiet Walkthrough –Mest effektiv i hold eller individuelt? –Er udviklere og brugere effektive evaluatorer? –Opgavebaseret vs. fri udforskning –Hvilken rolle spiller heuristikker?

6 Slide 6 af 18 Mål for studiet 1.Forstå den effektive relation mellem empiriske test og walkthroughs 2.Finde frem til om denne relation er systemafhængig 3.Hvordan virker walkthroughs i UI- evalueringer og hvordan forbedres disse walkthroughs

7 Slide 7 af 18 Metode Empirisk test –6 deltagere til hvert af de 2 kontorsystemer –Fri inspektion -> 9 generelle opgaver –En logger og en observer –Deltagere beskriver problemer

8 Slide 8 af 18 Metode Individuel walkthrough –6 deltagere til hvert af de 2 kontorsystemer –Fri inspektion -> 9 generelle opgaver –12 usability definitioner med eksempler blev udleveret –Deltagere nedfælder problemer i skema

9 Slide 9 af 18 Metode Holdbaseret walkthrough –6 par til hvert af de 2 kontorsystemer –Fri inspektion -> 9 generelle opgaver –Testdeltagerne i hvert par taler sammen og løser opgaver i fællesskab –12 usability definitioner med eksempler –Problemer nedfældes i skema

10 Slide 10 af 18 Databehandling Problemer klassificeres og rangeres –Resulterede i 47 og 43 potentielle problemområder –Opdeling i problem tokens, typer og områder –Problemområder gives rangering (PSC): Oplevet af 2 evaluatorer/evaluatorparOplevet af minimum 3 evaluatorer/evaluatorpar Karat et al. p. 401

11 Slide 11 af 18 Resultater Empirisk test vs. walkthrough –Problem tokens og typer: Karat et al. p. 401

12 Slide 12 af 18 Resultater Empirisk test vs. walkthrough –Problemområder: Karat et al. p. 401 Karat et al. p. 402

13 Slide 13 af 18 Resultater Walkthroughs –Holdbaseret walkthrough mest effektiv ved problem tokens –Ingen forskel ved Significant Problem Areas (SPA) –Evaluatorer foretrak opgaver frem for fri inspektion –Evaluatorer havde ikke behov for heuristikker

14 Slide 14 af 18 Resultater Cost-effectiveness –Empirisk test: lidt længere tid, mange flere problemer Karat et al. p. 401

15 Slide 15 af 18 Resultater Opsummering –Empirisk test mest effektiv ift. antal problemer og problemernes alvorlighed –Resultater kunne replikeres over begge systemer –Holdbaseret walkthrough mest effektiv Opgaver foretrækkes Heuristikker ikke nødvendige

16 Slide 16 af 18 Kritik Stor forskel på UI-ekspert og UI-bruger, selvom de begge deltager i testen. Nemmere at finde problemer ved opgaver fordi man allerede har fundet problemer ved inspektion To kontorsystemer – hvorfor ikke meget forskellige systemer ”Usability problems categorized using common metrics”

17 Slide 17 af 18 Kritik Kritik fra Wayne D. Gray og Marilyn C. Salzman: –To UI specialister til empirisk test vs. brugere, UI specialister og udviklere til walkthroughs –Svært at generalisere resultater fra walkthrough til test udelukkende med samme type personer (brugere,udviklere etc.) –Ingen karakteristik af forskelle mellem de testede systemer

18 Slide 18 af 18 Tak for jeres opmærksomhed!