COMPARISON OF EMPIRICAL TESTING AND WALKTHROUGH METHODS IN USER INTERFACE EVALUATION Af Clare Marie Karat, Robert Campbel og Tarra Fiegel IBM T.J. Watson Research Center Konferencebidrag til Chi 1992, Monterey Californien, USA

Slide 2 af 18 Disposition Baggrund og motivation for studiet Mål for studiet Metode Databehandling Resultater Kritik

Slide 3 af 18 Baggrund og motivation for studiet Typisk 2 former for usability engineering –Empiriske studier i laboratoriet eller i felten –Usability walkthrough metoder Mange ubesvarede spørgsmål –Hvordan klarer metoderne sig mod hinanden? –Hvornår og hvordan er walkthroughs mest effektive?

Slide 4 af 18 Baggrund og motivation for studiet Empirisk test vs. walkthrough –Hvor mange problemer findes gennem metoderne? –Er problemidentifikationen systemafhængig? –Hvordan er den ressourcemæssige effektivitet mellem metoderne? –Hvilke krav er der til ”menneskelig kendskab”?

Slide 5 af 18 Baggrund og motivation for studiet Walkthrough –Mest effektiv i hold eller individuelt? –Er udviklere og brugere effektive evaluatorer? –Opgavebaseret vs. fri udforskning –Hvilken rolle spiller heuristikker?

Slide 6 af 18 Mål for studiet 1.Forstå den effektive relation mellem empiriske test og walkthroughs 2.Finde frem til om denne relation er systemafhængig 3.Hvordan virker walkthroughs i UI- evalueringer og hvordan forbedres disse walkthroughs

Slide 7 af 18 Metode Empirisk test –6 deltagere til hvert af de 2 kontorsystemer –Fri inspektion -> 9 generelle opgaver –En logger og en observer –Deltagere beskriver problemer

Slide 8 af 18 Metode Individuel walkthrough –6 deltagere til hvert af de 2 kontorsystemer –Fri inspektion -> 9 generelle opgaver –12 usability definitioner med eksempler blev udleveret –Deltagere nedfælder problemer i skema

Slide 9 af 18 Metode Holdbaseret walkthrough –6 par til hvert af de 2 kontorsystemer –Fri inspektion -> 9 generelle opgaver –Testdeltagerne i hvert par taler sammen og løser opgaver i fællesskab –12 usability definitioner med eksempler –Problemer nedfældes i skema

Slide 10 af 18 Databehandling Problemer klassificeres og rangeres –Resulterede i 47 og 43 potentielle problemområder –Opdeling i problem tokens, typer og områder –Problemområder gives rangering (PSC): Oplevet af 2 evaluatorer/evaluatorparOplevet af minimum 3 evaluatorer/evaluatorpar Karat et al. p. 401

Slide 11 af 18 Resultater Empirisk test vs. walkthrough –Problem tokens og typer: Karat et al. p. 401

Slide 12 af 18 Resultater Empirisk test vs. walkthrough –Problemområder: Karat et al. p. 401 Karat et al. p. 402

Slide 13 af 18 Resultater Walkthroughs –Holdbaseret walkthrough mest effektiv ved problem tokens –Ingen forskel ved Significant Problem Areas (SPA) –Evaluatorer foretrak opgaver frem for fri inspektion –Evaluatorer havde ikke behov for heuristikker

Slide 14 af 18 Resultater Cost-effectiveness –Empirisk test: lidt længere tid, mange flere problemer Karat et al. p. 401

Slide 15 af 18 Resultater Opsummering –Empirisk test mest effektiv ift. antal problemer og problemernes alvorlighed –Resultater kunne replikeres over begge systemer –Holdbaseret walkthrough mest effektiv Opgaver foretrækkes Heuristikker ikke nødvendige

Slide 16 af 18 Kritik Stor forskel på UI-ekspert og UI-bruger, selvom de begge deltager i testen. Nemmere at finde problemer ved opgaver fordi man allerede har fundet problemer ved inspektion To kontorsystemer – hvorfor ikke meget forskellige systemer ”Usability problems categorized using common metrics”

Slide 17 af 18 Kritik Kritik fra Wayne D. Gray og Marilyn C. Salzman: –To UI specialister til empirisk test vs. brugere, UI specialister og udviklere til walkthroughs –Svært at generalisere resultater fra walkthrough til test udelukkende med samme type personer (brugere,udviklere etc.) –Ingen karakteristik af forskelle mellem de testede systemer

Slide 18 af 18 Tak for jeres opmærksomhed!