1 USABILITY Session 11 Analytisk evaluering Rapportering.

Præsentationer af emnet: "1 USABILITY Session 11 Analytisk evaluering Rapportering."— Præsentationens transcript:

1 1 USABILITY Session 11 Analytisk evaluering Rapportering

2 2 Sidste gang Forberedelser til brugertesten Bedst på Nettet

3 3 Generelt om analytisk evaluering Der findes mange forskellige slags -Eksperter brugere deres viden om brugere og teknologi til at gennemgå usability

4 4 Analytisk evaluering Ekspertvurdering Heuristisk evaluering Kognitive gennemgange GOMS Keystroke model Fitt's law

5 5 Heuristisk evaluering

6 6 Om heuristikker Udviklet af Jacob Nielsen i starten af 90erne som en formalisering af ekspertvurdering En HE er en gennemgang af et produkt, guided af et sæt heuristikker Først udviklet og senere forfinet gennem faktoranalyse af 249 usability problemer Heuristikker kan udvikles ud fra design guidelines

7 7 Om heuristikker Billige og lette at udføre, "Discount evaluation" Problem 1: Forskellige metoder finder forskellige typer fejl og ofte overser heuristisk evaluering væsentlige fejl. Heuristisk evaluering skal ikke ses som en erstatning for brugertest, men brugere flere metoder.

8 8 Om heuristikker Problem 2: Eksperter rapporterer om fejl, som ikke findes, foretager altså fejlskøn, laver forkerte forudsigelse af, hvad der vil vise sig som problemer for brugerne. Et studie viste, at 33% af problemerne som blev fundet i en HE var reelle usability problemer, 21% blev ikke fundet, og 43% var ikke relle problemer. (Bill Bailey, 2001). For hver problem der bliver fundet vil der være omkring 1 falsk alarm og ½ problem, som ikke blev fanget. Flere falske alarmer og problemer som ikke opdages, end problemer, som findes.

9 9 Om heuristikker Ved at spørge én ekspert fanger man kun 20- 50% af usability problemerne, ved at aggrerere resultaterne fra 5 eksperter finder man 75% *).

10 10 16 problemer og 19 eksperter

11 11 Antal eksperter og fejl

12 12 Generelle heuristikker Visibility of system status Match between system and the real world User control and freedom Consistency and standards Help users recognise, diagnose and recover from errors Error prevention Recognition rather than recall Flexibility and efficiency of use Aesthetic and minimalist design Help and documentation

13 13 Behov for målrettede heuristikker Generelle heuristikker er ofte for generelle Behov for heuristikker som relaterer sig til bestemt produktgruppe

14 14 Heuristikker for kommercielle websites High-quality content Often updated Minimal download time Ease of use Relevant to users' needs Unique to the online medium Netcentric corporate culture

15 15 Forløbet af en heuristisk evaluering Eksperter gennemfører rollespil for brugere 3 dele: –Briefing session: script –Evaluation period: uafhængigt, mindst to gennemløb af brugerfladen 1: fornemmelse af flowet af interaktionen og produktet som helhed, 2: fokus på specifikke elementer og identificere problemer) –Debriefing session: diskuterer, prioritering, løsninger

16 16 Fordele og ulemper Kun få etiske og praktiske problemer Billigt og let at gå til Det kan være svært og dyrt at finde eksperter Bedst er de eksperter som også har domæneviden og viden om brugerne Udvikling af heuristikker for bestemte områder kan være ressourcekrævende, hvis de ikke findes Største problemer: –Vigtige problemer fanges ikke –Trivielle problemer fanges –Eksperter kan være forudindtagede på en måde, som ikke reflekterer brugernes relle behov

17 17 Kognitive gennemgange

18 18 Kognitive gennemgange Omfatter ikke brugere (dog foregår pluralistiske walkthrough i teams med brugere, udviklere og usability specialister) Fokuserer på hvor let systemet er at lære (læring gennem udforskning) Analyserer mentale modeller for en hypotetisk bruger

19 19 Forløbet af en kognitiv gennemgang (1) Antagelser om brugeren Valg af opgaver (vigtige og realistiske)

20 20 Forløbet af en kognitiv gennemgang (2) Specifikation af handlingssekvenser Analyse (for hvert trin): –Ved brugeren hvad næste handling er? –Lægger brugeren mærke til at den korrekte handling findes i brugerfladen? –Forbinder og forstår brugeren effekten af handlingen korrekt? Dokumentation: –Hvad ville forårsage problemer og hvorfor? –Andre problemer og forslag til designændringer noteres –Der laves en opsummering over resultaterne

21 21 Fordele og ulemper ved CW Man kan undersøge brugerens problemer i detaljer uden brugere eller endsige en funktionsdygtig prototype Meget tidskrævende Fokuserer på en begrænset del af et system - velegnet i nogle sammenhænge men ikke i andre

22 22 Pluralistiske gennemgange

23 23 Pluralistiske gennemgange Brugere, udviklere og usability eksperter arbejder sammen, hvor de går gennem et opgave scenarie, diskuterer usability emner i forbindelse med de dele af brugerfladen, som er med i scenarierne

24 24 Pluralistiske kognitive gennemgange –Udvikling af scenarier (skærmbilleder som viser en gang gennem dialogen) –Scenarierne præsenteres for panelet og de bedes nedskrive den seksvens af handlinger, de vil bruge for at komme fra et skærmbillede til et andet (individuelt ) –Deltagerne præsenterer deres forslag, først bruger-repræsentanter, så usabilityeksperter og til sidst udviklere. –Man fortsætter herefter til det næste scenarie

25 25 Fordele og ulemper ved pluralistiske gennemgange Stærkt fokus på brugernes opgaver Participatorisk design med brugeren i centrum Kan være svært at få samlet eksperterne på én gang Begrænset antal scenarier kan undersøges

26 26 Prediktive modeller

27 27 Prediktive modeller Muliggør evaluering af produkter eller design uden direkte at involvere brugerne Billigere end brugertestning Begrænset til systemer med forudsigelige opgaver

28 28 GOMS Goals, Operators, Methods and Selection rules

29 29 GOMS Generelt begreb for en række metoder som modellerer brugerens performance og laver forudsigelser herom Goals, Operators, Methods and Selection rules –Målet, brugeren søger at opnå –Operators: kognitive processer og fysiske handlinger som skal udføres for at nå målet –Metoder: tillærte procedurer som bruges til at opnå målet, består af sekvenser af trin –Selection rules: Bruges til at vælge hvilken metode der skal bruges, når der er flere tilgængelige

30 30 GOMS eksempel Slet et ord i en sætning, i Microsoft Word

31 31 Mål Slet et ord i sætnignen

32 32 Metode 1 Slet et ord vha menuerne –Husk at markere ordet, som skal slettes –Husk at kommandoen er "cut" –Husk at kommandoen "cut" er i menuen "edit" –Nå målet ved at markere og vælge "cut" kommandoen –Returnér, når målet er nået

33 33 Metode 2 Slet et ord vha slet-tasten –Husk hvor cursoren skal stilles ift ordet, som skal slettes –Husk hvilken tast der er slet-tasten –Tryk på "delete"-tasten for at slette hvert bogstav –Returnér, når målet er nået

34 34 Operatorer Klik med musen Træk cursoren over tekst Vælg et menupunkt Flyt cursoren til en kommando Tryk på en tast

35 35 Regler Slet tekst ved at bruge musen og vælge fra menuen, hvis meget tekst skal slettes Slet tekst vha delete-tasten, hvis nogle få bogstaver skal slettes

36 36 Keystroke level modellen

37 37 Keystroke level modellen (1) Giver faktiske kvantitative forudsigelser om bruger-performance Opgaver kan sammenlignes udfra den tid det tager at løse dem vha forsk. strategier Let at sammenligne bestemte funktioner i forskellige systemer for at se hvilken der er de mest effektive for at løse givne opgaver

38 38 Keystroke level modellen (2) Gennem meta-analyse af empiriske undersøgelser har man fundet ud af, hvor lang tid det tager at løse en lang række standard-operatorer i gennemsnit. Herudfra har man opstillet en liste over hvor lang tid der tager at udføre almindelige fysiske handlinger, såsom at trykke på en knap eller klikke på en musetast.

39 39 Standardtider for operatorer i keystroke modellen (Card et al., 1983)

40 40 Keystroke level eksempel (1) Hvor lang tid tager det at indsætte "not" i følgende sætning? Running through the streets naked is normal så det bliver: Running through the streets naked is not normal

41 41 Keystroke level eksempel (2) Mental forberedelse (M)1,35 Ræk ud efter musen (H)0,40 Placer musen før ordet "normal" (P)1,10 Klik på musen (P 1 )0,20 Flyt hænderne til hjemmestilling (H)0,40 Mental forberedelse (M)1,35 Tast "n" (K)0,22 Tast "o" (K)0,22 Tast "t" (K)0,22 Tast "space" (K)0,22 I alt5,68 s.

42 42 Mental forberedelse i GOMS Det kan være svært at forudsige, hvornår der sker en mental forberedelse. Ofte når der skal træffes en beslutning, men også på mere arbitrære tidspunkter. Det tager også forskellig tid for forskellige mennesker at forberede sig mentalt, Kan vare fra 0,5 s. til over et minut

43 43 Fordele og ulemper ved GOMS Let af sammenligne forskellige systemer F.eks. viste en keystroke level analyse at det ikke ville kunne betale sig at udskifte et system i et call center, fordi i det nye system skulle man afsætte ekstra tid til at taste, mens man i det gamle system kunne gøre det mens man f.eks. talte med kunder i tlf. Kan kun bruges til afgrænsede rutineopgaver på computer, modellerer kun ekspert performance, ikke fejl, mange uforudsigelige faktorer i brugeradfærd, f.eks. multitasking

44 44 Fitts' lov T = k log2(D/S + 0,5), k ~ 100 msec. T = tiden det tager at flytte hånden til målet D = afstanden mellem hånden og målet S = målets størrelse