1 USABILITY Session 10 Forberedelser til brugertesten Bedst på Nettet Forberedelser til brugertesten Bedst på Nettet.

Præsentationer af emnet: "1 USABILITY Session 10 Forberedelser til brugertesten Bedst på Nettet Forberedelser til brugertesten Bedst på Nettet."— Præsentationens transcript:

1 1 USABILITY Session 10 Forberedelser til brugertesten Bedst på Nettet Forberedelser til brugertesten Bedst på Nettet

2 2 Sidste gang Mobile enheder (v/Anders Schrøder) Introduktion til brugertest –Brugertestens bevæggrunde –Testens rolle i udviklingsprocessen –Testcenter –Forløbet af en brugertest Regler for standardtest af brugervenlighed

3 3 Typer af usability-evaluering "Quick and dirty" evaluering Usability test (brugertest) Feltstudier Prediktiv (heuristisk) evaluering

4 4 Usability teknikker Observation af brugere Spørge brugere Spørge eksperter Teste brugeres performance Modellering af brugeres opgave performance

5 5 DECIDE: a framework to guide evaluation Determine the goals. Explore the questions. Choose the evaluation approach and methods. Identify the practical issues. Decide how to deal with the ethical issues. Evaluate, analyze, interpret and present the data. Preece, Rogers og Sharp: Interaction Design: beyond human-computer interaction

6 6 Formål Foretages ofte for lidt, for sent og af de forkerte grunde –2 uger før: "Katastrofe-check" –2 måneder før: Afklare intern diskussion f.eks. om farver "Religious debates" (Krug: 131-132) Determine the goals.

7 7 Formål Hvad er de overordnede mål med evalueriingen? Hvad er det, der testes? Hvem vil have evalueringen og hvorfor? Målene bestemmer valget af metode Afhænger meget af tidspunktet for evalueringen Eksempler på formål:  Find den bedste metafor for designet  Check at den endelige brugerflade er konsistent  Undersøg hvordan teknologien påvirker arbejdspraksis  Forbedr brugbarheden af et eksisterende produkt

8 8 Formål på forskellige trin af udviklingsprocessen Sammenligning af eksisterende produkter Indsamling af krav (fri) Afprøvning af indledende koncepter (forskellige muligheder, simple prototyper) Udvikling af koncept (interaktive prototyper, måling af performans) Afprøvning af design (funktionsdygtig prototype, stop/go, design-teamets læring, sidste tilretninger ) Evaluering af endeligt produkt (læring, anvendelse i virkeligheden, benchmarking, kundes valg af produkt)

9 9 Formål og krav Evalueringens formål vil være relateret til kravene Kvalitative vs. kvantitative krav Prioritering af de forskellige krav –Virkningsfuld –Effektiv –Spændende –Fejltolerant –Let at lære

10 10

11 11 Online Museum Exhibition

12 12 General Museum Site

13 13 Formulér test-bare spørgsmål Operationalisering af målene Nedbryde spørgsmål i test-bare underspørgsmål. "Er det en dårlig brugerflade?": –Er det svært at navigere i systemet? –Er sprogbrugen forvirrende pga inkonsistens? –Er responstiderne for langsomme? –Er feedback fra systemet forvirrende eller utilstrækkeli? Explore the questions

14 14 Valg af evalueringstype og metoder Typen af evaluering influerer på metoderne, som anvendes, som igen påvirker, hvordan data indsamles, analyseres og rapporteres F.eks. vil feltstudier typisk: –Indbefatte observation og interviews –Ikke omfatte kontrollerede laboratorie-tests –Resultere i kvalitative data Afhænger også af praktiske og etiske forhold Metodetriangulering Choose the evaluation approach and methods

15 15 Opgaver Kerneopgaver som ofte udføres af brugere Opgaver, som er vigtige for brugerne eller forretningen Opgaver med nyt design eller funktionalitet Kritiske opgaver, selvom de ikke er ofte brugt Opgaver, som menes at give designteamet bedre forståelse og klarhed

16 16 Praktiske forhold Rekruttering af testdeltagere *) Budget Tidsplan *) Sted *) Udstyr Medhjælpere Identify practical issues

17 17 Rekruttering af testdeltagere Antal deltagere –Hellere mange tests med få brugere "Stand by" deltagere Ekspertise, demografi etc. Spørgeskema og interviews til screening "Typiske brugere" og andre Taget afslappet på screeningen (Krug) –Undtagelser : afgrænset brugergruppe, forskellige grupper, kræver domæneviden "Betaling"; Takkeskrivelse

18 18 Tidsplan Varigheden af en test-session Tidsplan for hele testforløbet

19 19 Sted Felt studier Kontrollerede studier Forberedelse af test-sessionerne –Fastlægge datoer og tider for test-sessionerne –Forbered rejser og reservation af udstyr (ved feltstudier) –Reserver et lokale eller usability laboratorie, hvis nødvendigt –Informér medhjælpere i teamet samt testdeltagere

20 20 Etiske forhold Udarbejd en erklæring (consent form) som deltagerne kan underskrive Deltagere har retten til at - Kende formålet med testen - Vide hvad resultaterne bruges til - Fortrolighed af personlige oplysninger - At forlade testen når som helst - At blive behandlet med respekt og venlighed. Decide about ethical issues

21 21 Data Evalueringstypen og metoderne indvirker på, hvilke data der indsamles, samt hvordan de evalueres, fortolkes og præsenteres Kvantitative og kvalitative data Følgende bør overvejes: - Reliabilitet: Can testen gentages med samme resultater? - Validitet: Måler testen hvad den skal? - Skævhed/bias: skaber processen skævhed i resultaterne? - Gyldighedsområde: Kan resultaterne generaliseres? - Ekologisk validitet: påvirker omgivelserne resultaterne, f.eks. Hawthorn effekten. Evaluate, interpret & present data

22 22 Indsamling af data Kvantitative data –Tidstagning og logging Kvalitative data –Testdeltagernes egne udsagn

23 23 Kvantitative data Tidstagning Logging software Kommer fra –Sikkerhedsovervågning –Fremstilling af demonstrationer –Logning af brugeradfærd på websites Synkronisering med kvalitative data (noter og kommentarer fra testdeltagerne) Software til usability testning (Ovologger)

24 24 Kvalitative data Tænke-højt test Notetagning –Brugerens handlinger –Brugerens kommentarer Hav masser af papir Anvendelse af computer til notetagning Indsamling af data efter sessionen –Retrospektiv gennemgang (samtidig med video af sessionen) Påvirkning af test; Rationalisering; Umiddelbarhed; Svært at tale samtidig –Debriefing interview

25 25 Anvendelse af kognitiv gennemgang ifm tænkehøjt test Er der noget som fortæller dig, hvad du skal gøre nu? Er der noget på skærmen som giver dig mulighed for at gøre, hvad du vil gøre? Hvad? Nu du har prøvet det, gjorde den så, hvad du ønskede?

26 26 Spørgeskemaer Fordele –Man glemmer ikke at stille et spørgsmål –Alle deltagere ser de samme spørgsmål –Mulighed for at indsamle kvantitative data Ulemper –Svært at udvikle ordentligt –Skal forudsige, hvilke emner deltagerne behøver –Lukkede spørgsmål giver ikke årsagen til at deltagerne svarede som de gjorde

27 27 Anvendelse af teknologier til optagelse Video og lyd optagelse –Hvordan får man både deltager og skærm på videoen? *) Eye tracking Teknologi vs. papir og blyant Hvad hvis brugeren ikke vil optages?

28 28 Optagelse af deltager og skærm

29 29 Roller i evalueringen Facilitator/testleder Notetager Tekniker Observatør Ansvarlig for velkomst Ansvarlig for rekrutering Én-persons teamet

30 30 Drejebogen Fordele Ulemper

31 31 Pilottesten Vigtig for at være sikker på, at man har husket det hele Virker prototypen? Er materialet klart nok? Virker observations- og dataindsalingsmetoder? Kender alle deres roller? Er der tid nok til opgaverne?

32 32

33 33 Interview-teknik Usability interviews er oftest formelle og f ø lger en standardstruktur tilrettelagt p å forh å nd - sj æ ldent “å bne ” 1) Introduktion 2) Opvarmning 3) Generelle sp ø rgsm å l 4) Dybdefokus 5) Tilbageblik 6) Opsamling Ikke-ledende sp ø rgsm å l som metodeidealet: En uhildet s ø gen efter ubetinget kendskab til andres tanker

34 34 Afviklingen af et interview (1) Definer dine centrale begreber - og brug helst dem som brugeren anvender selv Lad v æ re med at fremtvinge meninger Genformulering af brugerudsagn som sp ø rgsm å l ( ” Papeg ø jeteknikken ” ) F ø lg op med eksempler - n å r du har f å et et uhildet svar S ø rg for at forbinde forklaringer til de foreliggende materialer

35 35 Afvikling af et interview (2) V æ r klar over dine egne forventninger til brugerens reaktioner Sig aldrig at deltageren tager fejl Lyt omhyggeligt til hvad der bliver spurgt om Stil enkle sp ø rgsm å l Se/h ø r interview optagelserne igennem bagefter

36 36 Ikke-ledende sp ø rgsm å l Fokusere p å de umiddelbare erfaringer som folk kan udtale sig om Undg å at stille sp ø rgsm å l der indeholder en forh å ndsbed ø mmelse Hold focus p å et emne af gangen Brug å bne sp ø rgsm å l og undg å bin æ re sp ø rgsm å l Giv korte promts for at holde brugerens taleflow

37 37 Velegnede promts ”Hvad nu?” ”Hvad tænker du på?” ”Hvad siger den?” Papegøjeteknikken

38 38 Velegnede sammenfatninger ”Er det logisk og overskueligt bygget op?” ”Kan du lide hjemmesidens udseende?” ”Er det noget du tror du vil kunne bruge til noget i det daglige?” ”Hvad synes du alt i alt om hjemmesiden?”

39 39 Uegnede promts ”Hvor er du havnet henne?” ”Hvad sidder du og leder efter?” ”Er du med på hvad der foregår?” ”Har du lagt mærke til at links ikke skifter farver når de er blevet visited links?”

40 40 Accelerator-spørgsmål ”Jeg vil gerne have lov til at vise dig, hvor du kan finde [informationen]/komme videre. Tryk på x. Tryk så på y. Og så på z. Der er den. (kort pause) Lad os lige gå tilbage til siden. Hvorfor tror du at mange brugere får problemer her?” Hold fingeren fra musen - peg på skærmen (undtagelse: ved systemnedbrud)

41 41

42 42 KMD brugertest video