Metoder til usability-evaluering Jan Stage Professor, PhD Forskningsleder i Informationssystemer (IS)/Human-Computer Interaction (HCI) Aalborg Universitet, Institut for Datalogi, HCI-Lab jans@cs.aau.dk

Oversigt Introduktion MAUSE-projektet Klassiske metoder Moderne metoder Opsummering 2

Oversigt Introduktion MAUSE-projektet Klassiske metoder Praksis MAUSE-projektet Klassiske metoder Moderne metoder Opsummering 3

Metoder til usability-evaluering

To undersøgelser af forhindringer i praksis Primært Nordjylland Software-virksom-heder, typisk svar fra mellemledere Deltagere i en-dages konference om usability Tallene angiver procent af svarene i hver undersøgelse Første undersøgelse Anden undersøgelse

Oversigt Introduktion MAUSE-projektet Klassiske metoder Projektets formål Review, report and refine (R3UEMs) Typer af evalueringsmetoder Klassiske metoder Moderne metoder Opsummering 6

MAUSE-projektet Financieret af EU under COST programmet Førende forskere inden for usability-arbejde fra det meste af Europa Resultater inden for: Måling af kvalitet af interaktive systemer Definition og måling af user experience Nytteværdi af usability-evaluering (downstream) Samspillet mellem software-udvikling og usability-evaluering http://www.cost294.org/

Review, Report and Refine (R3UEMs) Katalog over eksisterende metoder til usability-evaluering Baseret på en overordnet opdeling: DGMM Data Gathering and Modelling Methods UIEM User Interactions Evaluation Methods CM Collaborative Methods http://141.115.28.2/cost294/upload/522.pdf 8

DGMM Data Gathering and Modelling Methods (1) Used for gaining knowledge about users and their activities and provide representations of these Two subcategories: DGM Data Gathering Methods Focus on ways to gather knowledge about the relevant characteristics of the users, tasks and contexts in which interactive systems are being used Examples of methods: Surveys (users, tasks, contexts) Think aloud (about the the way a work task is carried out) Card sorting (key concepts and their relations)

DGMM Data Gathering and Modelling Methods (2) Often associated with specific data gathering methods Provide, at various levels of detail, with variable underlying models and languages, an accurate representation of users and their activities Examples of methods: Personas Task models Scenarios Use cases 10

UIEM User Interactions Evaluation Methods (1) Explicitly targeted towards evaluation Two subcategories: KMbM Knowledge- and Model-based Methods Analytical and not necessarily requiring direct access to users Three categories: Expert evaluation: inspection based solely on the evaluator’s knowledge and experience – Examples: expert inspection or walkthrough Document-based evaluation: inspection based on some guiding documents, at various degrees of precision – Examples: heuristic evaluation or walkthrough Model-based evaluation: inspection based on some theoretical models, usually cognitive – Example: cognitive walkthrough

UIEM User Interactions Evaluation Methods (2) Empirical Methods Can only be used after some form of interaction design is available Direct acces to end-users is mandatory Example: classical user testing 12

CM Collaborative Methods Referred to as “creativity methods” Require the active participation of the users in the evaluation or design Rely on various forms of organisation and communication Examples: Cooperative user testing Cooperative user testing research

Oversigt Introduktion MAUSE-projektet Klassiske metoder Bruger-baseret tænke-højt test (EM) Ekspert-baseret heuristisk inspektion (KMbM) Erfaringer Moderne metoder Opsummering 14

Bruger-baseret tænke-højt test (EM) Fordele: Giver ”meget stærk oplevelse” Meget præcis problempåpegning Giver indtryk af brugerens ”mentale model” Kan gennemføres tidligt i systemudviklings-processen En bruger løser en række realistiske opgaver ved hjælp af systemet Brugeren "tænker højt" imens: Beskriver intentioner Forklarer handlinger Udtrykker forståelse En testleder observerer og spørger, når brugeren glemmer at tænke højt Testlederen griber ind eller hjælper, når testpersonen er gået i stå Ulemper: Unaturlig situation Testlederrolle meget svær Omfattende analysearbejde Fokus på “novice-brugere” Systemet testes på opgavernes præmisser Designere påvirkes stærkt Meget stresset situation for brugeren

Ekspert-baseret heuristisk inspektion (KMbM) Eksperterne arbejder individuelt og noterer problemer ud fra en checkliste (heuristikker) Scenario med relevante opgaver kan strukturere processen Systemet gennemgås to gange: Fokus på helhed og umiddelbare indtryk Fokus på detaljer såsom funktioner i forhold til opgaver I fællesskab udarbejdes en samlet problemliste Eksempel på checkliste: Enkel og naturlig dialog Tal brugerens sprog Minimer krav til hukommelsen Sørg for konsistens Giv feedback Lav tydelige udgange Lav genveje Giv konstruktive fejlmeddelelser Forebyg fejl 16

Erfaringer Bruger-baserede (EM empiriske metoder) Eksempel: tænke-højt med en typisk bruger Styrke: problemerne er oplevede, og deres alvor kan vurderes Svaghed: tidskrævende at forberede og gennemføre 100-200+ timer over 4-6 uger Ekspert-baserede (KMbM viden- eller modelbaserede metoder) Eksempel: heuristisk inspektion udført af en HCI-ekspert Styrke: kan gennemføres hurtigt og fjerne ”bommerter” Svaghed: mange falske positiver

Oversigt Introduktion MAUSE-projektet Klassiske metoder Moderne metoder Målsætning Eksempler Opsummering 18

Aktiviteter i en usability-evaluering Testplan: Formål Hovedspørgsmål Brugerprofil Deltagere og roller Testmetoder Opgaver Kontekst og udstyr Dataindsamling Formidlingsform For hver deltager: Introduktion Opgaveløsning Logning Debriefing Rapport (komplet) Rapport (fokuseret) Redesignforslag Redesign workshop Observation Multimedia præsentation Opgavedefinering Planlægning Forberedelse Udførelse Fortolkning Formidling Form: formative/summative I udviklingsprocessen: Eksplorativ Vurdering Validering Sammenligning Deltagere og roller Sted og udstyr Genskabelse af kontekst Informering af deltagerne Fordel roller i teamet Klargør udstyr Opgaveudarbejdelse Fremstilling af materialer Tidsforbrug Videoanalyse Transskribering af logfiler Identifikation af problemer Kategorisering af problemer

Moderne metoder Moderne metoder er typisk udviklet for at finde løsninger, der fjerner eller reducerer vigtige forhindringer for usability-arbejde i praksis Fire eksempler: Alle fire giver metode (støtter udførelse) Reducere tidsforbruget i den ”dyreste” aktivitet Inddrage udviklerne Adgang til brugerne Inddrage brugerne (og reducere tidsforbruget)

1. Reducere tidsforbruget Data analysis is the single most resource demanding activity IDA – right after the evaluation: Usability problems are documented Organized by a facilitator Significant reduction: 75-90% of effort Almost the same number of problems are identified 21

1. Instant Data Analysis (IDA) Antal fundne problemer: Tid brugt på analyse: IDA = 11.5 t., Video = 59.75 t. Instant Data Analysis kan: Hjælpe evaluatorer til at identificere de mest kritiske og alvorlige usability-problemer oplevet af testbrugerne. Udføres på kun 20% af tiden sammenlignet med traditionel videoanalyse Reducere “støj” skabt ved kosmetiske og unikke usability-problemer   IDA Video Total Kritisk 16 13 18 Alvorligt 17 Kosmetisk 8 19 37 44 54 Instant Data Analysis is an interesting technique for reducing effort within the discount usability tradition 22

2. Inddrage udviklerne Udviklerne kan trænes i usability-evaluering Første forsøg et forløb på 10 x 4 timer (40 timer) Mere fokus på problemidentifikation Nu et revideret forløb på (40 timer): 2 dages undervisning 1 dags øvelse 1 dags evaluering med coaching 1 dags dokumentation Udviklet et værktøj til identifikation og kategorisering af usability-problemer 23

3. Adgang til brugerne Remote usability-evaluering er en situation hvor evaluatorerne er adskilt fra brugerne i tid og/eller rum (Castillo, Hartson og Hix, 1998) Remote synkron: Testleder og bruger er fysisk adskilt med realtids-observation af brugere Data indsamles via webcam, mikrofon og screen capture software og analyseres efterfølgende, som var det en traditionel test Fordele: Billigt teknisk udstyr Testpersoner/testleder behøver ikke befinde sig samme sted Brugerne kan bedre lide det end almindeligt lab Samme performance som lab-test med videoanalyse 24

Remote synkron evaluering Often difficult to organize an evaluation Use the Internet as the laboratory Synchronous performance is comparable Asynchronous requires significantly less effort (about 15%) as the users are testing

4. Inddrage brugerne Remote Asynkron Evaluering: Fordele: Testleder og bruger er fysisk adskilt Brugerne modtager korte instruktioner og udfører testen uden testleder Ingen direkte observation af brugerne Data indsamles via en webformular (f.eks. kvalitative problembeskrivelser) Indrapporterede problemer filtreres og bearbejdes efterfølgende Fordele: Simpelt setup (ingen kameraer mv.) Testbrugere behøver ikke at være fysisk til stede Brugerne genererer selv data 26

Remote Asynkron: Resultater   Lab Remote Asynchronous Usability problems: # % Critical (21) 20 95 10 48 Serious (17) 14 82 2 15 Cosmetic (24) 12 50 1 4 Total (62) 46 74 13 21 62 usabilityproblemer identificeret i alt RA finder 50 % af de kritiske problemer Tidsforbrug

Oversigt Introduktion MAUSE-projektet Klassiske metoder Moderne metoder Opsummering 28

Metoder til usability-evaluering Katalog over eksisterende metoder: Data Gathering and Modelling Methods User Interactions Evaluation Methods Collaborative Methods Beskrivelse af klassiske metoder Bruger-baseret tænke-højt test (EM) Ekspert-baseret heuristisk inspektion (KMbM) Eksempler på moderne metoder Reducere tidsforbruget i den ”dyreste” aktivitet (IDA) Inddrage udviklerne (Træning i usability evaluering) Adgang til brugerne (remote synkron) Inddrage brugerne – og reducere tidsforbruget (remote asynkron)