DIEB12.1 Kursusgang 12 Oversigt: Sidste kursusgang Computeren Brugbarhedsevaluering: etablering af rammer og testplan.

Præsentationer af emnet: "DIEB12.1 Kursusgang 12 Oversigt: Sidste kursusgang Computeren Brugbarhedsevaluering: etablering af rammer og testplan."— Præsentationens transcript:

1 DIEB12.1 Kursusgang 12 Oversigt: Sidste kursusgang Computeren Brugbarhedsevaluering: etablering af rammer og testplan

2 DIEB12.2 Sidste kursusgang Kursets emne: ­ HCI disciplinen ­ Relation til brugbarhed Menneskelig informationsbehandling ­ Teorier og deres rolle ­ Simpel kognitionsteori Model: mennesket som computer ­ Begreber om samarbejde Distribueret kognition Brugbarhedsevaluering ­ Hvorfor brugbarhed ­ Relation til projekt ­ Evaluering og test af brugbarhed

3 DIEB12.3 Computeren Hvad er en computer? Enheder Denne lektion

4 DIEB12.4 Hvad er en computer? Det apparat, som brugeren interagerer med Hvad er en computer: ­ Et elektronisk apparat, der kan eksekvere et program ­ En central enhed Processor Lager ­ Et antal enheder til input og output: Tastatur + mus Skærm

5 DIEB12.5 Hvad er en computer også?

6 DIEB12.6 Computer: inputenheder Har forskellige muligheder og begrænsninger QWERTY keyboard og Chord keyboard ­ To hænder vs. en hånd ­ Hastighed og præcision Hvad bruges inputenheden til? ­ Input af information ­ Udpegning eller selektering af et objekt ­ Aktivering af en funktion

7 DIEB12.7 Computer: outputenheder Tekst og grafik kan præsenteres på mange forskellige måder ORD SKREVET MED STORE BOGSTAVER ER SVÆRE AT LÆSE Undtaget er: ­ BA231 (ba231) ­ Tryk J for ja Er der andre typer outputenheder?

8 DIEB12.8 Brugbarhedsevaluering: Etablering af rammer og testplan Formål med brugbarhedsevaluering Aktiviteter i en brugbarhedsevaluering Tidspunkt i udviklingsprocessen Lokalitet Laboratorium ­ Udstyr Deltagere og roller ­ Testleder ­ Bruger Testplan Øvelse 1

9 DIEB12.9 Formål med brugbarhedsevaluering Ordet brugbarhedsevaluering eller -test bruges ofte ukritisk om enhver metode, der bruges til evaluering af et produkt eller system Definition (Rubin): ­ En proces baseret på deltagere, der repræsenterer målgruppen, hvor det evalueres i hvilket omfang et produkt opfylder specifikke brugbarhedskriterier ­ Udelukker ekspertbaserede testformer såsom gennemgang (cognitive walkthrough) og heuristisk inspektion Opfylder følgende kriterier (Molich): Let at lære Let at huske Effektivt at bruge Forståeligt Tilfredsstillende at bruge Ingen væsentlige problemer: Brugeren forhindres eller sinkes i at realisere hensigten/målet med at anvende systemet. Forhindringen er oplevet af en konkret bruger

10 DIEB12.10 Procedure En bruger løser en række realistiske opgaver vha. systemet Brugeren "tænker højt" imens En testleder observerer Testlederen hjælper når forsøgspersonen er gået i stå Fastholdelse: noter, bånd, video, logning.... Analyse -> identificering af problemer -> ændringsforslag Opsamles typisk i en brugbarhedsrapport

11 DIEB12.11 Aktiviteter i en brugbarhedsevaluering When in development process: Exploratory Assessment Validation Comparison Location and equipment Participants and roles Determine basics Plan process Create test situation Interpret data Conduct test Recreation of context Selection of test subjects Design of tasks Test report: Purpose Key questions User profile Test method Task list Context and equipment Test monitor role Data to be collected Report structure Introduction Task solving Data collection Logging Debriefing Transcription of log files Data summary Data analysis Documentation (report)

12 DIEB12.12 Tidspunkt i udviklingsprocessen Exploratory Assessment Validation Comparison Hvad ligger der i hver af dem?

13 DIEB12.13 Lokalitet Et grundlæggende valg Felt ­ Evaluering i den situation og sammenhæng, hvor teknologien skal anvendes ­ Fokus på brug ­ Mange faktorer kan påvirke resultatet Laboratorium ­ Evaluering i et laboratorium fjernt fra brugssituationen ­ Fokus på systemet eller apparatet ­ Styr på variable faktorer ­ Kunstig situation Artikel: Is it worth the hassle? Vi fokuserer på laboratorium

14 DIEB12.14 Laboratorium Styrker: ­ Uden sammenligning den mindst påtrængende form for dataindsamling ­ Testpersonale og observatører kan kommunikere om testen og produktet uden at forstyrre testpersonen ­ Mange observatører kan overvære testen samtidigt Svagheder: ­ Meget laboratorieagtigt – testpersonen føler sig som et forsøgsdyr ­ Store krav til kameraarbejdet ­ Styrkerne er mindre væsentlige i tidlige test Alternativer: ­ Testlederen kan være i testrummet sammen med testpersonen ­ Det gør vi altid

15 DIEB12.15 Laboratorium: Udstyr 4 motoriserede kameraer Scanconverter til optagelse af skærmen Kontrolboks til kameraer Mixer Elektronisk krydsfelt To mikrofoner (rummikrofon og knaphålsmikrofon) Bånd (Media100 og VHS)

16 DIEB12.16 Deltagere og roller Personer i anvendelsesområdet Testleder Bruger Logger Videooperatør Tidtager Produktekspert Observatører

17 DIEB12.17 Roller: Testleder Væsentlige egenskaber: Solid viden om usability engineering Hurtig til at lære Kan etablere sympatisk forhold God hukommelse God lytter Kan håndtere usikkerhed Fleksibel og i stand til at improvisere Kan være opmærksom i lang tid Indlevende – i stand til at åbne andre personer Tænker i store linier God til at kommunikere God til at organisere Typiske problemer Styrer i stedet for at støtte Bruger for meget opmærksomhed på dataindsamling Virker bedrevidende Styrer slavisk efter testplanen Etablerer ikke gode relationer til deltagerne Drager for hurtige konlusioner Typiske problemer Styrer i stedet for at støtte Bruger for meget opmærksomhed på dataindsamling Virker bedrevidende Styrer slavisk efter testplanen Etablerer ikke gode relationer til deltagerne Drager for hurtige konlusioner

18 DIEB12.18 Roller: Bruger (testperson) Mål 1: svarer til brugergruppen ­ Demografi ­ Erfaring Mål 2: give grundlag for holdbare konklusioner ­ Mange brugere giver grundlag for kvantitative udsagn. F.eks. 25% af de uerfarne brugere kunne løse en simpel opgave ved hjælp af systemet ­ Få brugere giver grundlag for kvalitative udsagn. F.eks. brugerne havde svært ved at forstå og skelne mellem de grundlæggende begreber Andre studerende kan være problematisk ­ Motivation ­ Demografi og erfaring

19 DIEB12.19 Planlægning: Testplan Planlægningen dokumenteres samlet i en testplan Testplanen svarer til et designdokument for en test Testplanen bruges til: ­ Strukturering af aftestningen: hvilke dele og hvordan hænger de sammen ­ Aftale- og kommunikationsredskab (internt og eksternt) ­ Fastlæggelse ressourcebehov ­ Fokuserer testen ­ Definerer milepæl i produktets udvikling Indhold: Formål Hovedspørgsmål Brugerprofil Metode (design af testen) Opgaveliste (overordnet i forhold til selve opgaveformuleringerne) Omgivelse og udstyr Testlederrolle Måling (data der skal indsamles) Rapportens struktur og resultaternes præsentationsform Eksempel: Rubin, side 107-118 Indhold: Formål Hovedspørgsmål Brugerprofil Metode (design af testen) Opgaveliste (overordnet i forhold til selve opgaveformuleringerne) Omgivelse og udstyr Testlederrolle Måling (data der skal indsamles) Rapportens struktur og resultaternes præsentationsform Eksempel: Rubin, side 107-118

20 DIEB12.20 Regler for brug af laboratoriet Reservationssystem Der kan reserveres i den indeværende og den følgende uge Der kan reserveres op til en dag men gerne mindre og opdelt i flere kortere tidsrum Hvis en test udsættes, skal der afbestilles Reservation sker i en kalender, som ligger hos Helle Schroll (eller Helle Westmark) Andre regler Laboratoriet kan benyttes inden for normal arbejdstid Laboratoriet kan kun benyttes af grupper (og personer), som har modtaget instruktion Nøglen hentes hos Helle Schroll. Ved afhentning aftales hvordan aflevering sker Defekter (før og under) meddeles Helle Schroll Bånd lånes og afleveres hos Helle Schroll

21 DIEB12.21 Øvelse 1: Mere information Grupperne kan gennemføre en test i laboratoriet. ­ Planlæg og design en test af et system, hvor I benytter 1 (eller 2) testperson(er) ­ Selve testen bør maksimum vare 30 minutter pr. testperson ­ Hele seancen i laboratoriet tager typisk mellem 1-2 timer En hjælpelærer tildeles og vejleder i udførelse af testen. I tager kontakt til hjælpelæreren for at aftale tidspunkt. Grupper, som gennemfører testen, kan anvende laboratoriet i deres projektarbejde med følgende rammer: ­ Reservationssystem ­ Regler for brug af laboratoriet Fremlæggelse sidste gang (ca. 5 minutter): ­ Kort beskrive systemet og afprøvningen ­ Vise uddrag fra afprøvningen ­ Vurdere produktets brugbarhed