DIEB-DEB15.1 Lektion 15 Oversigt: Sidste kursusgang Fortolkning af data Udarbejdelse af dokumentation Teknikker til brugbarhedsevaluering Undervisning.

Præsentationer af emnet: "DIEB-DEB15.1 Lektion 15 Oversigt: Sidste kursusgang Fortolkning af data Udarbejdelse af dokumentation Teknikker til brugbarhedsevaluering Undervisning."— Præsentationens transcript:

1 DIEB-DEB15.1 Lektion 15 Oversigt: Sidste kursusgang Fortolkning af data Udarbejdelse af dokumentation Teknikker til brugbarhedsevaluering Undervisning i brugbarhedsevaluering (forskning)

2 DIEB-DEB15.2 Sidste kursusgang Oversigt: Øvelse 2: identifikation og kategorisering af brugbarhedsproblemer

3 DIEB-DEB15.3 Lektion 15 Oversigt: Sidste kursusgang Fortolkning af data ­ Efficiency and effectiveness ­ Satisfaction ­ Arbejdsbelastning ­ Brugbarhedsproblemer ­ Identificering af brugbarhedsproblemer ­ Kategorisering af brugbarhedsproblemer Udarbejdelse af dokumentation Teknikker til brugbarhedsevaluering Undervisning i brugbarhedsevaluering (forskning)

4 DIEB-DEB15.4 Aktiviteter i en brugbarhedsevaluering When in development process: Exploratory Assessment Validation Comparison Location and equipment Participants and roles Determine basics Plan process Create test situation Interpret data Conduct test Recreation of context Selection of test subjects Design of tasks Test report: Purpose Key questions User profile Test method Task list Context and equipment Test monitor role Data to be collected Report structure Transcription of log files Data summary Data analysis Documentation (report) Introduction Task solving Data collection Logging Debriefing

5 DIEB-DEB15.5 Fortolkning Grundlag for evalueringen: Måle brugbarhed (ISO-definition): ­ Efficiency (tidsforbrug) ­ Effectiveness (tidsforbrug og kvalitet/fejl) ­ Satisfaction (subjektiv oplevelse) Arbejdsbelastning Hjælpe udviklerne med at forbedre systemet: ­ Brugbarhedsproblemer

6 DIEB-DEB15.6 Efficiency and Effectiveness Statistiske, kvantitative data ­ Tid for løsning af opgaver: længste, korteste, gennemsnit og standardafvigelse (gør dette i regneark) ­ Antal fejl: antal brugere, som afsluttede opgaven ­ Brug af hjælpesystem, manual og lignende (f.eks. antal gange) ­ Hjælp fra forsøgsleder nødvendigt for at komme videre Identificer overraskende resultater – for eksempel: ­ En opgave tager meget længere tid at løse end andre opgaver ­ En bruger tager meget længere tid end andre brugere for at løse en opgave ­ Kig efter forskelle og ligheder mellem opgaver, brugere, systemer osv.

7 DIEB-DEB15.7 Eksempel: Testpersoner KønAlderErfaring sygeplejerske Erfaring afdeling Erfaring IT Erfaring IPJ Modtaget undervis. Kvinde5431 år18 årLet øvetBegynder15t Kvinde4825 år6 årBegynderLet øvet28t Kvinde4624 år Let øvet 30t Kvinde4117 år1¾ årIngenBegynder15t Kvinde3712 år½ årLet øvetBegynder15t Kvinde3610 år1½ årLet øvetBegynder15t Kvinde347 år3 mdr.Let øvetBegynder14t Kvinde312 år ErfarenBegynder16t

8 DIEB-DEB15.8 Efficiency and Effectiveness Oversigt over tidsforbrug Løsningens kvalitet er markeret Opgave Testperson1.a1.b2.a2.b3.a3.b3.cSamlet 105:5515:1202:0506:3009:2639:08 222:3609:4003:5307:2304:4348:15 305:4508:1001:2506:1504:2008:0503:4537:45 411:4506:1502:4004:3007:1006:0003:1541:35 513:1505:5002:2509:5005:1236:32 615:2010:2006:5507:1505:4045:30 715:3011:3502:5314:4744:45 808:4112:5715:5707:0109:1853:54 Gennemsnit12:2110:0004:4707:5606:0507:4803:30

9 DIEB-DEB15.9 Satisfaction Lav altid en debriefing Udføres umiddelbart efter afslutningen af testen Kan omfatte ­ udfyldelse af spørgeskema: demografiske oplysninger og holdninger ­ interview: forklaring på hvorfor bestemte ting skete under testen (årsagsforklaring som supplement til tænke-højt) Kan give et godt indtryk af satisfaction Giv tid til diskussion ­ kritik af systemet – præferencer: Hvor godt kan du lide... (skala) Hvilken... kan du bedst lide (rangering) Hvad synes du om... (åbent) ­ formulering af designideer

10 DIEB-DEB15.10 Eksempel: Satisfaction Fra IPJ-2003 rapporten (afsnit 4) "Alle testpersoner syntes, at systemet giver et godt overblik over den enkelte patient på afdelingen, og de giver udtryk for, at systemet præsenterer informationer om patienter på en fornuftig måde." "Flere af testpersonerne gav udtryk for, at de sommetider ikke indtaster oplysninger, informationer eller data om patienterne direkte i IPJ- systemet (eller henter oplysninger direkte fra systemet når de skal bruges). Derved forhindres væsentlige dele af integrationen mellem sygeplejerskernes arbejde og IPJ-systemet."

11 DIEB-DEB15.11 Arbejdsbelastning Måling af testpersonernes subjektive opfattelse af arbejdsbelastningen under løsningen af opgaverne Baseret på en metode, som er udviklet af NASA (National Aeronautics and Space Administration) Målemetoden kaldes for Task Load Index, forkortet TLX. Metoden måler på seks forskellige faktorer: ­ mentale krav ­ fysiske krav ­ tidsmæssige krav ­ anstrengelse ­ præstation ­ frustration Testpersonerne får først en kort karakteristik af hver af de seks faktorer Derefter giver de deres oplevelse af hver faktors størrelse på en skala fra 0 til 100, som er opdelt i intervaller med længden 5 Endelig får testpersonerne 15 kort, hvor de på hvert kort afgør hvilken af to faktorer, der havde størst betydning for oplevelsen af arbejdsbelastning Disse valg omsættes til vægte for hver faktor, hvor der tilsammen uddeles 15 vægte med et maksimum på 5 vægte for den enkelte faktor

12 DIEB-DEB15.12 Eksempel: Arbejdsbelastning

13 DIEB-DEB15.13 Grundlag for forbedring af systemet Hjælpe udviklerne gennem identifikation af brugbarhedsproblemer Metode: ­ Logfil ­ Identificering af brugbarhedsproblemer ­ Kategorisering af brugbarhedsproblemer

14 DIEB-DEB15.14 Logfil Sammenhæng mellem: Opgave – Tid – Hændelse med forklaring Eventuelt søjle med angrebsvinkel: læser opgave, orienterer sig, navigerer, besvarer opgave, osv.

15 DIEB-DEB15.15 Analyse af logfil Identificer steder, hvor brugere ­ Laver fejl ­ Skifter angrebsvinkel ­ Kommer med udbrud ­ Andre markante skift Find årsagen til, at der bruges længere tid eller laves fejl – vanskeligt og tidskrævende

16 DIEB-DEB15.16 Identificering af brugbarhedsproblemer: Eksempel – IPJ 2.3 IPJ 2.3: Elektronisk patientjournal udviklet af IBM Sverige Implementeret på en række (ca. 10) sygehuse i Norden (blandt andet Frederikshavn- Skagen Sygehus) Erstatning for den ”almindelige” papirbaserede patientjournal På Frederikshavn-Skagen Sygehus implementeres systemet på en bærbar computer som kan tages med rundt på afdelingen Forestil jer følgende: I er hyret af IBM som konsulenter i forbindelse med en evaluering af brugbarheden af deres IPJ-system I har nu gennemført en test og skal i gang med at identificere brugbarhedsproblemer

17 DIEB-DEB15.17 Opgaver i testen Opgave 1: Rapport Det er d. 2 maj 2002. Du er gruppeleder og er mødt ind i på afdelingen efter 2- ugers ferie. Du skal i gang med at planlægge arbejdsopgaver for resten af dagen for dig selv, en SSA, og to sygeplejestuderende. Der er to nye patienter på afdelingen. Agnes Winther er ikke selvhjulpen og får i.v. medicin. Casper Hansen er på diæt. a) Placer disse to patienter på afdelingen. b) Skitser arbejdsopgaver for den kommende dag for patienterne Dennis Skov- Sørensen og Doris Pedersen ud fra den information, systemet stiller rådighed. Opgave 3: Stuegang Du er på stuegang med den ansvarlige læge. I står nu inde ved patient Casper Hansen, som er indlagt med besværet respiration og tendens til hævede ben og har taget på i vægt. a) Find de informationer som er relevante at skitsere for lægen. Lægen siger efterfølgende at patienten skal have taget væsketal dagligt, vejes dagligt, samt observeres for ødemer (f.eks. hævede ankler) b) Opret et nyt notat om den kommende pleje. c) Tilføj relevante punkter på arbejdslisten Opgave 2: Morgenrunde Du har netop målt blodtryk, puls og temperatur på Doris Pedersen. Du har målt værdierne til – blodtryk 130/90, puls 105, temperatur 40,2 a) Indrapportér ovenstående værdier for Doris. Du lægger mærke til den forhøjede temperatur. Du vil oprette en plejeplan for Doris. b) Angiv problem, mål og handling for den forhøjede temperatur.

18 DIEB-DEB15.18 Opgave 1 Videoklip med testperson 3 (0:19:58) Hun løser opgave 2.b. I dette klip skal I identificere de brugbarhedsproblemer, som I mener testpersonen oplever Opsamling og diskussion i plenum

19 DIEB-DEB15.19 Logfil: Eksempel (1) Testperson 3's udførelse af opgave 2.b.

20 DIEB-DEB15.20 Logfil: Eksempel (2)

21 DIEB-DEB15.21 Testperson 3: Identificerede brugbarhedsproblemer X020: Statusbillede: Ved ikke, hvordan man opretter en ny plejeplan X021: Notattyper: Mangler overblik over de forskellige typer af journalnotater (opleves 2 gange) X023: Notatvindue: Ved ikke, hvordan man tilføjer tekst til et notat (tror at man kan skrive direkte i notatvinduet, åbner ikke problem 1) X025: Notatpunkter: Er usikker på, hvordan man afslutter skrivningen af et enkelt notatpunkt (opleves 2 gange) X026: Notatvindue: Kan ikke huske hvordan man signerer og gemmer et notat (kan huske, at det er noget med F3 og F12 men ikke præcist hvad eller leder i menuerne foroven) X036: Generelt: Ved ikke, hvornår der skal enkeltklikkes og hvornår der skal dobbeltklikkes

22 DIEB-DEB15.22 Alle testpersoner: Identificerede brugbarhedsproblemer Opgave Testperson1.a1.b2.a2.b3.a3.b3.cSamlet 105:5515:1202:0506:3009:2639:08 222:3609:4003:5307:2304:4348:15 305:4508:1001:2506:1504:2008:0503:4537:45 411:4506:1502:4004:3007:1006:0003:1541:35 513:1505:5002:2509:5005:1236:32 615:2010:2006:5507:1505:4045:30 715:3011:3502:5314:4744:45 808:4112:5715:5707:0109:1853:54 Gennemsnit12:2110:0004:4707:5606:0507:4803:30 4 problemer 6 problemer 8 problemer 2 problemer 7 problemer 4 problemer Den første testperson

23 DIEB-DEB15.23 Hvordan identificerer vi et brugbarhedsproblem? Mål: Brugeren forhindres eller sinkes i at realisere hensigten/målet med at anvende systemet. Forhindringen er oplevet af en konkret bruger Ovenstående medfører, at brugerne skal opleve problemet (eller bekræfte det hvis vi havde problemet på fornemmelsen) Nogle problemer opleves ikke direkte af brugerne, men er de ikke problemer alligevel? Eksempel: Brugerne ser ikke al væsentlig og relevant information om en given patient Det er ikke trivielt hvor grænsen for sådanne problemstillinger går

24 DIEB-DEB15.24 Eksempel De fleste sygeplejersker så ordineringen af morfin Ingen af dem så det røde obs-felt Er det et brugbarhedsproblem?

25 DIEB-DEB15.25 Kategorisering af problemer: Fravær af katastrofer som mål Kategorisering er svært Kritisk problem: ­ Brugeren er ude af stand til at fortsætte sit arbejde uden at få hjælp af en anden person. ­ Brugeren føler, at systemets opførsel er stærkt irriterende eller irrationel. ­ Der er en kritisk forskel mellem det, brugeren tror, at systemets gør, og det, systemets rent faktisk gør. Katastrofe: ­ Mindst to typiske brugere møder det samme kritiske problem uafhængigt af hinanden Forsinket Irritation/ Irrationalitet Forventning vs. faktisk Kosmetisk< 1 minutLettere Mindre forskel Alvorligt Flere minutter Middel Betydelig forskel Kritisk Fuldstændigt (går i stå) StærkKritisk forskel

26 DIEB-DEB15.26 Opgave 2 Problem #1: Testpersonerne kan som hovedregel godt anvende den information, de finder. Men de kan ikke se, om der er information, som de ikke finder og er derfor usikre på, om de har fundet al relevant information. Det fører til, at de har svært ved at få overblik over en enkelt patient. Problem #2: Et par af testpersoner oplever, at systemet meddeler dem, at der er opdateret på patientlisten. Men da disse testpersoner ikke har foretaget nogle ændringer bliver de forvirrede, men begge trykker på. OK for at være på den sikre side. Problem #3: Næsten alle testpersoner laver fejl, fordi de ikke kan huske numrene på de funktionstaster, der kan bruges som genveje i systemet. Det gælder klart mellem de tre basale vinduer (belægningsliste, basisbillede og statusbillede), hvor testpersoner trykker en af de andre muligheder, når de vil over i et af disse vinduer. Testpersonerne har tilsyneladende svært ved at skabe og anvende en klar relation mellem koder og vinduer. KritiskKosmetiskAlvorligt Bliver sinket i kortere tid, mindre kritisk forskel mellem forventning og handling Går i stå, kan ikke gennemføre opgaven Sinker brugeren i lidt længere tid men forhindrer ikke gennemførelsen af opgaven Vi har blandt andet identificeret følgende tre problemer i testen af IPJ. Kategoriser dem efter alvor: kosmetisk, alvorlig og kritisk.

27 DIEB-DEB15.27 Opgaver i testen Opgave 1: Rapport Det er d. 2 maj 2002. Du er gruppeleder og er mødt ind i på afdelingen efter 2- ugers ferie. Du skal i gang med at planlægge arbejdsopgaver for resten af dagen for dig selv, en SSA, og to sygeplejestuderende. Der er to nye patienter på afdelingen. Agnes Winther er ikke selvhjulpen og får i.v. medicin. Casper Hansen er på diæt. a) Placer disse to patienter på afdelingen. b) Skitser arbejdsopgaver for den kommende dag for patienterne Dennis Skov- Sørensen og Doris Pedersen ud fra den information, systemet stiller rådighed. Opgave 3: Stuegang Du er på stuegang med den ansvarlige læge. I står nu inde ved patient Casper Hansen, som er indlagt med besværet respiration og tendens til hævede ben og har taget på i vægt. a) Find de informationer som er relevante at skitsere for lægen. Lægen siger efterfølgende at patienten skal have taget væsketal dagligt, vejes dagligt, samt observeres for ødemer (f.eks. hævede ankler) b) Opret et nyt notat om den kommende pleje. c) Tilføj relevante punkter på arbejdslisten Opgave 2: Morgenrunde Du har netop målt blodtryk, puls og temperatur på Doris Pedersen. Du har målt værdierne til – blodtryk 130/90, puls 105, temperatur 40,2 a) Indrapportér ovenstående værdier for Doris. Du lægger mærke til den forhøjede temperatur. Du vil oprette en plejeplan for Doris. b) Angiv problem, mål og handling for den forhøjede temperatur.

28 DIEB-DEB15.28 Opgave 3 Videoklip med testperson 2 (1:10:19) Hun løser opgave 1.a. I dette klip skal I identificere og kategorisere de brugbarhedsproblemer, som I mener testpersonen oplever Opsamling og diskussion i plenum

29 DIEB-DEB15.29 Testperson 2: Identificerede og kategoriserede problemer (1) Logfil for testperson 2's udførelse af opgaven

30 DIEB-DEB15.30 Testperson: Identificerede og kategoriserede problemer (2)

31 DIEB-DEB15.31 Testperson: Identificerede og kategoriserede problemer (3)

32 DIEB-DEB15.32 Værktøj til identificering og kategorisering

33 DIEB-DEB15.33 Lektion 15 Oversigt: Sidste kursusgang Fortolkning af data Udarbejdelse af dokumentation ­ Rapport ­ Eksempler Teknikker til brugbarhedsevaluering Undervisning i brugbarhedsevaluering (forskning)

34 DIEB-DEB15.34 Evalueringsrapport Væsentlige afsnit: ­ Sammenfatning: oversigt og hovedkonklusioner (1 side) ­ Metodebeskrivelse: beskrivelse af testsituationen (2-3 sider) ­ Resultater: opsummering og analyse af data – typisk struktureret efter problemer (5-15 sider) ­ Vurdering af evalueringsmetoden – begrænsninger på konklusioner (1 side) ­ Bilag: Opgaver Logfiler Spørgeskemaer og besvarelser (tabeller) Interviewguide og besvarelser for hver forsøgsperson Andre relevante afsnit fra testplanen URL til tre eksempler på spiseseddel

35 DIEB-DEB15.35 Lektion 15 Oversigt: Sidste kursusgang Fortolkning af data Udarbejdelse af dokumentation Teknikker til brugbarhedsevaluering ­ Oversigt over teknikker til brugbarhedstest ­ Heuristisk inspektion ­ Tænke-højt kontra heuristisk inspektion Undervisning i brugbarhedsevaluering (forskning)

36 DIEB-DEB15.36 Teknikker til brugbarhedstest Bruger kontrollererUdvikler kontrollerer Laboratorium Tænke-højt Konstruktiv interaktion Heuristisk inspektion Kognitiv inspektion Brugerorganisation (felt) Fokusgruppe Observation Anvendelsesstatistik Tilbagemelding Interview Spørgeskemaer Andre dimensioner:Rigorisme (planlagt og styret forløb)  Realisme Kvalitativt  Kvantitativt

37 DIEB-DEB15.37 Heuristisk inspektion Laboratorium + Udviklerkontrol Deltagerne gennemgår systemet ud fra en checkliste Scenario med relevante opgaver kan strukturere processen Systemet gennemgås to gange: 1.Fokus på helhed og umiddelbare indtryk 2.Fokus på detaljer såsom funktioner i forhold til opgaver Deltagerne arbejder individuelt og noterer problemer I fællesskab udarbejdes en samlet liste Problemerne kategoriseres eventuelt (kritisk, alvorligt, kosmetisk) Rettelsesforslag udarbejdes, prioriteres og overdrages til udviklerne Eksempel på checkliste:  Enkel og naturlig dialog  Tal brugerens sprog  Minimer krav til hukommelsen  Sørg for konsistens  Giv feedback  Lav tydelige udgange  Lav genveje  Giv konstruktive fejlmeddelelser  Forebyg fejl Eksempel på checkliste:  Enkel og naturlig dialog  Tal brugerens sprog  Minimer krav til hukommelsen  Sørg for konsistens  Giv feedback  Lav tydelige udgange  Lav genveje  Giv konstruktive fejlmeddelelser  Forebyg fejl

38 DIEB-DEB15.38 Øvelse (1) Antal inspektioner – Molich & Nielsens resultater: 1: ca. 35% af alle problemer findes 3-5: ca. 70% af alle problemer findes Denne påstand er meget omdiskuteret Øvelse (fra Molich & Nielsen): Functionality: A service from Manhattan Telephone (MANTEL) to home users. Typical users have little knowledge of data processing. They can dial into the system, which will provide the name and address of a telephone subscriber in the United States, given the telephone number of the subscriber. Assumptions: For each telephone number there is at most one subscriber. All telephone numbers consist of exactly ten digits (3 digit area code and 7 digit local number). The user's computer has a traditional alphanumeric, monochrone display with 24 lines of 80 characters each and a typewriter-like keyboard with the usual extra keys found on most keyboards, including 10 function keys marked PF1-PF10.

39 DIEB-DEB15.39 Øvelse (2) ILLEGAL NUMBER: TRY AGAIN If the user enters a telephone number which is not in use, the system answers: UNKNOWN TELEPHONE NUMBER If the area code is 212 (Manhattan), the system will normally display the the screen shown within 5 seconds. For other area codes, the system must retrieve the necessary information from external databases.This may take up to 30 seconds. Dialogue: Enter by selecting "Computer Telephone Index" from the main MANTEL menu. The system then issues the prompt: ENTER DESIRED TELEPHONE NO. AND RETURN If the user enters anything other than exactly 10 digits to this prompt, the system answers:

40 DIEB-DEB15.40 Øvelse (3)

41 DIEB-DEB15.41 Øvelse (4)

42 DIEB-DEB15.42 Øvelse (5)

43 DIEB-DEB15.43 Øvelse (6)

44 DIEB-DEB15.44 Øvelse (7)

45 DIEB-DEB15.45 Tænke-højt kontra Heuristisk inspektion www.hotmail.com 8 laboratorier testede web- stedet ­ Professionelle firmaer ­ Forskningsmiljøer ­ Studerende Testen skulle omfatte et antal specificerede funktioner Selve udførelsen kunne tilrettelægges frit Formålet var at undersøge kvaliteten af brugbarhedstest 1 af laboratorierne indgik ikke seriøst i undersøgelsen 6 af laboratorierne baserede deres evaluering på test med brugere ­ De fandt mellem 17 og 75 problemer af forskellige kategorier 1 af laboratorierne baserede deres evaluering på en kombination af heuristisk inspektion og test med brugere ­ De fandt 150 problemer ­ De beskrives tit med formuleringen “might be a problem” ­ 107 af deres problemer findes ikke af nogen af de andre ­ De finder 19 ud af 26 “core problems” men uklart hvordan

46 DIEB-DEB15.46 RESULTATER

47 DIEB-DEB15.47 Tænke-højt versus inspektion 94 49 1.9 18 5.2 118 68 1.7 23 5.1 160 159 1.0 40 4.0 Samlet tid (i timer) Problemtyper (antal) Tid/problem Kategoriproblemer Tid/SPA 0113 Unikke problemer for hver metode (antal) 8 9 1 29 9 13 1 24 19 18 3 7 Problemkategorier Kategori 1 (antal) Kategori 2 (antal) Kategori 3 (antal) Ingen aktion (antal) 4968159Problemtyper (antal) Individuel inspektionGruppe-inspektionTænke-højt forsøg (Karat, Campbell og Fiegel, Comparison of Empirical Testing and Walkthrough Methods in User Interface Evaluation, 1992)

48 DIEB-DEB15.48 Lektion 15 Oversigt: Sidste kursusgang Fortolkning af data Udarbejdelse af dokumentation Teknikker til brugbarhedsevaluering Undervisning i brugbarhedsevaluering (forskning) ­ Learning to find usability problems in internet time ­ Relation til øvelse 2

49 DIEB-DEB15.49 Learning to Find Usability Problems in Internet Time Mikael B. Skov & Jan Stage

50 DIEB-DEB15.50 Motivation Information technology: available to anyone, anywhere, anytime Strength: WWW is a significant move in that direction Weakness: Many web sites are designed and implemented in fast- paced projects by multidisciplinary teams Teams involve such diverse professions as information architects, Web developers, graphic designers, brand and content strategists, etc. Teams are usually not familiar with established knowledge on human-computer interaction The strong limitation in terms of price and development time effectively prohibits usability testing in the classical sense, conducted by experienced testers in sophisticated laboratories Methods tend to focus on analysis, design, and implementation The implied lack of focus on usability issues and practical skills with usability testing reflects a potential barrier for universal access of information on the Web

51 DIEB-DEB15.51 Empirical study (1) Research questions: What is the potential for supporting universal access through dissemination of fundamental usability engineering skills Can we teach a simple approach to usability testing to people with an interest in information technology but without formal education in software development or usability engineering, and to do it in less than a week. Overall design: A course for first-year students at Aalborg University, Denmark. Subject: fundamentals of computerized systems with particular emphasis on usability issues. Ten class meetings with two hours of class lecture and two hours of exercises in smaller teams. Two primary techniques: ­ Think-aloud protocol (Nielsen 1993) ­ Questionnaires filled in after each task and the entire test (Spool et al.) The exercises after the first four class meetings made the students conduct small usability pilot tests in order to train and practice their practical skills. The last six exercises were devoted to conducting a more realistic usability test of a web-site: Hotmail.com.

52 DIEB-DEB15.52 Empirical study (2) 36 teams of first year university students used the simple approach to conduct a usability evaluation of the email services at Hotmail.com. The 36 teams consisted of 234 students in total, of which 129 acted as test subjects Educations: architecture and design, informatics, planning and environment, and chartered surveyor All part of a natural science or engineering program at Aalborg University Each team should apply at least one of the two primary techniques, and could supplement this with other techniques The team should among themselves choose a test monitor and a number of loggers and the rest of each team acted as test subjects Each team was given a very specific two- page scenario stating that they should conduct a usability test of the Hotmail web-site (www.hotmail.com) The entire team worked together on the analysis and identification of usability problems and produced the usability report

53 DIEB-DEB15.53 Data collection and analysis The usability reports were the primary source of data for our empirical study All reports were analyzed, evaluated, and marked by both authors: 1.We worked individually and marked each report in terms of 16 different factors 2.The markings were compared, a new factor was added, and the characteristics of each factor was specified explicitly 3.We worked individually to re-mark all reports according to the 17 factors 4.All reports and evaluations were compared and a final evaluation on each factor was negotiated The markings were made on a scale of 1 to 5, with 5 being the best Five of the 17 factors: 1.The planning and conduction of the evaluation 2.The quality of the task assignments 3.The clarity and quality of the problems listed in the report 4.The practical relevance of these problems 5.The number and relevance of the usability problems identified Five of the 17 factors: 1.The planning and conduction of the evaluation 2.The quality of the task assignments 3.The clarity and quality of the problems listed in the report 4.The practical relevance of these problems 5.The number and relevance of the usability problems identified Comparison with usability reports produced by eight professional laboratories (Molich 1999) Evaluated the same web-site according to the scenario used by the students Their reports were analyzed, evaluated, and marked through the same procedure as the student reports

54 DIEB-DEB15.54 Similar distribution The relevance of the tasks, the number of tasks, and the extent to which they cover the areas specified in the scenario The student teams cover all five elements of the scale, with an average of 3.3 The professional laboratories score almost the same result, with an average of 3.5 This is by no means impressive for the professionals; a general low quality of the tasks How well each problem is described, explained, and illustrated and how easy it is to gain an overview of the complete list of problems The student teams are distributed mainly around the middle of the scale, with an average of 2.9 The professional laboratories are distributed from 2 to 5 with an average of 3.5 Again, not impressive for the professional laboratories.

55 DIEB-DEB15.55 Different distribution (1) How well the tests were planned, organized, and carried out The student teams have average of 3.7 and the majority score 4, indicating well- conducted tests with a couple of problematic characteristics The professional laboratories score an average of 4.6 on this factor, and 6 out of 8 score the top mark. This is as it should be expected because experience will tend to raise this factor. The practical relevance of the problem list The student teams are almost evenly distributed on the five marks of the scale, and their average is 3.2 The professional laboratories score an average of 4.6 where 6 out of 8 laboratories score the top mark Reason may be the experience of the professionals in expressing problems in a way that make them relevant to their customers The course has focused too little on discussing the nature of a problem

56 DIEB-DEB15.56 Different distribution (2) A key aim in usability testing: to uncover and identify usability problems The student teams are on average able to find 7.9 problems. They find between 1 and 19 problems with half of the teams finding between 6 and 10 problems Thus the distribution seems to be reasonable The average for the professional laboratories is 23.0 problems identified Only one of them scores in the same group as a considerable number of student teams – that is between 11 and 15 problems Only one student team identified a number of problems that is comparable to the professional laboratories

57 DIEB-DEB15.57 Relation til øvelse 2 Den foregående artikel er baseret på tal fra 2000 I 2001 lavede vi et follow-up eksperiment, hvor vi havde sat en forelæsning ind om problemidentifikation (svarer til jeres kursusgang 14) Det gav en klar forbedring i deres evne til at finde og beskrive problemer Men eksperimentet var kompliceret og derfor ikke helt pålideligt: for mange variable faktorer Øvelse 2 fokuserer kun på dette aspekt