Muligheder for samspil mellem usability-evaluering og interaktionsdesign Jan Stage Professor, PhD Forskningsleder i Informationssystemer (IS)/Human-Computer Interaction (HCI) Aalborg Universitet, Institut for Datalogi, HCI-Lab

Institut for Datalogi 2 2 • Introduktion • Feedbackformer • Usabilityrapporten • Andre feedbackformer • Opsummering Oversigt

Institut for Datalogi 3 3 • Introduktion • Aktiviteter i en usability-evaluering • Samspil i systemudvikling • Organisering i praksis • Feedbackformer • Usabilityrapporten • Andre feedbackformer • Opsummering Oversigt

Institut for Datalogi 4 Aktiviteter i en usability-evaluering •Form: formative/summative •I udviklingsprocessen: •Eksplorativ •Vurdering •Validering •Sammenligning •Deltagere og roller •Sted og udstyr •Genskabelse af kontekst •Informering af deltagerne •Fordel roller i teamet •Klargør udstyr •Opgaveudarbejdelse •Fremstilling af materialer •Tidsforbrug •Videoanalyse •Transskribering af logfiler •Identifikation af problemer •Kategorisering af problemer Testplan: •Formål •Hovedspørgsmål •Brugerprofil •Deltagere og roller •Testmetoder •Opgaver •Kontekst og udstyr •Dataindsamling •Formidlingsform For hver deltager: •Introduktion •Opgaveløsning •Dataindsamling •Logning •Debriefing •Rapport (komplet) •Rapport (fokuseret) •Redesignforslag •Redesign workshop •Observation •Multimedia præsentation Opgavedefinering Planlægning Forberedelse Udførelse Fortolkning Formidling

Institut for Datalogi 5 Samspil i systemudvikling

Institut for Datalogi 6 Organisering i praksis • The evaluators are integrated in the development teams and conduct evaluations as part of the work in the team • The evaluators form a separate organizational unit within the development organization, and they conduct evaluations as a service to development teams • The evaluators are employed by a different organization, and evaluations are outsourced from the development organization to this organization • Increased detachment requires more formalized feedback

Institut for Datalogi 7 7 • Introduktion • Feedbackformer • Oversigt • Usabilityrapporten • Andre feedbackformer • Opsummering Oversigt

Institut for Datalogi 8 Feedbackformer: oversigt • Usability-rapport • Fokuseret rapport • Multimedie-præsentation med problemer • Workshops med evaluatorer og udviklere • Udviklere observerer tests • Forslag til redesign

Institut for Datalogi 9 9 • Introduktion • Feedbackformer • Usabilityrapporten • Typisk rapport • Erfaringer • Andre feedbackformer • Opsummering Oversigt

Institut for Datalogi 10 Usability-rapportrapport: Typisk indhold • Definitionen af usability • Efficiency: task completion time • Effectiveness: tasks completed • Satisfaction: efterinterview • Usability-problemer • Grundlag for at ændre systemet

Institut for Datalogi 11 Usability-rapportrapport: Typisk format

Institut for Datalogi 12 Uddrag fra problemlisten

Institut for Datalogi 13 Erfaringer med usability-rapporter • Ofte den eneste form for feedback • Har den nogen effekt på udviklerne og/eller projektet? • Vi lavede et studium af dette for nogle år siden: Høegh, R. T., Nielsen, C. M., Overgaard, M., Pedersen, M. B. and Stage, J. (2006) The Impact of Usability Reports and User Test Observations on Developers’ Understanding of Usability Data: An Exploratory Study. International Journal of Human-Computer Interaction, 21(2):

Institut for Datalogi 14 Conclusion The developers were “forced” to read the reports The reports were useful for the developers • in understanding the usability evaluation • as a basis for redesign and further development • as a means to prioritize redesign and development For the developers the usability reports • did not alter their initial belief of the system's advantages to a great extent • did expand their list and made them consider other topics • did clearly influence their conception of the weaknesses of the system The reports enriched the developers with insight into how users interact with their product and what the strengths and weaknesses were Information on test setup, users, tasks, and test users’ subjective opinions was important to the developers, but these are also the point of critique, when developers explain, why they find problems more or less real.

Institut for Datalogi 15 Observations How the developers were using the reports: • A problem list (overview + detailed descriptions) is important to have and essential for the designers when trying to understand a problem • Results on task completion time and NASA-TLX, that are not explained and put in context, are difficult for the designers to relate to • Log-files of user interaction, based on video recordings combined with system-logs, are used and considered important by the developers to understand specific details of the usability problems • General assessments and evaluations have limited usefulness for the developers

Institut for Datalogi 16 • Traditionelt betragtes evalueringsrapporten med en problemliste som den eneste form for feedback • Der skelnes ikke mellem summativ og formativ evaluering – rapporten bruges i begge tilfælde og i samme form • Rapporten afleveres, og så har evaluatorerne gjort deres arbejde • Ryger typisk op på hylden og bliver ikke brugt... Usability-rapporten: andre erfaringer

Institut for Datalogi 17 • Introduktion • Feedbackformer • Usabilityrapporten • Andre feedbackformer • Fokusering • Samarbejde • Redesign • Opsummering Oversigt

Institut for Datalogi 18 • Udviklerne kan ofte kun nå at rette nogle af problemerne • Derfor skal man prioritere og fokusere på de vigtigste problemer • For eksempel kun de 10 vigtigste problemer • Erfaring: • Giver mindre ”dårlig stemning” mellem evaluatorer og udviklere • Multimedie-præsentation af deteljerede problemer • Erfaring: • Tidskrævende at lave • Bruges ikke så meget Fokusering

Institut for Datalogi 19 Samarbejde • Evaluatorer og udviklere arbejder sammen om at forstå og prioritere de fundne usability-problemer • Udføres ofte som en workshop • Erfaring: • Udviklerne har sværere ved at ignorere problemerne • Skaber god tillid

Institut for Datalogi 20 Forslag til redesign • Empirisk studium (USE-projektet) • Sammenligning af problemlister og forslag til redesign • Evaluatorerne genererede problemlister • De lavede også forslag til redesign for de mest kritiske usability-problemer • Problemer og redesignforslag blev vurderet af udviklerne

Institut for Datalogi 21 Resultater • Forslag til redesign er signifikant mere nyttige end de tilsvarende problembeskrivelser er alene • For 77% af problemerne er redesignet mere nyttigt end problembeskrivelsen – for kun 15% er det modsat • Giver bedre forståelse af usability-problemer og inpiration til nye løsninger

Institut for Datalogi 22 • Introduktion • Feedbackformer • Usabilityrapporten • Andre feedbackformer • Opsummering Oversigt

Institut for Datalogi 23 Feedbackformer • Rapporten har meget begrænset effekt... i sig selv... specielt når den ikke læses • Mangfoldighed af andre feedbackformer • Aktivt samarbejde er vigtigt • Kombineres med redesignforslag