6. Kvantitativ usability 4. marts 2010 Usability – Ole Gregersen IT-Universitetet

Fra sidste gang: Kvalitativ metode og tilgang Empiri og empiriske metoder Fejlkilder Forberedelse og udførelse i kvalitativ metode 2

Aftenens program Aftenen to eksempler Kvantitet i usability metoder Spørgeskemaer – kvantitativ dataindsamling Metrikker i brugertest 3

Aftenens eksempel 1

Aftenens eksempel #2

Aftenens eksempel #3

Kvantitativ metode kvantitative metoder, videnskabelig forskningsmetode, der anvendes, når forskningsfeltet kan gøres målbart. Kvantitative metoder vægter, i modsætning til kvalitative metoder, indsamlingen af større mængder af "hårde" data, dvs. oplysninger, der umiddelbart kan måles og kvantificeres. De kategoriseres ofte vha. statistiske metoder, og resultaterne præsenteres numerisk. […] ved brug af kvantitative metoder nødvendigvis er (der) tale om envejskommunikation.

Kvalitativt - kvantitativt Hvorfor, hvordan? Lav forhåndsviden Lav struktur Høj fleksibilitet Subjektet - personlig Billedsprog, metaforer Citater, beskrivelser Meget info om lidt Flertydighed Hvor meget? Stor forhåndsviden Høj struktur Lav fleksibilitet Objektet - distanceret Tabeller nøgletal Diagrammer Lidt info om meget Entydighed Kilde: ”Målgruppeanalyse”, Rasmussen og Fischer, 2008

Kvantitet i usabilitymetode Spørgeskemaer, online og offline Dagbøger, selv-logning Kvantitet i ”kvalitative sammenhænge” Metrikker i brugertest Nominelle data i fx workshops Pointgivning og alvorsgrad i tests Logfiler og data-analyse Eyetracking

Eksempler på spørgeskema Indeholder typisk: Demografiske spørgsmål: Alder, køn, uddannelse, bopæl, indtægt, osv Brugs-spørgsmål, produkt(service): Brug af produkt, erfaring med produkt, holdning til… Brugs-spørgsmål, website: Brug, erfaring, holdning Ønsker og behov

Rammen kan variere Spørgeskema: Generel omkring (for)brug – Politiken.dk Omkring specifik brug i konteksten – Apple.dk Feedback mulighed – Comparecarhire.co.uk

Feedback

Kvantitative forbehold Svarene er holdning, ikke sandhed (eller empiri) Hvordan kommer det til udtryk? Forhold mellem sammenhæng og påvirkning To beslægtede forhold behøver ikke at være opstået på grund af hinanden Hold øje fordelingen i data – fx med del trends

Lynstatistik Gennemsnit, median, mode, variance Standard error Hvor præcise er data Forholdet mellem deltagere og antal svar med bestemt værdi Standard deviation En statistik fordeling af variation – forventning om hvor data placeret ift. det angivne. Confidence interval Forholdet mellem de to ovenstående

Google Dokumenter Docs.google.com

Metrikker i brugertest Problem counts – error count Task time – Task on time Task succes Graden af succes Hel eller delvis succes (1) Med uden assistance (0,5) Med eller uden fejl (0) Alvorsgrad 1-4 Forhold mellem tid og succes Score for understanding (Kvantificering, fx 80% rigtige svar) Opinion poll (spørgskema – likert scala)

Lidt ekstra læsning… Kan vi lave usability af data i logfiler? http://www.boxesandarrows.com/view/the-limitations-of

Opgave 4 – Spørgeskema 1 I skal undersøge emner, der er relevante for jeres forståelse af brugerne. Tag udgangspunkt i jeres afklaring af opdragsgivers mål med sitet, usability-kriterier og udvalg af de relevante dele af sitet. I kan f.eks. undersøge: Hvem er brugerne/potentielle brugere? Deres kendskab til sitet? Hvad er deres mål/hensigt med at bruge sitet? Hvad er vigtigt for dem holdninger eller adfærd. Spørgeskemaet bør indeholde relevante oplysninger om Demografi Holdninger til sitet Adfærd Benyt fremgangsmåden fra den blå bog og se på statiske værktøjer i artikel i kompendium fra ”Measuring the user experience”. Brug. Google Dokumenter – alternativt andre lignende værktøjer. Benyt evt. ”Convenience Sampling” dvs. venner og bekendte, studiekammerater, kolleger etc. men husk at tage højde for det i jeres analyse, hvis de ikke tilhører/ligner målgruppen. Send også kopi af link til Ole og Mikael – så vi kan deltage  Lav en pilottest af spørgsmålene (evt. med andre grupper i aften).

Opgave 4 – Spørgeskema 2 Spørg jer selv: Hvad har I brug for at vide om jeres brugere for at lave en usabilityevaluering af sitet? Hvilken type svar/data har I brug for? Hvilke indikatorer kan I identificere? Hvilke spørgsmål skal I stille for at

Aflevering Spørgeskema eller invitation til online survey Redegørelse for hvad I ønsker at undersøge, hvorfor og hvem I vil spørge? Plan for hvordan og hvornår I vil bearbejde data Refleksion over metoden. Styrker, svagheder, muligheder og farer. Hvad er den god til? Hvad dur den ikke til? Hvad kan man bruge den til? Hvad kan gå galt? Send max 1 side excl. spørgeskema til mthomsen@itu.dk senest mandag kl. 12