Listenavigation på mobile enheder 4-ugers projekt F2006 Rasmus Warnar, Peter Overgaard, Michael Kremer og Stine Dahl

Listenavigation på mobile enheder2 Agenda  Før testen  Efter testen - analyseprocessen  Perspektivering Performance Brugsoplevelse Brugsoplevelse

Listenavigation på mobile enheder3 Før testen

Listenavigation på mobile enheder4 Før testen

Listenavigation på mobile enheder5 Forberedelse  Definer problem og hypotese.  Testen er udarbejdet af Microsoft. Ville det have været relevant, at grupperne var indgået i et samarbejde med Microsoft eller havde testet softwaren inden projektopstart? Ville det have været relevant, at grupperne var indgået i et samarbejde med Microsoft eller havde testet softwaren inden projektopstart?

Listenavigation på mobile enheder6 Design af testforløb  Hvordan opstiller vi den eksperimentelle procedure? - Afhængige og uafhængige faktorer - Afhængige og uafhængige faktorer - Isolering af faktorer/påvirkninger - Isolering af faktorer/påvirkninger - Objektive versus Subjektive målinger - Objektive versus Subjektive målinger - Målgruppen - Målgruppen - Etik - Etik  Inspiration indsamles fra relaterede projekter.  Udarbejde script og lab-setup. (Kuniavsky)

Listenavigation på mobile enheder7 Pilottest - for at sikre, at der ikke sker uventede ting under testen.  2 programmeringsfejl får betydning for projektets forløb. Microsoft: ikke muligt at rette fejlene → alternativet bliver at scriptet ændres. Microsoft: ikke muligt at rette fejlene → alternativet bliver at scriptet ændres.  Problematik: demo-spørgsmål gentages ikke → manglende tilfældighed → samme spørgsmål og placering gentages. demo-spørgsmål gentages ikke → manglende tilfældighed → samme spørgsmål og placering gentages.

Listenavigation på mobile enheder8 Brugertest – point of no return  Ændringer kan ikke foretages. Vil i så fald påvirke resultatet.  Gennemfør testen med ens betingelser ellers start forfra.

Listenavigation på mobile enheder9 Efter testen

Analyseprocessen

Listenavigation på mobile enheder11 Processen generelt  Primære formål med analysen:  Sammenligne tidsforbrug ved detaljevisning i top og bund  Problematikken:  Kan umiddelbart ikke lade sig gøre pga. læringseffekter og listeplaceringer

Listenavigation på mobile enheder12 Problematikker: Listeplaceringer er den dominerende faktor for tidsforbruget Læringseffekter tydeligst ved spørgsmål: 1,2 & 6

Listenavigation på mobile enheder13 Problematikker: Listeplaceringer er den dominerende faktor for tidsforbruget Læringseffekter tydeligst ved spørgsmål: 1,2 & 6 Hvordan kan dette håndteres? Læringseffekter kan kraftigt reduceres ved at fjerne 1,2 & 5,6 Men listeplaceringer influerer alle data! Sværere at løse.

Listenavigation på mobile enheder14 Problematikker: Listeplaceringer er den dominerende faktor for tidsforbruget Læringseffekter tydeligst ved spørgsmål: 1,2 & 6 Hvordan kan dette håndteres? Læringseffekter kan kraftigt reduceres ved at fjerne 1,2 & 5,6 Men listeplaceringer influerer alle data! Sværere at løse. 2 Løsningsstrategier: Selektion af sammenlignelige data Korrektion af dataene

Listenavigation på mobile enheder15 Korrektionsmetoder  Procent reduktion efter listeplaceringer  Ide: modregne procentvise forskel i listeplacering  Stærkt problematisk -> forvrænger dataene alt for kraftigt  GOMS Model ( Goals, operators, methods, selection rules) = (K x listeplacering) + M1 + M2 + K; = (0,3 x listeplacering + 1,35 + 1,35 + 0,3) HandlingOperatorTid Mental forberedelse M sek. Klik på knap K 0.3 sek. Mental forberedelse 2 M sek. Klik på knap K 0.3 sek.

Listenavigation på mobile enheder16 GOMS fortsat  Muligheder:  Stigningstal 0.3 sek. virker realistisk  Testet systempotentiale: 0.2 sek.  Udbredt i HCI forskning  Problematikker med GOMS:  Kun et kvalificeret bud  Kan være meget kompliceret at beregne  Hornof: Forskellige simultane søgestrategier  Derfor:  Vurderet det for usikkert at benytte.

Listenavigation på mobile enheder17 Trendline alle LPSP

Listenavigation på mobile enheder18 Trendline sidste 3 LPSP

Listenavigation på mobile enheder19 Lineær udvikling tilfældigt? Nielsen, E.L. 1991, fandt også en lineær udvikling i empiriske tests Hornof m.fl. 1997, Byrne m.fl. 1999, benytter observationerne til beregningsmodeller Gælder sandsynligvis også for PDA.

Listenavigation på mobile enheder20 Selektion vs. korrektion SelektionKorrektion Datamængde 20% - 20% (3 – 8) 20% - 20% (4 – 10) 60% - 60% (3,4,5 – 8,9,10) FormGennemsnitstider Korrigerede gennemsnitstider Top – bund forskel 0,01 % (3 – 8) 2,74 % ( 4 – 10) 15,17 % Resultat 0 – løsning Bund

Listenavigation på mobile enheder21 Dilemma  2 løsningsmodeller – 2 resultater  Vi valgte Selektion af sammenlignelige data  Principiel beslutning om så vidt muligt at reducere usikkerheder  Usikkerhed omkring validiteten af korrektionsberegningen  Derfor konklusion -> 0 –løsning  Validitet?  Hvilken metode er mest valid?  Hvis vi havde valgt Korrektion, ville resultatet have været et andet  Konklusion -> bund

Listenavigation på mobile enheder22 Listeplaceringsproblematikken  Må erkende at det har været en fordel at listeplaceringen ikke var tilfældig.  I så fald en ukontrollerbar usikkerhed.  Været en klar fordel, hvis listeplaceringerne for top / bund havde været mere sammenlignelige.

Listenavigation på mobile enheder23 Performance  Hvordan kan Microsoft arbejde videre med projektet?  Flere muligheder  Brugsoplevelse, performance

Listenavigation på mobile enheder24 Testen  16 ud af 45 har tidligere benyttet en PDA  Stor spredning i testtiderne  Ingen forskel mellem top/bund  Topgruppen – tendens > bunden er hurtigst 15,17 % - 1,7 sek. 15,17 % - 1,7 sek.

Listenavigation på mobile enheder25 Usability komponenter og læringseffekt  Jordans usability komponentsmodel  Forudsigelighed – (guessability) - demospørgsmål  Erfaringer  Domæne kendskab  Kulturel baggrund  Tilegnelighed – (learnability)  Ekspertbrugerniveau – (expirienced user performance)  System potentiale – (system potential)  Genbrugsbelastning – (re-usability)

Listenavigation på mobile enheder26 Usability komponenter og læringseffekt UA -komponenter og læringskurven Erfaring med produktet Effektivitet Genbrugs-belastning 1. suc ces Forudsigeligheds -kløft Tilegneligheds-kløft Ekspert- brugerniveau Systempotentialet Modificeret efter (Jordan 1998, s 16) læringskurven

Listenavigation på mobile enheder27 Fremtidige tests  Hvem skal der testes på?

Listenavigation på mobile enheder28 Brugsoplevelse

Listenavigation på mobile enheder29 Brugsoplevelse Performance (Tidseffekt, fejlrater og ask again) ContraPreferencer (Følelsesmæssige værdier som tillægges detaljevisningens placerings)

Listenavigation på mobile enheder30 Spørgsmål A Har du benyttet en pda før? A1: Ja A2: Nej A1A2B1B2B3B4 Pref. B Pref. T C1C2C3C4C5 Pref. B Pref. T Spørgsmål C Hvorfor foretrækker du denne placering (vælg gerne flere svar)? C1: Den gjorder det mest overskueligt C2: Der plejer den at være C3: Det var her det gik hurtigst C4: Det var den position jeg først benyttede C5: Tilfældighed / Ved ikke Spørgsmål B Den placeringdu har valgt, hvor stor en betydning har den for dig? B1: Meget betydning B2: Mindre betydning B3: Ingen betydning B4: Ved ikke

Listenavigation på mobile enheder31 Fokusgruppe interview  Fokusgrupper bruges ofte tidligt i et forløb.  Kan afspejle holdninger omkring et interface.  Kan ikke påvise en påstand.  Kan give en fornemmelse af brugernes følelser, opfattelser og prioteringer.

Listenavigation på mobile enheder32 Fire typer fokusgrupper 1.Undersøgenede (Exploratory) 2.Egenskab prioteringer (Feature prioritization) 3.Konkurrerende analyse (Competitive analysis) 4.Holdningsforklarende (Trend explanation)

Listenavigation på mobile enheder33 Fornøjelser  Brugeren er vandt til at vurdere om en artefact tilfredsstiller deres brugsglæde eller ej.  Fornøjelser er forbundet med glæde, fryd, tilfredsstillelse og attraktivitet.  I et produktsammenhæng er det den følelsesmæssige nydelse, der er ved at bruge produktet og de praktiske fordele produktet skaber.

Listenavigation på mobile enheder34 Patrick W. Jordan  Fysiske fornøjelser  Sociale fornøjelser  Psykiske fornøjelser  Ideologiske fornøjelser

Listenavigation på mobile enheder35 Psykiske fornøjelser  18 testpersoner vuderer at bundplaceringen er den mest overskuelige.  Test personerne tillægger deres beslutning psykiske faktorer.  Hvilken placering skaber mest kontrol hos testpersonerne.  Hvilken farve har detaljevisningen.  Psykiske kognitive fordele.

Listenavigation på mobile enheder36 Videre behandling  Tænke-højt-test Hypoteser opstået ved fokusgruppe interview undersøges.  Eyetracking Vores antagelse om et hot-spot i bunden kunne blive afklaret.  Endelig konklusion på problemformuleringen

Listenavigation på mobile enheder37

Listenavigation på mobile enheder38