Hanne-Pernille Stax, ph.d HPS@DST.DK Tema 2: Nye datamuligheder Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest Hanne-Pernille Stax, ph.d HPS@DST.DK

Plan Nye datamuligheder Digitale skemaer og standardiseret interaktion Kvalitetsudvikling af digital dataindsamling på Danmarks statistik Nye datamuligheder Digitale skemaer og standardiseret interaktion Metoder i brugertest af digitale skemaer Fund fra brugertest af digitale skemaer Kvalitetsudvikling af digitale skemaer

1. Nye datamuligheder Digital dataindsamling Digitale skemaer, der udfyldes online. Fordele for NSI: Data kan valideres ved udfyldelse – respondenten stoppes hvis der er fejl. Data kan anvendes direkte i systemer til statistikproduktion. NSI sparer tid til tastning / scanning. NSI undgår fejl ved tastning/ scanning.

1. Nye datamuligheder Digital dataindsamling Digitale skemaer, der udfyldes online. Fordele for respondenten: Data kan valideres ved udfyldelse – respondenten stoppes hvis der er fejl. Kun relevante spørgsmål vises. Dynamisk vejledning – kun hjælp når der er behov. Dynamiske beregninger mv. som støtte.

2. Det digitale skema som tekst - eller interaktionelt medie? Kvalitet – Hvad skal vi teste? Tekst-forståelse: Respondenten skal selv læse, forstå og handle på præ-formuleret tekst. Test: Kvalitet/forståelighed af sprogligt/visuelt input til respondenten. Interaktion: Ikke alt er vist fra start. Skema-elementer vises som respons på respondentens handlen. Test: Respondentens interaktion med skemaets elementer.

3. Metoder i brugertest: Issues Dataindsamling til business-statistik Interne testere Bemærker respondenten x? Forstår respondenten x? Anvender respondenten x som intenderet? Mangler respondenten noget? X = element, ord, vejledning, dynamisk funktion, etc…

3. Metoder i brugertest: Issues Dataindsamling til business-statistik Eksterne brugere Matcher begreber / koncepter respondentens sprogbrug / records? Matcher opgørelsesmåder / kategorier respondentens records? Fungerer skema-elementer så de letter respondentens byrde / task? så de sikre høj data-kvalitet?

3. Testforløb Teknisk test Brugertest Fungerer x som specificeret Etnografisk præ-interview Observation af udfyldelse – uden hjælp Think-aloud protocol Probing – kognitiv interviewing Debriefing interview

3. Metoder: Etnografisk interview Indledende interview om… Forventninger Kompetencer Hvordan R plejer at udfylde skemaer. Giver info. om ”normal” brug Fastholder R i ”egen” rolle

3. Metoder: Observation af besvarelse R udfylder som normalt Tester hjælper/forklarer IKKE undervejs Optag eller notér.

3. Metoder: Think-aloud Alle tanker & idéer er væsentlige Spørg hvad R tænker – hvis der er pauser 2 personer kan samarbejde og diskutere Optag eller notér. Fordele: Respondenten vælger fokus Mulighed for fokus på ukendte problemer. Ulemper: Forstyrrer svarproces at skulle tale undervejs Kan motivere til ”unormalt” høj tankeaktivitet  Ikke systematisk belysning af issues.

3. Metoder: Probing / kognitivt interview Løbende - Spørg mens der svares + Nemt at huske - Forstyrrer svarproces Retrospektive - Spørg bagefter + Autentisk svarproces - Svært at huske + effekt af senere tasks Lokalt motiverede - Spørg til Rs handlen + Respondentens perspektiv - Ikke systematisk belysning af kendte issues Forberedte - Spørg til kendte issues + Systematisk fokus på kendte issues - Ukendte issues kan overses

3. Metoder: De-briefing Opfølgende interview om… Oplevelse Vurdering / evaluering Input & idéer til forbedring

4. Fund: Vejledninger Struktur – Før: Vejledning før opgave / task Kronologisk – nummererede punkter Som en opskrift: Vælg først x Angiv så y Ret evt. z …

4. Fund: Vejledning Struktur - Efter Nummereret liste fungerer fint - før task. Men – respondenter går direkte til task og læser så vejledning ”bagfra”... Re-designes m. markerede keywords: Regnskabsår: Gør x og y Lønudgifter: Udfyld z og p Udgået: Marker f og q …

4. Knap – Før: ”?” ud for hver type

4. Knap – Efter: ”Eksempler” på flere typer

4. Skema-elementer udenfor skærm - Før Vises Vises Vises

4. Skema-elementer udenfor skærm - Efter

4. Overført info. - Før

4. Overført info. - Efter: Kant + beregning

5. Kvalitetsudvikling – Survey

5. Kvalitetsudvikling – På tværs af surveys

5. Kvalitetsudvikling – På tværs af NSIs

Tak for opmærksomheden Spørgsmål og kommentarer er velkomne HPS@DST.DK