Hanne-Pernille Stax, ph.d

Præsentationer af emnet: "Hanne-Pernille Stax, ph.d"— Præsentationens transcript:

1 Hanne-Pernille Stax, ph.d HPS@DST.DK
Tema 2: Nye datamuligheder Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest Hanne-Pernille Stax, ph.d

2 Plan Nye datamuligheder Digitale skemaer og standardiseret interaktion
Kvalitetsudvikling af digital dataindsamling på Danmarks statistik Nye datamuligheder Digitale skemaer og standardiseret interaktion Metoder i brugertest af digitale skemaer Fund fra brugertest af digitale skemaer Kvalitetsudvikling af digitale skemaer

3 1. Nye datamuligheder Digital dataindsamling
Digitale skemaer, der udfyldes online. Fordele for NSI: Data kan valideres ved udfyldelse – respondenten stoppes hvis der er fejl. Data kan anvendes direkte i systemer til statistikproduktion. NSI sparer tid til tastning / scanning. NSI undgår fejl ved tastning/ scanning.

4 1. Nye datamuligheder Digital dataindsamling
Digitale skemaer, der udfyldes online. Fordele for respondenten: Data kan valideres ved udfyldelse – respondenten stoppes hvis der er fejl. Kun relevante spørgsmål vises. Dynamisk vejledning – kun hjælp når der er behov. Dynamiske beregninger mv. som støtte.

5 2. Det digitale skema som tekst - eller interaktionelt medie?
Kvalitet – Hvad skal vi teste? Tekst-forståelse: Respondenten skal selv læse, forstå og handle på præ-formuleret tekst. Test: Kvalitet/forståelighed af sprogligt/visuelt input til respondenten. Interaktion: Ikke alt er vist fra start. Skema-elementer vises som respons på respondentens handlen. Test: Respondentens interaktion med skemaets elementer.

6 3. Metoder i brugertest: Issues
Dataindsamling til business-statistik Interne testere Bemærker respondenten x? Forstår respondenten x? Anvender respondenten x som intenderet? Mangler respondenten noget? X = element, ord, vejledning, dynamisk funktion, etc…

7 3. Metoder i brugertest: Issues
Dataindsamling til business-statistik Eksterne brugere Matcher begreber / koncepter respondentens sprogbrug / records? Matcher opgørelsesmåder / kategorier respondentens records? Fungerer skema-elementer så de letter respondentens byrde / task? så de sikre høj data-kvalitet?

8 3. Testforløb Teknisk test Brugertest Fungerer x som specificeret
Etnografisk præ-interview Observation af udfyldelse – uden hjælp Think-aloud protocol Probing – kognitiv interviewing Debriefing interview

9 3. Metoder: Etnografisk interview
Indledende interview om… Forventninger Kompetencer Hvordan R plejer at udfylde skemaer. Giver info. om ”normal” brug Fastholder R i ”egen” rolle

10 3. Metoder: Observation af besvarelse
R udfylder som normalt Tester hjælper/forklarer IKKE undervejs Optag eller notér.

11 3. Metoder: Think-aloud Alle tanker & idéer er væsentlige
Spørg hvad R tænker – hvis der er pauser 2 personer kan samarbejde og diskutere Optag eller notér. Fordele: Respondenten vælger fokus Mulighed for fokus på ukendte problemer. Ulemper: Forstyrrer svarproces at skulle tale undervejs Kan motivere til ”unormalt” høj tankeaktivitet  Ikke systematisk belysning af issues.

12 3. Metoder: Probing / kognitivt interview
Løbende - Spørg mens der svares + Nemt at huske - Forstyrrer svarproces Retrospektive - Spørg bagefter + Autentisk svarproces - Svært at huske + effekt af senere tasks Lokalt motiverede - Spørg til Rs handlen + Respondentens perspektiv - Ikke systematisk belysning af kendte issues Forberedte - Spørg til kendte issues + Systematisk fokus på kendte issues - Ukendte issues kan overses

13 3. Metoder: De-briefing Opfølgende interview om… Oplevelse
Vurdering / evaluering Input & idéer til forbedring

14 4. Fund: Vejledninger Struktur – Før: Vejledning før opgave / task
Kronologisk – nummererede punkter Som en opskrift: Vælg først x Angiv så y Ret evt. z …

15 4. Fund: Vejledning Struktur - Efter
Nummereret liste fungerer fint - før task. Men – respondenter går direkte til task og læser så vejledning ”bagfra”... Re-designes m. markerede keywords: Regnskabsår: Gør x og y Lønudgifter: Udfyld z og p Udgået: Marker f og q …

16 4. Knap – Før: ”?” ud for hver type

17 4. Knap – Efter: ”Eksempler” på flere typer

18 4. Skema-elementer udenfor skærm - Før
Vises Vises Vises

19 4. Skema-elementer udenfor skærm - Efter

20 4. Overført info. - Før

21 4. Overført info. - Efter: Kant + beregning

22 5. Kvalitetsudvikling – Survey

23 5. Kvalitetsudvikling – På tværs af surveys

24 5. Kvalitetsudvikling – På tværs af NSIs

25 Tak for opmærksomheden Spørgsmål og kommentarer er velkomne HPS@DST.DK