Konsekvenser af forskellige skalatyper Svarskalaer, Skalalængde og Skalamærker Jacob Bjældager og Nis Vilhelm Benn

Baggrund Websurvey-eksperiment – vi har blandt andet undersøgt konsekvenserne af alternative skalatyper Metodeudviklingsprojekt i samarbejde mellem analyseinstituttet Userneeds og konsulentvirksomheden Strategos Data indsamlet blandt 1.043 respondenter i Userneeds’ Danmarkspanel i november 2008 Analyser gennemført af Strategos

Eksperimentets formål Metodeudvikling generelt i forhold til Userneeds’ dataindsamling Metodeudvikling specifikt i forhold til Userneeds’ Danmarkspanel Metodeudvikling specifikt i forhold til Strategos’ undersøgelser af strategi-implementering, trivsel og sygefravær

Databeskrivelse 1.043 voksne lønmodtagere på alle niveauer fra Userneeds ”Danmarkspanel” Websurvey – cirka 50 spørgsmål Dataindsamling: 7.-12. november 2008 Svarandel: 65 % Demografisk vægtet ift. arbejdsstyrken (med faktor 0,12 – 6,89) Datakvalitet:71 personer fjernet – halvdelen pga. kort svartid og halvdelen pga. datakvalitet (ringe variation indenfor skærmbilleder og utroværdige svar)

Resultaterne af 3 eksperimenter Konsekvenserne af alternative svarskalaer Meget uenig - Meget enig / Grad af enighed Konsekvenserne af alternative skalalængder 7 / 5 svarmuligheder Lige / ulige antal svarmuligheder Konsekvenserne skalamærker på to fempunkts-skalaer Slet ikke - I meget høj grad Meget utilfreds - Meget tilfreds

Grads-skala eller enighedsskala? Det er meget almindeligt at benytte skalaerne: Slet ikke – I meget høj grad (gradskala) Meget uenig – Meget enig (enighedsskala) Vi vil gerne vide, hvilke konsekvenser det har for svarfordelinger at bytte dem ud med hinanden.

Grads-skala eller enighedsskala? Består af 9 deleksperimenter Spørgsmål # Virksomheden/organisationen lykkes generelt med at føre strategien ud i livet 1 Jeg synes, strategien passer til den situation, som virksomheden/organisationen befinder sig i 2 Strategien bidrager til, at mit arbejde giver mere mening for mig 3 Jeg synes IKKE, strategien løser de udfordringer, som virksomheden/organisationen står overfor 4 Strategien bygger videre på de ting, som virksomheden/organisationen tidligere har haft succes med 5 Jeg har en klar opfattelse af, hvad jeg skal gøre for at bidrage til at føre strategien ud i livet 6 Strategien giver mig mulighed for at arbejde med opgaver, som jeg er glad for 7 Min nærmeste leder gør en aktiv indsats for at føre strategien ud i livet 8 Jeg synes, virksomheden /organisationen besidder de nødvendige ressourcer og kompetencer til at føre strategien ud i livet 9

Grads-skala eller enighedsskala? Alle 9 spørgsmål er stillet med 7 svarkategorier, men på to forskellige skalaer Slet ikke – I meget høj grad Meget uenig – Meget enig Spørgsmålene er stillet i to blokke med tilfældig trækning til, om man fik den ene eller anden skala i hver blok. Laveste N = 374.

Grads-skala eller enighedsskala? Der er meget variation i spørgsmålene Spørgmsål # Forskel gns. Blok Virksomheden/organisationen lykkes generelt med at føre strategien ud i livet 1 -0,3 Jeg synes, strategien passer til den situation, som virksomheden/organisationen befinder sig i 2 8,2 *** Strategien bidrager til, at mit arbejde giver mere mening for mig 3 15,9 *** Jeg synes IKKE, strategien løser de udfordringer, som virksomheden/organisationen står overfor 4 19,1 *** Forbehold her: vi finder i et af vores andre eksperimenter, at spørgsmål stillet i blokke længere end 4 formentlig opfører sig ret underligt.

Grads-skala eller enighedsskala? Og her knap så meget Spørgsmål # Forskel gns. Blok Strategien bygger videre på de ting, som virksomheden/organisationen tidligere har haft succes med 5 0,8 * 2 Jeg har en klar opfattelse af, hvad jeg skal gøre for at bidrage til at føre strategien ud i livet 6 1,4 ** Strategien giver mig mulighed for at arbejde med opgaver, som jeg er glad for 7 -0,1 Min nærmeste leder gør en aktiv indsats for at føre strategien ud i livet 8 -1,8 ** Jeg synes, virksomheden /organisationen besidder de nødvendige ressourcer og kompetencer til at føre strategien ud i livet 9 -0,5 Forbehold her: vi finder i et af vores andre eksperimenter, at spørgsmål stillet i blokke længere end 4 formentlig opfører sig ret underligt.

Grads-skala eller enighedsskala? For 6 af de 9 eksperimenter – det første og de fem sidste – har en gennemsnitlig forskel på gennemsnittet i eksperimenterne på 0. For de øvrige 3 – nummer 2-4 – er forskellene i gennemsnit meget store. Enighedsskalaen giver gennemsnitligt 14 point mere i gennemsnit. De tre spørgsmål er muligvis sværere at svare på. Et er omvendt, et andet svært at forstå og et tredje kræver decideret kendskab til strategien. En mulig konklusion: Hvis folk har svært ved at svare – er det sværere at erklære sig uenig. Forbehold her: vi finder i et af vores andre eksperimenter, at spørgsmål stillet i blokke længere end 4 formentlig opfører sig ret underligt.

Alternative skalalængder Her udfører vi to overordnede eksperimenter Forskellen på 7 og 5 svarkategorier Forskellen hvad der sker, hvis man går fra 7 til 6 eller 8 svarkategorier (eller fra et ulige til et lige antal)

Alternative skalalængder – 7 eller 5? Består af 6 deleksperimenter 3 med skalaen Meget utilfreds – Meget tilfreds Spørgsmål Org./Exp. Antal svarkat. Resp. Forskel gns. Hvor tilfreds er du alt i alt som medarbejder i den virksomhed/organisation, hvor du arbejder? Org. 7 303 2,9 *** Exp. 5 331 Hvor tilfreds er du alt i alt med dit job? 2,4 *** Hvor tilfreds er du alt i alt med din tilværelse UDOVER dit job? (Familie, venner, fritidsinteresser mv.) 2,8 ***

Alternative skalalængder – 7 eller 5? Består af 6 deleksperimenter De 3 øvrige med skalaen Slet ikke – I meget høj grad Spørgsmål Org./Exp. Antal svarkat. Resp. Forskel gns. Det er vigtig for mig at bidrage til, at verden bliver et bedre sted at leve Org. 7 335 - 0,9 * Exp. 5 295 Det er vigtig for mig at leve i nu’et 403 2,1 *** 299 Jeg tager ofte kontakt til min bankrådgiver med spørgsmål og ønske om vejledning 346 4,4 *** 300

Alternative skalalængder – 7 eller 5? Generelt højere gennemsnit på 5-skala end på 7-skala (omregnet til 0-100 skala). 7% færre i laveste ’halvdel’ af skalaen og 7% flere i midterste kategori på 5-skala end på 7-skala – i gennemsnit Andelen i øverste ’halvdel’ af skalaen er uændret – i gennemsnit

Alternative skalalængder – Midterkategori? Består af 2 x 2 deleksperimenter Alle 4 med skalaen Helt uenig – Helt enig Spørgsmål Org./Exp. Antal svarkat. Resp. Forskel gns. Jeg føler mig motiveret i mit arbejde Org. 7 244 - 1,7 *** Exp. 8 213 0,1 6 273 Jeg ser altid frem til at gå på arbejde - 2,0 *** 211 - 1,4 ***

Alternative skalalængder – Midterkategori? I 3 af 4 tilfælde lavere gennemsnit på skala uden midterkategori end på skala med midterkategori På spørgsmålet ”Jeg føler mig motiveret i mit arbejde” er stigningen lige stor på i nederste og øverste ’halvdel’ af skalaen, når neutralt svar umuliggøres På spørgsmålet ”Jeg ser altid frem til at gå på arbejde” er stigningen meget større i den laveste end i den højeste ’halvdel’ af skalaen, når neutralt svar umuliggøres

Alternative skalamærkninger Betydende… At vi ser på forskellen på at have skalamærker kun i de yderste kategorier og på alle kategorier på 5-punktsskalaer. Interessant fordi… ’Likert’-inspirerede spørgsmål har benævnelse på alle kategorier Og det burde være overflødigt, hvis folks diskrete svar på 5-punktsskalaen afspejler en ’rigtig’ underliggende fordeling. Denne type spørgsmål er meget hyppigt anvendt i forskning såvel som af analyseinstitutter Forbehold her: vi finder i et af vores andre eksperimenter, at spørgsmål stillet i blokke længere end 4 formentlig opfører sig ret underligt.

Alternative skalamærkninger Består af 6 deleksperimenter De 3 her med skalaen slet ikke – i meget høj grad Spørgsmål Org./Exp. Mærker Resp. Det er vigtig for mig at bidrage til, at verden bliver et bedre sted at leve Org. Ender 335 Exp. Alle 295 Det er vigtig for mig at leve i nu’et 403 299 Jeg tager ofte kontakt til min bankrådgiver med spørgsmål og ønske om vejledning 346 300

Alternative skalamærkninger Skalaen for de tre deleksperimenter er Slet ikke / I ringe grad / I nogen grad / I høj grad / I meget høj grad  Spørgsmål Forskel gns. Forskel på std. afv. Bidrage til verden -2,1 -5,5 Leve i nuet 2,1 -3,2 Kontakt til bank -0,1 -2,7 Forbehold her: vi finder i et af vores andre eksperimenter, at spørgsmål stillet i blokke længere end 4 formentlig opfører sig ret underligt.

Alternative skalamærkninger Gennemsnitligt resultat af de tre deleksperimenter Det har ingen indflydelse på gennemsnittet Men skalaen bliver komprimeret, når der er forklaringer på alle kategorier Og – hvor skalaen komprimeres mest – er der 17%-point flere af respondenterne i midterkategorien, når der er ord på alle svarkategorier. I et af de andre eksperimenter dette tal kun 2% - og komprimeringen kommer af, at folk er rykket lidt væk fra enderne. Forbehold her: vi finder i et af vores andre eksperimenter, at spørgsmål stillet i blokke længere end 4 formentlig opfører sig ret underligt.

Alternative skalamærkninger Består af 6 deleksperimenter De 3 her med en tilfredshedsskala Spørgsmål Org./Exp. Mærker Resp. Hvor tilfreds er du alt i alt som medarbejder i den virksomhed/organisation, hvor du arbejder? Org. Ender 335 Exp. Alle 295 Hvor tilfreds er du alt i alt med dit job? 403 299 Hvor tilfreds er du alt i alt med din tilværelse UDOVER dit job? (Familie, venner, fritidsinteresser mv.) 346 300

Alternative skalamærkninger Skalaen for de tre deleksperimenter er Meget utilfreds / Utilfreds / Hverken tilfreds eller utilfreds / Tilfreds / Meget utilfreds Det er en stigning i gennemsnit på mellem 10 og 15%.  Spørgsmål Forskel gns. Forskel på std. afv. Tilfreds som medarbejder 9,4 *** -4,7 Tilfreds med job 9,3 *** Tilfreds med livet 7,2 *** -7,3 Forbehold her: vi finder i et af vores andre eksperimenter, at spørgsmål stillet i blokke længere end 4 formentlig opfører sig ret underligt.

Alternative skalamærkninger Forbehold her: vi finder i et af vores andre eksperimenter, at spørgsmål stillet i blokke længere end 4 formentlig opfører sig ret underligt.

Alternative skalamærkninger Det er nærliggende at tænke… At Likert-lignende tilfredshedsskalaer slet ikke fungerer efter hensigten eller / og At tilfredshedsskalaer er binære, hvis man eksplicit gør folk opmærksomme på, om at det rent faktisk er en tilfredshedsskala eller / og At Likert-lignende tilfredshedsskalaer ikke egner sig til regression fordi man dropper en del variation og kompromitterer normalfordelingsantagelsen Forbehold her: vi finder i et af vores andre eksperimenter, at spørgsmål stillet i blokke længere end 4 formentlig opfører sig ret underligt.

3 takeaways Fokusér ikke bare på spørgsmålsformuleringer – skalavalg har også betydning Sammenligning/benchmarking på tværs af surveys er risikabelt, fordi surveys er et følsomt måleinstrument Undlad at bruge ikke-validerede Likert-lignende skalaer til forskningsformål