En forkert måde at konstruere psykologiske tests Oplæg i Psykologisk Selskab for Forskningsmetodologi 28. januar Cand. Psych., ph.d. Jan Ivanouw Københavns.

Præsentationer af emnet: "En forkert måde at konstruere psykologiske tests Oplæg i Psykologisk Selskab for Forskningsmetodologi 28. januar Cand. Psych., ph.d. Jan Ivanouw Københavns."— Præsentationens transcript:

1 En forkert måde at konstruere psykologiske tests Oplæg i Psykologisk Selskab for Forskningsmetodologi 28. januar Cand. Psych., ph.d. Jan Ivanouw Københavns Universitet

2 Personlighedstesten DAPP (Dimensional Assessment of Personality Pathology)

3 Forskningsprojekt Projekt: Stig Poulsen, Louise Balslev Garnæs, Jan Ivanouw: Findes der hos bulimikere forskellige personlighedstyper? Dataindsamling fra 110 bulimikere med testen DAPP (indeholdende 18 subskalaer) Indledende check af skalaerne i DAPP med CFA viser at de ikke er endimensionale (=dårlige)

4 DAPP overordnede skalaer
Emotionel dysregulering Dissocial behaviour Inhibition Compulsiveness

5 DAPP: Emotionel dysregulering
Affective instability Anxiety Cognitive distortion Identity problems Insecure attachment Oppositionality Self-harm Social avoidance Submissiveness Suspiciousness Narcissism

6 DAPP: Dissocial behavior
Collousness Stimulus seeking Rejection Conduct problems * * Gennemgås nærmere nedenfor

7 DAPP: Inhibition Intimacy problems * Restricted expression
* Gennemgås nærmere nedenfor

8 DAPP: Compulsivity Compulsivity

9 Gennemgang af DAPP-skalaer
For at forstå negative resultater, gennemses spørgsmålene i DAPP Eksempler på skalaer der gennemgås: Intimacy problems Conduct problems

10 Undersøgelse af skalaer: Konfirmatorisk faktoranalyse CFA

11 Eksplorerende faktoranalyse EFA

12 CFA med 3 latente variable

13 Vurdering af målingsmodel
Klassisk psykometri: - Cronbach’s alfa Ny psykometri: - Globale fitindekser - Itemparametre

14 Globale fitindekser Hvor godt passer målingsmodellen (skalaerne) som helhed til de observerede data? Chi-square (ki-i-anden) skal ikke vise signifikant forskel mellem model og data Andre fitindekser

15 Itemparametre 1) Intercept, threshold, sværhedsgrad
2) Loading, slope, diskriminationsgrad * Ad 2) Loading Viser hvor godt et item passer til skalaen (= samlingen af de andre items) Skal være rimeligt høj (gerne > 0.40)

16 Vurdering af DAPP-skalaer

17 DAPP: Intimacy problems
54r Jeg nyder at blive seksuelt stimuleret 60r Nære relationer er meget vigtige i mit liv 66r Jeg nyder nære relationer 89r Jeg har stor nydelse ved elskov 93 Jeg bliver sjældent, om nogen sinde, seksuelt ophidset 96r Jeg har brug for nære forhold 134r Jeg vil gerne dele mit liv med nogen 135 Jeg følger mig utilpas i nære forhold

18 Intimacy problems 1 - globale fitindekser
Chi-Square Test of Model Fit Value Degrees of Freedom P-Value [ikke signifikant]* CFI/TLI CFI [> 0.95] TLI [> 0.95] RMSEA (Root Mean Square Error Of Approximation) Estimate [< 0.05] 90 Percent C.I Probability RMSEA <= [< 0.05] WRMR (WEIGHTED Root Mean Square Residual) Value [< 1.00] * betingelserne i [] angiver den gode model

19 Intimacy problems 2 - itemparametre: loadings
Estimate S.E. Est./S.E. P-Value Intimacy problems BY 054r 060r 066r 089r 096r 134r

20 Intimacy problems For at forklare de dårlige fitindekser gennemgås de indgående items Det viser sig at de falder i to grupper: Relation Sex

21 Intimacy problems: Relation
60r Nære relationer er meget vigtige i mit liv 66r Jeg nyder nære relationer 96r Jeg har brug for nære forhold 134r Jeg vil gerne dele mit liv med nogen 135 Jeg følger mig utilpas i nære forhold

22 Intimacy problems: Sex
54r Jeg nyder at blive seksuelt stimuleret 89r Jeg har stor nydelse ved elskov 93 Jeg bliver sjældent, om nogen sinde, seksuelt ophidset

23 Intimacy problems: Relation 1 - globale fitindekser
Chi-Square Test of Model Fit Value Degrees of Freedom P-Value [ikke signifikant]* CFI/TLI CFI [> 0.95] TLI [> 0.95] RMSEA (Root Mean Square Error Of Approximation) Estimate [< 0.05] 90 Percent C.I Probability RMSEA <= [< 0.05] WRMR (WEIGHTED Root Mean Square Residual) Value [< 1.00] * betingelserne i [] angiver den gode model

24 Intimacy problems: Relation 2 - itemparametre: loadings
Estimate S.E. Est./S.E. P-Value Intimacy problems BY 060r 066r 096r 134r

25 Intimacy problems: Sex 1 - globale fitindekser: giver ikke mening med kun 3 items
Chi-Square Test of Model Fit Value Degrees of Freedom P-Value [ikke signifikant]* CFI/TLI CFI [> 0.95] TLI [> 0.95] RMSEA (Root Mean Square Error Of Approximation) Estimate [< 0.05] 90 Percent C.I Probability RMSEA <= [< 0.05] WRMR (WEIGHTED Root Mean Square Residual) Value [< 1.00] * betingelserne i [] angiver den gode model

26 Intimacy problems: Sex 2 - itemparametre: loadings
Estimate S.E. Est./S.E. P-Value Intimacy problems BY 0540r 089r

27 Intimacy problems Der fås bedre fitindekser og acceptable loadings når skalaen opdeles i to: relationer og sex

28 DAPP: Conduct problems
48 Til tider har jeg drukket så meget alkohol, at jeg bagefter ikke kunne huske, hvad der skete 61 Alkohol har givet mig problemer ved talrige lejligheder 68 Når jeg er uenig med nogen, truer jeg dem somme tider med vold 73 Jeg ville gøre noget ulovligt, hvis jeg vidste, at jeg ikke ville blive pågrebet 78 Der har været tidspunkter i mit liv, hvor jeg gentagne gange har drukket alkohol til overmål 92 Som barn påsatte jeg ildebrande, der skadede ejendom 108 Jeg har taget ting, der ikke var mine 124 Da jeg var ung, ødelagde jeg bevidst ting, der ikke tilhørte mig

29 Conduct problems 1 - globale fitindekser
Chi-Square Test of Model Fit Value Degrees of Freedom P-Value [ikke signifikant]* CFI/TLI CFI [> 0.95] TLI [> 0.95] RMSEA (Root Mean Square Error Of Approximation) Estimate [< 0.05] 90 Percent C.I Probability RMSEA <= SRMR (Standardized Root Mean Square Residual) Value [< 1.00] * betingelserne i [] angiver den gode model

30 Conduct problems 2 - itemparametre: loadings
Estimate S.E. Est./S.E. P-Value Intimacy problems BY

31 Conduct problems For at forklare de dårlige fitindekser gennemgås de indgående items Det viser sig at de falder i to grupper: Alkoholmisbrug Antisocial adfærd

32 Conduct problems: Alkohol
48 Til tider har jeg drukket så meget alkohol, at jeg bagefter ikke kunne huske, hvad der skete 61 Alkohol har givet mig problemer ved talrige lejligheder 78 Der har været tidspunkter i mit liv, hvor jeg gentagne gange har drukket alkohol til overmål

33 Conduct problems: Antisocial
68 Når jeg er uenig med nogen, truer jeg dem somme tider med vold 73 Jeg ville gøre noget ulovligt, hvis jeg vidste, at jeg ikke ville blive pågrebet 92 Som barn påsatte jeg ildebrande, der skadede ejendom 108 Jeg har taget ting, der ikke var mine 124 Da jeg var ung, ødelagde jeg bevidst ting, der ikke tilhørte mig

34 Conduct problems: Alkohol 1 - globale fitindekser: giver ikke mening med kun 3 items
Chi-Square Test of Model Fit Value Degrees of Freedom P-Value [ikke signifikant]* CFI/TLI CFI [> 0.95] TLI [> 0.95] RMSEA (Root Mean Square Error Of Approximation) Estimate [< 0.05] 90 Percent C.I Probability RMSEA <= [< 0.05] WRMR (WEIGHTED Root Mean Square Residual) Value [< 1.00] * betingelserne i [] angiver den gode model

35 Conduct problems: Alkohol 2 - itemparametre: loadings
Estimate S.E. Est./S.E. P-Value Intimacy problems BY

36 Conduct problems: Antisocial 1 - globale fitindekser
Chi-Square Test of Model Fit Value Degrees of Freedom P-Value [ikke signifikant]* CFI/TLI CFI [> 0.95] TLI [> 0.95] RMSEA (Root Mean Square Error Of Approximation) Estimate [< 0.05] 90 Percent C.I Probability RMSEA <= SRMR (Standardized Root Mean Square Residual) Value [< 1.00] * betingelserne i [] angiver den gode model

37 Conduct problems: Antisocial 2 - itemparametre: loadings
Estimate S.E. Est./S.E. P-Value Intimacy problems BY

38 Conduct problems Der fås bedre fitindekser og loadings når skalaen opdeles i to: alkoholmisbrug og antisocial adfærd

39 Konklusion om skalaerne i DAPP
Der indgår i mange af skalaerne items som handler om forskellige begreber og som ikke korrelerer med hinanden Dette kan opdages gennem CFA-analyser Skalaerne kan forbedres ved ændret selektion af items til skalaerne

40 Hvorfor problematiske skalaer? Se på konstruktionsprocessen

41 Udviklingen af DAPP 1 Ambition hos Livesley at supplere diagnoserne for personlighedsforstyrrelser, som er opdelte kategorier, med dimensioner til måling af egenskaber hos personer med personlighedsforstyrrelser Livesley, J. W. et al. (1991). Dimensions of personality pathology. Canadian Journal of Psychiatry, 36,

42 Udviklingen af DAPP 2 Indsamling af formuleringer til items fra professionelle i psykiatrien Analyse med Principal Componentanalyse (PCA) PCA også anvendt i senere undersøgelser, herunder i udvikling af en kortere version (DAPP-SF) i Holland og Danmark Problemet er PCA-metoden

43 Psykologisk måling

44 Psykologisk måling Psykologisk forskning involverer som regel måling af psykologiske egenskaber Psykologiske vurderinger af enkeltpersoner involverer som regel måling af psykologiske egenskaber En metode til måling af psykologiske egenskaber kaldes ofte en psykologisk test

45 Datareduktion, forudsigelse, måling
Som udgangspunkt for psykologisk måling har man ofte mange informationer: Testpersonens/fpps svar på spørgsmål Observationer af testperson/fpp Testpersonens/fpps registrerede reaktioner på standardiseret materiale Reduktion af mange informationer: Blot forudsigelse? Måling?

46 Forudsigelse Personundersøgelse: Forskning:
Forudsige enkeltpersonens mulige udvikling, handlinger i bestemte situationer og under bestemte forudsætninger Forskning: Forudsige et systems (f.eks. en populations) tilstand og udvikling under bestemte forudsætninger Forudsigelse kræver måling af de indgående prædiktorer

47 Måling En psykologisk egenskab eksisterer
I personundersøgelse er formålet at måle i hvor høj grad personen har forskellige egenskaber I forskning er formålet at måle en faktor for at forstå den i sammenhæng med andre faktorer

48 Forudsigelse og regressionsanalyse
Den typiske situation En række potentielle prædiktorer (målt med relevante metoder) En tilstand eller begivenhed der skal forudsiges Prædiktorerne skal ikke være korrelerede

49 Formative og refleksive modeller

50 MB Fig 6.1

51 Refleksiv målingsmodel
En latent faktor forårsager de enkelte indikatorer Personens kognitive evner er årsag til rigtige svar på kognitiv test Personens latente angst er årsag til personens svar på angsttest Eksempel fra fysikken: temperaturen er årsag til termometerets måling

52 Refleksiv målingsmodel og målefejl
Items påvirkes både af det der skal måles (den latente faktor) og andre forhold De andre forhold opfattes som støj/fejl og sorteres fra (kaldes unik eller fejl-varians) Dette vises i graferne som pile til items uden afsender Eksempel fra depressionstest: ’Sover du dårligt om natten’. Fejl kan stamme fra snorkende partner

53 Refleksiv målingsmodel og korrelation
Items der skal indgå i en måling, er som udgangspunkt korrelerede med hinanden Men korrelationen går via det der skal måles: Når de indgår i målingen, er items ikke mere korrelerede (=krav om lokal uafhængighed) I tilfælde hvor de alligevel er, skal der tages højde for det Positivt og negativt formulerede spørgsmål i en test har tendens til hver for sig at korrelere indbyrdes: Kan løses ved at indføre en metodefaktor

54 Formativ model De enkelte indikatorer sammenfattes som en latent faktor/komponent eller indeks Der er ikke tale om måling Der kan være tale om forudsigelse til bestemte formål i bestemte situationer Eksempel: BNP bruttonationalprodukt. Det diskuteres hvilke faktorer der skal med, eks. ressourcebelastning og klimaforhold Eksempel: Apgarscore for nyfødte

55 Formativ model og målefejl
Noget af informationen i de enkelte items er relevante for modellen, andre er ikke Der skelnes ikke i modellen mellem de forskellige typer af information. Alt inkluderes Dette vises i graferne som at der ikke findes pile til items uden afsender Eksempel fra Apgarscore ’blåfarvning´. Der kan være flere årsager, men det er uden betydning

56 Formativ model og korrelation
Items der skal indgå i en måling er som udgangspunkt ikke korrelerede med hinanden Når de indgår i samme indeks, opstår der imidlertid korrelation (der er ikke lokal uafhængighed) Eksempel: Der er ikke korrelation mellem musikalske færdigheder og at bo i optageområdet for musikgymnasiet Aurehøj. Optagelse sker ud fra indekset bopæl + musikalske færdigheder. En score på mindst 1 giver adgang til optagelse. For gruppen af elever optaget på Aurehøj er der nu (negativ) korrelation mellem bopælsområde og musikalske færdigheder.

57 Statistiske metoder Refleksiv målingsmodel: Formativ model:
EFA og CFA Formativ model: PCA og Partial Least Squares, PLS De formative metoder anvendes af mange som om de indebærer måling. Det gør de ikke

58 Eksplorerende faktoranalyse EFA

59 PCA

60 PCA Erfaring: Al information fordeles på faktorerne:
Da irrelevant information (varians) dermed ikke udskilles fra modellen, fås ofte Inhomogene skalaer For mange skalaer

61 Konklusion vedr. målemetoder
Personundersøgelser Find CFA-undersøgelser af de tests man vil bruge Check evt. hvordan testene er udviklet (undgå PCA) Forskning Check udviklingen af de tests man vil bruge Hvis PCA er det eneste grundlag, så undlad at bruge testen Find CFA-undersøgelser af testmetoderne Foretag CFA når man har egne data Revider evt tests ved at udelade dårlige items i egen undersøgelse (kan dog give for snæver definition af det målte begreb) Brug ikke PLS, men CFA

62 Litteratur Markus, K. A. og Borsboom, D. (2013) Frontiers of test validity theory. New York: Routledge.