Behandlingseffektundersøgelser præsentation ved generalforsamlingen i Psykologisk Selskab for Forskningsmetodologi 4. februar 2013 Cand. Psych., ph.d.

Præsentationer af emnet: "Behandlingseffektundersøgelser præsentation ved generalforsamlingen i Psykologisk Selskab for Forskningsmetodologi 4. februar 2013 Cand. Psych., ph.d."— Præsentationens transcript:

1 Behandlingseffektundersøgelser præsentation ved generalforsamlingen i Psykologisk Selskab for Forskningsmetodologi 4. februar 2013 Cand. Psych., ph.d. Jan Ivanouw

2 Krav til behandlingseffektundersøgelser Tilstrækkeligt antal dataindsamlinger: 4+ – Med 3 indsamlingstidspunkter kan man beskrive en lineær ændring, men ændringen er sjældent lineær – Med 4 indsamlingstidspunkter kan man beskrive et ændringsforløb med en enkelt kurvning – Med 5 indsamlingstidspunkter kan man beskrive et ændringsforløb med to forskellige kurvninger – Hertil kommer dataindsamling efter behandlingen Der opstilles egentlige målingsmodeller, dvs for det meste anvendelse af latente variable, ikke en simpel sumscore Målingsinvarians undersøges for de forskellige tidspunkter Designet omfatter relevante sammenligningsgrupper Der indsamles data om relevante baggrundsfaktorer Personer med missing data inkluderes i analysen efter de moderne principper, herunder drop-outs og non-compliers

3 Forskningsdesign Gentagne målinger Antal måletidspunkter (waves of data) Eksempler –Udviklingsforløb hos børn –Behandlingseffekt –Effekt af pædagogisk intervention

4 Analysemetoder Klassiske metoder Multilevelanalyse Growth modeling med latente variable

5 Klassiske metoder To tidspunkter som urelaterede fordelinger – t-test for to gennemsnit og standardafvigelser To tidspunkter som relaterede data – t-test for differensscoren (parrede data) – erstatning for differensscore, bl.a. residual gain Generalisering til flere end to tidspunkter – variansanalyse – covariansanalyse

6 Fra isolerede punktdata til forløbsbeskrivelse Traditionelt har man sammenlignet resultater indsamlet på to, evt flere, tidspunkter og beskrevet forskelle -> sammenligne gns osv på de forskellige tidspunkter I stedet bør behandlingen beskrives som et forløb -> beskrive kurveforløb med parametre til kurven

7 Graf for samplet – uafhængige grupper

8 Graf for samplet – individuelle forløb

9 Beskrivelse af kurveforløb Metode 1: Mulitilevelmodeller med observerede data – Parametre til kurveforløb beskrives som fordelinger (level 1) – Parametrene kan evt forklares ved andre faktorer (level 2) Metode 2: Growth modeling – Parametre til kurveforløb beskrives som latente variable

10 Klassisk og ny psykometri

11 Klassisk psykometri En egenskab sættes = et måltal fra et bestemt instrument (test) - operationel definition Ved testudviklingen vælges en række (de bedst mulige) items med relation til egenskaben Når testen er færdig, ses væk fra items, og informationerne ‘slås sammen’ til en sum af alle scores, en sumscore (kan også udformes som et gennemsnit) Sumscoren sammelignes typisk med fordelingen i en sammenligningsgruppe og omformes derved til tal der viser personens placering i forhold til denne gruppe. Det kan udtrykkes som percentil, skaleret score (BTB), STEN-score, STANINE-score, IQ-score

12 Problemer med den klassiske psykometri Man er bundet af det instrument man har valgt Man ved meget lidt om funktionen af enkeltinformationerne (items m.v.) Sumscore og afledte tal fremstår som fejlfri (kan dog omformes til interval) Sumscore og afledte tal tager ikke højde for egenskaber ved og kvaliteten af items Konsekvenser: Resultatet af de individuelle evalueringer/testninger er mere upræcise end nødvendigt Det er svært at udvikle og revidere tests så de bliver optimalt fungerende.

13 Ny psykometri er udviklet fra 1970'erne og fremad et centralt navn: Jöreskog Den ‘nye’ psykometri er imidlertid ikke implementeret generelt inden for psykometriens område

14 Betegnelser med relation til den ‘nye’ psykometri Structural Equation Modeling (SEM) Konfirmatorisk faktoranalyse Kovariansanalyse Statistiske modeller med latente variable Underpunkt: Item Response Theory (IRT) herunder Raschmodeller (som anvendes ved de nationale tests i skolevæsenet)

15 Structural Equation Modeling (SEM) omfatter - en målingsmodel (konfirmatorisk faktoranalyse): måling af en egenskab - en strukturel model relationen mellem forskellige egenskaber og influerende faktorer

16 Principper i ny psykometri Den egenskab der skal måles, fastholdes som en ‘latent variabel’ Informationer trækkes ind til at belyse (måle) den latente variabel Egenskaberne ved informationerne (items) beskrives eks: items er opgaver i en færdighedstest sværhedsgrad (hvor svær er opgaven) diskriminationsgrad (hvor god er opgaven til at skelne mellem personerne) fejl/irrelevant variation i forhold til målingen (andre forhold der påvirker opgaveløsningen) Den latente variabel får tildelt en måleskala som ikke er summen af itemscores (i forskning behøves dette trin ikke) - personparameter eller factor score

17 Fordele ved den nye psykometri Fordi de enkelte items (spørgsmål, opgaver, informationer, indikatorer) kan karakteriseres ved flere egenskaber (loading, intercept, fejlvarians), har man bedre muligheder for at vælge og sammensætte velegnede items til en bestemt måleopgave. I forskning med klassiske metoder foretager man først måling af enkeltpersonerne (sumscore) og derefter arbejder man videre med disse måltal. I den nye psykometri kan dette trin springes over og man kan gå direkte fra enkeltinformationer (itemscores) til undersøgelse af forskningshypoteserne. Der findes en lang række modeller der kan tilpasses forskellige forskningsformål. Eksempelvis analyse af længdesnitsundersøgelser. Et andet eksempel er undersøgelser af om bestemte egenskaber bedst opfattes som dimensioner eller som kategorier (typer) Manglende værdier (missing data) håndteres meget bedre.

18 Modeller med latente variable Confirmatorisk faktoranalyse (CFA) – en målingsmodel et begreb (latent variabel) måles med observationer Observationer (indikatorer) af forskellig art En række informationer – loading for hver indikator (diskriminationsgrad) – intercept for hver indikator (sværhedsgrad) – fejl/unik varians for hver indikator – evt korrelation mellem fejl for indikatorer – gennemsnit og varians for faktorscore

19 Målingsmodel

20 CFA-model

21 CFA-figur – Firkanter: observerede data, items, indikatorer – Cirkler: latente variable (begreber) – Pil fra cirkel til firkant: loading for indikator på denne latente variabel – Sort prik ved spidsen af pil fra cirkel til firkant: intercept for indikator i relation til denne latente variabel (ikke afbildet i denne tegning) – Pil uden afsender til firkant: fejl/unik varians for indikator – Buet pil mellem cirkler: korrelation mellem latente variable – ikke afbildet: gennemsnit (som regel = 0) og varians for latente variabel – Buet pil mellem pile uden afsender: korrelation mellem fejl for indikator (ikke afbildet - som udgangspunkt = 0)

22 Eksplorativ faktoranalyse

23 Model med baggrundsvariable

24 Vurdering af målingsmodel Klassisk psykometri: - Cronbach’s alfa Ny psykometri: - Globale fitindekser - Itemparametre

25 Cronbach’s alfa En slags gennemsnit af hvert items korrelation med alle andre items Alfa forudsætter Raschmodel Alfa er upræcis I nogle tilfælde undervurderer alfa de faktiske forhold, i andre er det ikke muligt at forudsige om den under- eller overvurderer

26 Globale fitindekser De faktiske data beskrives ud fra deres variation og deres indbyrdes sammenhænge. Ud fra den opstillede model forudsiges variation og sammenhænge De globale fitindekser er mål for hvor godt de faktiske data forudsiges af den opstillede model Herved testes hele modellen under ét

27 Vurdering af målingsmodel 1 - globale fitindekser Chi-Square Test of Model Fit Value 2.984 Degrees of Freedom 8 P-Value 0.9354 [ikke signifikant] * CFI/TLI CFI 1.000 [> 0.95] TLI 1.051 [> 0.95] RMSEA (Root Mean Square Error Of Approximation) Estimate 0.000 [< 0.05] 90 Percent C.I. 0.000 0.009 Probability RMSEA <=.05 1.000 SRMR (Standardized Root Mean Square Residual) Value 0.010 [< 1.00] * betingelserne i [] angiver den gode model

28 Itemparametre Forklaringen på eventuelt dårlige globale fitindekser kan findes ved at gå i detaljer med itemparametrene: Diskriminationsevne (= slope/factor loading) bør være høj ’Sværhedsgrad’ (= intercept) bør være forskellig, således at items tilsammen dækker hele det ønskede målingsområde Andre indflydelser på items (= fejlvariation) bør være lille

29 Vurdering af målingsmodel 2 - itemparametre Estimate S.E. Est./S.E. P-Value F1 BY Y30 1.000 0.000 999.000 999.000 Y31 1.209 0.294 4.111 0.000 Y32 1.044 0.234 4.462 0.000 F2 BY Y40 1.000 0.000 999.000 999.000 Y41 0.963 0.180 5.341 0.000 Y42 1.225 0.250 4.905 0.000 F2 WITH F1 0.096 0.034 2.821 0.005 Intercepts Y30 0.002 0.050 0.037 0.970 Y31 -0.034 0.050 -0.676 0.499 Y32 -0.078 0.047 -1.669 0.095 Y40 0.043 0.049 0.883 0.377 Y41 0.055 0.049 1.135 0.256 Y42 0.023 0.047 0.487 0.626

30 Vurdering af målingsmodel 3 - itemparametre Estimate S.E. Est./S.E. P-Value Variances F1 0.341 0.108 3.167 0.002 F2 0.404 0.106 3.817 0.000 Residual Variances Y30 2.198 0.134 16.371 0.000 Y31 2.035 0.160 12.727 0.000 Y32 1.837 0.127 14.422 0.000 Y40 1.971 0.124 15.845 0.000 Y41 1.980 0.122 16.276 0.000 Y42 1.604 0.149 10.766 0.000

31 Forløbsundersøgelser: Growth modeling

32 Growth modeling med latente variable Parametrene til kurverne i multilevelmodeling opfattes som latente variable Målingerne på hvert tidspunkt opfattes som indikatorer for disse latente variable, som i CFA Målingerne på hvert tidspunkt kan selv være latente variable som måles med observerede data De latente variable kan influeres af kovariate Kovariate kan være globale eller tidsvarierende Klasseanalyse af inhomogenitet i population (kategoriale latente variable) Flere parallelle udviklingsforløb

33

34 Lineær growthmodel

35 Kvadratisk growthmodel

36 Lineær growthmodel m. latente indikatorer

37 Growthmodel m. konstant og tidsvarierende covariater

38 Eksempel 1 på behandlingseffektundersøgelse

39 Forudsætninger for eksempel 1 5 dataindsamlinger under behandlingsforløb Symptommål (= nedgang er godt): SCL-90 og IIP Lineært forløb (urealistisk, men enklere) Én kontinuert måling pr person pr tidspunkt, dvs observerede data (forenkling, ofte vil der være en række kategoriale testitems som indgår i en målingmodel for latent variabel) – muligt eksempel på måling: stresshormon i blod En enkelt behandlet gruppe

40 Datasamplet simuleres Der simuleres et sample af personer ud fra forudsætningerne Eksemplet vil blive gennemgået først ud fra opbygningen af simulationen (= illustration af den grundlæggende proces), derefter ud fra analysen af de producerede data (= er det muligt vha dataanalysen at finde tilbage til udgangspunktet for simulationen) Derved kan kvaliteten af dataanalysen vurderes

41 Ligninger for samplet Level 1 ligninger – Parametrene til ligningen: Intercept (i), hældning (s) – Variablene i ligningen: Scoren (y), tidsfaktoren (x) – y = i + s*x Da de observerede resultater ikke følger lovmæssigheden nøjagtigt, er der en fejlkomponent (e): – y = i + s*x + e

42 Mplus-analyse af eksempel 1 TITLE:Eksempel på en simpel growthmodel DATA:FILE IS BehEx1.txt; VARIABLE: NAMES ARE y1-y5; MODEL: i s | y1@0 y2@1 y3@2 y4@3 y5@4;

43 Diagram over model Ex1

44 Globale fitindekser - Ex 1 Chi-Square Test of Model Fit Value 8.526 Degrees of Freedom 10 P-Value 0.5776 RMSEA (Root Mean Square Error Of Approximation) Estimate 0.000 90 Percent C.I. 0.000 0.108 Probability RMSEA <=.05 0.720 CFI/TLI CFI 1.000 TLI 1.004

45 Modelparametre Two-Tailed Estimate S.E. Est./S.E. P-Value S WITH I -0.001 0.003 -0.420 0.675 (korrelation mellem startniveau og ændringshastighed) Means I 2.191 0.030 74.195 0.000 (gennemsnitlig startværdi = symptomniveau for gruppen) S -0.147 0.010 -14.983 0.000 (gennesmsnitlig forbedringshastighed pr uge for gruppen) Variances I 0.058 0.011 5.208 0.000 (SD = 0.24 spredning i symptomniveu ved start) S 0.006 0.001 4.904 0.000 (SD = 0.08 spredning i ændringshastighed) Residual Variances (uforklaret varians = fejl og/eller unik varians) Y1 0.027 0.006 4.289 0.000 Y2 0.014 0.003 4.272 0.000 Y3 0.010 0.002 4.586 0.000 Y4 0.012 0.003 4.277 0.000 Y5 0.011 0.004 2.439 0.015

46 Eksempel 2 på behandlingseffektundersøgelse

47 Forudsætninger for eksempel 2 5 dataindsamlinger under behandlingsforløb Symptommål (= nedgang er godt) Lineært forløb (urealistisk, men enklere) Én kontinuert måling pr person pr tidspunkt, dvs observerede data (forenkling, ofte vil der være en række kategoriale testitems som indgår i en målingmodel for latent variabel) – muligt eksempel på måling: stresshormon i blod En behandlet gruppe og en kontrolgruppe

48 Ligninger for samplet – niveau 1 Level 1 ligninger – Parametrene til ligningen: Intercept (i), hældning (s) – Variablene i ligningen: Scoren (y), tidsfaktoren (x) – y = i + s*x Da de observerede resultater ikke følger lovmæssigheden nøjagtigt, er der en fejlkomponent (e): – y = i + s*x + e

49 Ligninger for samplet – niveau 2 Level 2 ligninger: – Hvad influerer parametrene til linien (i og s)? - dvs hvad bestemmer hvor dårligt personerne i samplet har det ved starten (i), og hvad bestemmer hvor hurtigt de bliver bedre (s) – w kan være behandlet/kontrol, køn mv – ai og as er de ’primære’ i og s, dvs. når w ikke har nogen effekt (w=0) – bi og bs er den effekt der udgår fra w og som lægges til de primære i og s – ei og es er fejl/usikkerhed i disse ligninger i = ai + bi*w + ei s = as + bs*w + es I eksempel 2 er w kontrol (w=1) og behandlet gruppe (w=0)

50 Mpluskode Ex 2 TITLE:Eksempel på en behandlingseffektundersøgelse med lineært forløb DATA:FILE IS BehEx1.txt; VARIABLE: NAMES ARE behandl IIPy1-IIPy5; MODEL: iIIP sIIP | IIPy1@0 IIPy2@1 IIPy3@2 IIPy4@3 IIPy5@4; iIIP sIIP ON behandl;

51 Model Ex 2

52 Globalt fit Ex2 Chi-Square Test of Model Fit Value 24.214 Degrees of Freedom 13 P-Value 0.0292 RMSEA (Root Mean Square Error Of Approximation) Estimate 0.104 90 Percent C.I. 0.032 0.167 Probability RMSEA <=.05 0.088 CFI/TLI CFI 0.980 TLI 0.977

53 Modelparametre Ex 2 Two-Tailed Estimate S.E. Est./S.E. P-Value IIIP (startsit) ON BEHANDL 0.094 0.063 1.482 0.138 SIIP (ændring) ON BEHANDL 0.132 0.012 11.460 0.000

54 Eksempel 3 på behandlingseffektundersøgelse - kvadratisk forløb

55 Forudsætninger for eksempel 3 5 dataindsamlinger under behandlingsforløb Symptommål (= nedgang er godt) Kvadratisk forløb (kan beskrive kurvet forløb) Én kontinuert måling pr person pr tidspunkt, dvs observerede data (forenkling, ofte vil der være en række kategoriale testitems som indgår i en målingmodel for latent variabel) – muligt eksempel på måling: stresshormon i blod En behandlet gruppe og en kontrolgruppe

56 Kontrolgruppen 30 personer

57 Behandlingsgruppen 30 personer

58 Mpluskode for Ex3 TITLE:Model for kurvet behandlingsforløb DATA:FILE IS BehEx1.txt; VARIABLE: NAMES ARE behandl SCLy1-SCLy5; MODEL: iSCL sSCL qSCL | SCLy1@0 SCLy2@1 SCLy3@2 SCLy4@3 SCLy5@4; iSCL sSCL qSCL ON behandl;

59 Diagram for Ex 3

60 Globale fitindekser Ex 3 Chi-Square Test of Model Fit Value 7.544 Degrees of Freedom 8 P-Value 0.4793 RMSEA (Root Mean Square Error Of Approximation) Estimate 0.000 90 Percent C.I. 0.000 0.126 Probability RMSEA <=.05 0.619 CFI/TLI CFI 1.000 TLI 1.002

61 Modelparametre Ex 3 Two-Tailed Estimate S.E. Est./S.E. P-Value I-SCL (start) ON BEHANDL 0.095 0.073 1.302 0.193 S-SCL (ændr) ON BEHANDL 0.199 0.031 6.392 0.000 Q-SCL (affladning) ON BEHANDL -0.047 0.008 -5.989 0.000

62 Modeller med latente klasser

63 Latent klasseanalyse Ofte opstilles teorier om at der findes adskilte klasser eller typer - dvs. grupper af personer som er forskellige på en række egenskaber, f.eks. en række symptomer som fører til opdeling i psykiatriske diagnoser Det er muligt alene ud fra faktiske data at se om der kun er gradvise overgange eller om der findes adskilte klasser af personer, jfr diskussionen om personlighedsforstyrrelser som adskilte diagnoser eller som dimensioner. Det er muligt at opstille modeller der inkluderer begge dele. Man kan opstille modeller for antal klasser og vurdere deres globale fit Man kan vurdere de enkelte spørgsmåls egnethed til at opdele personerne i klasser

64 SEM-model med latente klasser Den latente variabel kan være kategorial En kategorial latent variabel angiver et antal klasser, eks. diagnoser Den latente kategoriale variabel er typisk ikke kendt på forhånd, men estimeres ud fra data Derved kan data undersøges for ikke erkendte inhomogeniteter, f.eks. om der findes uerkendte undergrupper af diagnoser

65

66