Test-retest stabilitet og reliabilitet

Præsentationer af emnet: "Test-retest stabilitet og reliabilitet"— Præsentationens transcript:

1 Test-retest stabilitet og reliabilitet
Neuropsykologiske test Test-retest stabilitet og reliabilitet Anders Gade Gade

2 S-81 data 20 personer retestet efter 3 måneder Erik Lykke Mortensen
Hanne Udesen Gade

3 AGENDA-projekt 77 personer retestet efter 4 uger (38 efter 10 mg escitalopram dgl; 39 placebo) Ulla Knorr .. & Helena Dysgaard, Vibe Bredsdorf & Peter Kristian Jacobsen Gade

4 ACD-gruppen (Agenda-Cimbi-Depad)
Helene Carstensen and Vibe Bredsdorff (primarily Agenda (with Peter Kristian Jacobsen)) Gry Zornhagen (Cimbi) and Eva Meldal (all 3) Sofie Folke Kasper Eskelund (primarily Depad together Julie Nyvang) Gade

5 FReJA – prospektiv neuropsykologisk undersøgelse 2002, 2005, 2010
Gade

6 FReJA – prospektiv neuropsykologisk undersøgelse 2002, 2005, 2010
Tom Teasdale Korrelationer: N: (Indtil videre ikke renset for genbærere) 2002 gennemsnit: alder 53; uddannelsesscore 11.8; DART 28) Gade

7 Test-retest reliabilitet
Reliabilitet handler grundlæggende om målefejl ”A given score is thought to consist of two parts: the true score and the error. The true score is the actual value of a given individual on the construct if it were to measured completely accurately by the test. The error is the value of the extraneous influences on the measurement process”. Franzen, 1989, p.15 Gade

8 Hvad skal vi kræve i test-retest korrelationskoefficienter?
”At MATRICS consensus meetings, high test-retest reliability was considered the most important test feature in a clinical trial”. ”The committee considered an r value of 0.70 to be acceptable for test-retest reliability for clinical trials”. Nuechterlein et al., 2008 Gade

9 Hvad skal vi kræve i test-retest korrelationskoefficienter?
We here present findings from three new studies to show that (a) the BPP has a satisfactory Test-Retest reliability, r = Teasdale et al., 2011 BPP som gruppeprøve ved alder 19.2 år WAIS med individuel administration 4 år senere BPP – full scale IQ korrelation: 0.82 Mortensen et al., 1990 Gade AG# a444a

10 Domæne # test faktor r enkelttest mean r Abstraktion 2 .82 .60
”Basisbatteri” og S-81 – test-retest korrelationer i enkeltprøver og i ”faktorskorer” Domæne # test faktor r enkelttest mean r Abstraktion Hukommelsesspændvidde Verbal indlæring Genkendelse Visuomotorisk tempo Visuo-spatiale prøver PASAT Visuel syntese Total BB Mean total af 7 faktorer QS 50 ord SDMT vis.gestalter Gade

11 Eksempel på brug af test-retest data: SDMT
Test 1 Test 2 Pearson r SE St. difference 95% 95% konfidensintervaller Skore Forbedring Forværring +/ Gade

12 ”Reliable change index”
Temkin et al. (1999). JINS, 5, Bird et al. (2003), Br.J.Clin.Psychol., 42, Recognition Memory Words (QS 50 ord) 1. us. 2. us. r London S Gade

13 Indlæring: .14 Retention: .27 Test reliabilitet - Visuelle Gestalter
Pearson r Indlæring: .14 Retention: .27 Gade

14 Gade

15 Reys komplekse figur 3 og/eller 30 minutters retention?
Begge er OK reliable ved 4 ugers retest: r = .80 / .85 Korrelation mellem præstation ved 3 og 30 min: .96 / .97 Gade

16 ”Intelligence” DART (reading test) Memory Rey Auditory Verbal ..
Rey Complex Figure Construction Block design Visuomotor speed SDMT Trail Making A & B Language Boston Naming Test Familiar faces (naming) Gade

17 Attentional control Stroop Set shifting Wisconsin Card Sorting
”Frontal lobe tests” Attentional control Stroop Set shifting Wisconsin Card Sorting Fluency Animals S-words Working memory Letter-number sequencing Decision making Iowa Gambling Task Gade

18 NART / DART Moray House Test: 11 år NART: 79 år 45 demens: r= 0.60
464 NC: r= 0.63 McGurn et al. (2004), Neurology, 62, #2197j / x105a Gade

19 Danish Adult Reading Test
Examples of items GAGE GIN MONTAGE ... NEUTRUM LANCERE POMERANS MARKIS KASEIN CLOU … HUGUENOT ECLAT OBSKUR Gade

20 Danish Adult Reading Test
Examples of items GAGE GIN MONTAGE ... NEUTRUM LANCERE POMERANS MARKIS KASEIN CLOU … HUGUENOT ECLAT OBSKUR Test-retest reliabilitet (AGENDA & FReJA) Alle (N: 77): Placebo (N: 39): 0.93 : : 0.92 : 0.92 Gade

21 Visuomotorisk tempo SDMT .74 .83 .89 / .90 / .94
S-81 AGENDA FReJA SDMT / .90 / .94 Trails A / .58 / .47 3) Trails B / .78 / .83 Faktorscore / .84 / .87 I faktorscore sammen med Rey og Blokmønstre: AGENDA .91

22 ”Findings demonstrated modest reliability
Eksekutive tests ”Findings demonstrated modest reliability of individual EF measures but very high stability of a latent EF construct”. Ettenhofer et al., 2006 Gade

23 Eksekutive tests - S-81 Sorteringsprøve r: .37
WCST, antal fejl i alt r: .45 Gade

24 Eksekutive tests - AGENDA
r alle placebo Ordmobilisering – S Ordmobilisering – dyr Bogstav-tal sekvensering Stroop inkongruente Eksekutive faktor Eksekutiv faktor i FReJA: .89 / .72 / .80 Gade

25 Stroop - neutral XXX Gade

26 Stroop - kongruent blå grøn rød gul Gade

27 Stroop - inkongruent gul rød blå grøn Gade

28 Stroop inkongruent (sekunder) minus Stroop kongruent (sekunder)
Stroop subtraktion = Stroop inkongruent (sekunder) minus Stroop kongruent (sekunder) ”Test-retest reliability coefficients were high for standard … Stroop tasks when reliability was measured using response latencies alone. However, test-retest coefficients were unacceptably low when reliability estimates were calculated using difference scores” Strauss et al., 2005 (Stroop kongruent r .71; inkongruent .79; subtraktion .46) Stroop inkongruent r .81 / .80 Stroop subtraktion r .65 / .60 Gade

29 eksekutive tests senere ….. ?
Grundig gennemgang af eksekutive tests senere ….. ? Fx på kvartalsmøde i 2012 Gade

30 Konklusioner Nogle af vore prøver – men ikke alle - har glimrende reliabilitet 2. Brug viden om prøvernes reliabilitet i din udvælgelse af prøver 3. Brug viden om prøvernes reliabilitet i dine konklusioner, så du ikke udtaler dig mere sikkert, end dine data berettiger til 4. Faktorskorer er generelt mere pålidelige end enkelttests. Hvis du bruger prøver med ringe reliabilitet – især hukommelse og eksekutive funktioner – så brug mere end én Gade

31 Gade