Reliabilitet

Disposition Kapitel 4 Artikel: Reliability of SF-36 in an Internet- and a pen-and-paper version Pause Artikel v. Annette de Thurah

Validitet vs. reliabilitet Grønvold M, Ugeskr Læger 2008

Pålidelighed og konsistens Hvor konsistent og reproducerbar er målingen? Får vi den samme værdi hver gang? Definition: ’the degree to which measurement is free from error’, Mokkink et al., 2010 En måling er sjælden eller aldrig perfekt! Reliabilitet

RELIABILITET INTERNAL RELIABILITY OR INTERNAL CONSISTENCY Cronbach’s Alpha Coefficient REPEATABILITY RELIABILITY Test-retest reliability Interrater reliability Equivalent-forms reliability

Internal reliability / consistensy –Måler alle items i en skala den samme latente variable? Undersøges ved item-to-item korrelation. Repeatability reliability –Test-retest reliability: målinger gentaget over tid hos samme person –Interrater reliability: målinger gentaget af forskellige observatører –Equivalent reliability: målinger gentaget med forskellige måleinstrumenter Reliabilitet

Kontinuerte data –Intraclass Correlation Coefficient –Bland and Altman Plot Kategoriske data –Simple Kappa and Weighted Kappa Coefficient Reliabilitetstest

RELIABILITET INTERNAL RELIABILITY OR INTERNAL CONSISTENCY Cronbach’s Alpha Coefficient REPEATABILITY RELIABILITY Test-retest reliability Interrater reliability Equivalent-forms reliability

Reliabilitetstest ved kontinuerte data Intraclass correlation coefficient (ICC) Styrken af overensstemmelse mellem målinger der gentages Varians mellem individer i forhold til total varians

Reliabilitetstest ved kontinuerte data Intraclass correlation coefficient (ICC) ICC værdien er et tal mellem 0 og 1 ICC tæt på 1: den tilfældige variation er lav. Den observerede variation skyldes variation mellem patienterne (høj reliabilitet) ICC tæt på 0: den tilfældige variation er stor. Variationen skyldes målefejl (lav reliabilitet)

Reliabilitetstest ved kontinuerte data ICC eksempel fra bogen:

Bland and Altman Plot En grafisk fremstilling for at illustrere overensstemmelse mellem to målinger Beregner differencen mellem to målinger Beregner gennemsnit og spredning på differencer Differencer vs gennemsnit med 95 % limits of agreement Reliabilitetstest ved kontinuerte data

Bland and Altman Plot, eks. fra bogen: Reliabilitetstest ved kontinuerte data

Kappa Graden af enighed kan kvantificeres med en kappa værdi Kappa angiver andelen af ekstra enighed (observeret enighed minus tilfældig enighed) Reliabilitetstest ved kategoriske data

Kappa eks. fra bogen: Reliabilitetstest ved kategoriske data

Kappa værdi fortolkning: Reliabilitetstest ved kategoriske data Landis & Koch (1977)

Vægtet Kappa Måler overensstemmelse mellem ordnede data Vægtningen tager højde for forskellens størrelse. En større forskel får en større betydning. Reliabilitetstest ved ordnede kategoriske data

Eks. fra bogen: Reliabilitetstest ved ordnede kategoriske data

RELIABILITET INTERNAL RELIABILITY OR INTERNAL CONSISTENCY Cronbach’s Alpha Coefficient REPEATABILITY RELIABILITY Test-retest reliability Interrater reliability Equivalent-forms reliability

Cronbach’s Alpha Coefficient I forhold til multi-items skalaer er det vigtig, at alle items måler den samme latente variable Undersøges via item-to-item korrelation Internal Consistency Reliability

Cronbach’s Alpha Coefficient Internal Consistency Reliability

Cronbach’s Alpha Coefficient En værdi mellem 0 og 1 Gruppeniveau: 0,7 – 0,9 Individniveau: > 0,9 Internal Consistency Reliability

RELIABILITET INTERNAL RELIABILITY OR INTERNAL CONSISTENCY REPEATABILITY RELIABILITY Test-retest reliability Interrater reliability Equivalent-forms reliability Cronbach’s Alpha Coefficient ICC Bland-Altman plot Kappa coefficient

Tester reliabilitet (test-retest og internal consistency) af SF-36 papirversion og webversion

Metode Kvinder henvist til mammagrafi Randomiseres til papir eller webversion af spørgeskema Responderet 10 dage før mammografi retest af alternativ svarform (test-retest) Reliabilitestest: test-retest (ICC) og internal concistensy (chronbachs alfa)

Test-retest

Internal consistency

Diskussion God overensstemmelse mellem papir og webversion af SF-36 Lav responsrate i internet gruppen Resultaterne i overensstemmelse med test-retest af SF-36 papirversion Subskala fysisk funktion lavere internal consistensy i internetversionen Resultaterne i overensstemmelse med Chronbachs alpha for SF-36 (kvinder i DK)