Kursus i udvikling af kliniske retningslinjer Kritisk vurdering af artikler Dag 5 d. 30.3.10 Preben U. Pedersen, lektor, ph.d Sasja Jul Håkonsen, cand.cur. Center for Kliniske Retningslinjer 1

Dagens program 9.30 – 11.00: Introduktion til det quasie eksperimentelle design samt kritisk vurdering af artikler ved hjælp af tjeklister. 11.00 – 12.00: Kritisk vurdering af egne artikler 12.00 – 12.30: Frokost 12.30 – 14.15: Fortsat kritisk vurdering af egne artikler 14.15 – 15.00: Opsamling. Evt. spørgsmål.

Udarbejdelse af kliniske retningslinjer - processen Identificering af problemstilling Udarbejdelse af fokuserede spørgsmål Udarbejdelse af søgestrategi Systematisk litteratursøgning Vurdering af litteratur Inkludering af litteratur Ekskludering af litteratur Resumering i evidenstabel Udarbejdelse af anbefalinger 3

Kritisk vurdering og udvælgelse af litteratur; Søgningen gennemgås: Artikler udvælges på baggrund af titel og/eller abstract Relevante artikler rekvireres i fuldtekst. Artikler gennemlæses ud fra in- og eksklusionskriterie / fokuserede spørgsmål i forhold til relevans Artikler forkastes Udvalgte artikler gennemgås kritisk ud fra tjeklister Artikler forkastes ud fra tjeklister/kritisk vurdering af metode Artikler inkluderes i endeligt materiale Artikler forkastes på baggrund af titel/abstract ud fra in- og eksklusionskri- terier og de fokuserede spørgsmål 4

Hvad er kritisk vurdering af artikler? Videnskabelig litteratur skal evidensvurderes. At evidensvurdere vil sige at vurdere kvaliteten af den litteratur, man har fundet. 5

Hvordan kritisk vurderer vi artikler? I en evidensvurdering vurderes hver enkelt artikels videnskabelige kvalitet. Vurderingen skal foregå udfra ensartede kriterier, der er fastsat på forhånd. Til hjælp foreligger der nationale og internationale tjeklister, der anvendes for at sikre sig, at man har taget stilling til alle aspekter af artiklen.  Sekretariatet for Referenceprogrammer under Center for Evaluering og Medicinsk Teknologivurdering har oversat australske tjeklister til både oversigtsartikler (reviews), metaanalyser, randomiserede kontrollerede undersøgelser, kohorte studier, case-control studier og diagnostiske tests. Disse tjeklister anvendes i regi af Center for Kliniske Retningslinjer til at kritisk gennemgå og vurdere kvaliteten af de kvantitative studier, der inkluderes i litteraturgennemgangen i en klinisk retningslinje 6

7

Graduering af evidensniveau (Sekretariatet for Referenceprogrammer, 2004) Publikationstype Niveau Styrke Metaanalyse, systematisk oversigt, Randomiseret kontrolleret studie Ia Ib A Kontrolleret, ikke-randomiseret studie Kohorteundersøgelse Diagnostisk test (direkte diagnostisk metode) IIa IIb B Case-kontrol undersøgelse Diagnostisk test (indirekte nosografisk metode) Beslutningsanalyse Deskriptiv undersøgelse III C Mindre serier, oversigtsartikel Ekspertvurdering, ledende artikel IV D

Evidensvurdering på grundlag af studiedesign En foreløbig evidensvurdering kan man i nogen grad foretage alene på grundlag af studiedesign. Inden for den primære litteratur betragtes randomiserede kontrollerede undersøgelser som rangerende højst med bedste evidens, mens kohorte studier og case control studier rangerer på et lavere evidensniveau.  Men der kan være stor forskel på for eksempel forskellige randomiserede kontrollerede undersøgelser inden for samme behandlingsområde. Der kan f.eks. være forskel på undersøgelsens omfang (stor gruppe, lille gruppe), og dårlige randomiserede kontrollerede undersøgelser kan undertiden udkonkurreres af andre undersøgelsesdesign. 9

Hvilke elementer er indeholdt i tjeklisterne? Det interessante er om vi kan tro på det resultat, som artiklen fremkommer med! Den interne validitet: Du skal fremkomme med din vurdering af den interne validitet. Er undersøgelsen udført grundigt og skyldes undersøgelsens udfald den behandling der undersøges. Hvert spørgsmål afdækker et område af metodologien som har væsentlig betydning for undersøgelsens konklusioner. Er der valgt korrekt design til at besvare undersøgelsens formål og er det valgte design udført korrekt?? 10

Tjeklisternes opbygning Artiklens troværdighed (Den interne validitet) Vurdering af metode Statistik Overordnet bedømmelse af studiet Er der mange brud på den interne validitet? Beskrivelse af studiet (outcome, effekt, population) sammenfatning af nøgleområder i studiet som efterfølgende skal anføres i evidenstabellen Generelle kommentarer 11

Checkliste 2: Randomiserede kontrollerede undersøgelser Forfatter, titel: Tidsskrift, år: Checkliste udfyldt af: 1. INTERN GYLDIGHED (troværdighed) Evalueringskriterier I hvor høj grad er kriteriet opfyldt? 1.1 Er der en velafgrænset og relevant klinisk problemstilling? 1.2 Blev forsøgspersonerne randomiseret? 1.3 Var behandlings- og kontrolgruppen ens ved undersøgelsens start? 1.4 Var randomiseringen (allokeringen) skjult? 1.5 Blev forsøgspersonerne, behandler og forsker blindet? 1.6 Er alle relevante slutresultater (outcome) målt standardiseret, gyldigt og pålideligt? 1.7 Bortset fra den undersøgte behandling, blev grupperne så behandlet ens? 1.8 Hvor stor en del af de personer, der blev rekrutteret til undersøgelsen, blev endeligt medtaget i analyserne? (dropout) 1.9 Blev alle de undersøgte personer analyseret i henhold til randomiseringen?(intention to treat analyse) 1.10 Er resultaterne homogene mellem de forskellige undersøgelsessteder (multicenterundersøgelser)?

2. OVERORDNET BEDØMMELSE AF UNDERSØGELSEN 2.1 I hvor høj grad forsøgte undersøgelsen at minimere bias? Anfør ++, + eller . 2.2 Hvis bedømt som + eller , i hvilken grad kan bias påvirke undersøgelsesresultatet? 2.3 Med baggrund i kliniske overvejelser, evaluering af metoden og undersøgelsens statistiske styrke, mener du så, at sluteffekten skyldes undersøgelsens ”intervention”? 2.4 Er resultatet af undersøgelsen direkte anvendeligt på referenceprogrammets patientmålgruppe? 3. BESKRIVELSE AF UNDERSØGELSEN 3.1 Hvilke behandlinger evalueres i undersøgelsen? 3.2 Hvilke måleparametre er anvendt på slutresultatet? (outcome) 3.3 Hvor mange patienter deltog i undersøgelsen? (totalt og i behandlings- hhv. kontrolgruppen). 3.4 Hvorledes er effekten målt? Og i hvilken retning gik den målte effekt? 3.5 Er der statistiske usikkerhedsberegninger? (p-værdier eller sikkerhedsintervaller) 3.6 Hvad karakteriserer deltagerne (populationen)? (fx køn, alder, sygdomsprævalens). 3.7 Hvorfra er forsøgspersonerne rekrutteret? (fx by, land, hospital, ambulatorier, almen praksis, amt). 3.8 Hvor mange grupper/centre er med i undersøgelsen? 3.9 Er der rejst nogle specifikke spørgsmål ved denne undersøgelse? Anfør generelle kommentarer vedr. undersøgelsens resultater og betydningen af disse).

Kritisk vurdering af artikler 5 tjeklister til kvantitativ litteratur: Systematiske review Randomiserede kontrollerede studier Diagnostiske tests Case-controlstudier Kohortestudier 1 tjekliste til kvalitativ litteratur: CASP Hvad med alle andre typer af studier som findes og som ikke umiddelbart kan klassificeres ud fra tjeklisterne?? Find den tjekliste som passer bedst på Jeres fundne studie og vurder studiet ud fra de overordnede karakteristika. Evt. se bort fra randomisering, blinding osv. 14

Quasi eksperimentelt design Quasi næsten eksperiment / som om. Et næsten ”ægte” eksperiment. Quasi-eksperiment: forskellen i forhold til det ægte eksperiment er, at forsøgspersonerne ikke er udvalgt på en randomiseret måde samt/eller sammenligningsgrupper/kontrolgrupper ikke er anvendt. 15

Hvorfor er der ikke anvendt randomisering og blinding af patienterne? Pedersen, P.U. ”Nutritional care: the effectiveness of actively involving older patients.” Journal of Clinical Nursing. 14; 247-255. Eksempel på et quasi eksperimentelt design hvor der ikke er anvendt randomisering, men der er dog kontrolgruppe. Hvorfor er der ikke anvendt randomisering og blinding af patienterne? RCT er anset for at være det stærkeste design når man vil teste hypoteser/afprøve interventioner. Hverken randomisering eller blinding var ikke muligt grundet interventionens karakter. Randomisering ville have medført at kontrol- og interventionsgruppe lå ved siden af hinanden eller spiste sammen til måltider. Blinding ville ikke være muligt pga studiets karakter. 16

Pedersen, P.U. ”Nutritional care: the effectiveness of actively involving older patients.” Journal of Clinical Nursing. 14; 247-255. Publikationstype Niveau Styrke Metaanalyse, systematisk oversigt, Randomiseret kontrolleret studie Ia Ib A Kontrolleret, ikke-randomiseret studie Kohorteundersøgelse Diagnostisk test IIa IIb B Case-kontrol undersøgelse Beslutningsanalyse Deskriptiv undersøgelse III C Mindre serie, oversigtsartikel Ekspertvurdering, ledende artikel IV D

Pedersen, P.U. ”Nutritional care: the effectiveness of actively involving older patients.” Journal of Clinical Nursing. 14; 247-255. Hvordan skal studiet så kritisk vurderes? Anvende tjekliste til randomiserede kontrollerede undersøgelser – se bort fra randomisering og blinding. 18

Kritisk vurdering af artikler For hvert spørgsmål i tjeklisten skal det vurderes i hvor høj grad, evalueringskriteriet er opfyldt ud fra nedenstående graduering: I høj grad opfyldt Tilstrækkeligt opfyldt Dårligt opfyldt Ikke opfyldt Ikke oplyst Ikke anvendeligt på den aktuelle undersøgelse 19

Checkliste 2: Randomiserede kontrollerede undersøgelser Forfatter, titel: Pedersen, P.U Tidsskrift, år: Journal of Clinical Nursing 14, 247-255 Checkliste udfyldt af: SJH 1. INTERN GYLDIGHED (troværdighed) Evalueringskriterier I hvor høj grad er kriteriet opfyldt? 1.1 Er der en velafgrænset og relevant klinisk problemstilling? 1. I høj grad. Formålet er at undersøge effektiviteten af et sygeplejeprogram baseret på aktiv involvering af ældre patienter i deres ernæring. Hypotesen: at dette type sygeplejeprogram vil forbedre energi og protein indtag hos ældre ortopædkirigiske patienter. 1.2 Blev forsøgspersonerne randomiseret? 6. Ikke anvendeligt på dette studie, da der er tale om et quasi-eksperiment., hvorfor der ikke er foretaget randomisering af patienterne. 1.3 Var behandlings- og kontrolgruppen ens ved undersøgelsens start? 1. I høj grad. Se tabel 2 i artiklen 1.4 Var randomiseringen (allokeringen) skjult? 6. Ikke muligt i dette studie. 1.5 Blev forsøgspersonerne, behandler og forsker blindet? 6. Ikke muligt at udføre I dette studie grundet interventionens karakter. 1.6 Er alle relevante slutresultater (outcome) målt standardiseret, gyldigt og pålideligt? 1.I høj grad. Alle væsentlige resultater er medinddraget og målt gyldigt og pålideligt ved hjælp af statistiske analyser. Validiteten af kostregistreringen (måleredskabet) er desuden beskrevet. 1.7 Bortset fra den undersøgte behandling, blev grupperne så behandlet ens? 1. I høj grad. Man har netop ved selve studiedesignet imødekommet denne problematik. Hvis kontrol- og intervention fandt sted samtidig, ville der være høj risiko for at kontrolgruppen også modtog samme behandling som interventionsgrp. og omvendt. 1.8 Hvor stor en del af de personer, der blev rekrutteret til undersøgelsen, blev endeligt medtaget i analyserne? (dropout) 253 patienter var inkluderet i studiet. 242 gennemførte studiet. Drop out 4,3 %. Acceptabelt. 1.9 Blev alle de undersøgte personer analyseret i henhold til randomiseringen?(intention to treat analyse) 6. Ingen randomisering i dette studie. Patienterne er analyseret I forhold til om de gennemførte studiet. 1.10 Er resultaterne homogene mellem de forskellige undersøgelsessteder (multicenterundersøgelser)? 6. Singlecenter undersøgelse

2. OVERORDNET BEDØMMELSE AF UNDERSØGELSEN 2.1 I hvor høj grad forsøgte undersøgelsen at minimere bias? Anfør ++, + eller . ++. Omend studiedesignet ikke er randomiseret, har man forsøgt at tage højde for kendte confounders ved hjælp af analyser. Validering af måleredskab. Evidensstyrke B 2.2 Hvis bedømt som + eller , i hvilken grad kan bias påvirke undersøgelsesresultatet? 2.3 Med baggrund i kliniske overvejelser, evaluering af metoden og undersøgelsens statistiske styrke, mener du så, at sluteffekten skyldes undersøgelsens ”intervention”? JA 2.4 Er resultatet af undersøgelsen direkte anvendeligt på referenceprogrammets patientmålgruppe? 3. BESKRIVELSE AF UNDERSØGELSEN 3.1 Hvilke behandlinger evalueres i undersøgelsen? Interventionsprogram 3.2 Hvilke måleparametre er anvendt på slutresultatet? (outcome) Energi og protein indtag postoperativt. 3.3 Hvor mange patienter deltog i undersøgelsen? (totalt og i behandlings- hhv. kontrolgruppen). 242 fuldførte studiet. 135 i kontrolgruppen og 107 i interventionsgruppen. 3.4 Hvorledes er effekten målt? Og i hvilken retning gik den målte effekt? Effekten er målt på daglig postoperativ energi og protein indtag . Resultaterne afspejler effekt af aktiv involvering af patienter I egen ernæringspleje hos ældre ortopædkirirgiske patienter målt på et øget energi og protein indtag 3.5 Er der statistiske usikkerhedsberegninger? (p-værdier eller sikkerhedsintervaller) P-værdier 3.6 Hvad karakteriserer deltagerne (populationen)? (fx køn, alder, sygdomsprævalens). Patienter over 65 år som skall have foretaget hofte eller knæ alloplastik eller hoftefraktur. 3.7 Hvorfra er forsøgspersonerne rekrutteret? (fx by, land, hospital, ambulatorier, almen praksis, amt). Hospital 3.8 Hvor mange grupper/centre er med i undersøgelsen? 1 3.9 Er der rejst nogle specifikke spørgsmål ved denne undersøgelse? Anfør generelle kommentarer vedr. undersøgelsens resultater og betydningen af disse).

Arbejde med egne opgaver….. Placering af Jeres artikler / studier i evidenshierakiet – hvilke type studier er der tale om? (den kritiske vurdering udelukkende på baggrund af studiedesignet) Påbegynde kritisk vurdering af artikler ved hjælp af tjeklister. Næste gang: Introduktion til bias og confounders (RCT). Gruppearbejde – arbejde med 3 artikler på pensumlisten. Udfylde tjeklister og præsentere i plenum. Fortolkning af statistiske begreber 22