Evidenspyramiden – kort fortalt Forskningstræning – Modul 1 Evidenspyramiden – kort fortalt Forskningstræning Copenhagen University Hospital, Bispebjerg-Frederiksberg Oktober 2013 1

Evidens Pyramiden Enhedens navn Meta-analysis Systematic Review RCT Cohort studies Case Control studies Case series/Case reports Animal research/Laboratory studies

Enhedens navn Evidens pyramiden Meta-analyse: Grundig gennemgang af valide studier og anvendelse af accepteret statiske metoder. Disse studier er ofte bestående af RCT studier. Systematisk review: Extensiv litt review RCT: omhyggeligt planlagt randomiseret og blindet studie, som mindsker bias Tillader sammenligning mellem intervention og control gruppe. Diagnostiske test: (prospektiv sammenligning med gold standard)

Enhedens navn Evidens pyramiden Cohort studies: Større populations undersøgelser. Observationelle studier, kombineret med en gruppe som ikke er “smittet” eller behandlet. Adskiller sig fra RCT ved at de 2 grupper ikke er randomiserede, og derfor kan være forskellige på enkelte/flere punkter. Case control studier: Patienter som allerede er syge med en bestemt sygdom, analyseres I forhold til personer uden denne lidelse (kontrol gruppe). Det er ofte baseret på Journal optagelser. Case series: Individuelle patienter. Ingen kontrol gruppe.

Det bedste design til et bestemt spørgsmål Enhedens navn Det bedste design til et bestemt spørgsmål Spørgsmål Terapy Diagnose Årsag til lidelse Prognose Prevention Klinisk test Økonomi Bedste design RCT>Kohort> case kontrol> case study Prospektiv, blindet sammenligning med gold standard RCT> kohort > case kontrol >case study Kohorte > case kontrol > case study RCT > kohort study > case Kontrol > case study Prospektiv, blindet sammenligning med gold standard Økonomisk analyse

Evidens-tyngden af den enkelte publikation Ia: metaanalyse af RCT (Randomised Controlled Trial) Ib: mindst 1 RCT II: mindst 1 godt, kontrolleret studie (kontrol-gruppe) III: deskriptive studier (kohorte, case-kontrol, før-efter) IV: Ekspertkomité, konsensus Hvorfor er pyramiden sådan? Hvad er den forskningsmæssige kvalitetsforskel? 6

Evidens-tyngden af den enkelte publikation Allervigtigste principper for et resultats gyldighed? 1) Reproducerbart Des mere reproducerbart – og måske med forskellige forsøgstilgange og forskellige eksperimentatorer – des mere sikkert resultat Det er skillelinien mellem 1a og 1b 2) Undgåelse bias (systematisk støj) Enhver form for udvælgelse/selektion vil have bias - i hvert fald teoretisk. Den bedste måde at minimere bias på, er at udvælge tilfældigt = randomisering. Det er skillelinien mellem 1b og II 7

Evidens-tyngden af den enkelte publikation Allervigtigste principper for et resultats gyldighed? 3) Undgåelse af tilfældige faktorers indflydelse (støj) Typisk observationer over tid, hvor der også laves en intervention. Er det tiden eller er det interventionen som gør forskellen. En kontrol-gruppe (ofte placebo, men ikke nødvendigvis) kan ofte afgøre sådanne effekter. Det er skillelinien mellem II og III 4) Der foreligger eksperimentelle data Data som indenfor deres egne præmisser er sande – uanset omstændighederne. Det er skillelinien mellem III og IV 5) Fri fantasi! – good old men sitting around the table 8

Publikationsbias Lidt forskellige definitioner, men en god kunne måske være (sat på spidsen): Publikationsbias: Publicérbarhed afhænger af svaret (resultatet) og ikke af spørgsmålet Et signifikant svar (”et positivt fund” som viser en forskel) har langt større mulighed for at blive publiceret end et svar uden signifikant forskel (”negativt fund” selvom det er med høj power). Det er desværre noget som meget sjældent gås i dybden med i metaanalyser, som jo bliver meget hårdt ramt af publikationsbias. 9

Publikationsbias Den prominerende grund til at ”negative resultater” ikke publiceres er oftest forskeren selv! 10

Negativt studie i tidskrift med høj impakt faktor (10) Enhedens navn Negativt studie i tidskrift med høj impakt faktor (10)

Publikationsbias Den prominerende grund til at ”negative resultater” ikke publiceres er oftest forskeren selv! Etisk komite: Hvordan vil I publicere, hvis det ikke er publikations-værdigt? Alle resultater er publikations-værdige! At have resultater liggende i skuffen er uetisk! Har man resultater, så skal de ud! Gør de videnskabelige tidsskrifter noget for at komme publikations bias til livs? Faktisk et halvt ”ja”: Kravet om annoncering af forsøg i clinicaltrials.gov bliver af flere og flere tidsskrifter håndhævet som fourudsætning for accept af artikel. 12

Publikationsbias Den prominerende grund til at ”negative resultater” ikke publiceres er oftest forskeren selv! Etisk komite: Hvordan vil I publicere, hvis det ikke er publikations-værdigt? Alle resultater er publikations-værdige! At have resultater liggende i skuffen er uetisk! Har man resultater, så skal de ud! Gør de videnskabelige tidsskrifter noget for at komme publikations bias til livs? Faktisk et halvt ”ja”: Kravet om annoncering af forsøg i clinicaltrials.gov bliver af flere og flere tidsskrifter håndhævet som fourudsætning for accept af artikel. Men rammer det den virkelige målgruppe: NEJ 13

Kritisk Artikellæsning Generelt: Sæt Jer i forfatterens (Jeres forskningskollega) sted. Stort set alle artikler kan kritiseres i stykker. Husk at kollegaen har trådt ind i det vide område på kortet og ved nødvendigvis ikke hvilke bias'er, spredninger osv., som forsøget bliver mødt med, og dermed har kunnet tage højde for. Nogle review'ere, som alle bør læse manuskripter kritisk, kan måske forekomme bistre og ondsindede, men langt de fleste, prøver bare at forbedre Jeres artikler, måske gennem at lege ”djævlens advokat” og udfordre Jer lidt. 14

Kritisk Artikellæsning Fremgangsmåde ved kritisk læsning: Systematisk! Brug gerne skema Indhold i skema kunne være: 15

Kritisk Artikellæsning Tilrettelæggelse af forsøg: Klar hypotese? Flere hypoteser? Hvilken er hypotese er brugt til power beregning? (primære endpoint) Er studiet designet til belysning primære endpoint Alle andre hypoteser og svar der på kan kun være hypotese-dannende Er der overensstemmelse mellem hypotese, primære endpoint, titel, diskussion og konklusioner Hvor ligger studiet i evidenspyramide-hierakiet? Er kontrol-gruppen relevant og er kontrol-gruppen repræsentativ og standard. Er inklusions og eksklusions relevante og hvor meget bias giver de? Er forsøget blindet, dobbelt-blindet, triple-blindet? Er endpoints og hypoteser de samme, som udmeldt i clinicaltrials.gov Er forsøgets statistik rigtigt sat op? (forventet forskel (lav power) men viser sig ikke at være der (er der så power nok til at undgå type II fejl) 16

Kritisk Artikellæsning Udførelse: Blev forsøget udført som planlagt? Beskrevet tilstrækkeligt godt? (Test: Kan du lave forsøget på de givne oplysninger?) Redegørelse for afvigelser? (Især dropout/kasserede samples. Der kan være meget bias dér) Er måleapparaturet pålideligt (”Voltmeter eller øjemål”) ifht. Miredif? Er kontrol-grupperne rent faktisk sammenlignelige på relevante parametre. Vises det? 17

Kritisk Artikellæsning Resultater: Vises rådata eller kun afledede/beregnede tal (statistik)? Er der valgt en korrekt beregnings og statistik-form? Vises de relevante tal (forskelle: p-værdi, ingen forskelle: power) Vises resultater på en retvisende og klar måde (eller f.eks. ”cuttet” y-akse??) 18

Kritisk Artikellæsning Diskussion: Forholder kollegerne sig kritisk og ydmygt ifht. resultaterne? Extreme conclusions requires extreme evidence! Er det foreneligt med andre studier? Hvis det er for godt til at være sandt...ja så er det såmænd nok ikke sandt! (”Kold fusion!”) Holder konklusionerne til et pato-fysiologisk ræsonnement? Diskuteres støj (confounders, bias, spredning)? Forvaltes signifikans, power oa. statistik fornuftigt (p=0.051 vs p=0.049)? Diskuteres primære endpoints og hypoteser eller ”kører det af sporet”? Behandles sekundære endpoints korrekt -dvs. hypotese-dannende – og ikke som primære fund? 19

Kritisk Artikellæsning ”Faresignaler”: Investigator-bias – især indflydelse af økonomiske midler 20