Evidenshierarki eller - typologi Selektionen af primærstudier bliver vigtig for at vurdere kvaliteten af forskningsoversigten. Der udspinder sig inden for evidensbevægelsen en til tider heftig debat om metoder. Fortalere for det smalle evidensbegreb lægger vægt på evidenshierarkiet med RCT som den gyldne standard, mens fortalere for det brede evidensbegreb slår til lyd for evidens-typologi.

Evidens-hierarki eksempel I Randomized controlled trials Quasi-experimental studies Before-and-after comparison Cross-sectional, random sample studies Process evaluation, formative studies and action research Qualitative case studies and ethnographic research Descriptive guides and examples of good practice Professional and expert opinion User opinion

Evidenshierarki eksempel II Niveau Studietype 1a 1b 1c Systematiske reviews af RCTs. Enkeltstående RCTs af god kvalitet. Kontrollerede, men ikke randomiserede forsøg. 2a 2b Systematiske reviews af kohortestudier. Enkeltstående kohortestudier. Dårlige RCTs. 3a 3b Systematiske reviews over case-kontrolstudier. Enkeltstående case-kontrol studier. 4 Case-serier eller kohortestudier eller case-kontrol af dårlig kvalitet. 5 Ekspertvurderinger, konsensuskonferencer, kvalitative designs mv. Forskningsoversigter højst Fra sundhedsområdet: kohortestudier:

Hvor skal snittet lægges? Stringent anvendelse af evidenshierarkiet med RCT i toppen – variationer tillades: gælder Cochrane og Campbell Pragmatisk tilgang hos SCIE på det sociale område og EPPI på uddannelsesområdet Stærk metodedebat på social- og uddannelsesområdet SCIE – Social Care Institute for Excellence

Argumenter imod evidenshierarkiet Konteksten er forskellig, konteksternes betydning skjules i gennemsnitstallene. Indsatser er sammensat og dynamiske, men RCT forudsætter en ensartet og stabil indsats, der gives til hele populationen. Årsag-virkning er kompleks og dynamisk. Konteksten: Indsatsens effekt vil være forskellig i forskellige kontekster. RCT vil ikke kunne fange dette ind, da RCT gennemføres på populationer i mange forskellige kontekster, og konteksternes betydning skjules i gennemsnitstallene. Indsatser er sammensat og dynamiske: RCT forudsætter en veldefineret, ensartet og stabil indsats, der gives til hele populationen. Hvis indsatsen ikke er den samme (teknisk identificerbar og standardiseret) for alle i populationen, vil der være tale om forskellige ”årsager” (i indsatsen) i RCT opstillingen. Årsag-virkning er kompleks og dynamisk: Dynamikken i åbne sociale systemer vanskeliggør generalisering af RCT målt nettoeffekt (høj intern validitet, men lav ekstern -).

Mulig konsekvens af kritikken: typologi i stedet for hierarki

Evidenstypologi - eksempel Design: Research question: Qualitative research Survey Case control studies Cohort studies RCTs Quasi-experimen-tal studies Non-experimen-tal evalua­ tions Effectiveness Does this work? Does doing this work better than doing that? + ++ Process of service delivery How does it work? Salience Does it matter? Safety Will it do more good than harm? Acceptability Will children/parents be willing to or want to take up the service offered? Cost-effectiveness Is it worth buying this service? Appropriateness Is this the right service for these children? Satisfaction with the service Are users, providers and other stakeholders satisfied with the service? Fra Petticrew and Roberts, 2003

Evidenstypologi - eksempel RCT Forløbs-undersøgelser Casestudier Bruger-evalueringer Evalueringens formål Stop/go Tilpasning Forståelse tilpasning Indsatsens karakter Enkel ”teknisk” Veldefineret Kompleks Fra enkel til kompleks Kontekstens karakter Lavt differentieret Moderat differentieret Højt differentieret Fra højt til lave differentieret Forhåndsviden om årsag-virkning Hypoteser om specifikke virkninger Kan modelleres statistisk Lav viden

Reflektioner Fremover intens debat om det smalle versus det brede evidensbegreb? Vil enkeltstående evalueringer blive tillagt mindre vægt? Større metodekrav til effektevalueringer?