Systematic Review: A Guide to Evidence-Based Medicine

Slide1Dr Sharon MickanCentre for Evidence-based Medicine University of Oxford

Slide2Learning Objectives - overview Review purpose of a Systematic Review  Types of systematic review  Best question for each study type  Process of designing a systematic review  Critical appraisal of a systematic review

Slide3What do you do?For an patient with a painful sore throat, you wonder whether corticosteroids will help with pain relief?  You do a search and find several studies:  some suggest that steroids reduce pain; some do not  What do you do?  Ask a consultant? Peer? Patient?  Ask research student to find all studies & select the best?  How do you know which study to believe?

Slide4You find this review

Slide6How confident are you of the evidence?

Slide7Purpose of systematic reviews Provide up to date summary of all published research literature  Allow large amounts of data to be assimilated  Provide an objective collation of results of research  Provide reliable recommendations

Slide8Clarify the differences Systematic Review  Narrative Review  Meta-analysis  Any other similar terms?

Slide9Systematic Review or meta-analysis? A  Systematic Review  is a review of a clearly formulated question that uses systematic and explicit methods to identify, select and critically appraise relevant research, and to collect and analyse data from the studies that are included in the review.  Statistical methods ( meta-analysis ) may or may not be used to analyse and summarise the results of the included studies.

Slide10Narrative vs systematic reviewNarrative  Many questions  No search methods  No inclusion criteria  No combining studies  Prone to random and systematic error  Provide conflicting summaries Systematic  One question  Explicit search  Reproducible  Explicit inclusion criteria  Combine study results (meta-analysis) WHY do we need Systematic Reviews?

Slide11Benefits of systematic reviews Up to date resource for clinicians  Starting point for clinical guidelines  Policy guidance  Basis for new primary research  Important for grant funding bodies  Management guidance  Research training tool???

Slide12Useful Resources The Cochrane Collaboration  www.thecochranelibrary.com/  Cochrane Handbook for Systematic Reviews of Interventions (version 5 updated March 2011)  CRD  www.crd.york.ac.uk/  The Centre for Reviews and Dissemination is a department of the University of York and is part of the National Institute for Health Research  EPPI-Centre  www.eppi.ioe.ac.uk/  The Evidence for Policy and Practice Information and Co-ordinating Centre, Social Science Research Unit, Institute of Education, University of London.

Slide13Steps of a systematic review1. Clear answerable question 2. Reproducible search strategy 3. Assessment of literature quality 4. Summary of the evidence 5. Statistical, sensitivity analyses 6. Interpretation 7. Conclusions, recommendations 8. Published protocol and review

Slide14Types of systematic review Different research questions require different study designs   generate different types of review  Variations occur in  Research questions asked  Primary study designs included  Methods for synthesis  Approaches to being systematic  Types of evidence included

Slide15Best evidence for different questionsTreatment Prognosis Particular perspective Systematic Review of … Systematic Review of … Systematic Review of … Randomised trials Inception Cohorts Qualitative studies

Slide16Types of Systematic Reviews Cross-sectional analysis Nov 2004  300 Systematic Reviews  Therapeutic = 213 (71%)  Cochrane = 125 (59%)  Non-Cochrane = 88 (41%)  Diagnosis/Prognosis = 23 (7%)  Epidemiology = 38 (13%)

Slide17Getting startedKEY = systematic, rigorous, transparent, reproducible  Define the research question  Clear background, scope, setting  Research question determines method of review (PICO)  Specify inclusion and exclusion criteria

Slide18Find the published researchClear, comprehensive, reproducible search strategy  Search terms  Databases  Other strategies for grey literature

Slide19Manage the research evidence Organise database, hand searching  Use of forward citation searching, reference lists  Manage references  Reference Management software eg Endnote  Screen studies to check fit  2 reviewers, process of agreement  Record decisions about whether studies meet criteria

Slide21Assess quality of the literature Dual, independent assessment of design aspects likely to cause bias – depends on study designs  Resource  http://www.equator-network.org/home/

Slide22The Cochrane risk of bias toolRisk of bias Interpretation Within a study Across studies Low risk of bias Plausible bias unlikely to seriously alter the results. Low risk of bias for all key domains. Most information is from studies at low risk of bias. Unclear risk of bias Plausible bias that raises some doubt about the results Unclear risk of bias for one or more key domains. Most information is from studies at low or unclear risk of bias. High risk of bias Plausible bias that seriously weakens confidence in the results. High risk of bias for one or more key Domains. The proportion of information from studies at high risk of bias is sufficient to affect the interpretation of the results.

Slide23A visual representation - RCTs

Slide24Describe included studies Design data extraction forms  General descriptive information  Research methods  Key results  2 reviewers, process of agreement

Slide25Decide on process of synthesisFactors to consider  Consistency of outcome measures  Sub groups  Heterogeneity  Common sense test

Slide26Details of data synthesis Look for consistent measurement of data, with 95% confidence intervals

Slide27Primary outcome/s Basis for meta-analysis

Slide28Sub group analysis Identify in protocol with justification  To enhance usefulness of research answers

Slide29Heterogeneity Common sense test of study design, outcome measurements, forest plot  Are syntheses meaningful (apples vs oranges)  Influences statistics within meta-analysis

Slide30Sensitivity analyses determine whether the assumptions or decisions made have a major effect on the results of the review.

Slide31Protocol development1. Define and justify the research question 2. Find and manage the research evidence 3. Describe included studies 4. Synthesise the evidence 5. Interpret and disseminate

Slide32Registration of Systematic ReviewsPROSPERO  International prospective register of systematic reviews  http://www.crd.york.ac.uk/PROSPERO/ Benefits  Provides a public record of planned methods  Raises awareness of the review  Tracks use and impact of published reviews  Permanent record whether final report published or not

Slide33Cochrane review process1. Register title with Review Group 2. Write the protocol  Protocol reviewed & revised  Published on CDSR 3. Write the review  Review reviewed and revised  Published on CDSR 4. Update (every 2-3 years)

Slide34Is the review any good – FAITH?FINDING  Did they find most studies? APPRAISAL  Did they use appropriate inclusion criteria? INCLUDE  Did they include valid studies – for question asked? TOTAL Up  Did they synthesise similar outcomes? HETEROGENEITY

Slide35A quick review Why look for a SR?  What types of SR exist?  What are the key steps in a SR?  Why is a protocol important?  How do you appraise a SR?