Rapid Critical Appraisal of Controlled Trials

Slide1Rapid Critical Appraisalof Controlled Trials Annette Plüddemann  Department of Primary Care Health Sciences University of Oxford November 2013

Slide2Five steps  in  EBM Five  steps  in  EBM 1. Formulate an answerable question 2. Track down the best evidence 3. Critically appraise the evidence for: • Relevance • Validity • Impact (size of the benefit) • Applicability 4. Integrate with clinical expertise and patient values 5. Evaluate our effectiveness and efficiency • keep a record; improve the process

Slide3Searching for critical appraisal checklists randomized controlled trials  About 292,000 results (0.37 seconds) A CHECKLIST FOR APPRAISING RANDOMIZED CONTROLLED TRIALS 1. Was the objective of the trial sufficiently described? 2. Was a satisfactory statement given of the diagnostic criteria for entry to the trial? 3. Were concurrent controls used (as opposed to historical controls)? 4. Were the treatments well defined? 5. Was random allocation to treatments used? 6. Was the potential degree of blindness used? 7. Was there a satisfactory statement of criteria for outcome measures? Was a primary outcome measure identified? 8. Were the outcome measures appropriate? 9. Was a pre-study calculation of required sample size reported? 10. Was the duration of post-treatment follow-up stated? 11. Were the treatment and control groups comparable in relevant measures? 12. Were a high proportion of the subjects followed up? 13. Were the drop-outs described by treatment and control groups? 14. Were the side-effects of treatment reported? 15. How were the ethical issues dealt with? 16. Was there a statement adequately describing or referencing all statistical procedures used? 17. What tests were used to compare the outcome in test and control patients? 18. Were 95% confidence intervals given for the main results? 19. Were any additional analyses done to see whether baseline characteristics (prognostic factors) influenced the outcomes observed? 20. Were the conclusions drawn from the statistical analyses justified ?

Slide5 Clinical  Question   Clinical  Question   In  people  who  take  long-haul  flights  does wearing  graduated  compression  stockings prevent  DVT?   In  people  who  take  long-haul  flights  does wearing  graduated  compression  stockings prevent  DVT?

Slide6Causes of an “Effect” in a controlled trial• Who  would  consider  wearing  stockings  on  a long  haul  flight? • Who  would  consider  wearing  stockings  on  a long  haul  flight?

Slide7Participants I ntervention Group (IG) &  C omparison Group (CG) O utcome QUESTION: QUESTION: VALIDITY VALIDITY

Slide8Participants I ntervention Group (IG) &  C omparison Group (CG) O utcome I G I G C G C G + + - - + + - - D D C C B B A A VALIDITY VALIDITY QUESTION: QUESTION:

Slide9Participants P articipants I ntervention  Group  (IG) &  C omparison  Group (CG) I ntervention  Group  (IG) &  C omparison  Group (CG) O utcome O utcome I G I G C G C G + + - - + + - - D D C C B B A A R ecruitment R ecruitment QUESTION: QUESTION: VALIDITY VALIDITY

Slide10Participants P articipants I ntervention  Group  (IG) &  C omparison  Group (CG) I ntervention  Group  (IG) &  C omparison  Group (CG) O utcome O utcome I G I G C G C G + + - - + + - - D D C C B B A A R ecruitment R ecruitment VALIDITY VALIDITY QUESTION: QUESTION: A llocation A llocation • concealment • concealment • comparable  groups • comparable  groups

Slide11Participants P articipants I ntervention  Group  (IG) &  C omparison  Group (CG) I ntervention  Group  (IG) &  C omparison  Group (CG) O utcome O utcome I G I G C G C G + + - - + + - - D D C C B B A A R ecruitment VALIDITY VALIDITY • treated equally • compliant M aintenance QUESTION: QUESTION: A llocation • concealment • comparable groups

Slide12Participants I ntervention Group (IG) &  C omparison Group (CG) O utcome I G C G + + - - + + - - D C B A R ecruitment M aintenance • Treated equally • compliant ? M easurements b lind? OR o bjective ? : QUESTION : A llocation concealment comparable groups VALIDITY

Slide13Appraisal checklist -Study biases 1. Recruitment • Who did the subjects represent? 2. Allocation • Was the assignment to treatments randomised? • Were the groups similar at the trial’s start? 3. Maintenance • Were the groups treated equally? • Were outcomes ascertained & analysed for most patients? 4. Measurements • Were patients and clinicians “blinded” to treatment? OR • Were measurements objective & standardised? Study statistics (p-values & confidence intervals) Guyatt. JAMA, 1993 Page-95

Slide14Page 37Scurr et al, Lancet 2001; 357:1485-89   How were the patients recruited?

Slide15Scurr et al, Lancet 2001; 357:1485-89Randomization Volunteers were randomized by sealed envelope to one of two groups. Envelopes Passengers were randomly allocated to one of   two groups: one group wore class-I below-knee graduated   elastic compression stockings, the other group did not .

Slide16•Take out the envelopes • Sign the back

Slide17•You have now consented to the trial • Please open your envelopes now

Slide18AA B B Argued  with  your boss Argued  with  your boss Been  to  US Been  to  US

Slide19Ensuring Allocation ConcealmentBEST – most valid technique    Central computer randomization DOUBTFUL    Envelopes, etc. NOT RANDOMIZED    Date of birth, alternate days, etc.

Slide20Were the groups similar at the trial’s start?By chance a greater proportion of women were included in the stocking group

Slide21Appraisal checklist  -  RAMMbo Appraisal  checklist  -  RAMMbo Study biases 1. R ecruitment • Who did the subjects represent? 2. Allocation • Was the assignment to treatments randomised? • Were the groups similar at the trial’s start? 3. Maintenance • Were outcomes ascertained & analysed for most patients? • Were the groups treated equally? 4. M easurements • Were patients and clinicians “ b linded” to treatment? OR • Were measurements  o bjective & standardised? Study statistics (p-values & confidence intervals) Guyatt. JAMA, 1993

Slide22Effects of non-equal treatment• Apart  from  actual  intervention  -  groups  should receive  identical  care! • Apart  from  actual  intervention  -  groups  should receive  identical  care! • Trial of Vitamin E in pre-term infants (1949) •  Vit E "prevented" retrolental fibroplasia Rx:  Give  placebo  in  an  identical  regime,  and  a  standard  protocol Rx:  Give  placebo  in  an  identical  regime,  and  a  standard  protocol

Slide23Equal treatment in DVT study?Bottom page 96 (1487) Table 3:  All drugs taken by volunteers who attended for examination before and after air travel*

Slide24Follow-up in DVT study?• 200 of 231  analyzed     (87%) • 27 were unable to attend for subsequent ultrasound • 2 were excluded from analysis because they were upgraded to business class • 2 were excluded from analysis because they were taking anticoagulants Scurr et al, Lancet 2001; 357:1485-89

Slide25How many  is  too  many? Losses-to-follow-up How  many  is  too  many? “5-and-20 rule of thumb” • 5% probably leads to little bias • >20% poses serious threats to validity Depends on outcome event rate and comparative loss rates in the groups Loss to follow-up rate should not exceed outcome event rate and should not be differential

Slide26How important  are  the  losses? How  important  are  the  losses? • Equally distributed? • Stocking group:  6 men, 9 women - 15 • No stocking group:  7 men, 9 women - 16 • Similar characteristics? • No information provided

Slide27Intention-to-Treat Principle Intention-to-Treat  Principle Maintaining the randomization Principle: Once a patient is randomized, s/he should be analyzed in the group randomized to - even if they discontinue, never receive treatment, or crossover . Exception:   If patient is found on BLIND reassessment to be ineligible based on pre-randomization criteria.

Slide28Appraisal checklist Appraisal  checklist Study  biases Study  biases 1. R ecruitment • Who did the subjects represent? 2. A llocation • Was the assignment to treatments randomised? • Were the groups similar at the trial’s start? 3. Maintenance • Were outcomes ascertained & analysed for most patients? • Were the groups treated equally? 4. Measurements • Were patients and clinicians “blinded” to treatment? OR • Were measurements objective & standardised? Study statistics (p-values & confidence intervals) Guyatt. JAMA, 1993

Slide29Measures in  DVT  study? Measures  in  DVT  study? • Blood was taken from all participants before travel • All participants had US once before travel (30 had US twice) • All participants were seen within 48 hr of return flight, were interviewed and completed a questionnaire, had repeat US Scurr et al, Lancet 2001; 357:1485-89

Slide30Measurement Bias -minimizing differential error • Blinding – Who? • Participants? • Investigators? • Outcome assessors? • Analysts? • Most important to use "blinded" outcome assessors when outcome is  not objective! • Papers should report  WHO  was blinded and  HOW   it was done Schulz and Grimes. Lancet, 2002

Slide31EvaluationMost passengers removed their stockings on completion of their journey. The nurse removed the stockings of those passengers who had continued to wear them. A further duplex examination was then undertaken with the technician unaware of the group to which the volunteer had been randomized.

Slide32Appraisal checklistStudy biases 1. R ecruitment • Who did the subjects represent? 2. A llocation • Was the assignment to treatments randomised? • Were the groups similar at the trial’s start? 3. Maintenance • Were the groups treated equally? • Were outcomes ascertained & analysed for most patients? 4. M easurements • Were patients and clinicians “ b linded” to treatment? OR • Were measurements  o bjective & standardised? 5. Placebo Effect 6. Chance 7. Real Effect Study statistics (p-values & confidence intervals) Guyatt. JAMA, 1993

Slide33Placebo effectTrial in patients with chronic severe itching Cyproheptadine         HCL Trimeprazine      tartrate No treatment Treatment vs no treatment for itching

Slide34Placebo effectTrial in patients with chronic severe itching Cyproheptadine         HCL Trimeprazine      tartrate Placebo No treatment Treatment vs no treatment vs placebo for itching Placebo effect - attributable to the expectation that the treatment will have an effect

Slide35Appraisal checklist Appraisal  checklist Study biases 1. R ecruitment • Who did the subjects represent? 2. A llocation • Was the assignment to treatments randomised? • Were the groups similar at the trial’s start? 3. Maintenance • Were the groups treated equally? • Were outcomes ascertained & analysed for most patients? 4. M easurements • Were patients and clinicians “ b linded” to treatment? OR • Were measurements  o bjective & standardised? 5. Placebo Effect 6. Chance 7. Real Effect Study statistics (p-values & confidence intervals) Guyatt. JAMA, 1993

Slide36Two methods  of  assessing  the  role  of  chance Two  methods  of  assessing  the  role  of  chance • P-values  (Hypothesis Testing) • use statistical test to examine the ‘null’ hypothesis “p  values” statistically  significant • associated with  “p  values”  - if p<0.05 then result is statistically  significant • Confidence Intervals  (Estimation) • estimates the range of values that is likely to include the true value

Slide37P-values (Hypothesis  Testing)  -  in  DVT  study P-values  (Hypothesis  Testing)  -  in  DVT  study • Incidence  of  DVT • Incidence  of  DVT • Stocking group - 0 • No Stocking group - 0.12 (P=0.001) Risk difference  = 0.12 - 0 = 0.12  (P=0.001) The probability that this result would only occur by chance is      statistically  significant 1 in 1000      statistically  significant

Slide38Confidence Intervals  (Estimation) Confidence  Intervals  (Estimation) • Incidence of DVT • Stocking group = 0 • No Stocking group = 0.12 Risk difference  = (0.12 – 0) = 0.12  (95% CI, 0.058 - 0.20) The true value could be as low as 0.058 or as high as 0.20 -  but is probably closer to 0.12 Since the CI does not include the  ‘no effect’   value of ‘0’    the result is  statistically significant

Slide39Appraisal checklist Appraisal  checklist Guyatt. JAMA, 1993 Study biases 1. R ecruitment • Who did the subjects represent? 2. A llocation • Was the assignment to treatments randomised? • Were the groups similar at the trial’s start? 3. Maintenance • Were the groups treated equally? • Were outcomes ascertained & analysed for most patients? 4. M easurements • Were patients and clinicians “ b linded” to treatment? OR • Were measurements  o bjective & standardised? 5. Placebo Effect 6. Chance 7. Real Effect Study statistics (p-values & confidence intervals)

Slide40Causes of an “Effect” in a controlled trial• Who  would  now  consider  wearing  stockings on  a  long  haul  flight? • Who  would  now  consider  wearing  stockings on  a  long  haul  flight?

Slide41m clarke, s hopewell, e juszczak, a eisinga, m kjeldstrømCompression stockings for preventing deep vein thrombosis in airline passengers Cochrane Database of Systematic Reviews  2006 Issue 4 • 10 RCTs (n = 2856) • Seven included low or medium risk (n = 1548) and two included high risk participants (n = 1273). • All flights > seven hours. • Fifty of 2,637 participants in the trials of wearing stockings on both legs had a symptomless DVT; three wore stockings, 47 did not       ( OR 0.10, 95% CI 0.04 to 0.25, P < 0.00001 ). • No deaths, pulmonary emboli or symptomatic DVTs were reported. • Wearing stockings had a significant impact in reducing oedema (based on six trials). • No significant adverse effects were reported.

Slide42m clarke, s hopewell, e juszczak, a eisinga, m kjeldstrømCompression stockings for preventing deep vein thrombosis in airline passengers Cochrane Database of Systematic Reviews  2006 Issue 4

Slide43Thank you Thank  you Group  work Group  work

Slide44www.cebm.net

Slide45www.cebm.ox.ac.ukWhere to from here? What is the one thing you will do?

Slide46www.cebm.nethttp://cebmlearning.org/

Slide47www.cebm.ox.ac.ukwww.cebm.ox.ac.uk

Slide48www.cebm.ox.ac.uk