Workshop on Evidence Based Practice with Dr. Carl Heneghan of University of Oxford

Slide1www.cebm.net1-day workshop on Evidence-Based Practice November 26 th  2010 Dr Carl Heneghan Clinical Reader, University of Oxford Director CEBM

Slide2 www.cebm.netDeveloping Evidence-Based Practice? Carl Heneghan  MA, MRCGP Centre for Evidence Based Medicine University of Oxford

Slide3 www.cebm.netStart    Topic 9:15 Plenary : What is Evidence-based practice      (Carl Heneghan) 10:00 Group Tutorial : Asking well-formulated questions 10:55 Morning Tea 11:15 Plenary : Finding the best evidence (searching basics) -  Nia Roberts 11:30 Lab Tutorial : Cochrane and PubMed Searching (hands-on ) 1.00       Lunch 1:45 Plenary : Rapid Critical Appraisal of intervention studies (Carl Heneghan) 2:30 Small Group Tutorial : Followed by group work critical Appraisal of intervention studies (Ami Banerjee and Carl Heneghan ) 3:30    Afternoon Tea 3:45 Small Group Tutorial : Critical Appraisal of intervention studies (Ami Banerjee and Carl Heneghan ) 4:30 Where to from here? / Evaluation / Close One-Day EBP Workshop Program

Slide4 www.cebm.net

Slide5 www.cebm.netI  am  here  because? I  am  here  because? • I  wanted  3  days  of  work • I  wanted  3  days  of  work • Formulate  an  answerable  questions • Formulate  an  answerable  questions

Slide6 www.cebm.netThe aim of today 1. To understand what is EBP 2. To recognize questions 3. To develop focussed clinical questions 4. To find answers to your clinical questions 5. To assess the validity of an RCT 6. To assess the benefits and harms

Slide7 www.cebm.netWhat is Evidence-Based Medicine? “ Evidence-based medicine is the  integration  of best research evidence with clinical expertise   and patient values”

Slide8 www.cebm.net“Just  in  Time”  learning The  EBM  Alternative  Approach “Just  in  Time”  learning The  EBM  Alternative  Approach • Shift focus to current patient problems (“just in time” education) • Relevant  to YOUR practice • Memorable • Up to date • Learn to obtain best current answers Dave Sackett

Slide9 www.cebm.net

Slide10 www.cebm.net

Slide11 www.cebm.netWould any of you have agreed to participate in a placebo controlled trial of prophylactic antibiotics for colorectal surgery after 1975?

Slide12 www.cebm.netReduction of perioperative deaths by antibiotic prophylaxis for colorectal surgery

Slide13 www.cebm.netWould you ever have put babies to sleep on their tummies?

Slide14 www.cebm.net

Slide15 www.cebm.net

Slide16 www.cebm.net

Slide17 www.cebm.net

Slide18 www.cebm.netThe 5 steps of EBM 1. Formulate an answerable question 2. Track down the best evidence 3. Critically appraise the evidence for validity, clinical relevance and applicability 4. Individualize, based clinical expertise and patient concerns 5. Evaluate your own performance

Slide19 www.cebm.netGetting Evidence in to Practice How do  you  “do” EBP? • What Evidence based practice do you do/help with? • What other EBP do you know of?

Slide20 www.cebm.netJASPA* (Journal associated score of personal angst) J:  Are you ambivalent about renewing your  JOURNAL   s ubscriptions? A:   Do you feel  ANGER  towards prolific authors? S:   Do you ever use journals to help  you  SLEEP ? P:   Are you surrounded by  PILES of PERIODICALS ? A:   Do you feel  ANXIOUS   when journals arrive? YOUR SCORE? (0 TO 5) *  Modified from: BMJ 1995;311:1666-1668 0 (?liar) 1-3 (normal range) >3 (sick; at risk for polythenia gravis and related conditions)

Slide21 www.cebm.netMedian minutes/week spent reading about my patients: Self-reports at 17 Grand Rounds: • Medical Students:    90 minutes • House Officers (PGY1): 0    (up to 70%=none) • SHOs (PGY2-4): 20  (up to 15%=none) • Registrars: 45  (up to 40%=none) • Sr. Registrars  30  (up to 15%=none) • Consultants: • Grad. Post 1975: 45  (up to 30%=none) • Grad. Pre   1975: 30  (up to 40%=none)

Slide22 www.cebm.netSize of Medical Knowledge • NLM MetaThesaurus • 875,255 concepts • 2.14 million concept names • Diagnosis Pro • 11,000 diseases • 30,000 abnormalities (symptoms, signs, lab, X-ray,) • 3,200 drugs (cf FDAs 18,283 products) 1 disease per day for 30 years To cover the vast field of medicine in four years is an impossible task.   - William Olser

Slide23 www.cebm.netHow many randomized trials are published each year

Slide24 www.cebm.netChanges in the past 12 months A Survey of 43 EBM practitioners at 2009 EBM  practice workshop  

Slide25 www.cebm.netMost “interesting” research is wrong, but clinicians not skilled in appraisal • Flawed studies • Hormone Replacement Therapy • Beta-carotene and cancer • MMR and autism • Folate and CHD • Data mining • Genes for anything • Small early studies Ioannidis J. Why Most Published Research Findings Are False. PLoS 2005

Slide26 www.cebm.netBut we are (currently) poorly equipped to tell good from bad research • BMJ study of 607 reviewers • 14 deliberate errors inserted • Detection rates • On average <3 of 9 major errors detected • Poor Randomisation (by name or day) - 47% • Not intention-to-treat analysis - 22% • Poor response rate - 41% Schroter S et al, accepted for Clinical Trials

Slide27 www.cebm.netHow do you currently keep up to date? • What resources do you use • What educational activities do you take part in

Slide28 www.cebm.netManaging Information “Push” and “Pull”   methods • “ Push ” - alerts us to new information • “Just in Case” learning • Use ONLY for important, new, valid research • “ Pull ” – access information when needed • “Just in Time” learning • Use whenever questions arise • EBM Steps: Question; search; appraise; apply

Slide29 www.cebm.net“Just in Time” learning: Intern’s information needs • Setting :  64 residents   at 2 New Haven hospitals • Method :  Interviewed after 401 consultations • Questions • Asked 280 questions  (2 per 3 patients) • Pursued an answer for   80 questions  (29%) • Not pursued because • Lack of time • Forgot the question • Sources of answers • Textbooks (31%), articles (21%), consultants (17%) Green,  Am J Med 2000

Slide30 www.cebm.net

Slide31 www.cebm.netKeeping up to Date by “Just in Time” Education • Shift focus to  your  current problems • Relevant  to YOUR practice • More m emorable  (and practice changed) • Up to date • But Four Barriers • Admitting we don’t know • Skills in obtaining current best evidence • Evidence Resources at the point of care • Time

Slide32 www.cebm.netCoping with the overload: things you might consider

Slide33 www.cebm.netYour Clinical Questions • Write down one recent patient problem • What was the critical question? • Did you answer it? If so, how?

Slide34 www.cebm.netEnter in to search box A recent patient of mine in practice

Slide35 www.cebm.netEnter in to search box

Slide36 www.cebm.net

Slide37 www.cebm.netThe Barriers to EBP • Attitude of question & inquiry • Know-how in finding, appraising, and applying evidence • Information Resources on tap • Lack of Time

Slide38 www.cebm.netConclusions 1. The information problem is bad and getting worse 2. All health care workers should be equipped to deal with the information problem 3. The mission is difficult but not impossible!

Slide39 www.cebm.netTake a break for two minutes

Slide40 www.cebm.net:  Asking well-formulated questions Page 21 in your books

Slide41 www.cebm.netAngela  is a new patient who recently moved to the area to be closer to her son and his family She is 69 years old and has a history of congestive heart failure brought on by a recent myocardial infarctions. She has been hospitalized twice within the last 6 months for worsening of heart failure and has a venous leg ulcer. At the present time she reports she is extremely diligent about taking her medications (lisinopril and aspirin) and wants desperately to stay out of the hospital. She is mobile and lives alone with several cats but reprots sometimes she forgets certain things. She also tells you she is a bit hard of hearing, has a slight cough, is an ex- smoker  of 20 cigs a day for 40 years. Her BP today is 170/90, her ankles are slightly swollen and her ulcer is painful and her pulse is 80 and slightly irregular . What are your questions?

Slide42 www.cebm.net‘Background’ Questions • About the disorder, test, treatment, etc. 2 components: a. Root*   + Verb :    “What causes …” b. Condition:        “… SARS?” • * Who, What, Where, When, Why, How

Slide43 www.cebm.net‘Foreground’ Questions • About patient care decisions and actions 4 (or 3) components: a.  P atient, problem, or population b.  I ntervention, exposure, or maneuver c.  C omparison (if relevant) d. Clinical  O utcomes (including time horizon)

Slide44 www.cebm.netBackground & Foreground

Slide45 www.cebm.netPatient or Problem Intervention Comparison intervention Outcomes Tips for Building Describe a group of patients similar to your own What intervention are you considering What is the main alternative to the intervention What do you hope to accomplish with the intervention Example “In elderly patients with congestive heart failure … …does treatment with spirinolactone… …when compared with standard therapy alone… …lead to a decrease in hospitalization  ”

Slide46 www.cebm.netExample 1 page 26 Jean is a 55 year old woman who quite often crosses the Atlantic to visit her elderly mother. She tends to get swollen legs on these flights and is worried about her risk of developing deep vein thrombosis (DVT), because she has read quite a bit about this in the newspapers lately. She asks you if she would wear elastic stockings on her next trip to reduce her risk of this. P I C O

Slide47 www.cebm.netExample 2, page 26 Jeff, a smoker of more than 30 years, has come to see you about something unrelated . You ask him if he is interested in stopping smoking. He tells you he has tried to quit smoking unsuccessfully in the past. A friend if his , however, successfully quit with acupuncture. Should he try it? Other interventions you know about are nicotine replacement  therapy and antidepressants P I C O

Slide48 www.cebm.netExample 3 page 27 At a routine immunisation visit, Lisa, the mother of a six-month-old tells you that her baby suffered a nasty local reaction after her previous immunisation. Lisa is very concerned that the same thing may happen again this time. Recently, a colleague told you that needle length can affect local reactions to immunisation in young children but you can’t remember the precise details P I C O

Slide49 www.cebm.netExample 2, page 28 Susan is expecting her first baby in two months. She has been reading about the potential benefits and harms of giving newborn babies vitamin K injections. She is alarmed by reports that vitamin K injections in newborn babies may cause childhood leukaemia. She asks you if this is true and, if so, what the risk for her baby will be. P I C O Aetiology and risk factors

Slide50 www.cebm.netExample 1, page 29 Julie is pregnant for the second time. She had her first baby when she was 33 and had amniocentesis to find out if the baby had Down Syndrome. The test was negative  but it was not a good experience, because she did not get the result until she was 18 weeks pregnant. She is now 35 and 1 month pregnant, and asks if she can have a test that would give her an earlier result. The local hospital offers serum biochemistry plus nuchal translucency ultrasound screening as a first trimester test for Down syndrome. You winder if this combination of tests is as reliable as a conventional amniocentesis P I C O Diagnosis

Slide51 www.cebm.netExample 2, page 32 Mr Thomas, who is 58 years old, has correctly diagnosed his inguinal lump as a hernia. He visits you for confirmation of his diagnosis and information about the consequences. You mention the possibility of strangulation, and the man asks ‘How likely is that?’ You reply ‘pretty unlikely’ (which is as much as you know at the time) but say that you will try to find out more precisely. P I C O Prognosis

Slide52 www.cebm.netYour Clinical Questions • Write down one recent patient problem • What is the PICO of the problem?

Slide53 www.cebm.netQuestions • Recognize:   your  questions • Select:   which questions to pursue • Guide:   how to ask and answer • Assess:   how well & what to improve

Slide54 www.cebm.netWhat Pushes Us … ? Toward • curiosity • Prove colleagues wrong • Keeps coming up • Risk of patient harm • Want to do better • Anxiety • Avoid litigation • Internet informed patient Away Time We already know the answer Fatigue Access Inferiority complex-anxiety-afraid of admitting knowledge gaps Cynical Laziness Lack of support Previous failure at searching Lack of resources Noone else does it Fear of change

Slide55 www.cebm.netThe  Real  ‘Three R’s’ of Learning • R esilient • R eflective • R esourceful

Slide56 www.cebm.netFAQ: How Long … ? • Proficient?  Quickly • Mastery?    Lifetime • Human expertise takes >10,000 hours, >10 years → Deliberate practice

Slide57 www.cebm.netAny questions ?