Donald T SimeonCaribbean Health Research Council

Slide1Donald T. SimeonCaribbean Health Research Council

Slide2Monitoring is the routine process of collecting data to measure progress toward program objectives  Monitoring involves routinely looking at the way we implement programs, conduct services etc.  Examines efficiency

Slide3Evaluation is the use of research methods to systematically investigate a program’s effectiveness  Evaluation involves measurements over time  Need for baseline  Sometimes requires a control or comparison group  Evaluation involves special research studies

Slide4To ensure that programs are being implemented as designed (fidelity of programme implementation)  To ensure the delivery of quality services (continuous quality control - CQI)  To ensure that the programmes are making a difference (outcomes)  To ensure that programmes and funds are used appropriately and efficiently (accountability)

Slide5Are projects and components of projects (i.e., specific activities) being conducted as planned and on schedule?  Done primarily through programme  monitoring  Examine the implementation of activities relative to a planned schedule  Programme  monitoring  ensures that programs are administered and services are delivered in the way they were designed

Slide6Use information to modify/improve the configuration and implementation of programmes  What was learned from implementing the programme that can be improved upon?  What went wrong and how can it be corrected next time?  What worked especially well and how can those lessons be incorporated into future activities?  Did the intervention work? Were the outcomes as expected?

Slide7Are the projects/interventions having the desired effect on the target populations?  For example, are health care providers using clinical guidelines as recommended?  Done primarily through programme  evaluation  Determine whether programme/project made a difference (e.g., does the use of guidelines result in decreased rates of complications in diabetic patients)

Slide8Usually examined through studies designed to collect data on logical outcomes from the project/intervention (e.g., periodic surveys of target groups)  Did the programs have the expected/desired outcomes? If no, why? Was it a function of implementation challenges or poor project design or a study design that failed to capture outcomes?  What are the implications for future interventions? Should they be the same or can they be improved in some way?

Slide9Taxpayers, donor agencies and lenders need to know:  funds were used as intended  programmes made a difference  Evaluation findings document achievements as well as what remains to be done  Findings can be used to demonstrate unmet needs and facilitate requests for additional funds.

Slide10funding should be proportional to programme resources  ideally about 7% of the program budget  needed at all levels  most useful if performed in a logical sequence   first assessing input/process/output data ( monitoring/process evaluation ),  then examining behavioural or immediate  outcomes  and finally assessing disease and social level  impacts .  minimize data collection burden and maximize limited resources  activities should be well coordinated  utilize ongoing data collection and analysis as much as possible

Slide11To increase the utilization of evaluation results, M&E design planning, analysis, and reporting should actively involve key stakeholders  programme managers, policy makers, community members, and programme participants  M&E indicators should be comprehensive  should also measure population-based biological, behavioural, and social data to determine "collective effectiveness"

Slide13Specific measures that reflect a larger set of circumstances  Greater emphasis on transparency globally, people want instant summary information, instant feedback  Indicators respond to this need

Slide14only  indicate  – will never capture the richness and complexity of a system Designed to give ‘slices’ of reality  encourage  explicitness : they force us to be clear and explicit  usually  rely on numbers & numerical techniques (rates, ratios, comparisons)  have specific measurement protocols which must be respected

Slide15Primary Data Sources: Quantitative program data e.g. from coverage of services  Surveys: demographic health surveys, epidemiological, behavioral and other studies  Research and impact evaluations.  Qualitative data from program staff, key informants and direct observation Secondary Data Sources:  National response documentation, expenditures reports and program review reports.  Surveillance reports  Routine statistics e.g. mortality, hospital admissions   SOURCES OF DATA

Slide16Program goals and objectives may be vague or overly broad, making indicator selection difficult  Indicators should be clearly related to program goals and objectives  Program objectives may have multiple indicators  Indicators are used at all levels of the programme implementation process  Process indicators  Outcome indicators  Impact indicators

Slide17Impact Indicators are used for national and global reporting e.g. mortality rates  Outcomes Program indicators are used for reporting to national authorities and donors. Changes at end of intervention/program period e.g. rate of HBP control among targeted patients, hospital admissions et.  Outputs Selected  Interventions Indicators  (such as approval of a policy, health care professionals trained) are used for programmatic decision making  Inputs R esource allocation indicators may be included   F inancial, human, material, and technical resources

Slide18How can the main focus of the objective best be measured?  What practical constraints are there to measuring the indicator?  Are there alternative or complementary measures that should be considered?  What resources (human and financial) does the indicator require?  Do standard (validated, internationally recognized) indicators exist?  How will the results not captured by the selected indicator be measured? ( Indicators are imperfect)

Slide19Indicators should be expressed in terms of:  Quantity  Quality  Population  Time  For example, an indicator written for the program objective of “I mproving glycemic control in diabetic patients ” might specify:  “Increase from 30% to 50% ( quantity ) of gylcaemic control rates ( quality ) among diabetic patients ( population ) by October 2009 ( time ).”

Slide20# care providers trained to use clinical guidelines in the past year  % patients with controlled diabetes in health centres  %  A&E admissions for diabetes related complications

Slide21Simple, clear and understandable    Valid  –  does it measure what it is intended to measure  Specific   –  Should measure only the conditions or event           under observation and nothing else  Reliable   –  should produce the same result when used more than once to measure the same event

Slide22Relevant  –  related to your work  Sensitive  –  will it measure changes over time  Operational  – should be measurable or     quantifiable using definitions and standards  Affordable  –  should impose reasonable measurement    costs  Feasible  –  should be able to be carried out using the existing data collection system

Slide23To ensure that programs are being implemented as designed and funds are used appropriately and efficiently  To ensure that the programmes are making a difference  The selection of appropriate indicators (relative to program objectives) is critical to the success