La evaluaci .


24 views
Uploaded on:
Category: General / Misc
Description
La evaluación de programas y la eficacia del desarrollo. Carolyn J. Heinrich Universidad de Wisconsin-Madison Tercera Reunión de la Red de Monitoreo de Políticas Sociales Buenos Aires, 22-23 de noviembre de 2004. Demanda creciente para la evaluación de rendimiento y de programas.
Transcripts
Slide 1

La evaluación de programas y la eficacia del desarrollo Carolyn J. Heinrich Universidad de Wisconsin-Madison Tercera Reunión de la Red de Monitoreo de Políticas Sociales Buenos Aires, 22-23 de noviembre de 2004

Slide 2

Demanda creciente para la evaluación de rendimiento y de programas "Si existe un solo tema que characterize el part público en la década de los 90, fue la demanda por rendimiento. Surgió un mantra en esa década, que repercutía a todos los niveles de gobierno, el cual hacía llamamientos a la evaluación del rendimiento y las consecuencias específicas de las acciones de los gobiernos." Beryl Radin, Beyond Machiavelli: Policy Analysis Comes of Age [Más allá de Maquiavelo: el análisis de políticas llega a su plena madurez] (2000)

Slide 3

Gestión del rendimiento frente a la evaluación de impactos Gestión de rendimiento — su propósito vital es la responsabilidad por resultados o rendición de cuentas bet los órganos legislativos, los contribuyentes y los demás interesados en los programas. Evaluación de impactos — su objetivo central es la generación de conocimientos: para poder entender y perfeccionar los impactos de los programas y acertar su orientación.

Slide 4

Gestión del rendimiento Enfoque de más corto alcance Análisis de consecuencias Permanente, requiriendo datos fácilmente accesibles, recabados con regularidad Planes anuales e informes anuales del rendimiento de los programas Rendición de cuentas dentro de la misma organización, incentivos y sanciones vinculadas al rendimiento Evaluación de impactos Enfoque de más largo alcance Análisis de impactos (valor agregado) Recopilación y análisis de datos, periódica y más intensivamente Cálculo preciso de los impactos de los programas y de su distribución Contribuir información para: el diseño de políticas y programas, la destinación de beneficios y la toma de decisión sobre la asignación de fondos Gestión del rendimiento en frente a la evaluación de impactos: en la práctica

Slide 5

Tipos de criterios de medición utilizados en la evaluación Insumos (recursos físicos y financieros, individual, and so on.) Resultados (bienes y servicios producidos) Proceso (monitoreo de implementación, uso de insumos en la producción de resultados) Eficiencia (productividad, costos por unidad) Consecuencias (metas intermedias, fácilmente observadas) Ej., número de estudiantes que reciben su grado (completar el tercer ciclo de la Educación General Básica) Impactos (logros netos, valor agregado) Ej., aumento en niveles de conocimientos, capital humano debido a la participación en el programa

Slide 6

Vínculo entre la gestión de rendimiento y la evaluación de programas Desafío : Identificar criterios de medición de rendimiento accesibles e informativos y métodos de análisis, los cuáles estiman precisamente los impactos (valor-agregado) y refuerzan el progreso hacia las metas del programa de largo alcance

Slide 7

Vínculo entre la gestión de rendimiento y la evaluación de programas Problemas : Evidencia de algunas evaluaciones experimentales de impactos manifiesta conexiones débiles entre los criterios de las consecuencias de corto alcance y los impactos de alcance leader EL Estudio Nacional de JTPA, el Estudio de "Pick up" (siglas del inglés para "Vías Mayores hacia la Independencia), la evaluación exploratory del impacto de "Work Corp" (programa de trabajo social voluntario y capacitación) Evidencia creciente de conducta de "jugador"

Slide 8

Ejemplo: Jugada de exámenes de rendimiento estudiantil (estudio de Koretz de métodos de exámenes comparativos por un plazo de 4 años)

Slide 9

Evaluación aleatoria test A los individuos se les asigna tratamiento o servicio al azar; ej., rifa o proceso aleatorio Asignación aleatoria a grupos experimentales (tratamiento) y a grupos de control establece "equivalencia estadística" entre individuos del grupo de tratamiento y del grupo de control Suposición: No feed diferencias entre las características promedias (observadas o desapercibidas) entre los grupos de tratamiento y de control Cualquier diferencia de resultados entre grupos de tratamiento y de control se assume se debe al tratamiento

Slide 10

Estimación del impacto promedio en experimentos aleatorios Con asignación aleatoria, la diferencia pos-programa observada entre los grupos de tratamiento y de control.

Slide 11

Limitaciones de los experimentos aleatorios Preocupaciones éticas sobre interferir con los procesos del programa o negar acceso a los servicios Conocimiento producido es un estimado de impacto promedio Se requieren diseños más complejos (o componentes no experimentales) para estimar la distribución de impactos Los costos de la implementación y colección de datos child más elevados Algunos experimentos dependen mucho de condiciones y contexto areas La propiedad de equivalencia estadística de las muestra pequeñas puede no reproducirse.

Slide 12

Evaluación no trial (cuasi experimentos) Los individuos no reciben tratamiento mediante un proceso aleatorio La condición no basada en los datos no se observa Es absolutamente necesario entender y modelar los procesos usados para asignar el tratamiento Auto-selección (Ej., se aplica la decisión del individuo) Selección por el Administrador (Ej., individuos reciben tratamiento basado en criterios específicos) Combinación de la auto-selección y la del Administrador Postular una relación causal y evaluar explicaciones alternativas razonables que puedan negar la afirmación

Slide 13

Evaluación no exploratory Desafíos al diseño Individuos quienes participan probablemente child diferentes en formas sistémicas de individuos quienes no participan Miembros de grupos de comparación deben tener calificaciones e intereses similares en participar en el programa y/o deben representar el mismo mercado laboral nearby Los efectos de participar en el programa entre los individuos pueden ser diferentes (heterogeneidad en los efectos de tratamiento) La presencia de heterogeneidad en los efectos puede afectar la respuesta de los individuos risk la oferta de tratamiento

Slide 14

Estimación del impacto no trial Si no se hacen correciones, las deferencias selectiv as entre miembros de grupos de tratamiento y de comparación inducirán sesgos en las estimaciones de impacto de programas.

Slide 15

Diseños alternativos no experimentales Evaluación ex bet de métodos: Estimar el impacto likely conforme a las suposiciones alternativas de conducta Uso de un suceso o consider exógeno que influye en la participación en el programa en la ausencia de asignación aleatoria (ej., cuotas) Ejemplos: Evaluaciones de la Bolsa Escuela o de Becas Estudiantiles

Slide 16

Diseños alternativos no experimentales Estimación de factors instrumentales Utiliza una variable sin correlación al término de mistake (características no observadas o factors omitidas), la cual, sin ban, pronostica la participación en el programa (para ajustar por el sesgo en la selección de la estimación de impacto Ejemplos: distancia al colegio/escuela más cerca para estimar impactos de programas de selección de escuelas

Slide 17

Diseños alternativos no experimentales (continuación) Metodología de datos en paneles utiliza datos recabados de los individuos en distintos tiempos Modelos de efectos fijos : controlar por características estables de individuos (observadas y no observadas) Modelos de primera diferencia y diferencia entre diferencias : controlar por todas las características estables, medidas y no medidas, y por características cambiantes medidas Hacer observaciones repetidas (cuando menos en dos puntos por todos los individuos o unidades de análisis) Modelos de primera diferencia se ajustan por características estables que afectan el nivel de la sección trasversal de la variable dependiente Modelos de diferencia entre diferencias se ajustan por características estables que afectan la variable dependiente a través del tiempo

Slide 18

Estimador de primera diferencia y diferencia entre diferencias Un modelo de primera diferencia no se ajustará por características que afectan cambios en la variable dependiente a través del tiempo; se requiere un estimador de diferencia entre diferencias , (Y T2 - Y T1 )- (Y T-1 - Y T0 ) – (Y C2 - Y C1 )- (Y C-1 - Y C0 ).

Slide 19

Evaluación no trial Requisitos de los datos Es mejor tener más periodos de datos: datos de periodos risks, durante y después del programa Medidas deben ser congruentes en el transcurso del tiempo Datos detallados para evaluar calificaciones de participación y descripción de participación en el programa y de efectos heterogéneos del programa Integrar mecanismos de colección de datos en el programa, stakes de su implementación Calar datos independientes de sección trasversal obtenidos de encuestas nacionales (muestras aleatorias de individuos en distintos puntos de tiempo) si no feed datos en paneles disponibles.

Slide 20

La evaluación de necesidades en relación a los datos y determinación de criterios idóneos de medición Determinar qué es que se quiere medir o explicar Describir la relación causal plausible entre el programa o intervención y el fenómeno de interés (ej., consecuencia o impacto) Identificar fuentes existentes de datos para poder crear criterios de medición (definiciones operativas) Ej., Muestras de encuestas nacionales (ej., encuestas del censo nacional y otras de familias), fuentes administrativas de datos Diseñar instrumentos para la colección de datos no disponibles de fuentes existentes Determinar término de colección de datos para cada criterio de medición (ej., sección trasversal, secciones trasversales repetidas, datos longitudinales) .:tslidese

Recommended
View more...