curso de introducción a las evaluaciones de impacto ... · ¡bienvenidos! en j-pal trabajamos para...

!

!Curso de Introducción a las

Evaluaciones de Impacto

Experimentales

19-21 DE MARZO, 2014!MONTEVIDEO, URUGUAY

¡Bienvenidos!

En J-PAL trabajamos para promover que las políticas públicas se basen en evidencia científica. Una de nuestras acciones para lograrlo consiste en capacitar a encargados de políticas públicas e investigadores, entregando los conocimientos necesarios para participar en la evaluación de impacto de políticas sociales y tomar decisiones más efectivas. El curso del que formarán parte durante estos días busca contribuir a este objetivo y promover su participación en el uso y la producción de evidencia, con la finalidad de nutrir el diseño y evaluación de políticas públicas y contribuir a una cultura de innovación social. En J-PAL estamos honrados en colaborar con la Universidad de Montevideo con el fin de fortalecer la capacidad para utilizar evidencia científica en la política pública y el desarrollo de evaluaciones de impacto rigurosas en Latinoamérica. Esperamos, con la participación de ustedes, ayudarlos a desarrollar los conocimientos y habilidades requeridas para la aplicación selectiva, diseño, implementación y utilización de evaluaciones de impacto. Durante las actividades que tenemos programadas, tendrán la oportunidad de intercambiar experiencias con implementadores de política pública tanto del sector público como de organizaciones no gubernamentales, académicos y otros especialistas en evaluación de impacto. Esperamos que dicha interacción contribuya a la identificación de intereses en común y de oportunidades para nuevas alianzas, proyectos e ideas innovadoras.

¡Esperamos que tengan una experiencia productiva y llena de aprendizaje!

Francisco Gallego Director Científico

J-PAL LAC

Curso Introductorio de Evaluación de Impacto | Montevideo, 19 al 21 de marzo de 2014


Contenido Agenda del curso .................................................................................................................... 1

Equipo de Profesores .............................................................................................................. 5

Equipo de Coordinación y Profesores Ayudantes .................................................................. 6

Casos de Estudio ..................................................................................................................... 7

Caso 1: Exponiendo Políticos Corruptos ............................................................................ 7

Caso 2: Capacitaciones Profesionales ............................................................................... 15

Caso 3: Programa de Profesores Adicionales ................................................................... 29

Taller: Elaborando Términos de Referencia ......................................................................... 39

Preguntas para el diagnóstico de evaluabilidad .................................................................... 49

Términos Importantes ........................................................................................................... 53

Apuntes ................................................................................................................................. 59

Mapas ................................................................................................................................... 65


1

Inicio Fin Miércoles 19 de marzo Jueves 20 de marzo Viernes 21 de marzo

8:30:00 8:45:00 Registro de participantes

8:45:00 9:00:00 Repaso del día anterior Repaso del día anterior

9:00:00 10:00:00 Bienvenida y palabras de introducción Clase 4

Evaluaciones Experimentales II: ¿Cómo implementarlas?

Caso de estudio 3: ¿Cómo aleatorizar?

10:00:00 10:30:00 Evaluación inicial de conocimientos CLAUDIA MARTÍNEZ PROFESORES AYUDANTES

10:30:00 10:45:00 Coffee Break

10:45:00 12:00:00

Clase 1 ¿Por qué evaluar impacto?

Caso de estudio 2: Identificando el contrafactual

Taller: Elaborando Términos de Referencia

RYAN COOPER PROFESORES AYUDANTES THOMAS VARGAS

12:00:00 13:15:00

Clase 2 Midiendo efectos causales

Clase 5 Tamaño muestral y

poder estadístico

Clase 8 Aspectos operativos de una

evaluación de impacto CLAUDIA MARTÍNEZ FRANCISCO GALLEGO NICOLE CARPENTIER

13:15:00 14:30:00 Almuerzo

14:30:00 15:45:00

Caso de estudio I: Teoría de Cambio

Clase 6 Amenazas y análisis

Clase 9 De la evidencia a la acción

PROFESORES AYUDANTES LEIGH LINDEN CLAUDIA MACÍAS

15:45:00 16:00:00 Coffee Break Evaluación final de conocimientos

16:00:00 17:15:00

Clase 3 Evaluaciones Experimentales I:

¿Por qué hacerlas?

Clase 7 Evaluación de principio a fin

Cierre de curso y entrega de diplomas FRANCISCO GALLEGO LEIGH LINDEN

Agenda del curso


2

Miércoles 19 de marzo Inicio Fin Sesión Descripción Expositor 8:30 9:00 Registro de participantes

9:00 10:00 Bienvenida y palabras de

introducción

10:00 10:30 Evaluación inicial de

conocimientos

10:30 10:45 Coffee Break

10:45 12:00 Clase 1.

¿Por qué evaluar impacto?

Este presentación de introducción habla de la importancia de evaluar impacto y sirve como introducción a los conceptos que se van a ver a lo largo del curso. Parte planteando la importancia de evaluar impacto, discute la teoría detrás de la evaluación de impacto y repasa los distintos componentes de una evaluación de programa.

Ryan Cooper

12:00 13:15 Clase 2.

Midiendo efectos causales

En esta sesión se discutirá la importancia de la Teoría de Cambio para evaluar el impacto de un programa. Mediante ejemplos concretos, se mostrará como formalizar una Teoría de Cambio utilizando una cadena causal. Así mismo, se discutirán brevemente los datos e instrumentos que se pueden utilizar para evaluar impacto.

Claudia Martínez

13:15 14:30 Almuerzo

14:30 15:45 Caso de Estudio 1:

Teoría de cambio

En este caso de estudio, los grupos de trabajo elaborarán la Teoría de Cambio de una intervención en Brasil.

Profesores Ayudantes


16:00 17:15

Evaluaciones

Experimentales I:

¿Por qué hacerlas?

En esta clase se habla de los problemas asociados con identificar el impacto de un programa. Se presenta el método experimental, haciendo énfasis en las ventajas de este método respecto a otras metodologías de evaluación. Finalmente, se señalan los pasos claves para realizar una evaluación experimental.

Francisco Gallego

Agenda detallada


3

Jueves 20 de marzo Inicio Fin Sesión Descripción Expositor 8:45 9:00 Repaso del día anterior

9:00 10:30

Clase 4.

Evaluaciones

Experimentales II:

¿Cómo implementarlas?

En esta clase se describen las diferentes formas de ejecutar una aleatorización. Se describe paso por paso cómo hacer una aleatorización básica y se discuten las posibles restricciones que se encontrarán en diferentes contextos.

Claudia Martínez


10:45 12:00

Caso de Estudio 2:

Identificando

el contrafactual

En este caso de estudio, los grupos de trabajo discutirán diferentes artículos que atribuyen un cierto impacto causal a un programa social mexicano. Los participantes tendrán que identificar las características de cada método de evaluación presentado y señalar las debilidades y fortalezas de cada uno.


12:00 13:15

Clase 5.

Tamaño muestral y

poder estadístico

En esta sesión se hablará de la importancia de contar con un tamaño de muestra adecuado, presentando el concepto de poder estadístico y enfatizando la necesidad de tener este en cuenta al interpretar los resultados.

Francisco Gallego


14:30 15:45 Clase 6.

Amenazas y análisis

En esta clase se presentan y comparan los conceptos de validez externa y validez interna. Se definen las siguientes amenazas a la validez interna: desgate de muestra, presencia de externalidades y cumplimiento imperfecto de protocolos de asignación. En respuesta a estas amenazas se detallan algunas soluciones durante el análisis de resultados, distinguiendo entre el efecto de la Intención de Tratar (ITT) y el efecto del Tratamiento sobre los Tratados (TOT).

Leigh Linden

16:00 17:15

Clase 7.

Evaluación de principio

a fin

En esta sesión presentaremos una evaluación aleatoria de principio a fin desde la perspectiva del evaluador. Se discutirá la teoría que conduce a investigar el tema, el diseño experimental propuesto, las restricciones prácticas que afectan al diseño, la administración de trabajo de campo, el análisis de los resultados y las conclusiones de política pública.

Leigh Linden


4

Viernes 21 de marzo

Inicio Fin Sesión Descripción Expositor 8:45 9:00 Repaso del día anterior

9:00 10:30 Caso de Estudio 3:

¿Cómo aleatorizar?

En este caso de estudio los grupos de trabajo identificarán varias preguntas de investigación para la evaluación de un programa de política pública. Luego diseñarán la evaluación de tal forma que pueden resolver todas las preguntas en el marco de un único experimento.



10:45 12:00

Taller:

Elaborando

Términos de Referencia

En este taller se propondrán una serie de buenas prácticas para el desarrollo de términos de referencia, que pueden ser de utilidad a la hora de contratar una evaluación de impacto externamente. Así mismo, los participantes trabajarán sobre ejercicios para poder desarrollar los términos de referencia se sus propias evaluaciones.

Thomas Vargas

12:00 13:15

Clase 8.

Aspecto operativos

de una evaluación de

impacto

En esta sesión se revisarán los elementos operativos y logísticos implicados en el levantamiento de datos y el trabajo de campo. Se discutirá el costo de levantar datos para proporcionar una idea de magnitud, a fin de poder incorporarlo en el presupuesto de una evaluación de impacto.

Nicole Carpentier


14:30 15:45 Clase 9.

De la evidencia a la acción

En esta sesión de cierre, se hablará sobre la importancia de que las evaluaciones de impacto incidan sobre la política pública. Se discutirá cómo este objetivo se relaciona con las decisiones acerca de qué evaluar, y sobre cómo maximizar el uso de evidencia científica en el diseño de políticas públicas.

Claudia Macías

16:00 16:30 Evaluación final de

conocimientos

16:30 17:00 Entrega de diplomas


5

Francisco Gallego

Director Científico de J-PAL LAC y Profesor Asistente de Economía,

Pontificia Universidad Católica de Chile (Ph.D. Massachusetts Institute of

Technology)

Leigh Linden

Profesor Asistente de Economía University of Texas, Austin

(Ph.D. Massachusetts Institute of Technology)

Claudia Martínez

Profesora Asistente, Universidad de Chile

(Ph.D, University of Michigan)

Ryan Cooper

Director Ejecutivo de J-PAL LAC (M.A. Universidad de Chile)

Francisco Gallego posee un Ph.D. en Economía del MIT. Es Profesor Asociado en el Instituto de Economía de la Pontificia Universidad Católica de Chile (PUC). Sus áreas de interés son el desarrollo económico, la economía política y la economía de la educación. Él ha trabajado en evaluaciones educacionales, enfocadas en el impacto de la entrega de información sobre las decisiones de los padres de los estudiantes. Francisco Gallego es Director Científico de J-PAL Latinoamérica.

Leigh Linden es Profesor en el Departamento de Economía de la University of Texas at Austin. Su investigación se centra en la capacidad de los servicios sociales para mejorar el bienestar de los niños, especialmente en áreas empobrecidas. En este sentido, el Profesor Linden ha analizado los procesos de producción educativa y los problemas de toma de decisiones en el núcleo familiar que determinan la asignación de oportunidades educacionales dentro de la familia. Metodológicamente, Linden se especializa en el uso de experimentos aleatorizados de gran escala.

Claudia Martínez es Profesora Asistente de Economía en la Universidad de Chile. Su investigación se enfoca en la distribución de poder en el interior del hogar, migración, educación y políticas públicas en los países en vías de desarrollo. Proyectos previos y actuales incluyen; estudio del impacto de controles en remesas y ahorros de familias transnacionales en El Salvador, expectativas educacionales en Chile, programas de micro-emprendimiento y ahorro.

Ryan Cooper es Director Ejecutivo de J-PAL Latinoamérica y El Caribe. Comenzó su carrera profesional como Analista de Evaluación en el Ministerio de Finanzas del Gobierno de Chile. Luego se dedicó a la creación y liderazgo de una ONG educativa en Chile llamada OPTE. Al mismo tiempo, en conjunto con un grupo de economistas del Banco Mundial, University of California, Berkeley y Un Techo para mi País (UTPMP), comenzó una evaluación aleatoria del programa UTPMP en tres diferentes países de Latinoamérica. Desde noviembre de 2008 hasta Agosto de 2009, se desempeñó como Analista de Investigación en el IFPRI.

Equipo de Profesores


6

Coordinadora del Curso

Anne Thibault

Training Manager J-PAL LAC

Cristián Larroulet Research Manager

J-PAL LAC

TEACHING ASSISTANTS

(TAs)

Thomas Vargas

Training Analyst J-PAL LAC

Nicole Carpentier Research Analyst

J-PAL LAC

Sebastián Otero

Research Analyst J-PAL LAC

Max Mendez-Beck

Training Analyst J-PAL LAC

Diego Verdugo

Research Analyst J-PAL LAC

José Vila-Belda Training Analyst J-PAL LAC

Equipo de Coordinación y Profesores Ayudantes


7

Este caso está basado en el paper Exposing Corrupt Politicians: The Effects of Brazil’s Publicly Released Audits on Electoral Outcomes, de Claudio Ferraz y

Frederico Finan (The Quarterly Journal of Economics, mayo 2008)

Objetivos Después de esta sesión, los participantes serán capaces de:

x Entender los componentes de la teoría de cambio. x Desarrollar una cadena causal para un programa específico. x Identificar los supuestos asociados a la teoría de cambio. x Priorizar preguntas de investigación y conceptos a evaluar para un programa

específico.

Definiciones

Impacto: Efecto causado por el programa en relación con el objetivo final o de largo plazo. Intervención: La suma de insumos utilizados y actividades emprendidas para producir los bienes y servicios que constituyen el programa a entregar al grupo de tratamiento. Necesidades: Los problemas que motivan una intervención y sobre los cuales se desea lograr un impacto. Producto: Cada uno de los bienes y servicios que resultan de la combinación de insumos y actividades. Resultados Intermedios: Las acciones que derivan de la entrega de un servicio o los usos dados a un producto entregado a los beneficiarios. Supuestos: Las condiciones que se deben cumplir para que la lógica de la cadena causal siga siendo válida. Teoría de cambio: Describe la forma en que la implementación de un programa se traduce en resultados, por medio de una cadena de relaciones causales. *Fuentes: 3ie (2011), 3ie Glosario para la Evaluación de Impacto. Iniciativa Internacional para la Evaluación de Impacto. Nueva Delhi, India. Gertler, Paul, Sebastián Martínez, Patrick Premand, Laura B. Rawlings, Christel M. J. Vermeersch. La evaluación de impacto en la práctica. Banco Mundial. Washington, DC: 2010.

Caso 1: Exponiendo Políticos Corruptos Teoría de Cambio, Medición y Resultados


8

Parte 1 – El contexto

Antecedentes

En respuesta a la corrupción generalizada, el Gobierno de Brasil ha aumentado las sanciones a políticos corruptos, les ha prohibido la postulación a cargos públicos y ha aumentado el número de auditorías financieras en el sector público. Al mismo tiempo, los medios de comunicación brasileños han sacado a la luz varios casos de corrupción de alto perfil y han perseguido celosamente el tema. Esto, sin embargo, puede no ser suficiente para resolver el problema a nivel local, donde los casos de corrupción no atraen la atención de la prensa nacional y la gente no tiene acceso fácil a información sobre cómo sus líderes municipales hacen uso de los fondos y recursos públicos. Este caso de estudio trata sobre una intervención cuyo propósito era disminuir los niveles de corrupción a nivel local y hacer que los políticos rindan cuenta de sus acciones. La intervención incluía auditorías aleatorias en municipalidades y la difusión de los informes resultantes a través de los medios de comunicación.

Corrupción y Auditorías Aleatorias A nivel local, la corrupción adopta muchas formas. Los políticos locales pueden usar recibos falsos en sus proyectos, crear compañías fantasmas, aumentar los valores de productos y servicios en facturas, o simplemente utilizar recursos del gobierno para su propio beneficio. Aunque muchas personas en los municipios pueden sospechar de estas actividades fraudulentas, pocas tienen la información necesaria para evaluar el comportamiento de sus líderes locales y recompensarlos o castigarlos en las urnas al momento de votar. Como resultado, no existe control sobre el comportamiento de los políticos locales, haciendo de la corrupción un problema endémico. En 2003, en un esfuerzo por crear un sistema más transparente y responsable, el Gobierno de Brasil inició auditorías aleatorias de los gastos de los gobiernos municipales. Cada mes, se escogía aleatoriamente cierto número de municipalidades pequeñas (aquellas con una población menor a 450 mil) por medio de un sorteo nacional. Luego, un equipo de 10 a 15 auditores de la Contraloría Geral da União (Oficina del Contralor General; CGU), era enviado a las municipalidades seleccionadas para examinar cuentas, registros, la existencia y calidad de las obras públicas y la entrega de servicios públicos. Además, el equipo se reunía con miembros de la comunidad local para recoger quejas directas de corrupción.


9

Basándose en la información recopilada durante este proceso, el equipo de auditoría realizó informes que se publicaron en línea y se enviaron a la CGU, a la oficina de rendición de cuentas de Brasil, a los fiscales y al poder legislativo municipal.

Discusión

1. Mencione tres herramientas o mecanismos posibles que existen para enfrentar el problema de la corrupción a nivel local. ¿Cuáles de estas herramientas son efectivas?

2. ¿Cuáles son las fortalezas y debilidades del programa de auditorías implementado por el Gobierno de Brasil? ¿Cree usted que dicho programa puede ser exitoso? ¿Por qué?

3. Tomando en cuenta las debilidades del programa, ¿qué intervenciones complementarias implementaría usted?


10

Parte 2 – La intervención Una posible solución: Difusión de los Informes de Auditoría

Para que los informes de auditoría generen conciencia e influyan en los votantes, deben llegar de alguna manera a la población en general. Pese a que el gobierno publicó los reportes de las auditorías en internet, pocas personas accedieron a ellos. Ante esta situación, el gobierno decidió difundir los resultados de las auditorías a través de los medios de comunicación, específicamente a través de la radio de frecuencia AM, ya que éste es el medio que tiene mayor alcance entre los municipios pequeños de Brasil. Su equipo debe evaluar el impacto de esta estrategia de difusión sobre la corrupción a nivel local.

Discusión

1. ¿Cuál es la hipótesis central que se pretende testear en esta evaluación? Exprese dicha hipótesis en términos de una relación causal entre la intervención y los resultados finales esperados.

2. ¿Por medio de qué mecanismos podría producirse el impacto propuesto en la pregunta anterior? Refiérase a los mecanismos de corto, mediano y largo plazo.


11

Parte 3 – Teoría de Cambio

La teoría de cambio identifica la cadena de causalidad entre la intervención y el resultado final. La Figura 1 muestra una manera de plantear los componentes de la teoría de cambio.

3. ¿Qué factores pueden intervenir, ya sea positiva o negativamente, en el impacto de la publicación de los reportes de auditoría?

Discusión

1. Dibuje una cadena causal con el formato que se presenta en la Figura 1 que conecte la difusión de los informes de auditoría a través de los medios de comunicación con los resultados finales.

2. ¿Cuáles son las condiciones/supuestos necesarios que subyacen esta teoría de cambio? Es decir, ¿qué tiene que ocurrir para que esta cadena funcione? (Complete en Figura 1)


12

Figura. 1. Teoría de cambio

Necesidades Intervención Productos Resultados Intermedios Impactos

Indicadores Indicadores Indicadores Indicadores Indicadores

Riesgos y Supuestos


13

Parte 4 – ¿Qué datos se deben recopilar? Recopilación de datos y medición

Antes de decidir qué datos recopilar, se debe tener muy claro qué resultados se desean obtener, y de qué manera se cree que la intervención producirá tales resultados. En otras palabras, la definición de una hipótesis principal y de la teoría de cambio al inicio de una evaluación ayuda a decidir qué información recopilar.

Para cada paso de la teoría de cambio es necesario identificar indicadores que reflejen la situación existente en cada etapa, así como instrumentos para recopilar esta información. Además, es necesario recopilar datos en relación con los supuestos de la teoría de cambio, a fin de verificar su veracidad.

Discusión

1. ¿Qué indicadores mediría en cada paso de su teoría de cambio? Piense en los indicadores para cada etapa de la cadena causal y para sus supuestos (en Figura 1)

2. ¿Cómo recopilaría los datos para estos indicadores?

¿Qué desafíos cree que deberá enfrentar durante este proceso?

3. Si tuviera recursos para recolectar 3 de los indicadores sugeridos anteriormente, ¿cuáles escogería para la evaluación? ¿Por qué?


14

Parte 5 – Interpretando los Resultados

En la evaluación realizada por los investigadores se compararon dos grupos de municipalidades. En unas (el grupo de tratamiento, escogido aleatoriamente), las auditorías y su difusión pública tuvieron lugar antes de las elecciones municipales de 2004, mientras que en otras (el grupo de control) las auditorías y su difusión tuvieron lugar tras las elecciones. Al comparar los resultados electorales de los políticos implicados en casos de corrupción, se observó que la probabilidad de reelección era significativamente inferior en los municipios auditados antes de las elecciones. Por otra parte, este efecto fue mayor en las municipalidades que tenían una estación de radio local (que reportaba sobre noticias locales) que en las municipalidades sin radio local.

Discusión

1. ¿Por qué es importante interpretar los resultados de un programa dentro del contexto de teoría de cambio"?

2. Suponga que la evaluación encontró que la difusión de informes de auditoría no tenía efecto en ayudar a sacar de su cargo a los políticos corruptos. ¿Cómo interpretaría estos resultados? Si estuviera a cargo de las políticas públicas, ¿cancelaría el programa? ¿Por qué?


15

Este caso está basado en Paul Gertler, 2004. Do Conditional Cash Transfers Improve Child Health? Evidence from PROGRESA's Control Randomized

Experiment, American Economic Review, American Economic Association, vol. 94(2), pages 336-341.

J-PAL agradece al autor por permitir el uso de su estudio. Objetivos: Después de esta sesión, los participantes serán capaces de:

x Identificar diferentes métodos de evaluación junto con sus supuestos y limitaciones.

x Explorar el problema fundamental de la causalidad y las diferentes formas de estimar el impacto de un programa mediante la estimación del contrafactual.

x Desarrollar la intuición respecto al “sesgo” y las fuentes de sesgo. x Constatar que la validez interna de una metodología de evaluación depende

del grado en que existe sesgo de selección.

Definiciones Asignación Aleatoria: Procedimiento por el cual los miembros de la población elegible para participar en un programa son asignados al grupo de tratamiento o al de control en base al azar. Contrafactual: Escenario hipotético que representa lo que le hubiera ocurrido a la unidad de análisis en ausencia de la intervención. Grupo de Tratamiento: Grupo que recibe el programa. Grupo de Control: Grupo de comparación con el grupo de tratamiento, que no recibe el programa. Impacto: La diferencia entre lo que se observa tras el programa y lo que se habría observado en ausencia del programa. Variable de interés (o dependiente): Variable que se cree que puede ser predicha o afectada por una o más variables explicativas (variables independientes). *Fuentes: - 3ie (2011), 3ie Glosario para la Evaluación de Impacto. Iniciativa Internacional para la Evaluación de Impacto. Nueva Delhi, India. - Gertler, Paul, Sebastián Martínez, Patrick Premand, Laura B. Rawlings, Christel M. J. Vermeersch (2010). La evaluación de impacto en la práctica. Banco Mundial. Washington, DC: 2010.

Caso 2. Transferencias Monetarias Condicionadas:

El impacto sobre la salud de los niños Identificando el contrafactual con métodos no experimentales


16

Contexto En América Latina y el Caribe, los niños que crecen en situación de pobreza suelen obtener una educación de mala calidad, recibir poca atención médica y tener una dieta nutricionalmente inadecuada. Por estas razones, no es de extrañar que estos niños entren a la edad adulta sin las habilidades necesarias para posicionarse favorablemente en el mercado laboral. Esto a su vez les dificulta conseguir un trabajo que les ayude a salir de su situación de pobreza. Bajo estas condiciones, es probable que reciban salarios bajos, lo que les llevaría a carecer de los recursos necesarios para evitar que sus hijos repitan sus mismas experiencias, perpetuando el círculo de la pobreza. Con el objetivo de reducir la transmisión intergeneracional de pobreza, muchos gobiernos en América Latina y el Caribe han implementado políticas de transferencias monetarias condicionadas (TMC) con el objetivo de incentivar a los padres a invertir en la salud y bienestar de sus hijos, otorgando a su vez recursos monetarios para mejorar sus estándares de vida actuales. El programa PROGRESA en México En 1997, el gobierno mexicano implementó un programa nacional de transferencias monetarias condicionadas llamado PROGRESA. Tras tres años en marcha, PROGRESA había alcanzado a aproximadamente 2,6 millones de familias, lo que corresponde a un tercio de todas las familias rurales y aproximadamente el 10% de todas las familias de México. Los hogares que participan en PROGRESA reciben una transferencia monetaria siempre y cuando cumplan con ciertos requisitos diseñados para mejorar la salud y nutrición de las familias. Específicamente, deben cumplir con las siguientes condiciones: (i) todos los miembros de la familia reciben atención medica preventiva; (ii) todos los niños de 0 a 5 años y madres lactantes asisten a clínicas de monitoreo de la nutrición1 y (iii) las mujeres embarazadas visitan una clínica para obtener cuidado prenatal, suplementos nutricionales y educación en salud. Las transferencias son otorgadas a las madres de familia y el monto de la transferencia es relativamente grande. En promedio, la cantidad entregada corresponde a un tercio de los ingresos familiares. ¿Qué impacto tienen las transferencias condicionadas en la salud de los participantes?

1 En estas clínicas, se mide el crecimiento de los niños, se distribuyen suplementos nutricionales, y se dan talleres sobre la nutrición y la higiene.


17

En general, preguntarse si un programa tiene impacto implica examinar si este logra los cambios pretendidos, descontando o aislando la influencia de otros factores o eventos que ocurren al mismo tiempo. Para poder demostrar que un programa o intervención causa los efectos observados, necesitamos comparar estos cambios con los cambios que habrían ocurrido si no se hubiera implementado el programa. ¿Pero cómo sabemos qué hubiera ocurrido sin el programa? Pensar en lo que hubiera sucedido en ausencia de un programa implica imaginar un mundo hipotético donde el programa nunca se ofreció a los participantes de la intervención. Formalmente, este escenario hipotético se denomina contrafactual, y representa lo que le habría ocurrido al grupo de tratamiento si no hubiera recibido el programa. Aunque es imposible observar el verdadero contrafactual, se han desarrollado métodos estadísticos para tratar de estimar dicho escenario hipotético. El contrafactual y el grupo de control El desafío clave de una evaluación de impacto es construir o replicar el contrafactual. Normalmente, esto se hace mediante la selección de un grupo de personas similares al grupo de participantes, pero que no se benefician del programa. Este grupo se denomina el grupo de control. Construir un buen grupo de control es difícil, pero muy importante. Para medir un impacto de manera rigurosa, se requiere que la única diferencia entre el grupo de control y los participantes sea que el grupo de control no haya participado en el programa; en promedio, idealmente ambos grupos deberían ser idénticos en todos los demás aspectos. En la medida en que esto se cumpla, se podrá argumentar con mayor confianza que una intervención específica es responsable de las diferencias entre los resultados de ambos grupos. Bajo estas circunstancias, tras la implementación de un programa se puede estimar el impacto del mismo como la diferencia observada entre los resultados del grupo de control y los resultados de los participantes del programa. La validez de nuestra estimación del impacto depende de la medida en que logremos replicar el verdadero escenario contrafactual. Si el grupo de control es una mala aproximación, nuestra estimación del impacto estará sesgada. Por ello, el método utilizado para construir el grupo de control es una decisión clave en el diseño de cualquier evaluación de impacto. Esto nos devuelve a la pregunta: ¿Cuál es el impacto del programa de transferencias monetarias condicionadas sobre la salud de los niños mexicanos? En este caso, la intención del programa es dar incentivos monetarios a las mujeres para cumplir con las condiciones establecidas, incluyendo el ir a la clínica, llevar a sus niños a la clínica y asistir a charlas sobre nutrición. La variable de interés principal es el estado de salud de los niños, medido por el número de días por mes que están enfermos, y el


18

programa tendrá un impacto positivo si éste disminuye la tasa de enfermedad de los niños. En rigor, el impacto del programa sería la diferencia entre el promedio de días por mes que los niños de los hogares participantes estuvieron enfermos y el promedio de días que los mismos niños habrían estado enfermos si sus madres no hubiesen recibido transferencias condicionadas. Dado que no podemos observar la situación de los participantes en el caso de que no hubiesen participado, ¿qué grupo de control se debe usar para estimar esto? A continuación se muestran diferentes métodos para evaluar impacto usados por distintos expertos. Método 1 Artículo de periódico: “El gobierno cumple: grandes mejoras en salud de niños gracias a programa federal” “Datos publicados hoy por una agencia del gobierno federal indican que PROGRESA, el programa de transferencias condicionadas del gobierno que ha estado funcionando desde el año 1997, mejoró notablemente la salud de los niños en condiciones de pobreza. En particular, entre los niños menores a 6 años el programa produjo una reducción drástica—de 80%—en el número de días por mes que estaban enfermos. Antes de participar en el programa, los niños de las “familias PROGRESA” estaban enfermos, en promedio, más de 8 días por mes. Ahora, gracias a PROGRESA, estos niños solamente se enferman entre 1 y 2 días, en promedio. Esta reducción fortalece la posición del gobierno ante las críticas del programa y significa un gran avance contra las enfermedades en México. “Más allá de influir en los índices de salud, PROGRESA podría incidir en indicadores de escolaridad, ya que al enfermarse menos los niños pueden asistir más al colegio”, comentó el director de evaluación del programa Gonzalo Oyanedel: “estos números son evidencia de que los programas de nutrición y salud de PROGRESA funcionan”. Después de revelar los resultados, ciertos comentaristas de política pública opinaron que los gobiernos de la región deberían aprender de esta evaluación y comenzar sus propios programas para mejorar la salud de los niños por medio de transferencias condicionadas.”

Días enfermedad

Línea Base (antes del programa)

Días enfermedad Línea Final (después

del programa) Diferencia Porcentaje de

reducción

Promedio de salud (en días de enfermedad por mes)

8,22 (0,863)

1,61 (0,527)

6,61*** (1,04)

-80,41%

Nota: Errores estándar en paréntesis. Resultados estadísticamente significativo con un 99% confianza (***)


19

Discusión 1

1. ¿En qué método de evaluación se basa este artículo de periódico? Es decir, ¿cómo intenta este método estimar el contrafactual?

2. ¿Cuál es el supuesto que se tiene que cumplir para que el contrafactual esté bien estimado?

3. ¿Cuáles podrían ser los problemas con este método de evaluación?


20

Método 2 Carta al editor: “No saltemos a conclusiones”

Este periódico tiende a exagerar y distorsionar hechos y datos. El último acto de amarillismo ocurrió con la publicación el pasado lunes del artículo titulado, “El gobierno cumple: grandes mejoras en salud de niños gracias a programa federal”. En este artículo, se reportó el impacto de PROGRESA, un programa del gobierno federal, sobre la salud de los niños que participaron en el programa. Soy economista de profesión y llevo años siguiendo de cerca el impacto de PROGRESA. Leyendo el artículo del lunes me alegré con la noticia de que el programa estaba teniendo un efecto positivo sobre la enfermedad. Sin embargo, después de analizar la metodología de impacto utilizada en el artículo, quedé convencido de que el resultado reportado por este periódico es engañoso y sensacionalista. El método elegido ignora otros factores que podrían haber afectado la salud de los niños durante el programa. Por ejemplo, la economía mexicana ha tenido un crecimiento sostenido desde 1998. Además, el público hoy en día tiene mucho mejor acceso a información relacionada con la salud y la buena alimentación. ¿Acaso no podrían ser estos dos factores los que en realidad causaron la reducción en la enfermedad de los niños? Una mejor manera de medir el impacto real del programa es enfocándose en cómo los niños que participaron en el programa se comparan con niños que no participaron en el programa. He hecho este cálculo y verán que con este método el incremento generado por el programa a la salud general de los niños es mucho menor a lo anteriormente reportado. Conforme a mis cálculos, los niños beneficiarios estuvieron enfermos, en promedio, un 21,3% menos de días por mes. Aunque comparto la opinión de que el programa está cumpliendo con sus objetivos, no debemos caer en la trampa de exagerar sus logros.

1,53

1,95

0

0,5

1

1,5

2

2,5

Participaron aPROGRESA

No Participaron aPROGRESA

Promedio de enfermedad (en días por mes)


21

Discusión 2

1. ¿En qué método de evaluación se basa esta carta al editor? Es decir, ¿cómo intenta este método estimar el contrafactual?

2. ¿Cuál es el supuesto que se tiene que cumplir para que el contrafactual esté bien estimado? En este sentido, ¿qué razones podrían invalidar el supuesto?

3. ¿De qué modo un análisis de regresión estadística permitiría mejorar el análisis presentado aquí? ¿Cuáles serían las limitaciones de este tipo de análisis?


22

Método 3 “Reporte de Auditoría #24325: Programa PROGRESA” “En los últimos días el programa de transferencias condicionadas del gobierno ha recibido mucha cobertura de prensa. Algunos han afirmado que el programa tiene un impacto relativamente grande, mientras que otros argumentan que los impactos son más moderados. Este reporte busca proveer una estimación más correcta del impacto del programa usando un método más sofisticado y riguroso. Los análisis anteriores han usado métricas erróneas para calcular el impacto del programa, reportando una medida sesgada del efecto del programa en la reducción de enfermedades infantiles. Por ejemplo, se ha comparado el número de días que estaban enfermos los niños cuyas familias participaron en el programa con el número de días que estaban enfermos los niños de las familias que no participaron, lo cual podría introducir un sesgo de selección ya que estos dos grupos pueden ser muy diferentes por muchas razones, y no sólo por haber o no participado en el programa. Para obtener una estimación más adecuada de impacto se requiere comparar los cambios observados en ambos grupos, participantes y no participantes. Comparando la situación previa al programa con la situación posterior al programa, ¿qué grupo de niños mejoró más? Usando este enfoque, podemos descontar el efecto de otros factores que condujeron a mejoras de salud en todos los niños (participantes o no), al tiempo que se toma en consideración el hecho de que ambos grupos parten de situaciones muy distintas (lo que lleva a estimaciones sesgadas si comparamos participantes y no participantes directamente). En la tabla mostrada debajo, se observa que la reducción en el número de días de enfermedad al mes en el grupo participante fue de 6,6 días. En el grupo de comparación, por su parte, la reducción fue de 0,8 días. La diferencia entre estas dos reducciones es la medida que buscamos, ya que representa cuánto más mejoró la situación en el grupo participante en comparación con el grupo no participante. La resta (6,6-0,8) indica que la mejora en salud debida al programa fue una reducción de 5,8 días en el número de días de enfermedad al mes, lo que equivale a una reducción del 70,3%. Por lo tanto el impacto del programa es positivo y de gran magnitud, y difiere de las estimaciones presentadas en estudios previos.” Grupo Tratamiento Grupo Comparación Antes del Programa 8.2 1.95 Después del Programa 1.6 1.15


23

Discusión 3

1. ¿En qué método de evaluación se basa este reporte de auditoría? Es decir, ¿cómo intenta este método estimar el contrafactual?

2. ¿Qué ventajas presenta este método frente al análisis de regresión estadística?

3. ¿Cuál es el supuesto que se tiene que cumplir para que el contrafactual esté bien estimado? En este sentido, ¿cuáles podrían ser los problemas con este método de evaluación? ¿Cuál es el supuesto que se tiene que cumplir para que el contrafactual esté bien estimado? En este sentido, ¿cuáles podrían ser los problemas con este método de evaluación?


24

Método 4

PROGRESA: el impacto causal en la población marginalmente elegible

Diego Verdugo┼Sebastián Otero

ǂCristián Larroulet

¶Nicole Carpentier

¥

En este artículo presentamos un análisis del impacto de PROGRESA explotando el criterio de elegibilidad del programa basado en la variable de ingreso promedio del hogar. Si bien la participación efectiva en PROGRESA depende de variables observadas y no observadas, la probabilidad de participar cambia discontinuamente en el umbral de ingresos que determina la elegibilidad. Se observa que, en promedio, los hogares situados justo por encima del umbral son prácticamente idénticos a los hogares situados justo por debajo en términos de diversas variables observables, por lo que es posible interpretar la discontinuidad observada en la variable de salud como el efecto del programa. Los resultados indican que PROGRESA condujo a una reducción de un 10% en el número de días de enfermedad en los niños procedentes de hogares marginalmente elegibles según sus ingresos.

Estudios previos han analizado el programa PROGRESA de transferencias condicionadas implementado por el gobierno de México utilizando métodos de regresión estadística o diferencia en diferencias. Aunque estos métodos presentan algunas ventajas, también tienen limitaciones claras al basarse en supuestos discutibles. Con el objetivo de obtener estimaciones del impacto de PROGRESA que superen esas limitaciones,a continuación presentamos los resultados de un análisis basado en un Diseño de Regresión Discontinua. La posibilidad de usar este método para estimar los efectos causales de PROGRESA proviene del criterio de elegibilidad del programa, consiste en un umbral de renta promedio del hogar. En particular, los hogares cuya renta promedio era inferior a la línea de pobreza nacional (de 700 pesos mexicanos) podían inscribirse en el programa, mientras que aquellos situados por encima de este umbral no podían participar. La medida de ingresos se

Nota para el lector: el criterio de elegibilidad de ingresos descrito en este texto es ficticio, al igual que los datos y resultados mostrados. Para ver un estudio real de PROGRESA basado en regresión discontinua, véase Buddelmeyer, H., & Skoufias, E. (2004). An evaluation of the performance of regression discontinuity design on PROGRESA (Vol. 827).World Bank Publications.


25

obtuvo a través de una encuesta de hogares realizada a propósito para el programa y su evaluación. En el gráfico 1 se ha representado la dispersión de las observaciones de acuerdo a las dos variables de interés: los ingresos promedio del hogar (que determinan la elegibilidad) y el número de días de enfermedad al mes. Como puede observarse, la forma de la nube de puntos expresa una clara relación negativa entre el número de días de enfermedad al mes de los niños y el promedio de ingresos del hogar: los niños de hogares de menores ingresos tienden a padecer más enfermedad. Por otra parte, el gráfico ilustra claramente la existencia de una discontinuidad. Los puntos en azul constituyen niños procedentes de hogares por debajo de la línea de pobreza (700 pesos mexicanos), y por tanto elegibles para participar en PROGRESA. Los puntos en verde representan hogares por encima del umbral y no son elegibles para el programa. Lo relevante aquí es que la relación parece ser discontinua en el umbral de 700 pesos, de modo tal que quienes están justo por debajo del umbral padecen menos días de enfermedad que quienes están justo por encima del umbral (pese a que los segundos tienen más ingresos).

Gráfico 1 Días de enfermedad e ingresos en los niños elegibles y no elegibles

Con el objetivo de examinar si la estrategia de identificación del efecto causal descrita es adecuada, a continuación examinamos en qué medida las personas situadas justo por debajo de la línea de pobreza (individuos “marginalmente elegibles”) son similares a quienes se hallan justo por encima de dicho umbral (individuos “marginalmente no elegibles”). En

700 1.200 200

Promedio de ingresos del hogar

Número

de días de enfermedad al mes

12

10

9

6

4

2


26

particular, comparamos a quienes están en el rango de ingresos [690, 700.000]con quienes están en el rango [700, 710]. La comparación de valores promedio en variables de control sociodemográficas y económicas sugiere que ambos grupos son muy similares (Tabla 1). Si bien varias de estas diferencias son estadísticamente significativas, esto tiene que ver con el gran tamaño muestral disponible, y en términos prácticos las diferencias porcentuales son en general muy pequeñas. La excepción a esta pauta se observa en la proporción de hogares con electricidad, que es varios puntos porcentuales menor en el grupo de hogares cuyos ingresos son inferiores al umbral de pobreza. No obstante, la estimación del impacto de participar en PROGRESA no se ve afectada cuando esta variable se incluye como control. Los datos de la Tabla 1 sugieren que, alrededor del umbral de pobreza que define la elegibilidad, la asignación al grupo de control (sujetos marginalmente no elegibles) o al grupo de tratamiento (sujetos marginalmente elegibles) es como si fuera aleatoria. La evidencia de que ambos grupos son casi idénticos en términos de variables observables apoya este supuesto, sugiriendo que ambos grupos también serán muy similares en términos de variables no observables. Por tanto, puede concluirse que la discontinuidad hallada en la variable “número de días de enfermedad” representa el efecto causal de ser elegible en el programa PROGRESA. Tabla 2 Estadísticas descriptivas en la línea base. Niños de 0 a 5 años

La magnitud de la discontinuidad expresada en términos porcentuales es de un 6,8%, e indica el efecto de ser elegible para participar en PROGRESA. Esta es la magnitud del salto observado en la figura 1: los niños procedentes de hogares marginalmente elegibles

Below the poverty line Above the poverty line


27

para participar en PROGRESA (es decir, aquellos hogares cuyos ingresos promedio están justo por debajo del umbral de pobreza) padecen un 2 por ciento menos de días de enfermedad al mes que los niños de los hogares que están justo por encima de la línea de pobreza. No obstante, no todos los hogares elegibles optan por participar en el programa. En concreto, se observa que el porcentaje de hogares marginalmente elegibles que optó por participar es de un 67%. Teniendo en cuenta esta información se puede calcular el impacto de la participación efectiva en PROGRESA. El cociente entre el impacto de ser elegible (Intention To Treat: 6,8%) y la probabilidad de participar entre quienes son elegibles (0,67) proporciona la estimación del impacto de participar en el programa, que asciende a un 10,1%. Este efecto es estadísticamente significativo, pero de un tamaño considerablemente menor al que estudios previos habían hallado.


28

Discusión 4 1. ¿En qué método de evaluación se basa este reporte de auditoría?

Es decir, ¿cómo intenta este método estimar el contrafactual?

2. ¿Qué ventajas presenta este método frente al método de regresión estadística y

frente al método de diferencia en diferencias?

3. ¿Cuál es el supuesto que se tiene que cumplir para que el contrafactual esté bien estimado? ¿Qué podría suceder para que no se cumpliera el supuesto?

4. Suponiendo que el supuesto del modelo es correcto, ¿qué limitaciones tiene el

análisis en cuanto a la generalidad de sus conclusiones (validez externa)?


29

Diseñando una evaluación para responder

Este estudio se basa en la publicación: Peer Effects and the Impact of Tracking: Evidence

from a Randomized Evaluation in Kenya, de Esther Duflo (MIT), PascalineDupas (Stanford) y Michael Kremer (Harvard).

Objetivos Después de esta sesión, los participantes serán capaces de:

x Identificar varias preguntas de investigación para la evaluación de un programa. x Realizar diseños experimentales complejos para responder múltiples preguntas de

investigación.

En 2005, la ONG International Child Support Africa (ICS) se ofreció a apoyar al sistema escolar de Kenia occidental mediante la contratación de profesores en 190 escuelas primarias, a fin de abordar la escasez de profesores y poder reducir el número de estudiantes por clase. En su programa de dos años, ICS proporcionó fondos a estas escuelas para que cada una contratara un profesor adicional. A diferencia de los funcionarios civiles contratados por el Ministerio de Educación, los profesores del programa eran contratados localmente por comités escolares. ICS esperaba que este programa mejorara el aprendizaje de los estudiantes gracias a la disminución del tamaño de las clases y la utilización de profesores que rindieran cuentas directamente a las comunidades a las que prestan servicios. Por otra parte, los profesores adicionales tiendían a tener menos capacitación y recibir un salario mensual inferior al de los funcionarios civiles. Por esta razón, existía preocupación acerca de si estos profesores estaban lo suficientemente motivados (dada su remuneración) o calificados (dadas sus credenciales) para lograr impactos sustanciales. ¿Qué diseños experimentales podrían usarse para analizar el impacto de esta intervención en el rendimiento educativo? ¿Qué cambio es más importantes para lograr mejoras en el desempeño de los estudiantes, tener clases más pequeñas o tener profesores distintos a los tradicionales?

Caso 3 Programa de Profesores Adicionales

Diseñando una evaluación para responder tres preguntas claves sobre políticas educativas


30

Escuelas con exceso de alumnos Al igual que muchos otros países en vías de desarrollo, Kenia ha logrado rápidos progresos hacia el cumplimiento del objetivo de educación primaria universal (Objetivos de Desarrollo del Milenio). Después de la eliminación de las tarifas escolares en 2003, la matrícula en las escuelas primarias aumentó casi un 30 por ciento, de 5,9 millones a 7,6 millones entre 2002 y 2005.Sin embargo, este progreso ha dado origen a un conjunto de nuevos desafíos en Kenia.

Discusión 1 1. ¿Cuáles podrían ser algunos de los desafíos que enfrenta el gobierno de Kenia a la hora de incorporar estos nuevos alumnos?


31

DESAFIOS Y NECESIDADES 1) Tamaño de clases demasiado grandes: Debido a restricciones presupuestarias, el aumento en la matrícula escolar no ha coincidido con un aumento proporcional en el número de profesores. Esto ha resultado en clases muy grandes, particularmente en los cursos iniciales. Por ejemplo, en una muestra de escuelas en Kenia occidental, las clases de primer grado tenían un promedio de 83 estudiantes en 2005. Esto es preocupante porque típicamente se cree que las clases pequeñas son más importantes para los estudiantes más jóvenes, quienes aún se están acostumbrando al entorno escolar. El Sindicato Nacional de Profesores de Kenia calcula que el país necesita 60.000 profesores de escuela primaria adicionales, además de los 175.000 ya existentes, para atender a todos los estudiantes de escuela primaria y reducir el tamaño de las clases. 2) Ausentismo de los profesores: Exacerbando aún más el problema de la proporción de profesores por alumnos, las tasas de ausentismo de los profesores es muy alta, situándose cerca del 20% en algunas áreas de Kenia. Normalmente no existen reemplazos para los profesores ausentes, de modo que los estudiantes simplemente pierden esa clase o asisten a otra clase, por lo general de otro grado. Las escuelas de menor tamaño, nada infrecuentes en las áreas rurales de los países en vías de desarrollo, pueden tener que cerrar por completoen ausencia de un profesor. Las familias deben considerar si la escuela estará abierta al decidir si envían o no a sus hijos a la escuela. A causa de ello, la asistencia de los estudiantes es baja, incluso en los días en que la escuela está abierta. 3) Clases heterogéneas:

Las clases en Kenia también son muy heterogéneas, con estudiantes que varían ampliamente en términos de su preparación escolar y del apoyo que reciben en el hogar. Agrupar a los estudiantes en clases clasificadas por aptitud (subdivisión o tracking) es una idea debatida entre los académicos y los encargados de políticas públicas. Por un lado, si los profesores encuentran más fácil enseñar a un grupo homogéneo de estudiantes, la subdivisión podría mejorar la efectividad de las escuelas y los puntajes en los exámenes. Por otra parte, si los estudiantes aprenden en parte de sus compañeros, la subdivisión


32

podría convertirse en una desventaja para los estudiantes con malos resultados y un beneficio para los que tienen buenos resultados, lo que exacerbaría la desigualdad. 4) Escasez de materiales para la escuela:

Debido a los altos costos de materiales educativos y al creciente número de estudiantes, los recursos educacionales se han quedado cortos, y en algunos casos hasta cuatro estudiantes deben compartir un solo libro. Además, la ya sobrecargada infraestructura se deteriora más rápido cuando es usada por más niños. 5) Bajos índices de graduación:

Como resultado de estos factores, las tasas de graduación primaria en Kenia son muy bajas. Solo alrededor del 45% de los niños y el 43% de las niñas matriculadas se gradúan de primaria cada año. Considerando todos estos problemas, se presentan nuevos desafíos para las comunidades: ¿Cómo garantizar una calidad mínima de la educación dadas las restricciones presupuestarias de Kenia?


33

Discusión 2 Piense en diferentes intervenciones o programas que se podrían implementar con el fin de resolver estos problemas. 1. Identifique cómo la intervención afectaría cada uno de los desafíos mencionados.


34

INTERVENCIÓN ¿Qué son los Profesores Adicionales? Los gobiernos de varios países en vías de desarrollo han respondido a desafíos similares llenando las vacantes de profesores con profesores por contrato locales que no son funcionarios civiles. Las cuatro características principales de estos profesores adicionales son:

(1) Se contratan con renovación anual, sin garantía de renovación del empleo (a diferencia de lo que ocurre con los profesores tradicionales);

(2) Con frecuencia, son menos calificados que los profesores regulares y es menos probable que tengan un certificado o grado de capacitación de profesor;

(3) Reciben salarios menores que los de los profesores regulares (normalmente reciben menos de una quinta parte de los salarios que se pagan a los profesores funcionarios);

(4) Es más probable que procedan del área local donde se encuentra la escuela. ¿Son efectivos los profesores adicionales? El incremento en el uso de profesores adicionales ha sido una de las medidas más importantes dirigidas a mejorar la coberturaen educación primaria en los países en vías de desarrollo. Sin embargo, también ha sido una idea debatida. Los partidarios señalan que contratar profesores adicionales es una forma eficiente de ampliar el acceso a la educación y mejorar su calidad para una gran cantidad de alumnos. Al saber que la recontratación al año siguiente depende de una decisión del comité de la escuela, basada en el desempeño del profesor, es posible que los profesores adicionales estén más motivados que sus colegas con cargos gubernamentales. Además, los profesores adicionales provienen de un contexto similar a sus estudiantes en cuanto a su cultura y situación socioeconómica, permitiéndoles entender mejor la situación de sus estudiantes.

Los oponentes argumentan que utilizar profesores no capacitados y sin las certificaciones adecuadas puede ayudar aa suplir la falta de personal en las salas de clases, pero puede tener costes en términos de aprendizaje. Además, argumentan que el uso de profesores adicionales resta profesionalismo a la enseñanza, reduce el prestigio de la profesión y reduce la motivación de todos los profesores. Incluso si ayuda en el corto plazo, puede perjudicar los esfuerzos para reclutar a profesores calificados en el futuro. Aunque el uso de profesores adicionales ha sido controvertido, hasta hace poco existía muy poca evidencia respecto a la efectividad de esta medida y su influencia en el aprendizaje de los estudiantes.


35

La evaluación experimental del Programa de Profesores Adicionales En enero de 2005, International Child Support Africa comenzó un programa de dos años dirigido a examinar el efecto de los profesores adicionales en la educación en Kenia. Con este fin, ICS entregó fondos a 190 comités de escuela locales para que contrataran a un profesor adicional para estuviera a cargo de una clase de primer grado adicional.

Discusión Diseñar adecuadamente una evaluación esfundamental. Durante el diseño, el investigador considera las preguntas de investigación que abordará y establece la estrategia de aleatorización para cada pregunta. 1. ¿Cómo podría una evaluación experimental determinar el impacto de los

profesores adicionales? Diseñe una estrategia de aleatorización que permita identificar el impacto causal del programa de profesores adicionales y grafíquela. Grupo de tratamiento________________________________________________

Grupo de control____________________________________________________

Nivel de aleatorización_______________________________________________


36

2. Ten en cuenta que el impacto del programa podría atribuirse a diferentes aspectos del programa. Al introducir un profesor adicional, el número de estudiantes en las clases disminuye. Por lo tanto, el impacto del programa podría deberse a la reducción del tamaño de las clases o podría deberse a que los profesores adicionales son más efectivos que los profesores normales.

Diseñe una estrategia de aleatorización que permita aislar el efecto del profesor adicional del efecto del tamaño de clase y grafíquela.

Grupo de tratamiento________________________________________________

Grupo de control____________________________________________________



37

Diseños de aleatorización para múltiples preguntas Aprovechando la división de las clases que se produce al incorporar a los profesores adicionales, los implementadores del programa decidieron incluir en el programa el componente de tracking, donde los estudiantes son divididos en base a su desempeño académico inicial.

3. Diseñe una nueva estrategia de aleatorización que permita identificar el impacto causal de tracking, y grafíquela.

Grupo de tratamiento________________________________________________

Grupo de control____________________________________________________



38

4. Ahora trata de incorporar todos los elementos en una misma evaluación. Diseñe una estrategia de aleatorización que permita estimar los siguientes efectos, y grafíquela:

- El impacto de usar profesores adicionales (versus profesor tradicional). - El impacto de reducir el tamaño de clase. - El impacto de hacer tracking. - El impacto de combinar tracking con profesores adicionales.

Grupo(s) de tratamiento_____________________________________________

_________________________________________________________________

_________________________________________________________________

Grupo(s) de control_________________________________________________

________________________________________________________________

_________________________________________________________________


39

Este ejercicio se basa en Investing in Schooling in Chile: The Role of Information about Financial Aid for Higher Education, de Claudia Martínez (Universidad de Chile) y Taryn Dinkelman (Dartmouth). Objetivo Al finalizar esta sesión los participantes serán capaces de aplicar buenas prácticas para el desarrollo de Términos de Referencia para evaluaciones de impacto.

El programa a evaluar Suponga que usted es un miembro de la comisión de evaluación del Banco Solidario Internacional (BSI). Usted debe evaluar los términos de referencia presentados por el Ministerio de Educación (MINEDUC) de la República Aleatoria para la evaluación de un proyecto de evaluación. El MINEDUC ha implementado un programa similar en el país denominado Programa Abre la Caja (PAC) y apuesta por que este programa tenga efectos significativos en las decisiones de educación de sus niños. El programa se asemeja en todos sus componentes al proyecto de información que se evaluó en Chile. Dadas las circunstancias, usted debe contratar a una empresa consultora de evaluación de impacto para que realice esta importante tarea.

Taller Elaborando Términos de Referencia

para contratar una evaluación de impacto


40

1. Estructura de los Términos de Referencia (TdRs) El documento de Términos de Referencia es un documento que delimita la relación entre dos o más partes, señalando las tareas y responsabilidades de cada una en el desarrollo de un producto o servicio, así como los plazos para su finalización. Antes de empezar a redactar los TdRs, puede ser útil pensar a grandes rasgos en la estructura y los puntos más importantes a incluir en el documento. Los TdRs deben contestar el qué, cómo, quién y cuándo de la evaluación. El Cuadro 1 contiene algunas preguntas guía para el desarrollo de Términos de Referencia. ¿Qué otras preguntas incluiría usted? Cuadro 1. Preguntas guía para el desarrollo de Términos de Referencia

Componente Preguntas Guía

1. Qué A. ¿De qué se trata el proyecto que queremos evaluar?

B. …

C. …

D. …

2. Cómo A. ¿Qué metodología de evaluación de impacto se deberá utilizar?

B. …

C. …

D. …

3. Quién A. ¿Cuál es el perfil deseado de la consultora que se contratará?

B. …

C. …

4. Cuándo A. ¿Cuáles son los plazos de entrega para los diferentes productos?

B. ….

C. ….


41

2. Detalle de las secciones A continuación, la oficina de evaluación del MINEDUC le facilita un borrador del esquema que utilizarán para desarrollar sus TdRs.

2.1. Esquema de los Términos de Referencia El Cuadro 2 presenta un esquema de Términos de Referencia. ¿Le parece adecuado? Responde en este esquema a las preguntas (qué, cómo, quién y cuándo) detalladas en el Cuadro 1. Cuadro 2. Esquema de TdRs para Evaluación de Impacto

Sección Preguntas correspondientes

1. Antecedentes

2. Objetivos y alcance

3. Preguntas de investigación

4. Metodología y especificaciones técnicas

5. Productos entregables

6. Características de la consultora

7. Equipo de investigación

8. Supervisión

9. Presupuesto y pago

Una vez entregado el esquema, el MINEDUC se avoca a crear los Términos de Referencia. Analicemos todas las secciones para mejorar el texto.


42

2.2 Antecedentes del proyecto de evaluación Comente el texto siguiente. ¿Qué aspectos se podrían mejorar? “El PAC es un programa importante para mejorar el acceso de los niños a la educación superior. El programa se inició en 2008 y ha beneficiado a más de 300 niños en varias comunas de la República Aleatoria. El programa es financiado en parte por el BID y por reglas de operación se requiere contratar a una evaluación de impacto externa. Es de preferencia una consultora con experiencia en diseño experimental, pero estaremos dispuestos a considerar propuestas que incluyan componentes cualitativos y métodos cuasi experimentales. Esperamos que el programa tenga impacto sobre dimensiones más allá de las que hemos mencionado en este documento.”

2.3 Objetivo de la evaluación. El MINEDUC propone los siguientes objetivos para el proyecto. Evalué su redacción e identifique cuáles son apropiados para el proyecto.

1. Mejorar las futuras oportunidades laborales de los niños de familias en condiciones de pobreza.

2. Identificar el efecto de la intervención PAC sobre decisiones de educación de niños de familias en condiciones de pobreza.

3. Mejorar el acceso a la educación superior de los niños de familias en condiciones de pobreza.

2.4 Pregunta de investigación ¿Cuál es la pregunta de investigación principal de la evaluación? ¿Existen preguntas secundarias que la evaluación debería investigar? _________________________________________________________________________

_________________________________________________________________________

_________________________________________________________________________

_________________________________________________________________________

_________________________________________________________________________

_________________________________________________________________________


43

2.5 Metodología de la evaluación de impacto

Esta sección es clave y deberá señalar claramente varios requerimientos. A continuación el MINEDUC propone el siguiente texto. Revise las especificaciones y rellene las secciones faltantes (los cuadros).

“El diseño de la evaluación de impacto deberá identificar si los siguientes indicadores cambiaron o no, tres meses después de haber sido implementado el programa, con un nivel de confianza del 0,95 y con un poder estadístico del 0,4.”

Indicador Efecto Mínimo Detectable

El proyecto también debe identificar efectos heterogéneos, o efectos dentro de algunos grupos de interés distintos a la población.

Subgrupo Indicador Efecto Mínimo Detectable

Nivel de confianza

Poder estadístico

Hombres / Mujeres

Estudiantes notas altas / notas bajas


44

2.6 Productos entregables ¿Cuál es el orden cronológico de los siguientes productos entregables que se debería requerir de la consultora?

1. Plan de muestreo, incluyendo el tamaño de muestra requerida, el número de indicadores que se medirá, los impactos mínimos detectable para cada uno, definición de los grupos de tratamiento y de comparación, unidades por conglomerado, etc.

2. Cuestionarios finales, con comentarios de pilotaje y del equipo asesor. 3. Bases de datos parciales (semanales/mensuales) para cada una de las etapas

principales, así como una base de datos consolidada y limpia. 4. Todas las bases de datos finales, para poder replicar todos los análisis del informe. 5. Actividades de diseminación de política. 6. Protocolo de investigación, incluyendo la metodología, el plan de recolección de

datos y análisis, y una sección de ética. 7. El diseño de la evaluación de impacto con nota conceptual y Carta Gantt. 8. Un informe de línea base. 9. Un informe de evaluación de impacto, presentación y documento de difusión

política (policy brief).

2.7 Criterios de selección de la consultora ¿Cuáles criterios deberá cumplir una consultora para poder ser contratada? ¿Qué es útil, qué no lo es? ¿Qué falta? Cuadro 6. Herramienta de selección de consultoras

Criterio Puntaje Diseña evaluaciones de impacto Diseña evaluaciones aleatorias Trabaja en el país Realiza cálculos de poder Diseña instrumentos de medición Levanta datos Digita datos Limpia bases de datos Realiza análisis de datos Años de experiencia Número de proyectos Reputación


45

2.8 Equipo de proyecto

Los proyectos de evaluación de impacto típicamente tienen un equipo con la siguiente estructura:

x Gerente de proyecto: Responsable de mantener comunicación con la unidad supervisora (e.g. el Ministerio relevante), coordinar comunicación entre todos los miembros del equipo y otros socios/organizaciones relevantes.

x Investigador principal: Responsable de desarrollar un plan de estudio detallado, seleccionar la muestra, los cuestionarios y otros instrumentos, analizar los datos y escribir los reportes.

x Asistente de investigación: Responsable de la comunicación permanente entre el Gerente de investigación y el Investigador principal, asegurar la calidad del trabajo de campo, monitorear las base de datos entregadas por el Gerente de datos.

x Gerente de trabajo de campo. Responsable de la adaptación, pilotaje de cuestionarios y otros instrumentos de medición, seleccioar de encuestadores, desarrollar del plan de levantamiento de datos, señalar procedimientos de control de calidad y coordinar toda la logística de trabajo de campo.

x Gerente de datos. Responsable de la digitación y limpieza de datos, seleccionar digitadores, definir protocolos de transmisión de datos, coordinar logística de digitación y envío de datos, consolidar la base de datos y entregarla al Investigador principal y el Asistente de investigación.

El MINEDUC ha creado una tabla con los requerimientos indispensables para el equipo de investigación. Evalué los requerimientos:


46

Cuadro 7. Características del equipo de investigación

Educación Años de Experiencia

Habilidades especiales

Tiempo de dedicación

Gerente de Proyecto

Licenciatura en economía, estadística, ingeniería, ciencias sociales

10 Experiencia en levantamiento de datos, encuestaje. Habilidades gerenciales.

Tiempo completo

Investigador Principal


5-10 en evaluaciones de impacto

Diseño y análisis de evaluaciones de impacto de calidad en “peer reviewed journals.”

Algunos meses.

Asistente de Investigación

Maestría en área relevante

1-2 años de experiencia en análisis de datos

Experiencia en trabajo de campo, levantamiento de datos

Algunos meses, cuántos días en terreno?

Gerente de Trabajo de Campo

Educación en encuestaje

1- 2 años de experiencia

Experiencia en trabajo de campo, levantamiento de datos

Tiempo Completo

Gerente de Datos


Sin experiencia Experiencia en Excel

Tiempo completo

2.9 Supervisión del proyecto de evaluación ¿Quién deberá supervisar el proyecto de evaluación en el MINEDUC? _________________________________________________________________________


47

2.10 Pagos Los pagos deben estar sujetos a la aprobación de los productos entregados (no únicamente la entrega de los mismos), de acuerdo a un calendario razonable. Ayude al MINEDUC a definir los cinco productos que la consultora deberá entregar, así como valores razonables para las variables X e Y.

1. PRODUCTO 1 _________________________________________________. [X%] del monto del contrato. Deberá ser entregado [Y] días después de la firma del contrato.






Editores y últimas actualización y revisiones Editado por:

Anne Thibault, [email protected] Documento por:

Thomas Vargas, [email protected] Date: 16/03/2014


48


49

Evaluar el impacto causal de un programa genera informes que pueden ser muy útiles para los tomadores de decisiones. Esto no quiere decir que todo programa, componente o intervención amerite una evaluación de impacto, particularmente porque éstas pueden tener un costo relativamente elevado. Así mismo, se reconoce que no toda intervención debe ser evaluada—hay varias alternativas que podrían generar evidencia importante para la mejor gestión de un programa más allá de la evaluación de impacto. Por lo tanto, es importante verificar que la intervención de interés cumpla con ciertas características que permitan realizar sobre él un análisis prospectivo de impacto y que el plan de evaluación de impacto sea factible y útil. Este documento presenta algunas de las consideraciones que se deben tomar en cuenta al realizar una evaluación de impacto y se basa en la experiencia de J-PAL y sus socios a lo largo de la región en el diseño de sus proyectos. Paso 1. Identificar si “vale la pena” evaluar una intervención. Para evaluar el impacto de un programa de manera rigurosa, un programa o intervención necesita cumplir con una serie de requisitos. J-PAL LAC trabaja de cerca con los operadores de una intervención para verificar que el programa cumpla con estos requisitos. Las siguientes preguntas ayudan a identificar si un programa está listo para ser evaluado:

x ¿Cuál sería el costo total de una evaluación experimental para el programa? ¿Son proporcionales los costos relativos al tamaño, escala y presupuesto del programa o intervención?

x Con respecto al programa o intervención: ¿se encuentra maduro y estable en su gestión?

x ¿Se pueden diseñar protocolos de evaluación que no incidan en el buen desempeño del programa o de la intervención?

x ¿Qué tipo de preguntas importantes sobre el programa responderá la evaluación? ¿Cómo contribuirá esto al bienestar de los beneficiarios y la toma de decisiones de los operadores de programa y de los hacedores de política pública?

x ¿Se podría replicar el programa a mayor escala en otros contextos?

Preguntas para el diagnóstico de evaluabilidad


50

Paso 2. Definir al equipo investigador.

Definir un buen equipo de investigación es fundamental para la ejecución de una evaluación de impacto que resulte en una estimación rigurosa de un impacto causal. Este equipo debe ser imparcial, de tal manera que no introduzca un sesgo en los estimadores de impacto. A la vez el equipo debe asegurar un alto nivel de coordinación entre todos los actores involucrados para permitir una evaluación rigurosa de acuerdo a los plazos establecidos. Este equipo debe ser lo suficientemente creativo para poder definir el método de identificación causal que mejor se ajusta a las características y contexto de la intervención y que sea capaz de anticipar y sortear las amenazas a la ejecución y validez interna de la evaluación.

Paso 3. Identificar las preguntas de evaluación que son relevantes.

J-PAL busca que sus evaluaciones se incorporen al proceso de diseño de políticas públicas. Para lograr que esto suceda, se debe identificar ex ante cuales son las preguntas de política pública más importantes que se podrían contestar con la evaluación. Entre las tareas del equipo investigador se encontrará:

x Identificar preguntas que puedan servir a los operadores de programa en la toma de decisiones.

x Circular estas preguntas entre todos los actores involucrados.

Con esta información en mano, se debe tener en mente que la evaluación se debe diseñar de tal manera que permita:

x Proveer información sobre las razones por las cuales el programa funciona o no funciona, más allá de un simple análisis de impacto (es decir, los mecanismos a través de los cuales la intervención funciona).

x Compartir los resultados de la evaluación con todos los actores involucrados en la intervención.

x Educar a los tomadores de decisiones en otros contextos similares.

Paso 4. Definir el método de identificación causal. El siguiente paso es definir el método de identificación causal. Identificar el impacto causal de un programa requiere estimar el contrafactual rigurosamente. Bajo ciertas condiciones, la evaluación experimental es el método más confiable para estimar el impacto causal de un


51

programa. Sin embargo, las reglas de operación de los programas deberían guiar la elección del método de evaluación. Las siguientes preguntas pueden ayudar a definir el método de identificación:

x ¿Cómo se seleccionan los beneficiarios? ¿Existen grupos prioritarios a la hora de distribuir beneficios?

x ¿Hay consideraciones éticas que prohibirían impedir la entrega de algún beneficio inmediatamente a ciertos grupos?

x ¿Con qué probabilidad se le podría entregar beneficios a personas en grupos de comparación?

x ¿Cuáles son los costos y beneficios de utilizar una metodología en comparación con las demás?

x Si se puede aleatorizar: o ¿A qué nivel se aleatorizará y por qué? ¿Cuál es el método de aleatorización

ideal? x Si no se puede aleatorizar:

o ¿Cuál es el método de identificación causal más apropiado dadas las reglas de operación del programa?

x ¿Cuál es el tamaño de muestra necesario para detectar un impacto causal? La elección del método de identificación causal es la pieza clave para una evaluación de impacto. No obstante, no es el único insumo necesario. Una buena evaluación de impacto incluirá una estimación del impacto del programa o intervención acompañada de un buen levantamiento de datos y costos, una evaluación de procesos y un análisis de resultados que especifique las recomendaciones de política pública. Paso 5. Levantar datos de alta calidad. Típicamente, el levantamiento de datos es el costo más alto de una evaluación de impacto. Abaratar costos parte con establecer lineamientos claros con respecto a los diferentes requisitos de un levantamiento de datos. Esto se define a partir de algunas de las siguientes consideraciones:

x Poner atención al levantamiento de datos en línea base. x Diseñar un plan de recolección de datos, que ligue el levantamiento con un

subsiguiente análisis de datos. x Desarrollar protocolos de levantamiento, digitación y seguridad de datos. x Asegurarse de que los protocolos se mantengan invariables a través del tiempo.


52

x Validar la precisión de los datos. x Monitorear la calidad de los datos. x Entregar los datos con suficiente rapidez después de haber sido recolectados para su

análisis.

Paso 6: Estimar impacto causal del programa Al analizar el impacto causal de un programa, es importante tener en cuenta que es óptimo que el análisis se presente de manera transparente, sea consistente y comparable. Esto asegura que sea de utilidad no solo para esta investigación sino para investigaciones subsiguientes y cualquier evaluación que esté sucediendo o que haya sucedido. Para esto, se debe asegurar que:

x El equipo de investigación diseñe, levante y analice los datos de manera consistente. x Se realice un reporte de evaluación de impacto que señale, de manera transparente,

la metodología, los datos, así como los métodos de análisis y sus limitaciones. x Se publiquen los datos para que el análisis de los investigadores pueda ser replicado. x Se documente cualquier conflicto de interés.


53

Términos Importantes Análisis de regresión: Un método estadístico que determina la asociación entre las variables dependientes y una o más variables independientes. Asignación aleatoria: Un diseño de intervención en el cual los miembros de la población elegible son asignados aleatoriamente bien sea al grupo de tratamiento o al de control (i.e. asignación aleatoria). Es decir, el que alguien esté en el grupo de tratamiento o en el de control es un asunto de azar exclusivamente y no una función de cualquiera de sus características (observadas o no). Cálculos de poder: El cálculo de la muestra requerida para la evaluación de impacto, el cual depende de diversos factores, tales como el tamaño de efecto mínimo detectable o el nivel de confianza requerido. Contaminación (Spillover): Cuando los miembros del grupo de control se ven afectados,ya sea por la intervención propia (ver efectos secundarios) o por otra intervención que afecte el resultado esperado. Contrafactual: Corresponde al valor que hubiera tenido la variable de resultado para los individuos del grupo de tratamiento en el caso hipotético de no haber recibido el tratamiento. El contrafactual no puede ser observado por lo que debe ser inferido de un grupo de comparación o grupo de control. Correspondencia, Pareamiento (o Matching): Un método empleado para crear grupos de control, en los cuales los grupos o individuos son hechos corresponder a aquellos en el grupo de tratamiento en base a las características que se consideran relevantes para el resultado o resultados de la intervención. Correspondencia de puntaje de propensión (Propensity Score Matching (PSM)): Un diseño cuasi-experimental para calcular el impacto de una intervención. Los resultados del grupo de tratamiento se comparan con aquellos para un grupo de control, en donde este último se construye a lo largo de correspondencias establecidas sobre puntajes de propensión. Los puntajes de propensión son la probabilidad de participar en la intervención, tal y como son dados por una ecuación probit sobre características observadas. Dichas características no deben verse afectadas por la intervención.

Términos Importantes


54

Desgaste o Atrición: Datos perdidos a causa del retiro de los participantes del grupo de tratamiento durante la intervención, o a causa de la imposibilidad de recolectar información de una unidad en rondas subsiguientes en un sondeo de información. Cualquiera de las anteriores formas de desgaste puede resultar en estimaciones de impacto sesgadas. Diferencia única: La comparación en el resultado para el grupo de control después de la intervención con el valor de su línea de base (también conocido como "antes versus después"), o bien una comparación ex post en el resultado entre los grupos de tratamiento y control. Diseño de evaluación ex ante: Un diseño para una evaluación de impacto preparado antes de que tenga lugar la intervención. Los diseños ex ante son más fuertes que los diseños ex post por su capacidad para considerar la asignación aleatoria así como la recolección de información de base tanto del grupo de tratamiento como del grupo de control. También conocido como evaluación prospectiva. Diseño de evaluación ex post: Un diseño de una evaluación de impacto preparado una vez que la intervención haya comenzado y posiblemente haya sido completada. Salvo que haya habido una asignación aleatoria, deberá emplearse un diseño cuasi experimental o no experimental. Diseño de Regresión Discontinua: Un diseño de evaluación de impacto en el cual los grupos de tratamiento y control se identifican como aquellos que se encuentran inmediatamente por encima y por debajo de un umbral que determina la elegibilidad o participación en el programa. Este umbral puede basarse en un puntaje o una característica observada (por ejemplo edad o ingresos) o un índice compuesto construido para este fin. Diferencia en Diferencias: es el cambio observado en la variable de interés en el grupo de tratamiento “menos” el cambio observado en el grupo de control. La doble diferenciación permite evitar el sesgo de selección que resulta de diferencias entre el grupo de control y el grupo tratado que se mantienen constantes. Efecto promedio del tratamiento: El valor promedio del impacto sobre el conjunto de la población estudiada, incluyendo tanto al grupo tratado como al grupo de control. Ver también “efecto intención de tratar” y “efecto del tratamiento sobre los tratados”. Efectos indirectos o externalidades: Cuando la intervención tiene un impacto (bien sea positivo o negativo) sobre unidades que se encuentran fuera del grupo de tratamiento. Hacer


55

caso omiso de los efectos indirectos puede resultar en una estimación sesgada del impacto. De existir estas externalidades, el grupo de beneficiarios es mayor que el de participantes. Cuando los efectos indirectos afectan a miembros del grupo de control, nos hallamos en un caso de “contaminación” o spillover. Error de muestreo: Es el error que se produce cuando se emplean estimaciones a partir de una muestra en lugar de información obtenida a partir de la población entera. Factores de confusión (Confounding factors): variables que están asociadas tanto con la asignación al tratamiento o al control como con el resultado de interés. Si el grupo de control y el grupo de tratamiento son distintos en términos de una variable que afecta al resultado, el efecto de esta variable se confundirá con el efecto del tratamiento (si no se controla por esta variable mediante regresión estadística). Grupo de comparación o control: grupo de individuos no participantes en un programa respecto a los cuales se comparan los resultados del grupo participante (grupo de tratamiento), a fin de estimar el efecto del programa. Grupo de tratamiento: El grupo de personas, compañías, instituciones, etc. que recibe la intervención (participantes del programa o intervención). Hipótesis: una proposición específica acerca de la relación entre dos variables. En una evaluación de impacto, las hipótesis generalmente se plantean como una relación causal entre la intervención y las distintas variables de resultado, afirmándose que la intervención no tiene efecto (hipótesis nula) o si lo tiene (hipótesis alternativa). Impacto: se define como la diferencia entre el valor de la variable de interés en presencia del programa y el valor que tendría esta variable si el programa no hubiera tenido lugar. Indicadores: Métricas usadas para cuantificar o medir las dimensiones que un programa busca afectar, así como la forma en que se implementa un programa. Línea base: Levantamiento de información que se realiza antes de dar inicio a la intervención. Los datos de línea base pueden servir para mejorar la precisión de la estimación de impacto y deberían ser recolectados tanto en relación con el grupo de tratamiento como con el de grupo control. Nivel de aleatorización: El nivel (e.g. individual, hogar, escuela, aldea) en el cual se realiza la asignación aleatoria a grupos de tratamiento y de control.


56

No observables: Características que no pueden ser observadas ni medidas. La presencia de inobservables puede generar sesgo en la selección en diseños no experimentales si dichas variables inobservables están correlacionadas con la participación en el programa y con la variable resultado. Efecto de Intención de tratar: Efecto promedio del tratamiento calculado sobre la totalidad del grupo de tratamiento cuando algunos de los individuos asignados al tratamiento no fueron tratados (no participaron en la intervención). Teoría de cambio: Describe la forma en que la implementación de un programa se traduce en resultados, por medio de una cadena de relaciones causales. Un enfoque basado en teoría de cambio examina las presunciones que subyacen a las hipótesis de una evaluación de impacto. Muestra: Un subconjunto de la población estudiada. La muestra se obtiene al azar del marco de muestreo. En una muestra aleatoria simple todos los elementos del marco tienen una probabilidad igual de ser seleccionados, pero normalmente se emplean los diseños de muestreo más complejos, los cuales requieren el uso de peso de las muestras en el análisis. Prueba aleatoria controlada: Un diseño para la evaluación de impacto en el cual se emplea la asignación aleatoria para adjudicar la intervención entre miembros de la población elegible. Dado que no debería haber ninguna correlación entre las características de los participantes y el resultado, y que las diferencias entre el resultado entre los grupos de tratamiento y control pueden atribuirse enteramente a la intervención, es decir, que no hay sesgo en la selección. Sin embargo, estas pruebas pueden estar sujetas a diferentes tipos de sesgo y por tanto requieren de protocolos estrictos. Sesgo de selección: Sesgo introducido en la estimación de un impacto debido a diferencias en la composición promedio entre los grupos de tratamiento y control. Cuando ambos grupos no son idénticos en promedio, parte de las diferencias en los resultados pueden deberse a dichas diferencias preexistentes, no solo al tratamiento. Tamaño de efecto mínimo: El tamaño mínimo de efecto que el investigador considera necesario detectar en la evaluación de impacto. Debe ser definido con anterioridad a la evaluación para desarrollar el cálculo de potencia, a fin de determinar el tamaño de muestra requerido. Tamaño del efecto: magnitud de la asociación entre la variable de tratamiento (que toma valores cero o uno) y la variable de resultado. Esta asociación se considera causal bajo determinadas condiciones.


57

Efecto del tratamiento sobre los sujetos tratados: Estimación del impacto promedio del tratamiento sobre la población tratada, es decir, sólo para aquellos que efectivamente fueron objeto de la intervención. Validez externa: Los resultados de una evaluación tienen validez externa si son generalizables a otros contextos temporales o culturales. Validez interna: Los resultados de una evaluación tienen validez interna si se puede argumentar que la estimación del impacto es una estimación adecuada del efecto causal de la intervención. Ello supone abordar amenazas a la validez interna tales como el sesgo en la selección, los efectos indirectos o la contaminación (spillovers). Variable dependiente: Una variable que se cree que puede ser predicha por o causada por una o más variables independientes. El término se utiliza comúnmente en el análisis de regresión. Variable independiente: Una variable que se cree causa cambios sobre la variable dependiente. Usualmente se aplica en el análisis de regresión. Basado en el glosario para la evaluación de impacto de 3ie. 3ie (2011), 3ie Glosario para la Evaluación de Impacto. Iniciativa Internacional para la Evaluación de Impacto. Nueva Delhi, India.


58


59

Apuntes


60

Apuntes


61

Apuntes


62

Apuntes


63

Apuntes


64

Apuntes


65

Mapas El curso se desarrollará en el Centro de Postgrados de la Universidad de Montevideo (UM). La dirección es: Puntas de Santiago 1564, (Carrasco).


66

Modelo de Términos de Referencia, 1

!

Modelo de Términos de Referencia

Términos de Referencia1 Evaluación de Programa

Consultora de Evaluación de Impacto

I. Contexto

[Agregar contexto del programa]

II. Objetivos

[Identificar objetivos del proyecto de evaluación, diferentes del programa de política pública que se va a evaluar]

I I I . Preguntas de investigación

IV. Metodología y especificaciones técnicas

El diseño de la evaluación de impacto deberá identificar si los siguientes indicadores cambiaron o no , [tiempo, años/meses] después de haber sido implementado el programa, con un nivel de confianza del [0.95] y con un poder estadístico del [0.8].

Indicador Efecto Mínimo Detectable

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!1!Model!propuesto!por!el!Banco!Interamericano!de!Desarrollo.!!


!

Análisis de grupo. El proyecto también debe identificar efectos heterogéneos dentro de los siguientes grupos.

Subgrupo Indicador Efecto Mínimo Detectable

Nivel de confianza

Poder estadístico

[identificar]

[ identificar]

La propuesta de la consultora deberá incluir un diseño de un estudio experimental que determine el impacto causal de la intervención sobre los indicadores anteriormente mencionados, así como un calendario de actividades y una estimación de presupuesto.

V. Productos entregables

El trabajo incluye las siguientes tareas:

1. Crear un panel asesor local. La Consultora de Evaluación de Impacto (CEI) establecerá un panel asesor dentro del país compuesto por los actores claves: miembros del equipo de diseño del proyecto, contrapartes del gobierno, contrapartes del BID, etc. El panel guiará al equipo de evaluación de impacto en las políticas relevantes, contexto del país y otros temas específicos del país, así como generará participación activa de los actores claves en el diseño de la evaluación de impacto.

2. Desarrollar el diseño de estudio detallado. La CEI analizará el diseño preliminar especificado en la Sección II con el panel asesor local, lo revisará en consecuencia y producirá un calendario detallado de las actividades, y el flujo de caja y la dotación de personal correspondiente


!

3. Desarrollar/Adaptar los cuestionarios e instrumentos de medición. En conjunto con los miembros del equipo técnico y el panel asesor local, la CEI identificará los indicadores de resultado claves y otras variables que se medirán como parte de la evaluación de impacto. Estos incluirán indicadores individuales, de hogar, comunidad, instalación y de programa. También se incluye la definición de fuentes de datos y métodos de colección y métodos preferidos de medición. Esto involucra:

• Revisar plantillas de cuestionario y adaptarlas al contexto especifico de [país].

• Hacer pruebas preliminares del cuestionario y de los otros instrumentos de medición.

• Revisar cuestionario con el panel asesor.

• Finalizar el cuestionario basándose en la retroalimentación recibida durante el pilotaje y en los comentarios del panel asesor.

4. Desarrollar un protocolo de investigación. La CEI identificará todos los requisitos para la aprobación ética de las actividades de la evaluación de impacto, y desarrollará el protocolo de investigación correspondiente, el cual incluirá:

• Descripción general de la metodología, levantamiento de datos y plan de análisis.

• Descripción general de la medidas tomadas para la protección de sujetos humanos, incluyendo consentimiento informado y confidencialidad del encuestado

• Evaluación de riesgos y beneficios al encuestado.

5. Desarrollar un plan de muestreo. La CEI definirá el tamaño de muestra requerido para estimar los impactos del programa especificados en la Sección II, [proporcionar medidas externamente validas, si existen,] y la estrategia de muestreo correspondiente. Esto involucra:

• Definir número de clústers ([comunidades, instalaciones, hogares, empresas, etc.]) en cada uno de los grupos de control y tratamiento, así como el número de unidades individuales ([hogares, personas, trabajadores, estudiantes, etc.]) en cada clúster.


!

• Especificar, el número de visitas repetidas antes y después de las intervenciones

• Definir el criterio de inclusión de la muestra

• Producir el documento de metodología de muestreo

6. Realizar la/s encuesta/s de línea base. La CEI planeará y implementará todas las actividades de levantamiento de datos de línea base, incluyendo:

• Desarrollar el plan de trabajo de campo

• Desarrollar/Adaptar los materiales de capacitación para la encuesta

• Preparar protocoles y manuales de trabajo de campo (protocoles del supervisor, enumerador, seguimiento, etc.)

• Desarrollar programas de entrada de datos

• Testear en el campo.

• Reclutar y capacitar a trabajadores de campo.

• Producir reportes de progreso de trabajo de campo

• Recolectar y compilar cualquier dato secundario necesario (e.g. clima, índice de precios, etc.)

• Manejar comunicaciones y actuar como enlace entre los trabajadores de campo y los jefes de campo, el panel asesor local, el gobierno y los otros actores claves.

La CEI debe asegurar que todas las actividades se lleven a cabo de acuerdo a los estándares de calidad establecidos. Detalles de la organización del trabajo de campo y el perfil de trabajadores de campo esperados se pueden encontrar en el Apéndice 1. [Se presentan tres versiones del Apéndice 1, que difieren en la opción elegido para la integración del trabajo de campo y la administración de datos].

7. Validar el diseño de la evaluación. La CEI se responsabiliza del análisis de los datos de línea base para validar el diseño de la evaluación (a través de pruebas estadísticas de diferencias en medias de la línea base) y verificar la calidad de los datos producidos. Esto incluye:

• Escribir códigos estadísticos para el análisis de datos.


!

• Construir variables de acuerdo a definiciones internacionales y locales.

• Construir pruebas de diferencias en medias para la línea base.

• Producir un resumen estadístico de las principales variables de resultado y covariables

8. Manejar documentación y almacenamiento de datos . La CEI se hace responsable de asegurar la documentación apropiada y exhaustiva de las actividades de la evaluación de impacto, así como asegurarse de que todos los datos y documentación correspondiente estén almacenadas correctamente, usando el Toolkit de Manejo de Microdatos (TMM) y los estándares de la Red Internacional de Encuestas de Hogares (RIEH).

9. Monitorear implementación del programa y consultar sobre cambios al diseño del programa que estén relacionados con la evaluación. Durante la implementación del proyecto, la CEI consultará con los miembros del equipo del proyecto sobre el diseño de la evaluación y la implementación del proyecto, haciendo ajustes donde sea necesario

10. Realizar encuesta/s de seguimiento con los mismos métodos y estándares de calidad usados para la/s encuesta/s de línea base.

11. Desarrollar bases de datos analíticos, examinados, calidad asegurada y fusionados. Todo software usado para transformar los archivos de datos brutos en bases de datos analíticos deberán ser documentados para referencia en el futuro, junto con cualquier apunte o comentario que pueda ser relevante para la replicación futura de la limpieza de los archivos de datos.

12. Realizar análisis de impacto. La CEI se hace responsable de analizar los datos de seguimiento de acuerdo al diseño de la evaluación de impacto y de escribir los informes, presentaciones y policy briefs de la evaluación de impacto.

13. Actividades de diseminación. La CEI producirá informes descriptivos escritos y presentaciones cuando necesario, incluyendo interpretación y síntesis de los resultados estadísticos, revisión y síntesis de la literatura, producción de tablas, gráficos y apéndices, y otras tareas de escritura, edición e investigación.

VI. Equipo de investigación

Los siguientes productos deberán ser presentados para poder procesar la solicitud de pago:


!

1. El diseño de una evaluación de impacto con su Nota Conceptual y Carta Gantt correspondiente.

2. Cuestionario final basado en la retroalimentación de los pilotajes y el panel asesor.

3. Protocolo de Investigación, incluyendo una descripción general de la metodología, el levantamiento de datos y el plan de análisis; una descripción general de las medidas que se tomarán para la protección de sujetos humanos; y una evaluación de los riesgos y beneficios del encuestado.

4. Un manual de trabajo de campo (encuestador, supervisor, digitador, etc.)

5. Plan de Muestreo, definiendo el tamaño de muestra y la estrategia de muestreo, indicadores de resultados, efecto mínimo que el estudio esta diseñado para medir usando cálculos de poder, número de clústers en el grupo control y tratamiento, número de unidades individuales en cada clúster, y el número de visitas repetidos antes y después de las intervenciones.

6. Tabla resumen con los detalles de los clústers y unidades individuales que serán observadas, y las fechas y ubicaciones del levantamiento de datos.

7. Marcos de muestreo que se usarán en cada etapa del muestreo.

8. Plan de trabajo de campo y informes de progreso de la encuesta.

9. Bases de datos parciales [semanal / quincenal / mensual] durante las varias etapas relevantes del levantamiento de datos, y consolidación final de la base de datos.

10. Un informe de línea base.

11. Un informe final, presentación y policy brief de la evaluación de impacto,

12. Todos los conjuntos de datos, códigos estadísticos y otros insumos usados para la evaluación de impacto

13. Actividades de diseminación:

VII. Características de Consultoría

1. Tipo de Consultoría: Consultoría Internacional

2. Duración: [X años] empezando cuando se firme el contrato


!

3. Ubicación del Trabajo: [X]

VIII. Personal Clave

La CEI deberá proveer los servicios del Equipo de Personal Básico, compuesto por el siguiente personal clave, con las responsabilidades, credenciales y dedicación especificadas.

• Gerente de Proyecto. El Gerente del Proyecto será responsable de realizar el proyecto y de la entrega oportuna de los productos especificados en la Sección IV, manteniendo comunicación permanente con el BID, los asistentes técnicos asignados por el BID, el Investigador Principal y el Investigador Asistente, el Comité Asesor Local, el Ministerio de [Educación / Salud / etc.], [la Agencia Nacional de Estadística] y otros actores claves.

o Perfi l : Título de una universidad en estadística, economía, ingeniería, ciencias sociales u otro tema relevante, y por lo menos [10] años de experiencia en encuestas de hogar [e instalaciones de salud, instalaciones educativas, etc.]. Capacidad de facilitar la comunicación entres varios niveles de administración y trabajar independientemente de forma ordenada y cumpliendo con los plazos.

o Dedicación: El Gerente de Proyecto deberá dedicarse exclusivamente y a tiempo completo al proyecto a lo largo de su duración.

• Investigador principal. El Investigador Principal se hará responsable de desarrollar un plan de estudio detallado, seleccionar la muestra, los cuestionarios y otros instrumentos, analizar los datos y escribir los reportes.

o Perfi l : PhD en [área relevante], y un mínimo de [5] años de experiencia en el diseño y análisis de evaluaciones de impacto usando diseños aleatorizados o controlados de otra forma, incluyendo la medición de [resultados] a través de encuestas de hogar [e instalación de salud, instalación educativa, etc.], análisis cuantitativo de datos con STATA [y/o SPSS, etc.]; excelente destreza escribiendo y comunicándose en [inglés y/o español], con un enfoque en protocolos de investigación, estudios de investigación e informes descriptivos para diversos públicos, probado a través de publicaciones en revistas científicas arbitradas.

o Dedicación: El Investigador Principal dedicará por lo menos [X] meses al proyecto, [Y] de ellos en el país.


!

• Asistente de Investigación. El Asistente de Investigación se hará responsable de la comunicación permanente entre el Investigador Principal y el Gerente de Proyecto, y de asegurar la calidad del trabajo de campo, monitoreando permanentemente las base de datos entregadas por el Gerente de Datos de encuesta de forma [semanal / quincenal / mensual].

o Perfi l : Master en [área relevante], y un mínimo de [2] años de experiencia en el análisis de datos de encuesta con STATA [y/o SPSS, etc.]; excelente destreza escribiendo y comunicándose en [inglés y/o español].

o Dedicación: El Asistente de Investigación se dedicará exclusivamente y a tiempo completo al proyecto a lo largo de su duración.

• Gerente de trabajo de campo. El Gerente de Trabajo de Campo se hará responsable de la adaptación, pilotaje [y traducción] de los cuestionarios y otros instrumentos de medición; de la selección y capacitación del equipo de campo; de desarrollar el plan de levantamiento de datos especificando cuándo cada unidad de encuesta será observada, y por cuál equipo de campo; de señalar los procedimientos de control de calidad; y de coordinar toda la logística del trabajo de campo.

o Perfi l: Profesionales con por lo menos [X] años de estudios universitarios en materias relacionadas al levantamiento de datos, y por lo menos [Y] años de experiencia en el manejo del trabajo de campo de encuestas.

o Dedicación: El Gerente de Trabajo de Campo se dedicará exclusivamente y a tiempo completo al proyecto a lo largo de su duración.

• Gerente de Datos. El Gerente de Datos se hará responsable de la digitación y limpieza de datos, de seleccionar y capacitar a digitadores; definir los protocoles y procesos del envío de datos; de coordinar la logística de digitación y envío de datos; de consolidar la base de datos y de entregarla al Investigador Principal y al Asistente de Investigación de forma [semanal / quincenal / mensual]

o Perfi l : Profesional con por lo menos [X] años de estudios universitarios en computación y materias relacionadas al levantamiento de datos, y por lo menos [Y] años de experiencia con programación [SQL, Visual Basic u otro idioma], desarrollo de programas de entrada de datos de encuesta con [CSPro, LSD, Blaise u otra plataforma], y manejo de datos de encuesta complejos con [STATA, SPSS u otro software estadístico].


!

o Dedicación: El Gerente de Datos se dedicará exclusivamente y a tiempo completo al proyecto a lo largo de su duración.

IX. Trabajo de Campo y Gestión de Datos

El CEI organizará la recolección de datos empleando tantas Brigadas de Terreno como sea necesario para completar el trabajo de campo en el tiempo especificado en el calendario de la evaluación de impacto. Cada brigada será dirigida por un líder de brigada, y se compondrá de cierto número de entrevistadores [y otro personal], tal y como se especifica en el Apéndice 1.

[Para completar esta sección, escoge entre una de las tres versiones indicadas en el Apéndice 1, dependiendo de cómo se vayan a relacionar las tareas de trabajo de terreno y gestión de datos:

• La versión A describe el enfoque de Edición en Terreno Asistida por Computadora (CAFÉ, por sus siglas inglesas), en el que los datos son recolectados en cuestionarios en papel, pero son inmediatamente introducidos y revisados por los técnicos de datos de las propias brigadas de terreno, de modo que las inconsistencias se corrigen mientras la brigada están en el clúster que se está visitando.

• La versión B describe el enfoque de Entrevista Personal Asistida por Computador (CAPI, por sus siglas en inglés), en el que los entrevistadores usan portátiles o Smartphone en vez de cuestionarios en papel.

• La versión C describe el enfoque en el que la entrada de datos se realiza desde uno o varios centros dedicados a ello, de forma independiente al trabajo de campo.

La versión A es una solución madura que ha demostrado ser capaz de integrar los controles de calidad basados en la computación con el trabajo de levantamiento de datos en terreno, en distintos países y durante muchos años. La versión B es técnicamente atractiva, pero requiere una inversión significativa previa al trabajo de terreno. La versión C solo debe usarse como último recurso.]

X. Calendario de Pagos

Los pagos se realizarán tras la aprobación de los siguientes productos:

1. Plan de trabajo detallado. [X%] del monto total del contrato. Debe entregarse [Y] días después de la firma del contrato.

2. Cuestionarios, programas de entrada de datos y manuales. [X%] del monto total del contrato. Debe entregarse [Y] días después de la firma del contrato.


!

3. Informe intermedio, junto a la lista de trabajadores de terreno satisfactoriamente entrenados y contratados. [X%] del monto total del contrato. Debe entregarse [Y] días después de la firma del contrato.

4. Bases de datos de línea de base. [X%] del monto total del contrato. Debe entregarse [Y] días después de la firma del contrato.

5. Informe de línea de base. [X%] del monto total del contrato. Debe entregarse [Y] días después de la firma del contrato.

6. Base de datos de línea final. [X%] del monto total del contrato. Debe entregarse [Y] días después de la firma del contrato.

7. Informe final. [X%] del monto total del contrato. Debe entregarse [Y] días después de la firma del contrato.

XI. Coordinación del Trabajo

La coordinación de la entrega de los productos mencionados arriba, así como del servicio de consultaría en sí mismo, es responsabilidad del Jefe del Equipo de País del BID. [ ], [nombre], [email, tel.: ].

curso de introducción a las evaluaciones de impacto ... · ¡bienvenidos! en j-pal trabajamos para...

Documents