J-PAL y Evaluaciones Experimentales

Ryan Cooper

J-PAL

Latinoamérica y el Caribe

Presentación

J-PAL:

Qué es, la misión y su importancia.

En pos de la misión.

Evaluación de Impacto en la práctica: Consideraciones

Tipo de evaluación: Procesos vs. Impacto.

Carácterísticas claves de una buena y útil evaluación.

Consideraciones Logísticas.

J-PAL

Qué es, la misión y su importancia

J-PAL Red de 70 académicos en todo el mundo, unidos por

el uso de evaluaciones experimentales

J-PAL

Misión:

Reducir la pobreza garantizando que las políticas públicas estén basadas en evidencia científica.

J-PAL

Motivación:

Utilidad de Evaluación de Impacto

Complejidad de Evaluar Impacto

Utilidad de Evaluar Impacto

Utilidad de evaluar impacto

Innovar

Optimizar uso de $$

Optimizar programas

Sostenibilidad política

“Fundraising”

Por qué evaluamos

Resultados positivos pueden implicar:

– Escalar programas (+ optimizar + sustentabilidad + “fundraising”)

• PROGRESA/Oportunidades – México • Capacitación laboral jóvenes - Colombia • Programas de desarmamiento y desmovilización - Liberia

Por qué evaluamos

- Descontinuar (o rediseñar)

• Textos escolares - Kenia

• Computadoras en escuelas - Colombia

Costo-efectividad

Incentivos/Costos Reducidos

Intervenciones de Salud

Información

Resultados Múltiples

J-PAL Costo-Efectividad: años adicionales de asistencia escolar por cada $100 gastados

Figura 1:

Para Generar Conocimientos • Evaluaciones experimentales son un bien público.

• Conocimientos importantes sobre cómo sobrepasar la pobreza.

• Útiles para gobiernos en todo el mundo.

12

¿Por qué evaluar?

Complejidad de Evaluar Impacto

Complejidad de medir efectos causales

Type of school Simce

Parent payment

Parent education Income

Repeated

Pre-School

NO OBSERVABLES

-0.2

6.8

7.4

13.4

8.1

16.6

18.2

Evaluaciones de Impacto Queremos medir la diferencia entre:

Resultados que los participantes del

programa obtienen un tiempo después

de participar en el programa

Resultados que esos mismos

participantes hubieran obtenido en ese

mismo momento si no habrían

participado en el programa

IMPACTO

Evaluaciones de Impacto

Desafío:

¿Cómo construimos el contrafactual?

Ingresos: 100 pesos

Impacto:

Ingresos 30% más

altos

Ingresos: 70 pesos

Capacitación Financiera

Evaluaciones de Impacto

¿Qué pasaría en esta situación?

Ingresos: 100 pesos

¿Impacto:

Ingresos 30%

mayores?

Ingresos: 70 pesos

En este caso, nuestros grupos no son comparables

Solución: Evaluación Experimental

Solución: Aleatorizar Antes que comience el programa, individuos elegibles

son asignados aleatoriamente a dos grupos:

Grupo de Tratamiento

Grupo de Comparación

Los grupos son estadísticamente idénticos antes del programa

Y cualquier diferencia en la línea final puede ser atribuida al programa

Aleatorio No Aleatorio

20

G1 G2

Ejemplo Progresa-Oportunidades

Conditional Transfer Private expend in health

Age of HH

HH Size Dirt floor

Baseline expenditure in health

-14.2

-19.5

-16.2

-30

-33.5

¡Consistencia de Resultado depende de la información disponible!

Expermiental vs. Non-Experimental

Conditional Trans Health Expend.

Age of HH

HH size dirt floor

Baseline expenditure

-7.6

-7.3

-7.5

-7.6

-7.7

Consistencia NO depende de información disponible.

-14.2

-19.5

-16.2

-30

-33.5

J-PAL: En pos de la misión

348 Evaluaciones completadas y en proceso

Nuestras actividades

Alcanzando nuestras metas

348 evaluaciones

Creemos que + de 60 MM beneficiados

+ de 1.200 personas

J-PAL en el mundo

La oficina regional para Latinoamérica y el Caribe se encuentra en la Pontificia Universidad Católica de Chile, desde donde se coordinan los

proyectos en la región.

Proyectos en LAC

En Latinoamérica y el Caribe, tenemos evaluaciones en las siguientes áreas:

• Educación

• Salud

• Finanzas

• Mercados Laborales

• Servicios Urbanos

Apoyando PP Basadas en Evidencia

Proyectos estratégicos con gobiernos de la región:

Comisión Brújula Chile

Evaluaciones Experimentales

Varios gobiernos han incorporado las evaluaciones experimentales a su proceso de diseño de políticas públicas

Evaluación de Impacto en la práctica:

Consideraciones importantes

Tipos de Evaluación:

Procesos / Impacto

Diferentes tipos de evaluación

Necesidades

Insumo

Producto

Resultado Intermedio

Impacto Objetivo a largo plazo

Estudiantes en escuelas

pobres no tienen libros de texto, lo

que resulta en poco

aprendizaje

Gobierno compra libros

Las escuelas reciben y usan los libros del

Gobierno

Los estudiantes usen los libros y pueden estudiar y aprender mejor

Mejores puntajes en

pruebas

Ingresos más altos cuando

los estudiantes ingresen al mercado laboral

Análisis de necesidades Evaluación de Procesos Evaluación de Impacto

Evaluación de Impacto de Procesos

Diferentes tipos de evaluación Eval de Proceso / Impacto contestan preguntas diferentes:

Evaluación de Proceso

• ¿Implementado como planificado?

– Libros distribuidos.

– Tiempo y calidad asistente con familia.

– Rotación de tutores de lectura.

– ¿faltó un proceso o insumo?

Evaluación de Impacto

• ¿El programa consiguió su objetivo final?

• Permite comparar costo-efectividad.

• ¡+ relevante cuando Eval. Procesos es +!

Diferentes tipos de evaluación

Combinar ambos tipos de evaluación:

• Medir impacto sin procesos:

– Efecto de “caja negra”.

– Estoy midiendo el plan o algo diferente.

• Medir procesos sin impacto.

– Valor en si mismo en corto plazo. Pero…

– Asume que el programa es útil y costo efectivo.

¿Evaluación de Impacto de procesos?

• Si tengo dudas importantes sobre el diseño.

Eval de Proceso / Impacto contestan preguntas diferentes:

Consideraciones importantes:

3 dimensiones a tener en cuenta.

Consideraciones – para evaluación relevante

1. Relevancia para Política Pública

1. ¿Pregunta de política relevante?

2. ¿Está el programa suficientemente maduro para ser evaluado?

3. ¿Son los resultados generalizables? ¿Es esto importante?

4. “Para hacer”: Muestra representativa – Costos – Evaluación Procesos

2. Confiabilidad en la medición de impacto

1. Estrategia de Identificación adecuada (bien justificada).

2. Poder Estadístico.

3. Protocolo de análisis predefinido (Registro de hipótesis)

3. Calidad de recolección de datos

1. Seleccionar, entrenar y hacer pilotos.

2. Monitoreo y Control de Calidad

Consideraciones Logísticas:

Etapas / Características de un evaluador /

Relaciones institucionales

Logística de una Evaluación Experimental

¿Quién las hace?

Personas con: • Experiencia implementando evaluaciones experimentales • Experiencia recolectando datos de alta calidad en países en vías de desarrollo • Conocimientos avanzados de estadística y economía

• Conocimientos del contexto del país en el que se hace la evaluación

• Disponibilidad para invertir tiempo en el proyecto

Etapas de una evaluación

Diseño evaluación y Instrumentos

Pilotaje Línea Base Seguimiento Análisis de

Datos

El tipo de programa a evaluar determina: – Tiempos de la evaluación dependen a la duración del programa y

sus efectos

– Costos: Dependen de los tiempos del programa, datos a recolectar

y tipo de aleatorización. • La mayoría de los costos de una evaluación provienen de las

encuestas, recolección de datos.

Alianza Evaluador - Implementador

Académicos Gobiernos, NGOs

• Cooperación durante todas las etapas de la evaluación • Acuerdo sobre del diseño de evaluación, preguntas a contestar, dimensiones

en que se evaluara el éxito y resultados a medir, tiempos de publicación. • Uso (consideración) de la evidencia para toma de decisiones.

Evalúan el programa Implementan el programa

Claves para el éxito

Roles del evaluador e implementador

Académicos Implementador

Diseño de evaluación e incorporación de evaluación al programa

Implementación de programa

Datos Administrativos

Apoyo como contraparte

Desarrollo de encuestas

Recolección y análisis datos

Interpretación de resultados en base a resultados cuantitativos y cualitativos Publicación y difusión de resultados

¿Preguntas?

¡Gracias!