¿cómo realizar una evaluación de impacto relevante para...

Francisco Haimovich

Banco Mundial

6 de Abril de 2017

Guatemala

TALLER DE EVALUACIÓN DE IMPACTO

¿Cómo realizar una evaluación de impacto relevante para las

operaciones?

Hoja de ruta de esta presentación…

• Repasando: cuatro elementos claves para una

evaluación de impacto

• Consideraciones prácticas cuando

implementamos evaluaciones en operaciones

• Ejemplos

Repasando… Cuatro elementos claves para

una evaluación de impacto

• Definición clara de la intervención

– “¿qué estamos evaluado?” Teoría del cambio clara

• Hipótesis bien definidas (impactos)

– ¿ Cuál es la pregunta de la investigación?

– Una estrategia de identificación sólida

– ¿Que metodología debemos escoger?

• Datos confiables

Diseño Cuando usarlo Ventajas Desventajas

Aleatorización

�Cuando es factible (exceso de demanda & viable)

�Regla dorada

�Mayor potencia

�No es siempre factible

�No es siempre ético

Promoción aleatoria �Cuando una intervención es implementada universalmente y sin fases

� Provee variación exógena para un subconjunto de beneficiarios

�Solo se centra en un subgrupo de la muestra

�El poder del diseño de incentivos solo se conoce ex-post

Regresión Discontinua

�Si la intervención tiene una clara regla de asignación (continua)

�Identificación causal creible (supuestos se pueden verificar/documentar)

�Solo se examina un subgrupo de la muestra

�La regla de asignación, en la practica poder ser aplicada laxamente

Diferencias en diferencias

�Línea de base y seguimiento disponibles

�Si los dos grupos “crecen” a la misma tasa

�Elimina diferencias inobservables fijas en el tiempo

�Diferencias en tendencia

�Necesita muchos datos (Idealmente, al menos dos periodos de pre-intervención)

Emparejamiento � Cuando otros métodos no son posibles

�Corrige sesgo de selección en variables observables

�Asume que no hay diferencias no obs. (muy (!) improbable)

EJERCICIOS

Aspectos claves para elegir un método

• ¿Existe exceso de demanda para el

programa?

• ¿Existe un umbral & índice de elegibilidad?

• ¿La Implementación es en fases?

ejemplo 1

• ¿Existe exceso de demanda para el programa? ✓✓✓✓

• ¿Existe un umbral & índice de elegibilidad? X

• ¿La Implementación es en fases? X

¿Qué método utilizarían?

ejemplo 2

• ¿Existe exceso de demanda para el programa? X

• ¿Existe un umbral & índice de elegibilidad? X

• ¿La Implementación es en fases? ✓✓✓✓

¿Qué método utilizarían?

ejemplo 3• Un programa de formación docente esta destinado a

todos los docentes de las municipalidades elegibles y

será implementado inmediatamente. El gobierno estima

que tiene cupos suficientes para cubrir todas las

inscripciones. Solo son elegibles las municipalidades

con una tasa de pobreza mayor a 40%

¿Qué método utilizarían?

Escogiendo el método (resumen) Programa Demanda Excesiva No Excesiva Demanda

Focalización

ImplementaciónFocalizado Universal Focalizado Universal

Por etapas1 Experimento

Aleatorio4 RDD

1 ExperimetnoAleatorio

2 PromociónAleatoria

3 DD con 5Emparejamiento

1Experimetno Aleatorio

4 RDD

1 Experimento

Aleatorio por

etapas

2 Promoción

Aleatoria

3 DD con

Emparejamient

o

Inmediato

1 ExperimentoAleatorio

4 RDD

1 ExperimentoAleatorio

2 PromociónAleatoria

3 DD con5Emparejamiento

4 RDD

Menos de utilizaciónplena:

2 PromociónAleatoria

3 DD con5Emparejamiento

ALGUNAS CONSIDERACIONESPRÁCTICAS…

Consideraciones Prácticas (1)

• La EI no es para cualquier intervención– Sean selectivos (ej: innovaciones escalables no probadas,

estratégicamente relevantes, etc.)

Sean “oportunistas” (aprovechar datos administrativos, pensar/aprovechar

reglas de elegibilidad, etc.)

• Empiecen temprano y trabajen el EI como parte del diseño del proyecto (anticipar necesidades información, estrategia de

eval, etc.)

• Piensen cuidadosamente los impactos (y como medirlos)– Teoría del cambio (que dimensiones va a afectar el proyecto)

– Seleccionen cuidadosamente los indicadores (concretos, medibles,

realistas, focalizados, etc.)

– Anticipen la duración para que los resultados se materialicen en las

encuestas

– Identifiquen desagregaciones útiles (ij. Grupos de ingresos, género, etc) y

planeen el tamaño de muestra considerando estas desagregaciones

Consideraciones Prácticas (2)

• Monitoreen la implementación del programas – el

diseño no siempre es lo mismo que la realidad. Lo

mismo vale para la recolección de datos en el campo

– La actividad de implementar una IE no termina con un buen

diseño…empieza ahí!

– Pruebas “pre-pilotos”

• Usen métodos cuanti y cualitativos– Información cualitativa puede proveer información

complementaria sobre los mecanismos en que los impactos

ocurren (o no ocurren)

• Tengan precauciones con la posible contaminación de los grupos de control y de tratamiento– En la medida de lo posible, defiendan los grupos de control y

tratamiento

Algunas preocupaciones usuales: Políticas

• No hay interés en mostrar (potenciales) malas noticias

• La larga duración de las evaluaciones no están alineadas con los tiempos

políticos

pero...

– Es peor desperdiciar recursos en algo que no funciona

– Un buen diseño puede sobrevivir a ciclos políticos (la evidencia rigurosa

aumenta las chances de que los programas “sobrevivan” y se hagan a gran

escala)

Lecciones aprendidas:

– Mostrar resultados tan pronto como se pueda (inclusive con limitaciones

en el análisis) ya que esto mantiene a los funcionarios políticos interesados en

apoyar este ejercicio.

14

Algunas preocupaciones usuales: Técnicas• Ya sabemos lo que funciona! No necesitamos una evaluación

• El concepto del proyecto ya está decidido y no hay espacio para

cambios

• La evaluación es muy cara y no podemos financiarla

pero…– En la practica, todavía quedan muchas preguntas básicas sin

contestar…– En muchos casos, las “decisiones tomadas” suelen ser sobre

algunos elementos básicos. Puede existir espacio para discutir

algunas variaciones/innovaciones.

– Pueden ser costosas, pero los resultados permiten una asignación mucho mas eficiente de los recursos (inversión) + sean

“oportunistas”

Lecciones aprendidas: Los proyectos en preparación son mejores

candidatos que aquellos que ya están siendo implementados

15

DOS EJEMPLOS DE EVALUACIONES DE IMPACTO ENOPERACIONES…

Ejemplo1: impacto de las escuelas de tiempocompleto (ETC—doble jornada) en aprendizajes

– Las escuelas de tiempo completo son bastante mas caras que las escuelas de

jornada única (mas infraestructura,

personal, etc.)

– son costo-efectivas para mejorar

aprendizaje?? (pregunta relevante!)

17

Ejemplo1: impacto de las escuelas de tiempocompleto (ETC—doble jornada) en aprendizajes

Que salió mal??

• El diseño de evaluación de impacto fue pensado ex-post: no se pudo crear un grupo de control creíble

(matching/paramiento: sólo controla por diferencias en

variables observables )

• No se evaluó si existía la info necesaria (este método

requiere mucha info, y debe ser pre-tratamiento): se

utilizaron unas pocas variables post-tratamiento para

hacer el matching

18

Ejemplo1: impacto de las escuelas de tiempocompleto (ETC—doble jornada) en aprendizajes

Consecuencias� Creo un “Sesgo negativo”:

subestimación del impacto del programa!!

* suelen ser escuelas mas vulnerables (como en

muchos de nuestros programas!): “peores” variables

inobservables (insumos, capacidad de gestión, etc.)

• Las variables “endógenas” capturan parte del impacto

• Además: Se ignoraron otros beneficios muy

relevantes (habilidades socio-emocionales?) y no se

recogió dicha información

19

Ejemplo 2: impacto de un programa de formación en servicio

La evaluación esta siendo diseñada en estos momentos.

Basada en las lecciones aprendidas en el proyecto anterior,

decidimos:

• Aprovechar que la demanda es superior a los cupos

anuales: diseño experimental en fases

• Recolectar información (línea de base y seguimiento) sobre

variables claves: practicas de enseñanza

• Incluir “pre-piloto”20

A modo de reflexión final…

¿Cuándo fue la última vez que cambiaron de opinión respecto de algo?

Evaluación de impacto del programa de subsidios a las guarderías en Quebec (Baker et al, 2008):

Suena bien, ¿cuál fue el impacto?

*** Impacto negativo en el bienestar socio-emocional de los niños, su estado de salud, etc.

¿Qué pasó?

22

¿Cuándo fue la última vez que cambiaron de opinión

respecto de algo?

¿Qué es más costo efectivo?

• ¿Una computadora por niño o campañas de información sobre

retornos a la educación?

• ¿Escuelas de tiempo completo o enviar mensajes de texto si

los alumnos no hacen las tareas/faltan a clase? ¿Becas vs.

mindset?

• Importante: lo que funciona en un país en particular puede no

funcionar en otro…

23

Evaluación

Por favor, evalúe esta sesión

Por favor, evalúe el ritmo de esta presentación

A. Adecuado

B. Demasiado lento

C. Demasiado rápido

D. Sin comentario

Por favor, evalúe la relevancia del material técnico seleccionado

A. Muy relevante

B. Relevante

C. Irrelevante

D. Sin comentario

Por favor, evalúe la claridad y eficacia de la presentación

A. Excelente!

B. Buena

C. Media

D. Mala

E. Sin comentario

Gracias!