![Page 1: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/1.jpg)
Marcus Holmlund Development Impact Evaluation
Istanbul, 12 de mayo, 2015
Midiendo impactos: Experimentos
Basado sobre materiales de David Evans, Economista Senior y Laura Ralston, Economista, Banco Mundial
![Page 2: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/2.jpg)
Nuestro objetivo:
Llegar a un diseño de evaluación que nos permite saber
• Si nuestro programa ha logrado los resultados esperados
• Como mejorar los resultados de nuestro programa
![Page 3: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/3.jpg)
gráfico número 1
0
1
2
3
4
5
6
7
8
9
10
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6
resu
ltad
o/
ou
tco
me
meses antes / después de la intervención
Intervención
Impacto?
![Page 4: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/4.jpg)
0
1
2
3
4
5
6
7
8
9
10
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6
resu
ltad
o/
ou
tco
me
meses antes / después de la intervención
gráfico número 2
Intervención
Impacto?
![Page 5: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/5.jpg)
0
1
2
3
4
5
6
7
8
9
10
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6
resu
ltad
o/
ou
tco
me
meses antes / después de la intervención
gráfico número 3
Intervención
Impacto?
![Page 6: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/6.jpg)
Desafío
• Necesitamos un contrafactual
• Métodos no-experimentales requieren supuestos y datos pre-existentes de alta calidad
• Hay otra opción?
6
![Page 7: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/7.jpg)
Criterios de un buen Contrafactual
• Tiene características idénticas (tanto observadas como no observadas) al grupo de tratamiento
• La única diferencia es la participación en el programa
• Así que la única razón para cualquier diferencia en los resultados es la participación
![Page 8: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/8.jpg)
IDEA IMPORTANTE
El
CONTRAFACTUAL
nos dice lo que huberia occurrido sin nuestraintervención. Este forma parte fondamental de
LA INFERENCIA CAUSAL
y de la
EVALUACION DE IMPACTO
![Page 9: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/9.jpg)
¿Una manera factible y simple de encontrar un buen contrafactual?
¡Hacer un experimento!
(ensayo aleatorio controlado, aleatorización, randomización, asignación al azar)
![Page 10: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/10.jpg)
El experimento ideal - diseño
Abelardo “el original” Paco “el clon”
[nada]
![Page 11: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/11.jpg)
El experimento ideal -resultado
Abelardo “el original” Paco “el clon”
[nada]
![Page 12: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/12.jpg)
Ensayo aleatorio controlado
• Identificar a los elegibles
• Asignar cada uno o al grupo de tratamiento o al grupo de control al azar / de manera aleatoria
• Los dos grupos tendrán, en promedio, las mismas características• Características observables y no observables
• Cualquier diferencia observada al final debe ser causado por el programa ( = el impacto)
![Page 13: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/13.jpg)
Como funciona la aleatorización?
TRATAMIENTO
CONTROLTRATAMIENTO
CONTROL
• Con una muestra más grande, las diferencias se promedian
• En promedio, las características observables y no observables son idénticas entre los grupos
• Cualquier diferencia en el resultado debe venir directamente del tratamiento
• La aleatorización con dos no funciona
![Page 14: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/14.jpg)
Una distinción importante:muestra aleatoria
• Se empieza con una población definida
• Recogemos datos de algunos (escogidos aleatoriamente)
• Nos asegura que los datos son representativos de la población
• Pero no es una evaluación de impacto
![Page 15: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/15.jpg)
Una distinción importante:asignación aleatoria:
• Se empieza con una población definida
• Aleatoriamente decidimos quién participa, y quien no
• Nos asegura que los grupos son parecidos (en promedio)
• La comparación entre grupos nos dará el impacto causado por el programa
![Page 16: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/16.jpg)
Contexto
16
• El Gobierno de Marcusia quiere saber cual es el impacto de un programa de capacitación para empleados en el sector de helados
• Nuestro trabajo es de realizar esta evaluación de impacto
• Caso 1: La evaluación se hará dentro de una empresa
• Se selecciona una empresa con 800 empleados • El hipótesis es que el programa de entrenamiento mejorara el
desempeño/productividad de los empleados• Como se puede verificar si realmente el programa esta mejorando
la productividad?
![Page 17: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/17.jpg)
Opción 1: aleatorización a nivel del individuo
• Asignar cada uno de los 800 empleados o al grupo de tratamiento (programa de capacitación) o al grupo de control
– Grupo T: 400 empleados
– Grupo C: 400 empleados
• Todos tienen la misma posibilidad de participar
17
![Page 18: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/18.jpg)
Aleatorización a nivel del individuo
La empresa:800 empleados
Asignar al azar
Grupo “C”:400 empleados
IMPACTO:
(Productividad promedia en el Grupo T) – (Productividad promedia en el Grupo C)
Grupo “T”:400 empleados
![Page 19: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/19.jpg)
Algún problema?
• Los no seleccionados pueden sentir frustración
– Aumentar esfuerzo?
– Disminuir esfuerzo?
• Ejemplo de la “desbordacion” (spillover)
• Cada situación va a sesgar nuestra estimación de impacto
19
![Page 20: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/20.jpg)
Opción 2: Aleatorización por grupos
20
T
T
T
C
C
C
C
TC
• Supongamos que hay equipos de empleados
• Los grupos se asignan al azar al grupo C y al grupo T
• Hay menos riesgo de “spillovers”
• Pero este reduce el tamaño de nuestra muestra
![Page 21: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/21.jpg)
A que nivel se debe aleatorizar?
• Depende del programa
– Individual, empleado, hogar
– Empresa, escuela, centro de salud
– Comunidad, pueblo, ciudad
– Municipio, región
21
![Page 22: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/22.jpg)
Contexto
22
• El Gobierno de Marcusia quiere saber cual es el impacto de un programa de capacitación para empleados en el sector de helados
• Nuestro trabajo es de realizar esta evaluación de impacto
• Caso 2: La evaluación se hará con varios empresas
• Hay 800 empresas que satisfacen los criterios del programa• El hipótesis es que el programa de entrenamiento mejorara el
desempeño/productividad de los empleados• Como se puede verificar si realmente el programa este
mejorando la productividad?
![Page 23: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/23.jpg)
Opción 3: Implementación por etapas
• Falta de capacidad o de recursos para introducir el programa en todas las empresas al mismo tiempo
• Hacer una lotería (= asignar al azar) es una manera justa, transparente, y ética de decidir quienes van primero
23
![Page 24: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/24.jpg)
Implementación por etapas
• Asignar empresas al azar al grupo 1 (T) y al grupo 2 (C)
• A final del 2016, comparar los resultados entre los dos grupos
• Pero no se puede medir impactos al largo plazo
Grupo 1 (Enero 2016): 400 empresas
Grupo 2 (Enero 2017): 400 empresas
![Page 25: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/25.jpg)
Y si hay empresas que tienen que estar en el Grupo 1?
Empresas en sectores prioritarios
Los demásEmpresas que no cumplen con los
requisitos del programa
![Page 26: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/26.jpg)
Pero como hacemos si…
• El gobierno niega negar el programa a cualquier empresa que se postula y que cumple con los requisitos del programa
• Los 800 empresas se presentan
• El gobierno de Marcusia sugiere usar una comparación antes-después
• Esta bien?
• NO PARA NADA!!!
26
![Page 27: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/27.jpg)
Opción 4: Variación del tratamiento
Variar la intensidad
Capacitacion basica
• 400 empresas
Capacitacion basica+ tutoria individual
• 400 empresas
Variar la forma del tratamiento
Capacitacion en el lugar del trabajo
• 400 empresas
Capacitacion enun lugar externo
• 400 empresas
27
1
2
3
4
![Page 28: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/28.jpg)
Variación del tratamiento
• Nos permite evaluar diferentes opciones del diseño
– Muy útil para saber cuales son los elementos los mas importantes y así construir programas mejores
• Pero si aplicamos una variación del tratamiento a todo el mundo, se pierde el contrafactual puro
• Solución: también incluir a un grupo de control
28
![Page 29: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/29.jpg)
Opción 5: diseño de estimulación
• Supongamos que no hay mucho interés por parte de las empresas
– Queremos hacer un piloto con 400, pero solo hubo 100 solicitudes
• Introducir algún tipo de estimulación para aumentar el interés
– Se selecciona las empresas que van a recibir la estimulación de manera aleatoria
– La probabilidad de que participen las empresas que reciben la estimulación es mayor
![Page 30: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/30.jpg)
Opción 5: diseño de estimulación
• La estimulación tiene que servir para aumentar el interés en el programa– Sino, no funciona la estimulación, no habrá variación aleatoria en la
probabilidad que una cierta empresa participe en el programa
• Hay tres tipos de empresas:1. Las que siempre participan
2. Las que nunca participan
3. Las que participan si reciben la estimulación
• Solo se mide el impacto para el tercer grupo
![Page 31: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/31.jpg)
Se puede aleatorizar?• Absolutamente si!
• Asignación aleatoria ≠ negar beneficios
• Normalmente, empezar un programa con cobertura universal es imposible por motivos operacionales
– Oportunidad para usar la asignación aleatoria
• La asignación aleatoria resulta la manera más justa de elegir los primeros participantes
– Mas ético que usar fondos públicos escasos para un programa universal con beneficios inciertos
• Pueden comparar varias intervenciones o varias versiones de la misma intervención
– Construir programas con mejores resultados
![Page 32: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/32.jpg)
¿Y si la aleatorización es imposible?
• Considera de nuevo
– Muchas veces es posible en algún nivel, para alguna parte de proyecto
– Es la mejor forma de medir impacto
• Siempre vale la pena comenzar con la pregunta: “Si yo pudiera aleatorizar, ¿como lo haría?”
![Page 33: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/33.jpg)
33
Experimentos
Si no es posible hacer un experimento, utilizar métodos
no-experimentales validos
Antes-Después
Participantes-No
Participantes
RD
Diff-en-Diff
Variostratamientos
![Page 34: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/34.jpg)
IDEA PRINCIPAL:
La
MEJOR MANERA
de
EVALUAR EL IMPACTO
directamente causado por una intervención es mediante un
ENSAYO ALEATORIO CONTROLADO
![Page 35: Midiendo impactos: Experimentossiteresources.worldbank.org/.../4_ExperimentalMethods_Spanish.pdf · •Nos permite evaluar diferentes opciones del diseño –Muy útil para saber](https://reader033.vdocuments.co/reader033/viewer/2022041513/5e2989cec3ceba131967ee9b/html5/thumbnails/35.jpg)
Gracias! facebook.com/ieKnow
#impacteval
blogs.worldbank.org/impactevaluations
microdata.worldbank.org/index.php/catalog/impact_evaluation
http://dime.worldbank.orgWEB