martín valdivia grade - povertyactionlab.org · el diseño experimental • el problema de la...
Post on 19-Sep-2018
227 Views
Preview:
TRANSCRIPT
El diseño experimental
Martín Valdivia
GRADE
Esquema de presentación
I. Introducción
II. Por qué aleatorizar
III. Cómo aleatorizar
IV. Ventajas y desventajas del diseño
experimental
I. Introducción
El diseño experimental
• El problema de la inferencia causal:
• ¿Cómo ha cambiado la vida de los beneficiarios de mi
programa comparado con como hubieran cambiado si
mi programa no hubiera existido?
• Pero, un mismo individuo no puede ser observado en
dos estados distintos (con o sin programa) en el mismo
momento
• Diferente de las preguntas de monitoreo:
• ¿Qué servicios llegaron a recibir o usar los
beneficiarios de mi programa?
• ¿Cómo ha cambiado la vida de los beneficiarios de mi
programa después de haber participado en el programa?
El diseño experimental II
• Cofluencia de factores hace el tema complicado
• Shocks agregados (macroeconómicos, climáticos, etc.)
• Selección de beneficiarios por el programa (lugares,
definición de elegibilidad)
• Auto-selección de los beneficiarios (motivación, espíritu
empresarial etc. definen take up)
• Tomamos las diferencia entre:
Qué ocurrió con el programa
- Qué hubiera ocurrido sin el programa
= Impacto
Este último escenario se denomina el contrafactual.
Tiempo
Res
ult
ado
pri
mar
io
Impacto
Intervención
Impacto
Tiempo
Intervención Impacto
Res
ult
ado p
rim
ario
Impacto
Tiempo
Intervención
Impacto Res
ult
ado
pri
mar
io
Impacto
Contrafactual
• El contrafactual generalmente se construye a partir de la selección de un grupo no afectado por el programa Sesgo de selección de beneficiarios
• Evaluación Aleatoria: Usa una asignación aleatoria del programa para
crear un grupo de control. • Evaluación No Aleatoria: Argumenta que un cierto grupo excluido del
programa “replica” el contrafactual
El diseño experimental hoy
• En la actualidad, los experimentos aleatorios juegan
un rol importante en development economics.
• Los experimentos que se utilizan para medir el
impacto de programas sociales alrededor del mundo
difieren de aquellos experimentos en el sector salud,
tanto en escala como en presupuesto.
• Los experimentos aleatorios se han convertido en un
importante instrumento para evaluar muchos
programas sociales.
• J-PAL, así como IPA, CEGA, E-Pod, etc, se dedica
exclusivamente a apoyar este tipo de evaluaciones.
II. ¿Por qué aleatorizar?
El sesgo de selección
El sesgo de selección II
• Sesgo positivo con auto-selección Escuelas que compran libros de texto son las que le
dedican más tiempo a la educación de sus hijos, mayor prioridad
• Sesgo negativo si la focalización del programa funciona adecuadamente
• Aunque no se puede observar ese sesgo
• Ambos procesos pueden operar conjuntamente
Aleatorización y la estimación del impacto
de una intervención
• Elimina sesgo de selección:
• En el contexto de una regresión:
Aleatorización y la estimación del impacto
de una intervención II
• Dos supuestos claves adicionales:
– Estabilidad del valor de la unidad de tratamiento (Rubin, 1980)?
– En inglés: Stable Unit Treatment Value Assumption (SUTVA) • Estado de tratamiento de cualquier unidad no afecta el resultados
potencial de las otras unidades (no interferencia)
• El tratamiento para todas las unidades es comparable (tratamientos sin variaciones)
• Externalidades, efectos de equilibrio general y SUTVA – Entrenamiento laboral (job training) muy masivo (EEG)
– Tratamientos que suponen transferencia de Información clave puede ser transmitida a red de amigos
– Tratamientos flexibles que se adaptan a la necesidad del beneficiario
Aleatorización y la estimación del impacto de
una intervención III
• Externalidades, EEG general establecen complicaciones, pero también oportunidades para otras preguntas.
• Externalidades y los mecanismos de difusión (Chong, et. al., 2012) – Estudio busca evaluar el impacto de un programa de capacitación por internet
en salud sexual y reproductiva para estudiantes de escuelas públicas en Colombia
– Escuelas tratadas asignaban tiempo a la revisión de esos materiales
– Escuelas asignadas aleatoriamente al tratamiento, pero con diferencias entre aulas
– En algunas escuelas tratadas, se observaban dos aulas, solo una tratada directamente
– No se encontraron efectos sobre los tratados indirectamente, el proceso de difusión no traspasa las aulas
– Si se encontró un efecto más fuerte para aquellos alumnos cuyos amigos cercanos también fueron tratados, sobre conocimiento y actitudes
Aleatorización y la estimación del impacto de
una intervención IV
• Otro ejemplo: Giné y Mansuri (2011) – Impacto de una campaña de promoción del proceso electoral sobre el
voto femenino y la elección del candidato en Pakistán
– Grupos de manzanas dentro de las localidades fueron asignadas aleatoriamente a tratamiento y control; algunos hogares no tratados directamente fueron observados al final
– Mujeres tratadas directa e indirectamente votaron más (12 pps) – large spillovers
– ¿Por qué nos importaría?
• 10 mujeres tratadas aumentaban en 9 las mujeres que votaban. Costo por voto: US$ 2.3.
Aleatorización y la estimación del impacto de
una intervención V
• Un ejemplo de tratamiento heterogéneo o flexible: programas integrales de desarrollo rural
– Varios elementos en la intervención: crédito, asistencia técnica, estrategias de comercialización, infraestructura
– Intervenciones se aplican según la demanda
– Descomposición de la intervención puede aportar mucho más información acerca de qué es lo que funciona
III. ¿Cómo aleatorizar?
¿Cómo operativizar una aleatorización?
• Aleatorización simple – Asumiendo que requieres 100 en cada grupo, de acuerdo a tus cálculos
de poder
• En STATA, sobre una base de datos con las unidades de observación, algo como esto: gen double random=uniform()
– sort random
– gen n=_n if random~=.
– gen treatment=0 if n<=100
– replace treatment=1 if n>=101 & n<=200
• ¿Qué pasa si no hay marco muestral posible?
• De todas maneras, este tipo de programa/estrategia no es el mayor de los factores a tomar en cuenta
20
Viabilidad de la aleatorización
• La definición de quiénes serán los beneficiarios del programa ha estado siempre en manos de los implementadores del programa
– La aleatorización les quita poder
– Impide que usen sus conocimientos acerca quiénes deben/merecen recibir el tratamiento del programa
– Consideraciones éticas para la exclusión de ciertos grupos “necesitados” de los beneficios del tratamiento (que ellos ya saben que los beneficia)
• Estrategias útiles:
– Puede ayudar que Implementadores incorporen criterios de elegibilidad, aunque ello puede limitar validez externa de los resultados
– De todas maneras, es útil que el grupo elegible sea más grande que el tamaño de la intervención que puede manejar el programa en una primera etapa
21
Alternativas para la aleatorización
• No es necesario limitarse a programas nacientes – Podemos trabajar con programas ya existentes
– Sobre innovaciones, expansiones, etc.
• Diferentes opciones:
– Diseño aleatorio por etapas
– Asignación aleatoria en la “burbuja”
– Diseño de estímulos
22
Diseños por etapas
• Es útil cuando restricciones administrativa o financieras impiden que el programa atienda a la población elegible desde el inicio – Nadie está siendo excluido totalmente: A la larga, todos obtienen
algo – Miguel y Kremer (2004) con proyecto de desparasitación: 25
escuelas cada año por tres años
• Algunas Inquietudes – Ventana de oportunidad puede ser más corta que el tiempo
necesario para que los efectos de un programa se materialicen (¿microcrédito?)
– Puede complicar la estimación de los efectos a largo plazo – Individuos en grupos rezagados pueden alterar su comportamiento
si saben que recibirán el tratamiento luego (y si la ventana es muy corta)
Diseño por etapas
Ronda 3 Tratamiento: 3/3
Control: 0 1
1
1 1
1
1
1
1
1
1 1
1
1
1
2
2
2 2
2
2
2 2
2
2
2
2 2
2
2
2
3
3 3 3
3
3
3
3 3
3
3 3
3
3
3 3
3
Ronda 1 Tratamiento: 1/3
Control: 2/3
Ronda 2 Tratamiento: 2/3
Control: 1/3
La evaluación
aleatoria finaliza
Aleatorización en “la burbuja”
• En ocasiones, un socio puede no estar dispuesto a aleatorizar entre personas elegibles - microfinanzas – El socio podría estar dispuesto a aleatorizar en “la burbuja”.
– Las personas “en la burbuja” están en la línea limítrofe en términos de elegibilidad
– Justo por encima del umbral no elegible, pero casi
• Karlan and Zinman (2007) – Aleatorizan la asignación de crédito entre las solicitudes “marginales”
de un banco en Sudáfrica, establecidas por un sistema de “credit scoring”
• ¿Qué efecto del tratamiento medimos nosotros? ¿Qué significa esto para la validez externa?
Asignación aleatoria en “la burbuja”
Dentro de la
burbuja,
compare el
tratamiento
con el control
Participantes No participantes
Tratamiento
Control
Diseño de estímulos
• En ocasiones, es práctica o éticamente imposible asignar el acceso al programa en forma aleatoria
– Pero la mayoría de los programas tiene una aceptación inferior al 100%
– En ese caso, puede asignarse aleatoriamente el estímulo para recibir tratamiento
• Ejemplo: León (2012)
– Votación en Perú es obligatoria y la ausencia supone una multa
– En el 2006, sin embargo, una ley redujo estas multas, aunque pocos sabían al respecto, especialmente en zonas más pobres
– Se asignó aleatoriamente los barrios de Lima en los cuales se proveía información acerca de la reducción de la multa
– elasticidad voto/costo = -0.21, especialmente entre menos interesados e informados políticamente
Diseño de estímulos
Estimular
No estimular
participado
no participó
Cumplió
No cumple
compare los
estimulados con los
no estimulados
no compare
participantes con no
participantes
ajustar por incumplimiento en
la fase de análisis
Estos deben ser correlacionados
Métodos de asignación aleatoria - recapitulación
Diseño Los más
útiles
cuando…
Ventajas Desventajas
Lotería
Básica
•La suscripción
al programa es
sobrepasada
•Familiares
•Fáciles de entender
•Fáciles de
implementar
•Se pueden
implementar en
público
•Puede que el grupo de
control no coopere
•Desgaste diferencial
Diseño Los más útiles
cuando…
Ventajas Desventajas
Diseño Por
Etapas
•Se expanden en el
tiempo
•A la larga, todos
deben recibir
tratamiento
•Fáciles de entender
•La restricción es
fácil de explicar
•El grupo de control
cumple, porque ellos
esperan beneficiarse
más tarde
•La anticipación del
tratamiento puede afectar
la conducta a corto plazo
•Es difícil medir el
impacto a largo plazo
Métodos de asignación aleatoria - recapitulación
Diseño Son más útiles
cuando…
Ventajas Desventajas
Estímulo
•El programa
debe estar
abierto a todos
los recién
ingresados
•Cuando la
aceptación es
baja, pero se
puede mejorar
fácilmente con
un estímulo
•Se puede asignar
en forma aleatoria
a nivel individual,
aun cuando el
programa no sea
administrado a ese
nivel
•Mide el impacto de
aquellos que responden
al estímulo
•Necesita un aliciente
suficientemente grande
para mejorar la
aceptación
•El estímulo mismo
puede tener un efecto
directo
Métodos de asignación aleatoria - recapitulación
Otros aspectos de la aleatorización
• La unidad de aleatorización óptima (individual, grupos)
– Tratar a los maestros y medir el rendimiento educativo de los niños
– Reparto de alimentos en una comunidad: limitaciones éticas/políticas para excluir familias elegibles al interior
• Tamaño y balance de la muestra
– Con muestras relativamente pequeñas, es posible que el grupo de tratamiento o de control difieran en variables relevantes para el análisis
32
La unidad de aleatorización
• Como dijimos antes, diferenciar la unidad de aleatorización (UA) de la de observación (UO) puede permitir analizar otras preguntas: mecanismos de difusión
• En todo caso, la diferencia entre la UA y la UO requiere algún cuidado a la hora de estimar los efectos del programa – Ya no podemos usar las diferencias simples – Modelo con efectos fijos a nivel de la unidad mayor
(escuela, comunidad)
33
Yij =a +b ×Tij +vj +eij
Tamaño y balance de la muestra
• Si la muestra es relativemente, hay que estratificar – dividir la muestra en diferentes subgrupos
– seleccionar el tratamiento y control de cada subgrupo
• Que variables son buenos estratificadores? – variables que podrían tener un impacto importante sobre la variable
de resultado
– subgrupos sobre los cuales se pueda pensar que el impacto del programa podría ser diferente
– valor de la variable en la línea de base
• Estimación:
• Aunque reduce grados de libertad, si correlación con variable Y es fuerte, aumenta precisión del efecto estimado β
34
Yi =a +b ×Ti +gXi +ei
Evaluación de impacto como instrumento de gestión
• Diseño simple puede ser complicado de aceptar para el implementador – Resultado nulo o negativo no puede desligarse de su capacidad de
gestión
• Tratamientos múltiples – Decidir entre diferentes intervenciones posibles
– Diseño completo: control, tratamiento 1, tratamiento 2, tratamiento completo
– Permite comparar tratamientos, pero también analizar sustituibilidad/complementariedad
Yi =a +b1 ×T1 +b2 ×T2 +b3 ×T1 ×T2 +ei
Tratamiento 1
Tratamiento 2
Tratamiento 3
Tratamientos múltiples
¡Gracias!
top related