el rol de la evidencia científica en la innovación de las políticas de protección social ryan...
TRANSCRIPT
![Page 1: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/1.jpg)
El rol de la evidencia científica en la innovación de las políticas de protección social
Ryan Cooper
Director Ejecutivo J-PAL
LAC
![Page 2: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/2.jpg)
① ¿Cómo se produce evidencia?
② Valor de evidencia en Política: Ejemplo Oportunidades
③ ¿Por qué no se produce suficiente evidencia?
④ Soluciones Estructurales y Oportunidades
Agenda
![Page 3: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/3.jpg)
①¿Cómo se produce evidencia?
![Page 4: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/4.jpg)
Evidencia Causal
Muchas de las preguntas de política pública requieren encontrar relaciones de causa-efecto.
• ¿Cuál es el impacto de un programa de transferencias condicionadas en educación?
• ¿Cuál es el efecto de reducir el tamaño de clases en los puntajes de los estudiantes?
• ¿Cuál es el efecto del encarcelamiento en la reincidencia criminal?
![Page 5: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/5.jpg)
Efecto de política A en
resultado BCuatro elementos importantes:
El problema y la población que presenta problema.
Resultado esperado (que mide resolución del
problema).
Política (programa, política, tratamiento, etc)
Punto referencia (Contrafactual).
¿Cómo estaría la población que presenta
el problema si no recibiera programa?
![Page 6: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/6.jpg)
Tipo de Escuela Puntaje académico
Aporte Padres
Educación Padres Ingresos
Salud
Pre-Básica
-0.2
6.8
7.4
13.4
8.1
16.6
18.2
NO OBSERVABLES
Complejidad medir efecto causal
![Page 7: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/7.jpg)
7
Resultados de población objetivo
Resultados que población objetivo hubiera obtenido si no
hubieran participado en el programa (hipotético)
IMPACTO (evidencia causal)
¿Cómo se produce evidencia?
![Page 8: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/8.jpg)
Estimación del Contrafactual
10 días enfermo
20 días enfermo
Ya no podemos
identificar el impacto
=≠
![Page 9: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/9.jpg)
¿Situación sin programa de individuo que recibe programa?
• ¿Estamos aislando el efecto del programa de otros elementos relevantes?
• ¿Estamos comparando manzanas con manzanas?
Estimación del Contrafactual
![Page 10: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/10.jpg)
10
Tiempo
Ing
reso
s
Programa deTransferencias
T=0Inicio Programa
Estimación del Contrafactual
![Page 11: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/11.jpg)
11
Tiempo
Ing
reso
s
Programa deTransferencias
T=0Inicio Programa
Impacto
Lo que hubiera pasado
Estimación del Contrafactual
![Page 12: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/12.jpg)
12
Tiempo
Ing
reso
s
Programa deTransferencias
T=0Inicio Programa
Lo q
ue h
ubier
a
pasa
do Impacto
Estimación del Contrafactual
![Page 13: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/13.jpg)
13
Evaluaciones experimentales– Grupos de control y tratamiento creados
aleatoriamente
– Muy confiables
Métodos no experimentales1. Participantes antes vs. Participantes después
2. Diferencia simple (participantes vs. no participantes)
3. Emparejamiento
4. Diferencias en diferencias (combina 1 y 2)
5. Variables instrumentales
6. Regresión discontinua
Estimación del Contrafactual
![Page 14: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/14.jpg)
14
T
C
¿Cómo se produce evidencia?
![Page 15: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/15.jpg)
②¿Valor evidencia. Ejemplo Oportunidades?
![Page 16: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/16.jpg)
www.untechoparamipais.org
Expectativa rol evidencia en política
Eficiencia, Innovación y Democracia
Ejemplo Oportunidades
Valor de evidencia
![Page 17: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/17.jpg)
17
Programas y
Políticas Sociales
Ideología• Propia• Externa
Apoyo• Presupuesto• Político• Capacidad
Conocimiento• Evidencia• Experiencia• Personal• Colectiva
¿Cómo se hace política pública?
![Page 18: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/18.jpg)
¿Por qué evaluar impacto?
18
• 3 problemas
Asignación presupuestaria coja
Innovación débil o nula
Política polarizada – Democracia frágil
![Page 19: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/19.jpg)
¿Por qué evaluar un programa?
19
• ¿Qué pasaría si tuviéramos evidencia suficiente para contestar preguntas?
Asignación presupuestaria basada en evidencia
Innovación
Mejores procesos políticos
Expandir las intervenciones más costo-efectivas
Descubrimiento de nuevas ideas efectivas
Mayor costo de utilizar argumentos extremos y menor
polarización política
![Page 20: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/20.jpg)
• Cambio estrategia combate a la pobreza.
• Fortalecer imapcto redistributivo de gasto público.
• Incentivar acumulación de Capital Humano en segmentos más pobres de población.
• Reforma profunda en México.
Oportunidades: El ejemplo
![Page 21: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/21.jpg)
¿Qué fue lo que permitió el éxito del programa?
• Empoderamiento político.
• Apoyo externo del BID.
• Avalado por evidencia científica.
Oportunidades: El ejemplo
![Page 22: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/22.jpg)
¿Rol de la evidencia en éxito?
• Dio sustentabilidad política al programa en el tiempo.
• Entregó información al mundo de efectividad innovación.
• A muy bajo costo político y financiero. – Político: Una vez que hay piloto, diseño experimental es
óptimo y trivial.– Financiero: (a) información bien público(b) Orden de magnitud de producción evidencia bajo en relación a producción de programa en escala.
Oportunidades: El ejemplo
![Page 23: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/23.jpg)
Inicio
![Page 24: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/24.jpg)
Gran Crecimiento en 10 años
![Page 25: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/25.jpg)
La evaluación de impacto es útil también para probar pequeñas modificaciones
• Cambiar la estructura de un PTMC en Colombia pudo mejorar drásticamente el impacto del programa para un costo dado (Barrera-Osorio, Bertrand, Linden,
et al; 2011) – Postergar parte de las transferencias condicionadas a una
suma fija a la hora de reinscripción aumenta la inscripción sin disminuir la asistencia diaria.
– Incentivar la graduación en vez de incentivar sólo la asistencia ha demostrado ser particularmente eficaz.
• Transferencia Condicionada vs. No Condicionada. (Baird, Chirwa, Garfein, et.al.; 2011)
– Estimación del efecto relativo entre transferencias condicionadas y no condicionadas en Malawi.
![Page 26: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/26.jpg)
③¿Por qué no se produce suficiente evidencia?
![Page 27: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/27.jpg)
Diferencia abismal de evidencia en relación a las Ciencias Naturales
Medicina Ciencias sociales0
20000
40000
60000
80000
100000
120000
140000
160000
Número de evaluaciones de impacto experimentales
![Page 28: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/28.jpg)
Algunas posibles causas de la sub-producción de evidencia
• Problemas de Agencia – Multiples agentes con intereses distintos
• Ilusión de Irrelevancia– Gran confianza al “sentido comun” y
sobreestimación de los costos
![Page 29: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/29.jpg)
Algunas posibles causas de la sub-producción de evidencia
• Los tiempos de evaluación no siempre se ajustan a los ciclos políticos
• Evaluación vista como herramienta de control y no de aprendizaje
• Carácter de bien público de la información
![Page 30: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/30.jpg)
4) ¿Soluciones estructurales y oportunidades?
![Page 31: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/31.jpg)
31
Ideas estructurales
Promover mecanismos formales para institucionalizar el aprendizaje
Fomentar una cultura de evidencia y aprendizaje en el quehacer público
Empoderar a la ciudadanía para demandar evidencia en las políticas públicas
1.
2.
3.
![Page 32: El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC](https://reader035.vdocuments.co/reader035/viewer/2022070304/54dbdb73497959a9648b51cc/html5/thumbnails/32.jpg)
32
Ideas oportunistas
Acercar a políticos con académicos
Aprovechar Pilotos
Facilitar el uso de evidencia
1.
2.
3.