Uso de evidencia

Carmen Álvarez

Subgerente de Políticas Públicas J-PAL LAC

Propiedad intelectual

El contenido de la siguiente clase es propiedad del Abdul

Latif Jameel Poverty Action Lab (J-PAL).

El material está destinado a su uso como material de

estudio del curso en línea JPAL101SPAx Evaluación de

Impacto de Programas Sociales y no debe ser utilizado

para otros medios sin la autorización expresa de J-PAL.

¿Por qué evaluar impacto?

Existen varios motivos por los cuales estamos interesados

en evaluar un programa:

1. Mejorar el programa

2. Hacer más eficiente el gasto público

3. Contestar preguntas de relevancia general

Distintos usos

Distintas decisiones

• ¿Escalar un programa piloto?

• ¿Continuar o terminar un programa?

• Elegir entre diferentes alternativas

• ¿Cómo rediseñar un programa?

Uso directo e indirecto

• Usar evidencia para informar decisiones sobre el

programa evaluado

• Usar evidencia para informar decisiones sobre otro

programa

Ciclo de aprendizaje

Diagnóstico

Revisión de Literatura

Diseño y EvaluaciónImplementación

Análisis de Resultados

Expansión del programa

Rediseño o cierre de programa

Uso directo

Uso directo

• Usar evidencia para tomar una decisión sobre el

programa evaluado

• Más sencillo que uso indirecto

• Importante considerar la muestra que se usó

¿Cómo aleatorizar?

Población

de interésMuestra

Tratamiento

Control

Asignaciónaleatoria

Muestreoaleatorio / no aleatorio

Validez

externaValidez

interna

Ejemplos que ilustran cómo una evaluación

puede ayudar a tomar diferentes tipos de

decisiones sobre el programa evaluado

Escalamiento

1996

31.000 hogares

Piloto en Campeche

1997

300.000 hogares

Programa federal concentrado en zonas

rurales

2006

+5 millones de hogares

Programa federal llegando a casi todos los grupos en condiciones de pobreza extrema

Fuente: PNUD (2011)

Inicio

Fuente: Banco Mundial (2017)

Gran crecimiento en 10 años

Fuente: Banco Mundial (2017)

Optimizar diseño

• Programa de

transferencias

condicionadas

(Colombia)

• Buscaba aumentar

matrícula en escuela

secundaria y universidad

• Probar distintas

combinaciones de

entregar la transferencia

condicionada

Barrera-Osorio et al (2011)

Postergar parte del beneficio aumentó

la matrícula a secundaria y universidad

• Ayudó a incrementar significativamente la matrícula en la

educación secundaria sin debilitar la asistencia diaria a clases

• También aumentó la probabilidad de matricularse en la

universidad

Barrera-Osorio et al (2011)

Transferencia

mensual

Condiciones Transferencia adicional

Tradicional 15 USD80% de

asistencia a la

escuela

50 USD al momento del

pago de la colegiatura

al siguiente año

Ahorro 10 USD

PTC

Graduación

10 USD = + Graduarse

de secundaria

300 USD contra

matrícula en

educación superior

Continuidad

2002 20142007

Uso indirecto

El reto de usar evidencia

• Hay un incremento dramático en el número de

evaluaciones de impacto en los últimos 20 años

• Pero es poco probable que haya una evaluación de

impacto específica sobre el programa a introducir

localmente

¿Qué debemos hacer?

• ¿Esperar a que haya más evidencia?

• ¿Siempre hacer una nueva evaluación antes de ir a un

nuevo contexto?

• ¿Usar evidencia local pero menos rigurosa?

• ¿Usar resultados de un estudio en otro contexto?

• ¿Usar evidencia de otros contextos si hay al menos X

réplicas o se han hecho en contextos similares?

• ¿Qué cuenta como contexto “nuevo” o “similar”?

El reto de usar evidencia

• Las evaluaciones de impacto son difíciles de hacer bien

y sub-utilizamos su potencial si sólo aprendemos de un

preciso programa y un contexto

• Pero, entender necesidades locales, y cómo funcionan

instituciones formales e informales es crítico para una

buena política

• Debemos de hacer más réplicas de RCT de programas

similares pero hay límites

El reto de usar evidencia

• No podemos esperar años para tomar decisiones.

• No siempre es costo-efectivo hacer una nueva

evaluación.

• Responsables de políticas nunca tienen 100% certeza:

– Basu (2014) el mañana es un nuevo escenario

Forma estructurada de pensar en el uso

de evidencia

1. Evidencia de un único estudio es sólo una parte del

rompecabezas

– Sopesamos la evidencia en base a calidad y supuestos adecuados

Ícono: Freepik

2. Combinar teoría económica, evidencia descriptiva y

resultados de evaluaciones de impacto rigurosas para

responder a estas preguntas:

• ¿Son los resultados de un país replicables en otro?

• ¿Cuándo es necesario hacer una nueva evaluación de

impacto y cuándo no?

Forma estructurada de pensar en el uso

de evidencia

Importancia de la teoría de cambio

Resultado final

Problema /

Necesidad

Insumo /

Actividad

Producto

Resultado

Intermedio

Producto

Resultado

Intermedio

Resultado

Intermedio

Resultado final

• ¿Existe el mismo problema?

• ¿Son comparables la

población objetivo y las

condiciones locales?

• ¿Qué tan similar es el

programa que se

quiere implementar?

• ¿Qué tan similar es la

organización que lo

implementaría?

• ¿El programa funciona a

través de los mismos

mecanismos?

• ¿Existe más evidencia sobre

los cambios de conducta

etc. necesarios para

producir el resultado final?

Resultado final

Uso indirecto:

Protección de la pesca

Dos intervenciones para reducir la venta

de merluza ilegal

Gonzalez & Mobarak, en progreso

VS.Información Fiscalización

Las dos intervenciones redujeron la

venta de merluza fresca

30%

20%15%

0%

5%

10%

15%

20%

25%

30%

35%

Sin intervención Campaña informativa Fiscalización

Po

rce

nta

je d

e p

ue

sto

s

Porcentaje de puestos vendiendo merluza

Gonzalez & Mobarak, en progreso

-10pp-15pp

La intervención más efectiva no fue la

más costo-efectiva

-15%

-10%

-16%

-14%

-12%

-10%

-8%

-6%

-4%

-2%

0%

Fiscalización Campaña

informativa

Pu

nto

s p

orc

en

tua

les

Cambio en porcentaje de

puestos con merluza fresca

CLP 2933 ≈

USD 4,30

CLP 2472 ≈

USD 3,70

0

500

1000

1500

2000

2500

3000

3500

Fiscalización Campaña

informativa

CLP

Costo para “salvar” una

merluza

Uso de evidencia

• Sernapesca decidió aumentar el uso de campañas de

información como herramienta adicional para reducir la

venta y el consumo ilegales de pescado.

• Repetición de la campaña de información de merluza

• Extensión a otras especies

– Merluza austral

– Corvina

– Centolla

¿Por qué estas especies?

Alta demanda de merluza Dificultades de regulación

Alto nivel de pesca ilegal

Campaña de información al consumidor

Consumidores reciben información acerca de la veda

Consumidores toman consciencia de la importancia de la veda

Disminución de la demanda durante la veda

Disminución de la oferta demerluza ilegal en las ferias libres

Disminución de la pesca ilegal de merluza

Condiciones necesarias:

- los consumidores son

capaces de reconocer

la merluza

- La veda es por un

período limitado

Uso indirecto:

Enseñanza enfocada

El nivel de aprendizaje de los niños

peruanos avanza rápidamente……

23

14

31

13

50

27

0

10

20

30

40

50

60

Reading Math Reading Math Reading Math

2009 2012 2015

% de estudiantes de secundaria que logran el

nivel requerido en los exámenes nacionales ECE

Lectura Matemática Lectura Matemática Lectura Matemática

Fuente: basado en Ministerio de Educación Perú (2017)

El nivel de aprendizaje de los niños

peruanos avanza rápidamente……

… Pero algunos se están quedando atrás.

23

14

31

13

50

27

12

7 74

19

12

0

10

20

30

40

50

60

Reading Math Reading Math Reading Math

2009 2012 2015

% de estudiantes de secundaria que logran el

nivel requerido en los exámenes nacionales ECE

National Rural

Lectura Matemática Lectura Matemática Lectura Matemática

Nacional

Fuente: basado en Ministerio de Educación Perú (2017)

Mayor asistencia no necesariamente implica mayor aprendizaje.

¿Qué podemos hacer para mejorar el aprendizaje?

Testeamos distintas alternativas…

ESTRATEGIAS

PEDAGÓGICAS

INSUMOS

ESTRATEGIAS

ADMINSITRATIVAS

El desafío

• Los estudiantes de las escuelas rurales se

están quedando atrás

• Escuelas en zonas rurales suelen ser

multigrados

• En promedio 30 niños y 2 profesores

• Edades y niveles de conocimiento y

aprendizaje heterogéneos

Teoría de cambio

Bajo desempeño escolar en escuelas rurales

Reagrupar los estudiantes de acuerdo a si nivel de aprendizaje

Estudiantes reciben clases de desarrollo de habilidades básicas de acuerdo a su nivel

de aprendizaje

Estudiantes son capaces de absorber el contenido de las clases

Mejora el desempeño escolar en escuelas rurales

Altos niveles de heterogeneidad en la sala

Reservar tiempo para clases de desarrollo de habilidades básicas

Uso indirecto:

Incentivos para la vacunación

Programa de Vacunación en Rajasthan

Programa de Vacunación en Rajasthan

• Problema: Solo 1% de los niños estaban completamente

vacunados.

• ¿Por qué?

– Precio de las vacunas?

– Los padres no se preocupan de los niños?

– Problema de acceso a infraestructura de salud? Largas

filas de espera?

– Percepciones erradas debido a mitos sobre efectos de

vacunas?

– O quizás porque las personas tienen dificultad en pasar

de la intención a la acción?

Referencia: Banerjee, Duflo, Glennerster, Kothari, 2010

Incentivos para la Vacunación

Intervención 1: hacer más fácil el proceso de vacunación (=mejorar la oferta de vacunación)

Campamentos de vacunación: Unidades móviles de

vacunación, una vez al mes en cada pueblo, con una

enfermera presente sin falta

Intervención 2: Hacer más fácil la vacunación + dar una

razón de no postergar la decisión para más tarde

(=mejorar la demanda)

Campamentos de vacunación + Incentivos

– 1kg de lentejas por cada vacunación y un juego de vajilla una

vez completo el cronograma de inmunización en su totalidad

Referencia: Banerjee, Duflo, Glennerster, Kothari, 2010

Impacto de ambos tratamientos en el nº

de vacunas recibidas

Referencia: Banerjee, Duflo, Glennerster, and Kothari, 2010.

Grupo control

Campamentos

Campamentos + incentivos

N° de

vacunas

¿Cómo aplicamos estos resultados?

Sierra Leona quiere mejorar sus tasas de vacunación

1. ¿Debería basarse en el programa de la India?

• Una sola evaluación aleatorizada en Asia del Sur

• Ninguna en África

• Programa dirigido por ONG, no el gobierno

Teoría de cambio

Pocos niños completamente vacunados

Padres quieren vacunar a sus hijos pero tienen dificultad en pasar de la intención a la acción

Incentivos alimenticios para el programa de vacunación

Incentivos entregados al centro de salud y los padres

Aumenta la tasa de vacunación

Mejora la salud

Mejora la inmunización

Supuesto:

Padres acceden a

centros de salud y los

proveedores están

presentes.

Pequeños incentivos

pueden disminuir la

procrastinación

Modelo de teoría de cambio

Visto así ya no hay sólo una evaluación,

hay mucha evidencia que puedo usar

para cada elemento de la teoría de

cambio…

1. ¿Qué evidencia tenemos de las

condiciones locales en Sierra Leona?

• Evidencia descriptiva:

– 84% reciben al menos DPT1

– 54% de los hogares están al menos a 1 una de una clínica

– Ausentismo es del 44%

• Conocimiento institucional:

– Varios trabajadores x centro solo 12% de centros cierran

1. Condiciones

locales básicas

2. ¿Qué sabemos sobre el “sesgo por el presente”?

Personas procrastinan: difícil mantener conductas que

creen beneficiosas para ellas y sus niños

• Economía conductual (Laibson, 1997): personas dan más valor a sus acciones presentes “sesgo por el presente”

• Personas dispuestas a pagar para atarse a un compromiso.

Esto solo se explica si son conscientes de su “sesgo por el

presente” (Gine et al. 2010)

2. Conductas

Referencias: Laibson, 1997; Gine et al., 2010.

2. ¿Qué sabemos sobre los incentivos?

Incentivos pequeños pueden tener grandes impactos en

el comportamiento

• Pequeños cambios en el precio de productos de salud

preventiva reduce adopción (9 + RCTs)

• 30+ RCTs muestran que TMC pueden ser efectivas (Fiszbein

and Schady, 2009)

Referencia: Fiszbein & Schady, 2009

2. ¿Qué sabemos sobre los incentivos?

• Malawi: Incentivos pequeños pueden tener impactos

tan grandes como los mayores (Baird et al, 2010)

• Incentivos pequeños para pruebas de VIH (Thornton,

2008) o para posponer la edad del matrimonio (Field et

al., en proceso)

2. Conductas

Referencia: Baird et al., 2010; Thornton, 2008; Field et al.

Sensibilidad al precio de la salud

preventiva

Referencia: Kremer and Miguel 2007, Ashraf et al 2010, Spears 2010, Dupas et al in process, & Dupas 2013. All as summarized in J-PAL Policy Bulletin. 2011..

Teoría de cambio

Pocos niños completamente vacunados

Padres quieren vacunar a sus hijos pero tienen dificultad en pasar de la intención a la acción

Incentivos alimenticios para el programa de vacunación

Incentivos entregados al centro de salud y los padres

Aumenta la tasa de vacunación

Mejora la salud

Mejora la inmunización

Supuesto:

Padres acceden a

centros de salud y los

proveedores están

presentes.

Pequeños incentivos

pueden disminuir la

procrastinación

Conclusiones

¿Cómo saber si tenemos suficiente

evidencia?

• El contexto y la cantidad de evidencia que respalde la

efectividad de un programa importan

• Pero poco probable que haya una evaluación rigurosa

de un programa en contexto similar al que queremos

aplicar

• Y menos probable que haya múltiples estudios sobre el

mismo programa en distintos contextos (microcrédito)

¿Cómo saber si tenemos suficiente

evidencia?

• “Mañana” ya es un nuevo contexto

• Hay que actuar aunque no haya suficiente evidencia

• Subutilizamos el potencial de la evidencia existente si

sólo aprendemos del programa y contexto específicos

evaluados

Pero es importante seguir evaluando

¿Cómo usar los resultados?

• ¿¿Cómo uso los resultados de una evaluación de mi

programa?

– Pensar desde el diseño como incorporar posibles

aprendizajes (considerar ciclo presupuestal, voluntad política, factibilidad operacional)

¿Cómo usar los resultados?

• ¿Cómo usar resultados de otras evaluaciones para

informar el diseño de mi intervención?

– Cuando muchos estudios llegan a la misma conclusión,

podemos tener mayor certeza de los resultados

– Para usar evidencia de otros contextos en mi programa

puedo apoyarme en la TdC, evidencia descriptiva y de

procesos

¿Es generalizable la evidencia que

entrega una evaluación de impacto?

Pregunta demasiado amplia, hay que ir por etapas …

• ¿Cuál es la teoría de cambio detrás de la intervención?

• ¿Las condiciones locales se mantienen para que la

teoría sea válida? Evidencia Descriptiva

• ¿Cuál es la evidencia de que el proceso de

implementación fue llevado a cabo correctamente?

Procesos y pilotos

• ¿Cuán fuerte es la evidencia que indica un cambio de

conducta general?