piloto de “atención a crisis” lecciones de la evaluación de impacto

34
Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto Karen Macours (Universidad de Johns Hopkins) Ximena Del Carpio and Renos Vakis (Banco Mundial) Marzo 2008

Upload: orli-lowery

Post on 03-Jan-2016

28 views

Category:

Documents


0 download

DESCRIPTION

Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto. Karen Macours (Universidad de Johns Hopkins) Ximena Del Carpio and Renos Vakis (Banco Mundial). Marzo 2008. El programa de “Atención a Crisis” Objetivos. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Piloto de “Atención a Crisis”Lecciones de la evaluación de

impacto

Karen Macours (Universidad de Johns Hopkins)

Ximena Del Carpio and Renos Vakis (Banco Mundial)

Marzo 2008

Page 2: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

El programa de “Atención a Crisis”

Objetivos Red de seguridad a corto plazo: Reducción de impacto de

choques agregados que perjudican la acumulación de inversiones en capital humano y físico y disminución de necesidad de utilizar mecanismos adversos ex – post mediante transferencias de dinero

A largo plazo movilidad ascendente y reducción de pobreza mediante creación de activos: Mejorar la base de activos del hogar y la capacidad de diversificación de ingresos y reducción de pobreza mediante el reforzamiento de mecanismos de manejo contra el riesgo ex-ante que tienen como objetivo mejorar la acumulación de capital humano y físico de manera sostenible.

Page 3: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

El programa de “Atención a Crisis”

Estructura operacional y actores

Equipo técnico de Mifamilia (diseño, implementación, monitoreo y seguimiento)

Coordinación con Otros Ministerios (Salud, Educación) Autoridades de Gobiernos Locales (6

Municipalidades) Sociedad Civil y los Proveedores Locales

(capacitación, asistencia técnica, bonos) Municipio y Comunidades Beneficiarias

Equipo de evaluación (JHU, BM, CIERUNIC)

Page 4: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Contexto y antecedentes

Estrategia de política de MIFAMILIA y reto de como integrar temas de: Protección de inversiones en capital humano y físico Pobreza extrema y movilidad económica Gestión de riesgo ex-ante Descentralización y actores locales (Municipalidad, ONG) Sostenabilidad

Secia 2004 (riesgos/choques climáticos) Inquietudes sobre sostenibilidad de programas de

transferencia monetaria condicionales en paises de bajo ingresos

Piloto y componente de evaluación Multidimensional: Investigar varios modelos y sus impactos

Page 5: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Identificación de Hogares1. Selección de municipios afectados por

la sequía y con altos niveles de pobreza rural.

2. Visita al campo para: - probar el instrumento, - identificar áreas de impactos potenciales- investigar aspectos del diseño

Page 6: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Identificación de Hogares

3. Selección Aleatoria de Comunidades de Intervención y de Comunidades de Control

4. Levantamiento de Línea de Base en las comunidades seleccionadas

Page 7: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Línea de Base Determinar la elegibilidad al programa Chequeo del diseño de la muestra de

hogares (intervención y control) para determinar si son estadísticamente similares antes de la intervención

Esto permite que la interpretación de las diferencias de indicadores observadas ex-post entre beneficiarios y no beneficiarios sean impactos causados por el programa y nada más.

Ajustes en algunos aspectos del diseño

Page 8: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Identificación de Hogares5. Procesamiento de Datos

6. Listado de Hogares Bajo la Línea de Pobreza

7. Revisión de Listados con líderes comunitarios y Autoridades Municipales

8. Asambleas de Incorporación de Hogares

Page 9: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Identificación de Hogares

9. Selección Aleatoria del Grupo de Intervención.

Grupo 1. Bono alimentario y de educación

Grupo 2. Bono alimentario y de

educación + Formación Ocupacional.

Grupo 3. Bonos alimentarios y de

educación + Habilitación Productiva

Page 10: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Beneficios Ofrecidos por el Componente de Atención a Crisis

Transferencias en efectivo al Hogar

Bono Alimentario

Para atender necesidades Básicas del hogar

U$ 145 al año

Bono Educativo

Bono a la Oferta

Educativa

Complemento al ingreso familiar

U$90 al año.

Incentivo al maestro, compra de materiales

didácticos.

U$ 8/ alumno al año.

Mochila Escolar

Niños en edad entre 7-13 años

U$25 por niño

Page 11: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Beneficios Ofrecidos por el Componente de Atención a CrisisTransferencias en efectivo al Hogar

Bono de Habilitación

Para facilitar la inserción a la economía local

U$ 200/ hogar

Bono de Formación

Ocupacional

Estipendio para compensar el ingreso del

hogar

U$15 por mes. 6 meses

Page 12: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Beneficios Ofrecidos por el Componente de Atención a Crisis

Bono de Asistencia Técnica

Para la formulación de planes de habilitación

productiva y la seleccionar de los cursos de Formación

U$ 40 por hogar al

año

Bono a la Oferta de Salud

Vigilancia y promoción del crecimiento y desarrollo

U$90 al año.

Bono a la Oferta de Formación Ocupacional

Capacitación para su habilitación en el mercado

laboral local

U$140/ por curso

Page 13: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Corresponsabilidad de los Hogares Beneficiarios. EDUCACION

Certificado de matricula, del año escolar de niños entre 7 y 15 años.

Asistencia de niños entre 7 y 15 años a la escuela. Garantizando que sus inasistencias son menores de 6 en un

bimestre.

Entrega a los maestros del bono a la oferta educativa.

Page 14: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Corresponsabilidad de los Hogares Beneficiarios. SALUD

Inmunización a los grupos metas: Niños de 0-5 años; mujeres en edad fértil y adolescentes

Vigilancia y Protección del Crecimiento y Desarrollo mensual de los niños de 0 a 5 años y consejerías mensuales a las titulares

en temas relacionados con las prácticas de crianza.

Participación de las titulares y adolescentes en talleres de capacitación sobre temas de salud preventiva.

Mujeres embarazadas asisten al menos a 4 controles prenatales y 4 consejerías y e1 control puerperal.

Page 15: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Corresponsabilidad de los Hogares Beneficiarios.

Formación Ocupacional

Habilitación Productiva

Identificación del Miembro del Hogar que se inscribirá en el curso de Formación y Garantizar su Inscripción y Asistencia

Presentación de su plan de habilitación Productiva.

Page 16: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Beneficiarios del bono nutrición, educativo y formación ocupacional

Page 17: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Beneficiarios del bono productivo en acción

Page 18: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Diseño de evaluación de impacto

Selección aleatoria en dos pasos Comunidades de control y de intervención En las comunidades de intervención:

Rifa para seleccionar cual de las 3 paquetes de intervenciones Línea de base en 2005 Evaluación cualitativa en Junio 2006

Aspectos operativos Percepciones sobre impactos esperados e inesperados

Encuesta de seguimiento - Julio-Agosto 2006 9 meses después del inicio del programa Retrasos en la implementación de algunos componentes permitió

entender otros tipos de impactos Evaluación cualitativa en Agosto 2007

Explorar e identificar limitantes en diseño e implementación Encuesta final en 2008 (18 meses después del fin del programa)

Entender aspectos sobre componentes retrazados Entender impactos a mas largo plazo

Page 19: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Impactos Positivos en Educación y Aprendizaje

0.00%20.00%40.00%60.00%80.00%

100.00%

Asiste en escuela (7-18anos)

Notas han mejoradocomparado con el ano

pasado (7-25anos)

Actitud para la escuelamas positiva comparadocon el ano pasado (7-25

anos)

Control Intervencion

Page 20: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Impacto en nutrición de niños de 0-8 años

0

1

2

3

4

5

Leche Jugosnaturales

Pan Papas Vegetales Huevos Queso Carne

Dias en la ultima semana que comio:

Control Intervencion

Page 21: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Cambios en patrón de gastos

____ control; _ _ _ intervencion

Page 22: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Aumento de interacciones sociales

0.00%

20.00%

40.00%

60.00%

80.00%

100.00%

Sobre preciosde alimentos

con otraspersonas en la

comunidad

Sobre negocioscon otras

personas en lacomunidad

Con liderescomunitarios

Concoordinadoras

de salud

Conprofesores

% que habla:

Control Intervencion

Page 23: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Impactos adicionales a través de mejoramiento de dinámicas comunitarias

0.00

100.00

200.00

300.00

400.00

500.00

Ingresos actividades comerciales (porcapita)

Ingresos no agricolas - propia cuenta (porcapita)

Ingresos anuales

Control Intervencion

El impacto de lideres con bono productivo a otros beneficiarios del bono productivo

Lideres con el bono productivo tiene impactos adicionales a través de su motivación e interacción a otros beneficiarios en la mayoría de los indicadores

Page 24: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Con las palabras de una beneficiaria

“Antes del programa, mi pensamiento fue trabajar

para comer al día de hoy. Ahora trabajo para salir

adelante con el negocio. A través de las experiencias

una va aprendiendo, abriendo los sentidos para

pensar en el futuro. Platicando es como se entiende,

y se aprende.”

Beneficiaria del bono productivo

Page 25: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Cambios de actitudes y aspiraciones

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

Sin manejo de riesgo saliendo adelante Indicador desentimentos positivos

Control

Promedio beneficiariosbono productivo

Beneficiarios bonoproductivo si liderestambien tienen bonoproductivo

Page 26: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Lecciones sobre Bono Productivo

0

1000

2000

3000

4000

5000

Ingreso total annual (por capita)

Ingresos anuales

Control Intervencion

Evaluación cualitativa:Muchos negocios focalizados a la demanda local ~ saturación? ~ diversificación?

Crianza de aves

Pulperia

Comercialización de granos básicos

Crianza y engorde de cerdo

Carniceria

Panaderia

Comercialización de

ropa

Otros

Elaboración de productos

alimenticios

Comercialización de verduras

Fabricación de material de

construcción

Evaluación cuantitiva:Aumento de ingresos al corto plazoLargo plazo?

Page 27: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Lecciones sobre el efecto en la familia con respecto a sus actividades

La visitas al campo mostraron que el programa es un evento familiar y todos participan

La labor de niños en familias con el bono productivo incremento en actividades comerciales, pero bajo en actividades agrícolas, y no incremento en total.

El programa reduce la labor infantil por lo general, de actividades comerciales y agrícolas

Page 28: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Implicaciones para diseño de

programas

Page 29: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Implicaciones de implementación (evaluación cualitativa)

Capacidad de implementación insuficiente Entrenamiento, flujos de información, monitoreo de

contrapartes insuficientes redujeron la efectividad general del programa

~ se hicieron varios ajustes inmediatos (y un taller para capacitadores) en el transcurso de la implementación basado en la evaluación cualitativa

Coordinación Los programas descentralizados requieren que las

contrapartes locales reciban un alto grado de capacitación, incentivos apropiados, asistencia continua, buenos flujos de información, y monitoreo de las contrapartes locales

Page 30: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Implicaciones sobre oferta y demanda

A pesar de limitantes importantes del lado de oferta: Aumentos en metas de nutrición, salud, educación, y desarrollo cognitivo de la primera infancia, pueden ser posibles mediante intervenciones enfocadas en la demanda

Page 31: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Implicaciones sobre interacción social

El tener un gran numero de hogares como beneficiarios en una comunidad puede conllevar a una mejora en capital social y la creación de redes sociales principales

=> consecuencia para diseño de (otros) programas

Page 32: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Implicaciones sobre focalización y transparencia

Percepción de justicia en la focalización influyo la aceptación del programa y por consiguiente su efectividad

Adopción del proceso de lotería por otros programas en la región, a pedido de los mismos beneficiarios

Page 33: Piloto de “Atención a Crisis” Lecciones de la evaluación de impacto

Evaluación para quien?

y para los beneficiarios mismos!

Para - El equipo técnico del programa - Los técnicos de otros programas con objetivos similares - Los encargados de políticas publicas