Diseños de evaluación Chile Crece Contigo

Dra. Paula Bedregal MD, MPH, PhD

Seminario: “La evaluación en un

contexto de gestión por resultados”

Montevideo Uruguay

12 diciembre 2012

Contenidos

1. Consideraciones para el diseño de las evaluaciones: el caso Chile Crece Contigo

– Efecto esperado y su magnitud

– Marco regulatorio para evaluaciones

2. Tres modelos de evaluaciones a) Evaluación Programa de Apoyo al Desarrollo

b) Evaluación del Programa Nadie es Perfecto.

c) Evaluación de la calidad del Programa de Modalidades de Apoyo

Consideraciones para el diseño de evaluaciones

1. ¿Cuál es el efecto esperado? ¿Cuál es la magnitud de este

efecto?

La evidencia

La promesa…

“Los programas con enfoque en desarrollo infantil temprano prometen reducir los efectos de la pobreza y reducir las desigualdades económicas en el mundo”

Engle et al, 2007; Grantham-McGregor et al 2007; Lancet.

Intervenciones Área del desarrollo Tamaño del efecto

Transferencias condicionadas Total 0,292

Cognición 0,170

Conducta 0,207

Salud 0,382

Nutrición Total 0,248

Cognición 0,255

Conducta 0,406

Salud 0,375

Escolaridad 0,113

Mixtas Total 0,306

Cognición 0,347

Conducta 0,266

Salud 0,232

Escolaridad 0,409

Inicio recién nacido o antes Total 0,339

Inicio preescolares Total 0,285

Programas con enfoque en desarrollo infantil temprano Efectos a corto plazo

Nores & Barnett (2010)

Tamaño de los efectos a corto plazo son PEQUEÑOS!!!!

Programas con enfoque en desarrollo infantil Efectos en niños alto riesgo durante la adolescencia

ES: Éxito escolar CD: Cognición SED: Socioemocional D: Trastornos conductuales SP: Participación social CJ: problemas ley FW: bienestar familiar

Efectos en problemas de salud a largo plazo (adultos)

Conductas de riesgo Evidencia Reducción riesgo

Consumo de tabaco Reducción de la prevalencia consumo 13- 16%

Consumo de marihuana Reducción de la prevalencia consumo 7-23%

Consumo psicofármacos sin receta

Reducción de la prevalencia consumo 9%

Consumo alcohol No es concluyente No concluye

Actividad física Incremento actividad sólo si participación en programas por más de dos años

10-52% (incremento)

Uso de servicios de salud No es concluyente No concluye

Enfermedades crónicas del adulto

No es concluyente No concluye

Malnutrición por exceso Reducción del IMC (los más deprivados) 4,5-50%

Depresión Reducción escala de síntomas 0,44 (tamaño efecto)

Personalidad esquizotípica

Reducción en síntomas (en grupo desnutrido)

0,42 (tamaño efecto)

Autoestima No hubo efecto No hay efecto

Fuente: D'Onise K (2010) Public Health

Resultados finales esperados ChCC a) Reducción de las tasas de riesgo y retraso del desarrollo infantil.

– A CORTO PLAZO

b) Reducción de las brechas territoriales y socioeconómicas en desarrollo

infantil – A CORTO PLAZO

c) Niños y niñas ingresan al sistema escolar con las competencias y habilidades

necesarias para continuar su aprendizaje. – A MEDIANO PLAZO

d) Padres y las madres son agentes activos en la educación de sus hijos e hijas, al

integrarse al sistema escolar. – A MEDIANO PLAZO

e) Reducción de brechas en capital humano.

– A LARGO PLAZO

2. ¿Cuál es el marco regulatorio para evaluaciones de políticas

públicas?

En Chile…

Marco regulatorio en evaluaciones Ministerio de Hacienda. DIPRES • Sistema de Evaluación y Control de

Gestión: • Definiciones estratégicas e

Indicadores de desempeño (Ley Presupuesto)

• Evaluación de programas e

instituciones (ex-post) • Evaluación de Programas

Gubernamentales (marco lógico, desde 1997)

• Evaluación de Impacto del Programas (2001)

• Evaluación Comprensiva del Gasto (2002)

• Evaluación de Programas Nuevos (2009)

Ministerio de Desarrollo Social • Subsecretaría Evaluación Social

• Monitoreo Política: CASEN • Evaluación de calidad y de

programas propios. • Sistemas de información

integrados.

Ministerios sectoriales • Cumplimiento objetivos sectoriales. • Indicadores básicos:

• Cobertura y Cobertura efectiva Calidad y seguridad

Eficiencia Efectividad Cobertura efectiva Cumplimiento de garantías. Percepción usuarios.

Enfoque sobre evaluación Primer diseño 2008-9

EVALUACIÓN CHILE CRECE CONTIGO

MDS (Ex MIDEPLAN)

1) Evaluación y monitoreo de la

implementación (redes,

Programas, otras).

2) Evaluación del impacto global de

Programas (resultado en población

beneficiaria y brechas)

3) Sistema informático de apoyo para

garantías de acceso a prestaciones

4) Evaluación de la calidad de

prestaciones propias

HACIENDA

1) Evaluación de

impacto del

Sistema.

2) Evaluación

económica

MINISTERIOS

SECTORIALES

1) Evaluación y

monitoreo de la

calidad y

seguridad de los

servicios

prestados (oferta

de servicios)

Evaluaciones de Chile Crece Contigo

Evaluación cuasi-experimental del

PADBP (cohortes no concurrentes en el

tiempo), ya realizada la medición de base.

Evaluación experimental de tres brazos del Taller grupal de habilidades de

crianza “Nadie es Perfecto”.

Encuesta Nacional de Implementación (condiciones de eficiencia para la implementación del PADBP).

Evaluación cualitativa de la instalación del Programa de Apoyo al Desarrollo Biopsicosocial.

Estudio de satisfacción del PADBP.

Estudio de satisfacción y usabilidad del PARN.

Evaluación cuanti-cuali de las redes comunales de Chile Crece Contigo.

Estudio de seguimiento de casos de usuarias de CHCC.

Evaluaciones en el marco de Chile Crece Contigo

1. La evaluación de efectividad del Programa de Apoyo al Desarrollo Biopsicosocial • Ejecutor: Universidad Católica de Chile • Mandante: MDS

2. La evaluación de impacto del programa Nadie es Perfecto.

• Ejecutor: Banco Mundial-Universidad Católica de Chile • Mandante: MDS-MINSAL-Fondos concursables

3. La evaluación de la calidad del programa de Modalidades de

Apoyo al Desarrollo Biopsicosocial • Ejecutor: Universidad Católica de Chile • Mandante: MDS

V. Atención de niños(as) en situación de

vulnerabilidad

IV. Fortalecimiento del desarrollo

integral del niño(a)

III. Atención al Desarrollo Integral del

niño(a) hospitalizado

II. Atención Personalizada del proceso de

nacimiento

I. Fortalecimiento del Desarrollo Prenatal

A B C A B A B A B A

Gestación Nacimiento 0 a 4 años de edad

ATENCIÓN PRIMARIA ATENCIÓN PRIMARIAHOSPITALES

A. Fortalecimiento de los Cuidados Prenatales

B. Desarrollo del Plan de Salud con Enfoque Familiar

C. Educación a la Gestante y su Pareja o Acompañante

A. Atención Personalizada

del Parto

B. Atención Integral en el

Puerperio

A. Atención Integral al Recién

Nacido(a) Hospitalizado en

Neonatología

B. Atención Integral al Niño/Niña

Hospitalizado(a) en Pediatría

A. Fortalecimiento del Control de

Salud del Niño/Niña para

el Desarrollo Integral

B. Intervenciones Educativas de

Apoyo a la Crianza

A. Fortalecimiento

de las Intervenciones en Niños/Niñas en Situación de Vulnerabilidad, Rezago y Déficit en su Desarrollo

Integral

Programa de Apoyo al Desarrollo Biopsicosocial

V. Atención de niños(as) en situación de

vulnerabilidad

IV. Fortalecimiento del desarrollo

integral del niño(a)

III. Atención al Desarrollo Integral del

niño(a) hospitalizado

II. Atención Personalizada del proceso de

nacimiento

I. Fortalecimiento del Desarrollo Prenatal

A B C A B A B A B A

Gestación Nacimiento 0 a 4 años de edad

ATENCIÓN PRIMARIA ATENCIÓN PRIMARIAHOSPITALES

A. Fortalecimiento de los Cuidados Prenatales

B. Desarrollo del Plan de Salud con Enfoque Familiar

C. Educación a la Gestante y su Pareja o Acompañante

A. Atención Personalizada

del Parto

B. Atención Integral en el

Puerperio

A. Atención Integral al Recién

Nacido(a) Hospitalizado en

Neonatología

B. Atención Integral al Niño/Niña

Hospitalizado(a) en Pediatría

A. Fortalecimiento del Control de

Salud del Niño/Niña para

el Desarrollo Integral

B. Intervenciones Educativas de

Apoyo a la Crianza

A. Fortalecimiento

de las Intervenciones en Niños/Niñas en Situación de Vulnerabilidad, Rezago y Déficit en su Desarrollo

Integral

Programa de Apoyo al Desarrollo Biopsicosocial

Evaluación Programa de Apoyo al Desarrollo Biopsicosocial

Metodología: (2010-2013) • Estudio observacional de 3 cohortes históricas

– Cohorte que no recibió ChCC desde prenatal y se

atiende en sector público (nació antes 2007-2008) • N= 1800 niños entre 30-54 meses al 2010.

– Cohorte que no recibió ChCC desde prenatal y se

atiende en sector privado (antes 2007-2008) • N = 380 niños entre 30 – 54 meses al 2010.

– Cohorte que recibió ChCC desde prenatal(desde

2009) • N=1400 niños entre 30-54 meses al 2012.

Elementos considerados en la evaluación

1. Marco conceptual: – Desarrollo bioecológico – Determinantes sociales

2. Modelo de cambio: – Prestaciones PADB modifican determinantes del desarrollo (crianza,

salud del niño y cuidador, acceso a servicios), lo que mejora el desarrollo del niño/a.

3. Identificación de la población y tamaño de la muestra. – Usuarios sector público de salud (o privado) desde la gestación. – Estratificación por tipo de red de salud (con componente rural o sin

componente rural; con medicina familiar y sin medicina familiar). – Cálculo con tamaño del efecto pequeño-moderado.

• Limitación: recursos disponibles.

18

Variables del estudio

INDEPENDIENTE

Tipo de Programa recibido

DEPENDIENTE

Desarrollo infantil

INTERMEDIAS Factores de riesgo o protectores

Inventario Battelle completo Encuesta Chile Crece y fichas clínicas:

• Características del niño/a: sociodemográficas, salud, antecedentes perinatales, antecedentes parto, trayectoria de salud.

• Características cuidador principal: sociodemográficas, capital social, salud mental, salud física

• Características de la crianza: creencias sobre niños, disponibilidad de recursos estimulación en el hogar, emociones en la relación con el niño/a, involucramiento paterno, materno y cuidador principal.

• Características socioeconómicas del hogar • Utilización de servicios (salud y educación)

Evaluación Programa de Apoyo al Desarrollo Biopsicosocial

• Análisis: – Descriptivo e inferencial. Comparación entre cohortes. – Efectividad. Ajustes resultados por Propensity Score.

• Ética: Visado por comités de ética SSMO y CEI Medicina. – Uso de consentimiento informado. – Devolución resultados a la muestra y facilitación acceso a

servicios casos daño.

• Rechazo:

– Red pública control: 10% – Red privada: 28% – Red pública tratada: 15%

30% desarrollo alterado

Brechas importantes en casi todas las áreas en desarrollo, mediado por condiciones sociales y del cuidador principal (estrés tóxico)

30,4

32,5

29,2

35,3

36,8

12,1

0 5 10 15 20 25 30 35 40

Total

Personal social

Adaptativa

Motora

Comunicación

Cognitiva

Frecuencia %

Dimensión Desarrrollo

Desarrollo alterado en niños de 30-53 meses. Redes pública y privada de salud

Chile (2010-2011)

Privado

Público

Bedregal, Hernández et al (2012)

Salud del cuidador principal peor en la red pública

Mayor aislamiento social cuidadores de niños 3-4 años en la red pública

Más bajas expectativas educativas en red pública

Creencias respecto de los niños/as

Conclusiones línea de base

• DESIGUALDADES NOTABLES

– ¿Seremos capaces de lograr cambios?

• Violencia

• Aislamiento social

• Desigualdad socioeconómica importante

• ¿QUE NO TIENE CHCC?

– Aislamiento social, autoeficacia.

– Énfasis en el ámbito laboral femenino

Evaluación Nadie es Perfecto

• Talleres con sesiones estructuradas que se ejecutan de manera flexible.

• Facilitadores entrenados en manejo grupal

• Población objetivo: niñ@s de 0-5 años adscritas a sistema público de salud.

Objetivo: promover cambios en conocimiento y actitudes hacia una crianza positiva!!

Modelo de cambio

MEDIADORES DE CORTO PLAZO

• Conocimiento sobre Desarrollo Infantil

• Creencias y preferencias personales hacia la crianza.

• Motivación

• Autoeficacia parental y Autoestima.

• Percepción de apoyo social

INDICADORES INTERMEDIOS DE MEDIANO PLAZO

• Aumento prácticas de crianza positiva

• Afecto

• Estructura/Disciplina

• Mejor calidad del tiempo con los niños

• Mayor inversión en recursos de educación y alimentación en niños.

RESULTADOS DE LARGO PLAZO

• Mejor ambiente hogar

• Mejor Interacción

• Mejor desarrollo infantil:

• Lenguaje

• Cognitivo

• Socioemccional

• Conductas disruptivas

Control: Estrés Parental y Depresión

Metodología

• Diseño: Estudio Experimental Comunitario Aleatorizado – 163 Centros de Salud estratificados por tipo (CESFAM, CSU, CSR, Hospital),

escogidos aleatoriamente – 45-60 familias invitadas a participar en cada centro – Asignación de familias a grupos de tratamiento y control aleatoriamente. – Cumplimiento de criterios éticos.

• Tamaño muestra: • 3.650 niños de 0 a 5 años

• Cálculo de la muestra:

• Correlación intra-clúster: 0.1 • Tamaño mínimo del efecto 0.25*40% participación=0.125 • Poder: 80% Error tipo I: 5%.

29

Gradiente de desarrollo por por educación materna

0,0%

20,0%

40,0%

60,0%

80,0%

100,0%

Primary Dropout HS degree College

Lenguaje Expresivo

Retraso

Normal

0,0%

20,0%

40,0%

60,0%

80,0%

100,0%

Primary Dropout HS degree College

Lenguaje Auditivo

Retraso

Normal

Peor en lenguaje expresivo (25%) Trastornos conductuales hasta 30%

30

Funciones ejecutivas. Dimensional Change Card Sort (DCCS)

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

60,0%

70,0%

Primary HS droput HD degree College

Funciones ejecutivas según nivel educativa cuidador principal

alterado

normal

Hasta 40% alteraciones funciones ejecutivas

Conclusiones Línea de Base Nadie es Perfecto

• MEJOR DESARROLLO INFANTIL

– Disponibilidad de materiales de juego y aprendizaje.

– Inversión de tiempo en el aprendizaje y juegos.

– Autoestima y autoeficacia parental asociado con mejor desarrollo infantil.

– Estilo de crianza seguro

– Uso de estrategias de crianza positiva y afecto

• PEOR DESARROLLO INFANTIL

– Estilo de crianza autoritario.

– Problemas de salud mental cuidador principal

Problemas prácticos en las evaluaciones

• Costo del trabajo de terreno. – Disponibilidad de RRHH de calidad para trabajo de campo – Riesgos del trabajo de campo (violencia)

• La disponibilidad de información para generar buenos marcos

muestrales.

• Necesidad de trabajo de ajuste de los datos para lograr comparabilidad

• SIEMPRE pilotar los sistemas de captura de datos y el proceso de aplicación

• El apoyo de los implementadores locales es clave!

Evaluación de la Calidad de la atención en modalidades de apoyo (2012)

• Tipos de modalidades: • Servicio Itinerante de

estimulación (84)

• Atención domiciliaria (48)

• Ludotecas (47)

• Sala de estimulación (74)

Calidad de la atención en modalidades de apoyo (2012)

• Estructura

– Censal con base a levantamiento cualitativo

• Procesos

– Censal con base a levantamiento cualitativo

• Resultados

– Muestra aleatoria

• Recursos disponibles

• Gestión

• Desarrollo infantil (T1-T2)

• Satisfacción usuaria

Modelo calidad total A.Donabedian

Resultados: área resultados

• Desarrollo infantil:

– Mejoría del 14,7% en desarrollo infantil.

– Mejoran en sala de estimulación y servicio itinerante.

– Sin efecto la atención domiciliaria y ludoteca.

Modalidad Satisfacción usuaria (1-7)

Servicio Itinerante de estimulación

6,6

Sala de estimulación 6,2

Atención domicilio 6,0

Ludoteca 5,1

SATISFACCIÓN USUARIA

Resultados: área estructura y procesos

• Tasa de respuesta: 46% del censo. » Causas:

• no se implementó;

• implementación parcial;

• cambio de personal;

• no quiso responder. (20%)

• Áreas críticas:

– Estandarización de procesos

– Gestión ingresos y egresos niños.

Conclusión calidad programa

• Mejor implementación y con mejores resultados – Sala de estimulación: procesos claros con objetivos claros.

• Implementación parcial con buenos resultados

– Servicio itinerante de estimulación: procesos claros y objetivos claros.

• Implementación regular con malos resultados

– Ludotecas: procesos poco claros, confusión de objetivos. Acceso bajo de los usuarios

– Atención domiciliaria: discontinuidad.

Evaluaciones de Chile Crece Contigo

Evaluación cuasi-experimental del

PADBP (cohortes no concurrentes en el

tiempo), ya realizada la medición de base.

Evaluación experimental de tres brazos del Taller grupal de habilidades de

crianza “Nadie es Perfecto”.

Encuesta Nacional de Implementación (condiciones de eficiencia para la implementación del PADBP).

Evaluación cualitativa de la instalación del Programa de Apoyo al Desarrollo Biopsicosocial.

Estudio de satisfacción del PADBP.

Estudio de satisfacción y usabilidad del PARN.

Evaluación cuanti-cuali de las redes comunales de Chile Crece Contigo.

Estudio de seguimiento de casos de usuarias de CHCC.

Aprendizajes generales

• Trabajo conjunto entre entidades de gobierno-academia-financiadores

• Incorporación desde la planificación.

• Financiamiento asegurable y mantenido.

• Marcos analíticos claros, para identificar trayectorias de cambio.

• Difusión de los resultados

• Líneas de base útiles para establecer si las propuestas de políticas

están alineadas bien con las necesidades. Permite ajustes.

¡Muchas gracias!

GRACIAS !!!