Taller sobre Evaluación de impacto de Proyectos de FomentoTaller sobre Evaluación de impacto de Proyectos de Fomentodel Desarrollo Juvenil y Prevención de la Violenciadel Desarrollo Juvenil y Prevención de la Violencia

Hotel Los Héroes, Bogotá 02 de octubre de 2007Hotel Los Héroes, Bogotá 02 de octubre de 2007

Diseño de evaluación de impactos tempranos valuación de impactos tempranos del Programa Familias Fuertes en Perúdel Programa Familias Fuertes en Perú

Hugo MoralesConsultor GTZ

Coordinador de laDiplomatura en Desarrollo Integral

y Prevención de la Violencia JuvenilUniversidad Nacional Mayor de San Marcos

Perú

Contenido1. Marco conceptual del Programa Familias Fuertes.2. Objeto de la evaluación (qué): Programa preventivo dirigido a

Familias (padres e hijos).

3. Propósito de la evaluación (para qué): Producir evidencias sobre qué funciona en la intervención preventiva con Familias.

4. Involucrados en la evaluación (quiénes y con quiénes): Población blanco, interventores y otros actores clave.

5. Indicadores (qué se observa): Cambio de conducta a nivel individual y a nivel interpersonal.

6. Metodología e instrumentos (cómo se evalúa): Diseño cuasi-experimental con grupo control no equivalente y Triangulación.

7. Aprendizajes de la evaluación (qué sirve, qué no sirve, alertas en proyectos de prevención de la violencia): Validez Interna y Externa en los programas y proyectos de prevención.

Marco conceptual del Programa Familias Fuertes:

Amor y Límites

Objeto de la evaluación (qué): Programa preventivo

dirigido a Familias(padres e hijos)

Familias FuertesObjetivo General:

Mejorar la salud y el desarrollo de adolescentes entre 10 – 14 años de edad, y prevenir conductas de riesgo a través de la promoción de la comunicación entre padres e hijos.

Pre-adolescencia y adolescencia temprana son los períodos claves para prevención. Las conductas de riesgo aún no han comenzado o se están recién instalando.

El rol de la familia en el desarrollo adolescente

• La familia tiene un rol fundamental en promover en un espacio contenido, la experimentación y vivencia de experiencias nuevas de los hijos adolescentes.

• Familia es un espacio para promover oportunidades, expectativas, metas – límites y guía (orientación y monitoreo).

• Estudios multiculturales resaltan la importancia de la familia y el efecto en el bienenstar emocional del adolescente (Brian Barber, 2002)– Relación con adulto significativo.– Regulación de límites.– Autonomía.

• Relación emocional positiva y estable promueve competencia social.• Coherencia en las reglas y los valores facilita la adaptación al mundo

social.

Nivel conductual interpersonal (familiar): Teoría del Cuidado Eficaz (authoritative parenting model de Baumrind, 1971)

• El cuidado eficaz de adolescentes se ubica en un continuo entre la demanda de cumplimiento de expectativas y la disciplina; y el estar atento/a a las necesidades y deseos de los adolescentes.

• Está compuesto de = Amor y Límites– Calidez y amor– Estructura y disciplina– Apoyo a la autonomía y al desarollo– Monitoreo de su comportamiento

Nivel conductual individual (padres): Teoría del Aprendizaje Social de Bandura (1986) – videos aplicados a los padres: modelaje.

• Compuesto de = Autoeficacia, Metas y Valor de los resultados esperados– Determinismo recíproco– Capacidad conductual– Expectativas de resultado– Expectación de resultado– Auto-eficacia– Aprendizaje observacional– Refuerzos

Competencias a desarrollar en los Padres

• Amor y Conexion – Apoyo y Aceptacion.Amor y Conexion – Apoyo y Aceptacion.

• Controlar y Observar – Dar libertad y averiguar.Controlar y Observar – Dar libertad y averiguar.

• Guiar y Limitar – Límites y moral clara.Guiar y Limitar – Límites y moral clara.

• Dar ejemplo y Consultar – Ofrecer oportunidades Dar ejemplo y Consultar – Ofrecer oportunidades para el debate y toma de decisiones.para el debate y toma de decisiones.

• Proveer y Abogar- Conectar con la red de apoyo.Proveer y Abogar- Conectar con la red de apoyo.

• Amor y Conexion – Apoyo y Aceptacion.Amor y Conexion – Apoyo y Aceptacion.

• Controlar y Observar – Dar libertad y averiguar.Controlar y Observar – Dar libertad y averiguar.

• Guiar y Limitar – Límites y moral clara.Guiar y Limitar – Límites y moral clara.

• Dar ejemplo y Consultar – Ofrecer oportunidades Dar ejemplo y Consultar – Ofrecer oportunidades para el debate y toma de decisiones.para el debate y toma de decisiones.

• Proveer y Abogar- Conectar con la red de apoyo.Proveer y Abogar- Conectar con la red de apoyo.

Propósito de la evaluación(para qué):

Producir evidencias sobre qué funciona en la intervención

preventiva con Familias

Involucrados en la evaluación (quiénes y con quiénes):

Población blanco, interventores y otros

actores clave

• Coordinadora país: introduce la estrategia de trabajo con Familias en POA del proyecto en Perú.

• Muestra de familias: reclutadas en el ámbito escolar local. N = 25 familias aprox./casos y controles en 5 distritos de Lima.

• Equipos distritales: trabajadores de los Municipios socios del proyecto entrenados en el programa. Responsables de establecer contactos con el Colegio y realizar la convocatoria e identificación de las familias.

• Directores de colegios, Tutores, Alcaldes.

Ejes temáticos de las sesiones para el trabajo con los padres

• 7 sesiones concentradas en reducir factores de riesgo y promover factores protectores dentro de la dinámica familiar y la relación de la familia con el entorno.1. Usando amor y límites.2. Estableciendo de reglas en el hogar.3. Fomentando el buen comportamiento.4. Uso de las consecuencias (uso de sanciones).5. Construyendo puentes (establecer vínculos).6. Protección contra los comportamientos de riesgo.7. Ayuda para necesidades especiales de la familia y

conexión con la comunidad.• Atención a la estructura familiar.

Sesiones con los adolescentes1. Tener objetivos y sueños

Indicador conductual / Ítem2. Apreciar a los padres

Indicador conductual / Ítem3. Hacer frente al estrés

Indicador conductual / Ítem4. Obedecer las reglas

Indicador conductual / Ítem5. Hacer frente a la presión de los compañeros

Indicador conductual / Ítem6. La presión del grupo y los buenos amigos

Indicador conductual / Ítem7. Ayudar a otros

Indicador conductual / Ítem

Sesiones con las familias1. Apoyar los objetivos y sueños

Indicador conductual / Ítem2. Promover la comunicación en la familia

Indicador conductual / Ítem3. Aprecio a los miembros de la familia

Indicador conductual / Ítem4. Empleo de las reuniones familiares

Indicador conductual / Ítem5. Comprender los principios de la familia

Indicador conductual / Ítem6. Las familias y la presión de los compañeros

Indicador conductual / Ítem

Indicadores (qué se observa): Cambio de conducta a nivel

individual y a nivel interpersonal

Familias Fuertes Los adolescentes:• Elijan compañías adecuadas.• Desarrollen mayor capacidad de resistir la

presión de los compañeros.• No consuman sustancias como tabaco, alcohol

y drogas• Presenten modelos de comportamiento sexual

sin riesgos (abstinencia o de uso de preservativos).

• Tengan un buen comportamiento en la escuela.

Familias Fuertes Los padres:• Aumenten su conocimiento y capacidad de resolver

los conflictos con sus hijos adolescentes.• Desarrollen su capacidad de demostrar afecto, a la

vez que se establecen reglas claras de comportamiento.

• Aumenten tanto su capacidad para vigilar el comportamiento rutinario, así como desarrollar la capacidad para escuchar y comprender los problemas específicos de los jóvenes.

Metodología e instrumentos (cómo se evalúa): Diseño

cuasi-experimental con grupo control no

equivalente yTriangulación

Tamaño de las muestras finales para los distritos

que cumplieron conel diseño

GC: O1 O2 ----------------------------------------------------------------------------------------------------- Nivel de la Familia X1, X2, X3…..X7

GE: O3 O4

Diseño de evaluaciónCuasi-experimental

(actualmente se ha convertido en un diseño pre-experimental por la

reducción de casos control)

Criterios de inclusión (a nivel de los padres y los hijos):• Familias con al menos un hijo adolescente con edades entre 10 y 14 años de edad (__)• Padres que convivan junto a sus hijos o al menos uno de los padres (si es una familia monoparental)

que conviva con el hijo o hija adolescente desde hace más de 5 años como mínimo (__)• Padres que conviven con adolescentes y tienen un alto grado de interacción como parte de la crianza

(__)• Familias con alto nivel de compromiso para participar hasta el final del programa, puntualmente y en

todas las sesiones programadas (__)• Familias que envían a sus hijos a la escuela (__)• Familias que asisten los requerimientos básicos de subsistencia de sus hijos (__)• Padres que se encuentran realizando actividades económicas para el sostenimiento de sus familias

(__)• Hijos adolescentes que asisten a la escuela (__)• Padres interesados e involucrados en la crianza de sus hijos (__)• Padres con edades entre 26 y 65 años de edad (__)• Familias donde a lo mucho un hijo presenta problemas de conducta, pero no los demás (__)

Criterios de exclusión (a nivel de los padres y los hijos):• Familias multiproblemáticas, que ya presentan problemas entre varios de sus hijos (__)• Hijos adolescentes con problemas de conducta, discapacidad o retardo en el desarrollo (__)• Padres que se encuentran desempleados al mismo tiempo (__)• Hijos adolescentes que tienen funciones de crianza de otros hermanos pequeños (__)

Muestra de adolescentesControl Experimental

San Felipe 4 3 7Total 4 3 7

José María Arguedas 0 4 4Jorge Chavez 0 7 7

Total 0 11 11Ricardo Palma 0 7 7

Total 0 7 7Fe y Alegría 33 0 1 1

Héroes del Pacífico 5088 2 10 12Total 2 11 13

6 32 38San Felipe 5 3 8

Total 5 3 8José María Arguedas 0 4 4

Jorge Chavez 0 7 7Total 0 11 11

Ricardo Palma 0 7 7Total 0 7 7

Fe y Alegría 33 0 1 1Héroes del Pacífico 5088 2 10 12

Total 2 11 13

7 32 39

GrupoTotalInstitución educativaMunicipalidadTipo de prueba

Comas

Santiago de Surco

Surquillo

Ventanilla

Post-Test

TOTAL

Pre-Test

TOTAL

Ventanilla

Comas

Santiago de Surco

Surquillo

Muestra de padresControl Experimental

San Felipe 4 3 7Total 4 3 7

José María Arguedas 0 6 6Jorge Chavez 0 8 8

Total 0 14 14Ricardo Palma 0 6 6

Total 0 6 6Fe y Alegría 33 0 1 1

Héroes del Pacífico 5088 0 11 11Total 0 12 12

4 35 39San Felipe 4 3 7

Total 4 3 7José María Arguedas 0 6 6

Jorge Chavez 0 8 8Total 0 14 14

Ricardo Palma 0 6 6Total 0 6 6

Fe y Alegría 33 0 1 1Héroes del Pacífico 5088 0 11 11

Total 0 12 12

4 35 39

Total

Pre-Test

Santiago de Surco

TOTAL

Santiago de Surco

Surquillo

Ventanilla

GrupoInstitución educativa

Post-Test

TOTAL

Comas

Tipo de Prueba Municipio

Comas

Surquillo

Ventanilla

Instrumentos y Triangulación Metodológica

(multi-método/entre los métodos) de resultados

Instrumentos cuantitativos:• En los padres – cuestionario aplicado a los padres o adultos significativos que participaron de la

intervención (9 ítems).• En los adolescentes – cuestionario aplicado a los adolescentes que participaron de la

intervención (103 ítems).• Base de datos, análisis de bondad de ajuste, uso de pruebas no paramétricas como Mann-

Whitney Test (intergrupos) y Wilcoxon Test (intragrupos) para analizar diferencias de medias.

Instrumentos cualitativos:• En los padres – guía de indagación de grupo focal aplicado a los padres que participaron de la

intervención.• En los adolescentes – guía de indagación de grupo focal aplicado a los adolescentes que

participaron de la intervención.• Realización de dos grupos focales: padres y adolescentes – criterios de reclutamiento de casos.• Identificar los cambios de comportamiento (de acuerdo a los objetivos del programa y otros no

esperados) percibidos como consecuencia del entrenamiento en Familias Fuertes por los participantes del programa durante las siete sesiones, a nivel de ellos mismos y de sus hijos/padres, aislando los efectos de otros factores que pudieron generar los cambios de comportamiento identificados en la medición pre y post test realizada como parte del programa. Conocer el discurso hegemónico, así como los consensos y disensos alrededor del programa para su posible mejora futura.

Escala de evaluación de Proceso y Resultados:• Cuestionario aplicado a los responsables del Programa a nivel Local (30 ítems).

• Aumenten su conocimiento y capacidad de resolver los conflictos con sus hijos adolescentes.

“Lo que en ese programa si logré encontrar fue lo que él más le duele, es que yo no lo bese y lo trate serio, incluso cuando viene del colegio me mira y me dice: “estás molesta”, no hijo, “no está molesta mamá”, no para nada a ya, y me comienza a abrazar y besar, porque ha a veces cuando voy al colegio por ahí me dicen: “huy señora el Josue se subió a la mesa”, a veces me dicen, porque es así, él es espontáneo no es malcriado sino, demasiado espontáneo, entonces, lo que yo veo en él, descubrí en ese programa es que, él lo que más le afecta es que yo no le sea muy , muy cariñosa con él…”NN-Surco (grupo focal a madres)

“…me siento más tranquila, porque los míos son 4 y entre los cuatro se hacen un lío entre los 4 y no sé a quién corregir, antes no, antes agarraba mi correa y a todos por igual, porque todos están metidos ahí en el lió, ahora les miro, ya terminaron, ya se terminaron de chancar entre los cuatro, y miran pero el empezó, él empezó, no me interesa, tú no sales tu me haces esto y el otro, yo sentada les miro que hagan las cosas. he aprendido a tranquilizarme a controlarme…”NN-Ventanilla (grupo focal a madres)

• Desarrollen su capacidad de demostrar afecto, a la vez que se establecen reglas claras de comportamiento.

“…yo ahora tengo hijos jóvenes y eso me ha ayudado bastante porque yo trato de observar, a mirarlo, a ver la manera de cómo conversar con él, preguntarle qué le ha pasado y ver el momento oportuno, pues como se dice, de momento no te va decir nada, pero de momento yo veo la manera trato de conversar con él. Y sí he sacado buenos resultados, porque he buscado la manera, mi hijo me comunica y yo trato de darle lo que yo aprendí trato de conversarle a él y llego a que él me tenga esa confianza y me cuente, me cuenta, me llega a contar y como él es el mayor, lo mismo que estoy utilizando con el, lo mismo voy a seguir con el más pequeño…”NN-Surco (grupo focal a madres)

“...y me gustó mucho lo que nos decían de que forma podemos darle esa confianza para que ellos vayan solos hasta donde, ahora por ejemplo ya se va a la parroquia se viene a la parroquia, mamá tengo un trabajo perfecto hijo ya, cuando se demora me llama…”NN-Surco (grupo focal a madres)

• Aumenten tanto su capacidad para vigilar el comportamiento rutinario, así como desarrollar la capacidad para escuchar y comprender los problemas específicos de los jóvenes.

“…yo ahora converso más con ellos, les hablo les hablo les hablo, ya no reniego ya, antes renegaba pero ay hasta el hígado, un poco que he calmado…”NN - Villa el Salvador (grupo focal a madres)

“…a mí lo que me más me ha gustado es saber escucharlos, cuando ellos llegan veces, yo mayormente que paro más con ellos a veces llegan que mamá el esto que el otro, me siento ahí y les empiezo a escuchar…”NN - Villa el Salvador (grupo focal a madres)

“En uno de mis hijos Erick, cuando él tiene algo, está dando vueltas a la mesa, o a mí. y yo le miro qué has hecho, que tienes? nada y sigue dando vueltas, no, algo tienes, qué has hecho no, es que estaba jugando en el colegio y el profesor quiere que vayas al colegio porque quiere hablar contigo… yo he notado, cuando él tiene algo, él está dando vueltas…”NN - Villa el Salvador (grupo focal a madres)

“Ya no reniego, para que mis hijos han cambiado conmigo, yo llego y dicen, mami ya siéntanle para servirte una tasa de café y me hacen que me suba a la cama y me alcanza la comida en la cama yo sí cocino pero ellos calientan, July encargarte de tus hermanos a servirles, sepárale par tú papá. Antes era puro grito en esa casa, ya no, da cuenta de que no vive nadie en esa casa…”NN-Surco (grupo focal a madres)

“…yo en mi casa, con eso que empezó el programa, empezamos a reunirnos en la casa a ponernos todos a sentarnos juntos porque mayormente trabaja mi esposo, mis hijos uno llega en la mañana otro en la tarde, osea que no todos estamos juntos, pero sí un día a la semana nos juntamos, los domingos, antes no era así, los domingo es sagrado ustedes van a venir vamos a almorzar juntos y ahí conversamos dialogamos, eso sí hemos mejorado un poco en él (el papá), en ese aspecto, y ya ese día nos ponemos a dialogar a conversar y mi esposo también un poco ya que los días domingos está un poco más en la casa…”NN - Ventanilla (grupo focal a madres)

“Sí porque en mi caso mío, mucho peleábamos y mis hijos escuchaban, estaban traumados y después mi esposo me dijo hijo siéntate vamos a conversar… si ustedes obedecen lo que tu mamá les dice, y yo también les digo, esta familia va se más unida. Así ha sido ya nos reunimos a almorzar, a conversar. Cada vez que almorzábamos, cada uno almorzaba para allá o para acá, ya no, todos juntos conversamos, nos reímos, antes, era puro llorar, y mis hijos también me miraban; mamí por qué lloras, yo decía es que tu papá mocho, no sé él piensa que cuando salgo, a qué iré porque el llegaba molesto conmigo, pero yo me iba a trabajar, pero ahora ya no, él dice: hagan las cosas porque tu mamá viene cansada, bastante ha cambiado…”NN - Surco (grupo focal a madres)

Aprendizajes de la evaluación (qué sirve, qué no sirve, alertas en proyectos de

prevención de la violencia): Validez Interna y Externa en los programas y proyectos

de prevención

Validez interna: ¿podemos atribuir los cambios al programa?– Autoselección de los participantes (aleatoriedad y reclutamiento).– Regresión estadística (regresión hacia la media – cuestionarios).– Sensibilidad y sensibilización al Test.– De un diseño cuasi a uno pre experimental.– Muerte experimental.

Validez externa: ¿podemos aplicar el programa en otras poblaciones de familias equivalentes?– Fracaso al describir explícitamente las variables independientes.– Falta de representatividad de las poblaciones disponibles.– Efecto Hawthorne (los sujetos saben que son “cobayas”).– Operacionalización inadecuada de las variables dependientes.– Sensibilización a las condiciones experimentales.– Efectos de interacción de factores extraños y tratamientos

experimentales.

Taller sobre Evaluación de impacto de Proyectos de FomentoTaller sobre Evaluación de impacto de Proyectos de Fomentodel Desarrollo Juvenil y Prevención de la Violenciadel Desarrollo Juvenil y Prevención de la Violencia

Hotel Los Héroes, Bogotá 02 de octubre de 2007Hotel Los Héroes, Bogotá 02 de octubre de 2007

Diseño de evaluación de impactos tempranos valuación de impactos tempranos del Programa Familias Fuertes en Perúdel Programa Familias Fuertes en Perú

Hugo MoralesConsultor GTZ

Coordinador de laDiplomatura en Desarrollo Integral

y Prevención de la Violencia JuvenilUniversidad Nacional Mayor de San Marcos

E-mail: hmorales@aloe.ulima.edu.pe