evaluaciÓn de impacto - música para la vida · 2018. 7. 5. · en la tabla 1, se describe el...
TRANSCRIPT
1
2
EVALUACIÓN DE IMPACTO MUVI:
RESULTADOS CUANTITATIVOS
DR A . S I LV IA RO M E R O C O NT R ER A S
DR A . G A BR IE L A S I L V A M A C E D A
INTRODUCCIÓN
La Fundación Música para la Vida (MUVI) surge en el año 2013 y, en coordinación con autoridades
e iniciativa privada, busca impulsar el desarrollo cultural, educativo y ocupacional de niños y jóvenes
de grupos vulnerables, invitándolos a formar parte de agrupaciones musicales en comunidades
marginadas del estado de San Luis Potosí. Conjuntamente, la Facultad de Psicología de la
Universidad Autónoma de San Luis Potosí (UASLP) realiza desde el año 2015 la evaluación de
impacto de MUVI, con el propósito de medir y mejorar sus procesos educativos y de desarrollo.
Una evaluación de impacto es un proceso a través del cual se miden los cambios en el bienestar de
las personas que pueden atribuirse a un proyecto, programa o política particular (Gertler, Martínez,
Premand, Rawlings & Vermeersch, 2010). Diseñar y efectuar una evaluación de impacto requiere de
muchas y variadas acciones y, en el caso de la fundación, éstas se encuentran principalmente
encaminadas a responder a la pregunta: ¿Cuál es el efecto de MUVI en la vida de sus beneficiarios?
Cuestión que puede abordarse desde diferentes perspectivas.
Por un lado, en el caso de los alumnos, los efectos se pueden entender como logros en los ámbitos
musical, personal, académico o social, y cada uno de estos ámbitos puede desintegrarse en pequeños
componentes o factores. Por otro lado, en los casos de las madres y los padres, los efectos se refieren
a mejoras en la relación con la atención a los hijos y sus proyectos de vida, lo que se refleja, por
ejemplo, en el tiempo y la atención que se les dedica, la forma en que se les apoya o conduce, los
intereses compartidos, entre otros.
Frente a estos indicadores, la medición no siempre es sencilla, por lo que debe optarse por una
evaluación que ofrezca más y mejor información, con menos recursos y de forma viable. Asimismo,
una medición de impacto debe garantizar, en la medida de lo posible, que los resultados o logros se
deriven del programa que se está evaluando (en este caso, MUVI); y que éstos resultados sean útiles
para mejorar la calidad de los servicios que se ofrecen.
3
Para realizar la evaluación, se diseñaron varios instrumentos para los distintos tipos de participantes
en el estudio (alumnos y padres): cuestionarios de respuesta cerrada y cuantificable, entrevistas,
grupos de enfoque y actividades guiadas. Todos ellos se analizaron, además de en cuanto a sus
resultados de impacto, respecto de su validez y confiabilidad, algo necesario para alcanzar resultados
más precisos y objetivos.
Asimismo, aunque en el diseño de la evaluación de impacto la situación ideal era que se contrastaran
los resultados de un grupo de intervención y un grupo no intervención, no fue posible tener acceso a
esas dos poblaciones, por lo que se realizaron mediciones comparativas entre beneficiarios del
programa con una permanencia mayor a seis meses (grupo MUVI), y no beneficiarios de la
fundación o con una permanencia menor a dos meses (grupo de externos). El no poder completar la
muestra con características ideales se debió a que la participación era totalmente voluntaria y sin
remuneración de ningún tipo, lo que redujo considerablemente la cantidad de personas interesadas en
colaborar.
La evaluación se realizó bajo dos enfoques: uno cuantitativo y otro cualitativo, en el presente
documento se presentan los resultados cuantitativos de una primera medición. En otros documentos,
se presentarán los resultados cualitativos con el propósito de triangular y convalidar los hallazgos
que aquí se exponen.
En una primera parte, se describe paso a paso el procedimiento efectuado para la validación de los
instrumentos. En una segunda parte, se muestran los resultados de la evaluación de impacto del
programa en alumnos y madres/padres. Por último, se presentan las conclusiones generales derivadas
del estudio y su relevancia para la fundación.
4.1 VALIDACIÓN
Uno de los objetivos principales de este estudio fue desarrollar instrumentos válidos y confiables
para realizar la evaluación de impacto. Para ello, se realizó una serie de análisis estadísticos que
permitieran determinar si los cuestionarios diseñados podrían proveer resultados certeros.
Las aplicaciones de los cuestionarios para esta validación se recabaron en dos grupos distintos: el
grupo de externos (participantes cuya permanencia en el programa era menor a dos meses), y grupo
4
MUVI (participantes cuya permanencia en el programa era de seis meses o más). Asimismo, los
cuestionarios fueron aplicados en dos núcleos: Villa de Reyes y La Pila, ambas comunidades
cercanas a la ciudad de San Luis Potosí. En la tabla 1, se describe el número de participantes para
cada núcleo y tiempo de evaluación, tanto para alumnos como padres.
Tabla 1. Número de participantes en cada instrumento, por núcleo y tiempo de evaluación.
Alumnos Padres
Núcleo externos grupo MUVI externos grupo MUVI
Villa de Reyes 45 100 13 58
La Pila 68 0 14 0
Tanto el instrumento para alumnos como el instrumento para padres se sometieron a dos análisis
distintos:
Análisis de utilidad
Análisis de la estructura del instrumento
Análisis de utilidad
Sabiendo que, no todos los reactivos diseñados, medirían de manera adecuada lo que se pretende
medir. En esta fase, se obtuvieron los índices de media, desviación estándar y correlación ítem-
escala, para determinar cuáles reactivos resultaron útiles. Los criterios utilizados para cada indicador
fueron los siguientes:
Correlación ítem-escala: El reactivo se elimina si la correlación entre el reactivo y la suma total del
constructo es menor a 0.3.
Media: El reactivo se elimina si su media es menor o igual a 1.5; así como mayor o igual a 4.5.
Desviación estándar: El reactivo se elimina si su desviación estándar es igual o menor a 0.5.
Cabe aclarar que los reactivos fueron eliminados cuando cubrían al menos uno de los tres criterios de
exclusión.
A continuación, en la tabla 2, se muestra la relación entre los reactivos iniciales para cada constructo,
la cantidad total de reactivos eliminados y los reactivos restantes, en los dos instrumentos (alumnos y
padres).
5
Tabla 2. Total de reactivos en cada instrumento, antes y después del análisis de utilidad.
Constructo Reactivos iniciales Reactivos finales
Constancia escolar 32 10
Trabajo colaborativo 27 9
Aspiraciones 18 10
Expectativas 21 11
Autoeficacia escolar 22 19
Autoeficacia musical 10 8
Autoeficacia social 20 15
Alumnos Autoestima general* 27 17
Autoestima musical 8 4
Convivencia escolar 17 9
Convivencia familiar 11 8
Responsabilidad
social** 3 1
Motivación musical 28 14
Satisfacción escolar 24 24
Desempeño escolar 30 20
Compromiso 47 26
Expectativas y
aspiraciones
52 23
Padres Satisfacción 30 28
Prácticas de crianza 71 31
__________________________________
* Para la dimensión de autoestima general, debido al comportamiento de los datos, es decir, una correlación baja o negativa entre los reactivos y la
escala, se realizó un análisis cualitativo de los reactivos y se identificó que los reactivos inversos podrían ser fuente de error, al correlacionarse
negativamente con la escala analizada. Debido a esto, se tomó la decisión de eliminarlos para verificar que, efectivamente, los reactivos inversos eran la
fuente de error y se comprobó la hipótesis, pues el resto de los reactivos mostraron una correlación positiva y significativa con la escala en un análisis
posterior a la eliminación, lo que permitió utilizar los criterios de selección iniciales.
** Debido a los objetivos de medición del instrumento, la escala responsabilidad social se conservó sin cambios, a pesar de sus resultados en el análisis
de correlación ítem-escala, media y desviación estándar.
Una vez obtenidos estos resultados, se realizó un análisis de tipo cualitativo en los reactivos
restantes. Estos resultados se describen en el siguiente apartado.
Con los reactivos resultantes del análisis de utilidad (reactivos finales), se prosiguió a identificar
aquellas afirmaciones que no presentaban una estructura adecuada para cumplir con lo que se
pretendía medir. Los criterios para eliminar reactivos del instrumento fueron los siguientes:
6
o Estructura lingüística y gramatical incorrecta
o Expresa más de una idea en la misma oración
o El reactivo no es aplicable a todas las personas, sólo a un grupo restringido
o Utiliza vocabulario técnico o poco frecuente
En total, para el instrumento de alumnos se eliminó un reactivo, mientras que para el cuestionario de
padres se eliminaron tres.
Análisis de la estructura del instrumento
En esta fase de la validación, fue necesario realizar los análisis para alumnos y padres de forma
separada. En el caso del cuestionario de alumnos, para la realización del análisis factorial
exploratorio se excluyeron los constructos de satisfacción escolar y responsabilidad social, porque no
están relacionados con la medición de impacto del programa. Por consiguiente, sólo se incluyeron en
el análisis los constructos: constancia escolar, trabajo colaborativo, aspiraciones, expectativas,
autoeficacia escolar, autoeficacia musical, autoeficacia social, autoestima general, autoestima
musical, convivencia escolar, convivencia familiar, motivación musical y desempeño escolar.
Debido a que la muestra de participantes es pequeña en comparación con el número de reactivos que
contiene el instrumento completo, el análisis se realizó por subconjuntos de constructos determinados
por afinidad y solo un constructo se analizó individualmente. A continuación, en la tabla 3, se
describe la conformación de cada agrupación.
Tabla 3. Subconjuntos de constructos para el análisis factorial.
Grupo Constructos- subconjuntos
1 Constancia escolar
Trabajo colaborativo
Desempeño escolar
2 Aspiraciones
Expectativas
3 Autoeficacia escolar
Autoeficacia social
4 Autoestima general
5 Convivencia escolar
Convivencia familiar
6 Motivación musical
Autoeficacia musical
Autoestima musical
7
Para cada subconjunto, se realizó un análisis de componentes principales con rotación oblicua
(promin), con análisis paralelo basado en el análisis mínimo del factor de rango (Timmerman &
Lorenzo-Seva, 2011). Los procedimientos estadísticos se llevaron a cabo en el programa Factor
Analysis, versión 10.5.03. Los resultados de este análisis permiten identificar qué constructos se
relacionan entre sí y cuáles se diferencian lo que, en algunos casos, conlleva al reagrupamiento de los
constructos a partir de los datos empíricos (constructos finales). En este procedimiento se obtuvieron
los criterios que se describen a continuación:
Medida de Adecuación Muestral (KMO): Señala la adecuación de la muestra en relación con la
cantidad de variables que se pretenden contrastar. Su valor debe ser mayor a 0.7 para que la muestra
pueda considerarse apta (Field, 2009).
Prueba de esfericidad de Bartlett: Define si las correlaciones entre los valores son significativamente
diferentes entre sí. Este criterio es necesario para realizar un análisis factorial y debe ser menor o
igual a .05 (Field, 2009).
Varianza explicada: Corresponde al porcentaje en la variabilidad de los resultados que puede
explicarse por el factor identificado.
Confiabilidad: Es el grado de precisión con la que un instrumento mide un constructo. El rango de
valores aceptables va desde 0.7 hasta 0.95; entre más cercano sea el valor a 1, más confiable es el
instrumento.
Asimismo, el criterio para la eliminación de reactivos consistió en descartar aquellos que presentaron
una carga factorial <.40 (Field, 2009), es decir, aquellos que no explicaban por sí mismos un
porcentaje de varianza considerable.
En el caso del instrumento para padres, las escalas se analizaron por separado: compromiso,
expectativas y aspiraciones, satisfacción y prácticas de crianza. Se realizaron los mismos
procedimientos y criterios estadísticos que en el caso de alumnos. En la tabla 4, se muestran los
componentes identificados por el análisis factorial de los instrumentos de alumnos y padres
8
Tabla 4. Componentes principales del análisis factorial de los instrumentos.
Constructos iniciales
(subconjuntos)
Medida
KMO
Prueba de
Bartlett Constructos finales
Varianza
explicada Confiabilidad Orion Reactivos resultantes Total eliminados
Alumnos
Trabajo colaborativo
Desempeño Escolar
Constancia escolar
.87 .001
Perseverancia escolar 27% .86 11
7 Constancia escolar 8% .90 19
Expectativas
Aspiraciones .93 .001
Expectativas y aspiraciones
(una sola escala) 53% .93 13 8
Autoeficacia social
Autoeficacia escolar .88 .001
Autoeficacia social 33% .90 12 4
Autoeficacia escolar 7% .93 17
Autoestima general .76 .001 Autoestima general 30% .85 13 3
Convivencia familiar
Convivencia escolar .88 .001
Convivencia familiar 37% .89 8 1
Convivencia escolar 12% .87 8
Motivación musical
Autoeficacia musical
Autoestima musical
.84
.001 Motivación musical 28% .87 10 6
Autoeficacia musical 8% .89 10
Padres
Compromiso .76 .001 Compromiso parental en la escuela 32% .93 11
4 Compromiso parental en el hogar 9% .87 11
Expectativas y aspiraciones .84 .001 Expectativas y aspiraciones 43% .91 12 11
Satisfacción .93 .001 Satisfacción 60% .98 28 0
Prácticas de crianza .74 .001
Ambiente familiar musical 24% .91 10
10 Creencias parentales sobre la música 11% .89 5
Apoyo afectivo-cognitivo 9% .88 5
9
Como se muestra en la tabla 4, la mayoría de los constructos de alumnos que se sometieron
al análisis factorial mantuvieron su misma estructura al final del análisis, en tanto que en el
instrumento de padres, varios constructos se subdividieron.
4.2 EVALUACIÓN DE IMPACTO
Como ya se ha dicho, la evaluación de impacto pretende medir los cambios en el bienestar
de las personas que pueden atribuirse a un programa. Es por ello que en esta fase se
comparan los grupos con y sin intervención, es decir MUVI y externos. Antes de realizar
este análisis, fue necesario revisar si los datos de los participantes de los dos núcleos
incluidos (Villa de Reyes y La Pila) se comportaban de manera homogénea y, de esta
manera, podrían incluirse dentro de un mismo análisis de impacto.
El análisis realizado mostró diferencias estadísticamente significativas entre los alumnos de
ambos núcleos en los constructos: compromiso escolar colaborativo (t= -2.095, p=.038),
expectativas y aspiraciones (t=-4.295, p=.001), convivencia escolar (t=2.723, p=.008) y
motivación musical (t=-3.455, p=.001). En el caso de los padres, también hubo diferencias
entre los participantes de los núcleos, específicamente en el caso de la escala prácticas de
crianza: apoyo afectivo-cognitivo (t=3.542, p=.002). Estas diferencias se ejemplifican en
las figuras 1, para el caso de alumnos, y figura 2 para el caso de padres.
10
Figura 1. Comparación entre las expectativas y aspiraciones de los estudiantes del núcleo
1 y núcleo 2, con una antigüedad menor a dos meses en el programa MUVI.
Como puede observarse en la figura 1, las expectativas y aspiraciones percibidas por los
estudiantes son muy distintas en función del núcleo en que se encuentran. Por un lado, los
alumnos de La Pila presentan expectativas y aspiraciones significativamente más altas, a
pesar de que en ambos grupos se presenta el mismo tiempo de pertenencia a las actividades
de MUVI. Estos resultados impiden que los datos recabados de cada núcleo sean
comparados con la evaluación postest, pues cada población presentó un punto inicial
diferente.
11
Figura 2. Comparación entre las prácticas de crianza en el área apoyo afectivo-
cognitivo de los padres del núcleo 1 y núcleo 2, con una antigüedad menor a dos meses en
el programa MUVI.
En el caso de los padres se presentó un efecto similar, ya que los participantes del núcleo
La Pila presentaron niveles más bajos en el área de apoyo afectivo-cognitivo, por lo que sus
datos no pudieron conjuntarse con los recabados en el núcleo Villa de Reyes, donde estas
mismas prácticas de crianza fueron significativamente más altas. Por estas razones, no fue
posible incluir a ambos núcleos en la evaluación de impacto, por lo que sólo se consideró el
núcleo 1 para el análisis pre-post. En este sentido, se eligió la comunidad Villa de Reyes
por ser el núcleo donde se aplicaron instrumentos en dos tiempos diferentes.
Comparación de impacto en alumnos
Para poder llevar a cabo el análisis de impacto en alumnos, también fue necesario
determinar si todas las edades de los participantes debían integrarse en un mismo análisis,
es decir, si se presentaba un comportamiento homogéneo de los datos independientemente
12
de la edad de los estudiantes. Para responder a esta pregunta, se dividió a los participantes
en dos grupos de edad diferentes y se realizaron pruebas de comparación t de Student para
conocer el comportamiento en cada caso en externos. Al contar con alumnos de entre 7 a 17
años, se definieron dos conjuntos, uno de niños (7 a 12 años); y otro de adolescentes (13 a
17 años). La prueba estadística mostró diferencias significativas entre los diferentes grupos
de edad en los constructos: compromiso escolar individual (p=.001), autoeficacia escolar
(p=.001), autoestima (p=.003), convivencia escolar (p=.007), convivencia familiar
(p=.001), y perseverancia escolar (p=.001). Para entender mejor estas diferencias, en la
figura 3 se muestran los resultados de esta comparación.
Figura 3. Comparación entre la perseverancia escolar reportada por alumnos de 7 a 12
años y de 13 a 17 años (niños y adolescentes).
Como puede observarse en la figura anterior, la perseverancia escolar reportada por niños
es significativamente más alta que la reportada por los adolescentes. Estos mismos
13
resultados pudieron observarse simultáneamente en otros constructos. Con base en estos
resultados, fue posible concluir que el integrar ambas muestras para la comparación
Externo y MUVI no era factible ya que cada grupo de edad presentó un desempeño
diferente en los constructos. Por esta razón, se realizó la evaluación de impacto para niños y
adolescentes por separado.
Evaluación de impacto en Niños
Para llevar a cabo la comparación estadística entre los niños externos y del grupo MUVI, se
realizó una prueba de comparación t de Student para muestras independientes, la cual
mostró diferencias significativas algunos constructos del instrumento.
En primer lugar, respecto a las expectativas y aspiraciones, el análisis mostró que éstas
fueron significativamente más altas en los niños con más de seis meses en el programa
MUVI, en comparación con los niños que apenas ingresaron (p=.006). Estas diferencias
pueden observarse más fácilmente en la figura 4, la cual muestra la distribución de los datos
en cuartiles (valores que dividen una muestra de datos en cuatro partes iguales) para cada
fase de evaluación.
Figura 4.Comparación de las expectativas y aspiraciones entre niños externos y de grupo
MUVI.
Como puede observarse en la imagen anterior, los participantes del externos presentan (en
su mayoría) bajas expectativas y aspiraciones, pues sus puntajes se encuentran
principalmente en el cuartil 1 (la zona más baja de la distribución de los datos), en
comparación con los niños del grupo MUVI, donde los niveles de estas variables se
perciben más homogéneos y cargados hacia el cuartil 3 y 4.
grupo
MUVI
externos
14
De la misma manera, otro constructo que mostró diferencias importantes fue la autoeficacia
musical, es decir, su habilidad percibida para aprender y llegar a ser músicos, ya que esta
variable presentó niveles representativamente más altos en los niños que han participado en
MUVI durante un tiempo prolongado, en comparación con aquellos quienes ingresaron de
forma más reciente (p=.001). Estas diferencias también se ilustran en la figura 5.
Figura 5. Comparación de la autoeficacia musical entre niños externos y grupo MUVI.
Como puede observarse, la gran mayoría de los niños externos muestran una percepción
baja hacia su autoeficacia musical al encontrarse dentro del cuartil 1, algo que podría estar
asociado con pocas experiencias de instrucción musical; en comparación con los niños del
grupo MUVI, quienes se perciben como más eficaces en esta área, ubicándose en los
cuartiles 3 y 4, principalmente.
Por último, otra área que también presentó diferencias sustanciales fue la motivación
musical (interés en aprender música y facilidad para lograrlo) que presentó niveles
significativamente más altos en los niños que han participado en MUVI que en los niños
que no han asistido a MUVI o que apenas ingresaron (p=.001). Estas diferencias son
fácilmente distinguibles en la figura 6.
Figura 6. Comparación de la motivación musical entre niños de externos y grupo MUVI.
En la figura anterior, es posible observar que la motivación hacia la música que presentan
los alumnos del grupo MUVI se encuentran, en su mayoría, con puntajes altos (cuartil 3 y
grupo
MUVI
externos
grupo
MUVI
externos
15
4), mientras que en los externos, este interés musical se concentra principalmente en el
cuartil 1, lo que sugiere que los alumnos de estas edades que asisten a la fundación MUVI
han desarrollado un mayor interés en aprender música, además de considerarla una
actividad fácil de lograr.
Evaluación de impacto en adolescentes
Al igual que en la evaluación de impacto en niños, para llevar a cabo la comparación entre
adolescentes externos y grupo MUVI se realizaron pruebas de comparación t de Student
para muestras independientes. En el caso de esta población, las escalas donde se observaron
más divergencias fueron más numerosas que en el caso de los infantes. A continuación, se
describen los constructos donde las diferencias fueron estadísticamente significativas.
Para comenzar, en el área del compromiso (persistencia o esfuerzo continuado dentro del
contexto escolar), los adolescentes del grupo MUVI mostraron niveles significativamente
más altos en comparación con los estudiantes del externos (p=.006). Este resultado podría
sugerir que los adolescentes, al formar parte de la asociación musical, desarrollan una
mayor consistencia en las tareas escolares. Estas diferencias se ilustran en la figura 7 que se
presenta a continuación.
Figura 7. Comparación entre el compromiso reportado por los alumnos del externos y
grupo MUVI.
Como puede observarse en la figura anterior, aunque en ambos grupos existen adolescentes
con niveles bajos de compromiso, estos niveles presentan mayor variabilidad en el caso de
los estudiantes del grupo MUVI, donde algunos participantes alcanzan, incluso, el cuartil 4.
grupo
MUVI
externos
16
En cambio, la gran mayoría de los adolescentes que recién ingresaron a MUVI, se
concentran en el cuartil 1 y 2.
En otra variable medida y, de manera similar a como sucedió con los niños evaluados en el
apartado anterior, los adolescentes del grupo MUVI presentaron expectativas y aspiraciones
significativamente más altas que los alumnos del externos, incluso con un nivel de
significancia mayor que en la población infantil (p=.001). Estos resultados se muestran a
nivel gráfico en la figura 8.
Figura 8.Comparación entre las expectativas y aspiraciones de adolescentes externos y
grupo MUVI. 6
En el gráfico anterior, puede observarse que los adolescentes externos no reportaron
expectativas y aspiraciones en un nivel alto, ya que ninguna de las puntuaciones se
encuentra en el cuartil 4. En cambio, las expectativas y aspiraciones de la población del
grupo MUVI presentan mayor variabilidad, al existir puntuaciones más heterogéneas y, en
su mayoría, encontrándose en los cuartiles 2 y 3.
De manera similar a como ocurre en estos casos, la autoeficacia social, es decir, la
confianza de los jóvenes en sus capacidades para realizar ciertas actividades sociales,
también presentó diferencias estadísticamente significativas entre los adolescentes antes y
después de ser parte del programa MUVI (p=.026). En el caso de este constructo, las
puntuaciones de ambos grupos presentan variabilidad, es decir, se encuentran distribuidos
en todos los cuartiles; sin embargo, como puede observarse en la figura 9, existen más
adolescentes que se perciben más eficaces socialmente (cuartil 3 y 4).
grupo
MUVI
externos
17
Figura 9. Comparación de la Autoeficacia social entre estudiantes externos y grupo MUVI.
Por lo que se refiere a la autoestima, es decir, el auto concepto que los jóvenes tienen de sí
mismos, el análisis concluyó que las diferencias también fueron significativas. En esta área,
los adolescentes que forman parte del programa MUVI presentaron niveles más altos en
comparación con los adolescentes que apenas se integraron a la fundación (p=.041). Esto
puede observarse en la figura 10, donde una gran cantidad de participantes del externos
presentaron puntuaciones en el cuartil 1 y 2, es decir, bajos niveles de autoestima. En
cambio, los adolescentes del grupo MUVI se distribuyeron los puntajes en el cuartil 2 y 3.
Figura 10. Comparación entre autoestima de adolescentes externos y grupo MUVI.
En otras variables medidas, una de las escalas que presentó algunas diferencias entre los
participantes fue la Convivencia escolar, aunque en el caso de este constructo, las
diferencias se dieron de manera inversa. En este caso, los adolescentes con más de seis
meses en el programa MUVI presentaron una menor convivencia escolar hacia sus
compañeros de escuela; mientras que, por su parte, los participantes con una permanencia
de dos meses o menor presentaron niveles de convivencia más alta (p=.001). Estas
diferencias se ilustran de forma gráfica en la figura 11.
grupo
MUVI
externos
grupo
MUVI
externos
18
Figura 11. Comparación entre la autoestima de adolescentes externos y grupo MUVI.
Como puede observarse en la figura anterior, en el caso del grupo MUVI, muchos de los
participantes se concentran en los cuartiles 1 y 2; mientras que en el caso de los alumnos
externos, la mayoría de los alumnos se encuentran en los cuartiles 2 y 3.
Por último, las áreas musicales del instrumento también mostraron diferencias
significativas entre los adolescentes externos y los del grupo MUVI. Específicamente, las
áreas de autoeficacia musical y motivación musical presentaron diferencias importantes
entre los dos grupos de participantes (p=.001 en ambos casos). Esto cobra sentido al
considerar que dichas variables se ven influidas por la enseñanza musical de la que forman
parte los estudiantes de MUVI. En la figura 12, se ilustran las diferencias encontradas en
estas dos áreas.
Figura 12. Comparación entre la autoeficacia musical y la motivación musical en alumnos
externos y grupo MUVI.
Como puede observarse en la figura anterior, las diferencias en los constructos musicales
entre los adolescentes de externos y grupo MUVI son más contundentes pues, en el caso de
los primeros, las puntuaciones se concentran en los cuartiles 1 y 2, con un amplio dominio
de la sección más baja. En contraste, los adolescentes que participan en las actividades de
grupo
MUVI
externos
grupo
MUVI
externos
grupo
MUVI
externos
19
MUVI se perciben significativamente más eficaces y motivados hacia la enseñanza
musical.
Los resultados anteriormente descritos permiten suponer que el programa de enseñanza
musical está generando un impacto en diversas áreas de los participantes. En el siguiente
apartado, se analizarán los mismos efectos en áreas relacionadas con los padres de familia.
Evaluación de impacto en padres
La comparación preliminar de las dos poblaciones de padres/madres evaluadas en externos
y grupo MUVI también mostró diferencias significativas en dos constructos del
instrumento, específicamente en las áreas de expectativas y aspiraciones, así como apoyo
afectivo-cognitivo. Por un lado, en la primera escala, los padres con una permanencia
mayor a seis meses mostraron expectativas y aspiraciones más altas que en el caso de los
padres de nuevo ingreso al programa (p=.001). Estas diferencias se ilustran en la figura 13.
Figura 13. Comparación entre las expectativas y aspiraciones en padres de externos y
grupo MUVI.
Como puede observarse en la figura 13, los padres cuyos hijos apenas ingresaron a la
asociación MUVI reportan expectativas y aspiraciones notablemente más bajas, al situarse
las puntuaciones mayoritariamente en el cuartil 1; mientras que, en el caso de los padres
cuyos hijos tienen una permanencia mayor a seis meses en el programa presentan
expectativas mayoritariamente en los cuartiles 2, 3 y 4.
Por otro lado, en relación con la escala apoyo afectivo-cognitivo es posible apreciar un
efecto inverso, es decir, los padres de externos muestran este tipo de apoyo en niveles
predominantemente altos, mientras que los padres/madres del grupo MUVI reportaron
grupo
MUVI
externos
20
niveles bajos en esta variable. Estas diferencias fueron estadísticamente significativas según
el análisis (p=.001), y se ilustran en la figura 14.
Figura 14. Comparación entre el apoyo afectivo-cognitivo en padres de externos y grupo
MUVI.
Como puede observarse en la figura anterior, una gran parte de los padres de externos
reportan niveles muy altos de apoyo afectivo-cognitivo (cuartil 4); mientras que los
puntajes reportados por los padres del grupo MUVI en esta área se concentran en los
cuartiles 1 y 2. En este sentido, aunque los padres con mayor tiempo de pertenencia en
MUVI parecen mostrar menos afecto de forma explícita, esto probablemente esté asociado
al hecho de que, a esta edad, buscan favorecer la autonomía de sus hijos, además que la
etapa de vida en la que se encuentran los estudiantes puede, a su vez, favorecer la
disminución de este tipo de prácticas.
En conclusión, a nivel estadístico se encontraron diferencias significativas en diferentes
variables del instrumento, siendo los hijos y padres asociados a MUVI quienes presentaron
mejores puntajes en las áreas de interés, en la mayoría de los casos. Lo anterior apoya la
hipótesis de que la enseñanza musical puede tener un impacto positivo en múltiples áreas
personales y sociales; sin embargo, será necesario realizar estudios con muestras más
amplias para obtener resultados más contundentes.
grupo
MUVI
externos
21
4.2 CONCLUSIONES
De acuerdo con los presentes resultados, es posible concluir que el procedimiento de
validación del instrumento cuantitativo para la medición de impacto proporcionó resultados
significativos, después de someterse a un procedimiento estadístico riguroso. El
instrumento presentó evidencias de validez en los constructos evaluados, así como niveles
aceptables de confiabilidad. En este procedimiento de validación, una gran cantidad de
reactivos fueron eliminados de los cuestionarios. En el caso de alumnos se eliminó el 36%
de los reactivos (298 a 192) lo que reduciría el tiempo de aplicación de 2 horas a 1 hora 15
minutos, aproximadamente. Por su parte, en el caso de los padres se eliminó el 53% de los
reactivos (200 a 93), con lo que el tiempo de aplicación pasaría de 1 hora 45 min a 50
minutos, aproximadamente.
Por un lado, respecto a la estructura del cuestionario para alumnos, se identificaron diez
constructos después del análisis estadístico, a diferencia de las trece variables iniciales. Los
factores restantes fueron: perseverancia escolar, constancia escolar, expectativas y
aspiraciones, autoeficacia social, autoeficacia escolar, autoestima general, convivencia
familiar, convivencia escolar, motivación musical y autoeficacia musical. Todos los
constructos obtuvieron un coeficiente de confiabilidad igual o mayor a .85, considerado
como aceptable por algunos autores.
Por otro lado, respecto a la estructura final del instrumento para padres, se definieron siete
constructos después del análisis, a diferencia de las cuatro escalas iniciales. Las variables
finales fueron: compromiso parental en la escuela, compromiso parental en el hogar,
expectativas y aspiraciones, satisfacción, ambiente familiar musical, creencias parentales
sobre la música y apoyo afectivo-cognitivo. De la misma manera que en el caso del
cuestionario para alumnos, todas las variables medidas en padres y madres obtuvieron un
coeficiente de confiabilidad igual o mayor a .85, considerado como idóneo.
En relación con los resultados de la evaluación de impacto a nivel cuantitativo, debe
destacarse el hecho de que, al encontrar que las muestras de los dos núcleos (Villa de Reyes
22
y La Pila) eran heterogéneas en los niveles alcanzados en cada constructo, no fue posible
integrarlas en un mismo análisis. Por lo anterior, la influencia de la fundación MUVI fue
medida únicamente en la sede de Villa de Reyes.
En primer lugar, la comparación estadística entre los niños que asisten a la fundación y
niños externos mostró que las expectativas y aspiraciones (lo que creen que van a lograr y
lo que quieren lograr, respectivamente), la autoeficacia musical (su habilidad percibida para
aprender y llegar a ser músicos), y la motivación musical (el interés en aprender música y la
facilidad para lograrlo), son significativamente más altas en los niños que han participado
en MUVI en comparación con aquellos que no forman parte del programa o apenas
ingresaron.
En segundo lugar, los resultados entre adolescentes mostraron una tendencia similar e
incluso positivamente más clara, ya que se encontró que el compromiso (persistencia o
esfuerzo continuado dentro del contexto escolar), las expectativas y aspiraciones (lo que
creen que van a lograr y lo que quieren lograr, respectivamente), la autoeficacia social (la
confianza de los participantes para realizar ciertas actividades sociales), la autoestima
(autoconcepto que los jóvenes tienen de sí mismos), la autoeficacia musical (su habilidad
percibida para aprender y llegar a ser músicos), y la motivación musical (el interés en
aprender música y la facilidad para lograrlo) presentaron niveles significativamente más
altos entre los adolescentes que han participado en MUVI en comparación con aquellos que
no han asistido o apenas ingresaron. Aunque, en otro sentido, los jóvenes que asisten a la
fundación también mostraron una menor convivencia escolar con sus compañeros de
escuela en comparación con sus pares externos, lo que podría estar asociado a que, al
integrarse a las actividades del programa, los alumnos MUVI tienden a ser más selectivos
socialmente y a relacionarse más cercanamente con sus compañeros que se encuentran
dentro de la asociación.
Por último, en el caso de la comparación realizada entre las madres y padres de los
participantes, el análisis mostró que aquellos cuyos hijos asisten a MUVI presentan
expectativas y aspiraciones significativamente más altas en comparación con los padres
23
cuyos hijos tienen menos de dos meces en el programa. En el factor de apoyo afectivo-
cognitivo se observó una tendencia inversa, pues los padres externos mostraron niveles más
altos en esta variable, algo posiblemente relacionado con la necesidad de favorecer la
autonomía de los hijos, así como la etapa de vida en la que estos se encuentran.
Si bien hasta ahora los resultados encontrados nos permiten tener una perspectiva de la
influencia de MUVI entre sus participantes, cabe señalar que es necesario considerar la
heterogeneidad de las poblaciones atendidas por MUVI. En este análisis se evidenció que
los efectos para los niños y para los adolescente son distintos y que dos poblaciones
geográficamente cercanas (33 km) y con grado de marginación similar (Villa de Reyes-
Medio; La Pila-Alto, SEDESOL, 2013) presentan características muy distintas en las
variables evaluadas. Esto nos alerta para mejorar el diseño de una evaluación de impacto
generalizada con tamaños de muestra por núcleo y rangos de edad suficientes para realizar
análisis confiables y válidos.
24
RECONOCIMIENTOS
INVESTIGADORES PRINCIPALES
SILVIA ROMERO CONTRERAS
GABRIELA SILVA MACEDA
COLABORADORES
BLANCA FLOR CAMARILLO SALAZAR
GLORIA ELENA GÓMEZ MARTÍNEZ
DENISSE ALEJANDRA GONZÁLEZ LÓPEZ
ILSE PATRICIA GRIMALDO ZAPATA
CINTHIA LIZETH HERNÁNDEZ LARA
GILBERTO JASSO PADRÓN
MARÍA GUADALUPE RUIZ GARCÍA
PRESTADORES DE SERVICIO SOCIAL Y PRACTICANTES
BRENDA CHAVIRA QUINTEROS
FRIDA ELIZABETH HERNÁNDEZ LUNA
RODRIGO RAFAEL OVALLE RAMÍREZ
VERÓNICA PONCE FLORES
MARÍA DEL ROCÍO RÍOS GARCÍA
SILVIA KARINA SÁNCHEZ GALVÁN
CINTHYA GUADALUPE SILVA HERNÁNDEZ
COORDINACIÓN DE APLICADORES:
MARCELA ANDREA GODÍNEZ ESPARZA
LAURA ESTELA ROBLEDO GUERRERO
APLICADORES
IVÁN ALONSO TORRES
ERICK ELIACIM BALCÁZAR AGUILAR
ALEJANDRA BALDUVIN ÁLVAREZ
25
HORACIO CAMACHO SÁNCHEZ
TERESA SUSANA CAMARILLO VARELA
NYDIA LISSETTE CARMEN MORALES
JOANA KARINA CASTILLO MORALES
ABRAHAM CHAMORRO TINAJERO
VIRIDIANA CHÁVEZ IBARRA
CARLOS EDUARDO CORONADO LANDEROS
VICTOR HUGO CUELLAR MURILLO
PAOLA DÍAZ DE LEÓN LAVIN
JOSÉ CHESSIL DOHVEHNAIN MARTÍNEZ
LEÓN GARCÍA LAM
LAURA ADRIANA GODÍNEZ ESPARZA
MARCELA ANDREA GODÍNEZ ESPARZA
MARÍA FERNANDA GOUYONNET ZAMARRÓN
ERICK R. LUÉVANO JIMÉNEZ
MARÍA CONCEPCIÓN MARTÍNEZ TAPIA
LOURDES GABRIELA MORA ÁGUILA
CRISTÓBAL MORALES TREJO
MARÍA CARLOTA MORALES TREJO
LUZ MARIANA NAVA TORRES
JOSÉ ALBERTO PACHECO SANDOVAL
ALEJANDRA RAMÍREZ ORDAZ
LAURA ESTELA ROBLEDO GUERRERO
ELIZABETH ROCHA ZAVALA
ALEJANDRA GABRIELA RODRÍGUEZ CÁRDENAS
SANDRA ALEJANDRA ROMERO GALICIA
CARLOS ALBERTO RUÁN ÁVILA
GILBERTO DE JESÚS RUÁN ÁVILA
ALEJANDRO SOLÍS VILLALOBOS
ADRIANA VILLASUSO COURTADE
26
BIBLIOGRAFÍA
Field, A. (2009). Discovering statistics using SPSS. Sage publications.
Gertler, P. J., Martinez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M.
(2016). Impact evaluation in practice. World Bank Publications.
Secretaría de Desarrollo Social (2013). Catálogo de Localidades: Sistema de Apoyo para la
Planeación del Programa para el Desarrollo de Zonas Prioritarias (PDZP).
Recuperado de La Pila
http://www.microrregiones.gob.mx/catloc/contenido.aspx?refnac=240280554 y
Villa de
Reyeshttp://www.microrregiones.gob.mx/catloc/LocdeMun.aspx?tipo=clave&camp
o=loc&ent=24&mun=050 consultado el 18 de abril de 2018.
Timmerman, M. E., & Lorenzo-Seva, U. (2011). Dimensionality assessment of ordered
polytomous items with parallel analysis. Psychological Methods, 16(2), 209.