informe final de la consultoría que incluye síntesis de ... · permanencia y continuidad en la...
TRANSCRIPT
Levantamiento y análisis de información de la evaluación de impacto del
Modelo de Participación de Padres de Familia en la Educación del
CONAFE
Informe final de la consultoría que incluye síntesis de
cada uno de los productos así como hallazgos,
conclusiones y recomendaciones
(Producto 7)
Dra. Claudia Santizo Rodall
(RESPONSABLE)
23 de noviembre de 2012
ii
Contenido
Introducción ............................................................................................................................ 1
1. Análisis y contenido en los productos entregados .......................................................... 4
1.1. Intervención en escuelas .......................................................................................... 5
1.2. Levantamiento de la línea base de las competencias del MPPF .............................. 7
1.3. Talleres para la intervención en escuelas ................................................................. 9
1.4. Análisis de competencias y resultados del aprovechamiento escolar .................... 10
1.5. Taller de capacitación de personal de oficinas centrales ....................................... 14
1.6. Análisis del segundo levantamiento....................................................................... 15
2. Conclusiones y recomendaciones ................................................................................. 19
2.1. Muestra representativa de escuelas ........................................................................ 20
2.2. Medición de las competencias del MPPF .............................................................. 21
2.3. Competencias de los actores .................................................................................. 23
2.4. Efectos del MPPF en el aprovechamiento escolar ................................................. 25
2.5. Intervención dirigida en escuelas comunitarias ..................................................... 26
1
Introducción
Este informe final presenta dos aspectos principales. El primero es el análisis de las
competencias del Modelo de Participación de Padres de Familia en la Educación del
Conafe, en adelante MPPF, que se obtuvieron de encuestas aplicadas en una muestra de
comunidades escolares a: Instructores Comunitarios, padres de familia y sus respectivos
hijos, y miembros de la APEC. El segundo aspecto es la definición de una metodología
para estimar el impacto o los efectos del MPPF en el aprovechamiento escolar.
El MPPF comenzó a implementarse en el ciclo escolar 2010-2011 en un grupo de escuelas
donde se probaron los instrumentos del MPPF. En el siguiente ciclo escolar, 2011-2012, se
implementó el modelo en todo el país.
El MPPF se fundamenta en la consideración de que el aprovechamiento escolar y el
aprendizaje de los alumnos ocurren en un ambiente donde se entrelazan y complementan la
escuela, la familia y la comunidad. Por ello, el MPPF propone un conjunto de competencias
que deben desarrollar las comunidades, los Instructores Comunitarios, los alumnos, los
padres de familia y los miembros de la comunidad que integran la APEC.
Las competencias son capacidades o habilidades para usar conocimientos en situaciones
específicas. Si bien estas capacidades se desarrollan en lo individual, el MPPF pone el
acento en capacidades combinadas, o colectivas, que requieren coordinación y colaboración
para desarrollar un ambiente propicio para el aprendizaje de los alumnos.
De esta manera, el MPPF considera proveer información y conocimientos a todos los
participantes involucrados y, al mismo tiempo, desarrollar un nuevo tipo de relación entre
el Instructor Comunitario y los padres de familia de manera que la educación en casa sea un
complemento de lo que se realiza en la escuela.
Las competencias establecidas en el MPPF no son pedagógicas sino más amplias, pues van
encaminadas a crear capacidades organizacionales en el sentido de desarrollar la
comunicación, coordinación y colaboración entre el Instructor Comunitario, los padres de
familia y los miembros de la comunidad.
2
Los servicios educativos del CONAFE se proveen en comunidades rurales cuyas
condiciones socioeconómicas son de alta marginación. En donde, además, se agrega la baja
escolaridad de la población que en varios casos se manifiesta en el analfabetismo de los
padres de familia. Estas condiciones socioeconómicas y familiares son un factor que
condiciona, y afecta de manera negativa, tanto el ambiente de aprendizaje como la
permanencia y continuidad en la escuela de los alumnos.
Adicionalmente, se debe considerar la alta movilidad de los Instructores Comunitarios que
limita la creación de capital humano que permita aprovechar la experiencia que se adquiere
al conocer de manera individual la situación de los niños y las comunidades. Es decir, cada
vez que se cambia a un Instructor Comunitario, porque finalizó su año de servicio, se tiene
que re-establecer un mecanismo de comunicación y coordinación.
Este problema se atiende mediante la capacitación de los Instructores Comunitarios y
mediante la tutoría de la figura educativa denominada: Tutores-capacitadores que
acompañan a los Instructores Comunitarios. A estos mecanismos se debe agregar el MPPF
cuyos objetivos, de desarrollar competencias en los padres de familia y la comunidad,
tendrían como efecto dar continuidad en las transiciones derivadas del cambio de Instructor
Comunitario.
Conviene poner en perspectiva los resultados esperados del MPPF. Primero, es necesario
tener en mente, que éste propone modificar conductas y hábitos tradicionales en la manera
como se relacionan los padres de familia y la comunidad con la escuela. Además de esta
transformación en la comunicación y colaboración, se deben considerar las condiciones de
escasez de recursos en las comunidades, por lo que no es viable esperar que ocurran
cambios rápidos con la puesta en práctica del MPPF, ello tampoco significa que se deba
dejar pasar tiempo para valorar sus avances y efectos.
El contexto social, familiar e institucional donde se propone actuar el MPPF requiere una
continua valoración de las estrategias y acciones para corregir el camino. Esto es aun más
necesario por la reciente implementación del MPPF, a partir del ciclo 2011-2012, en todos
los servicios del Conafe. En este sentido, la evaluación de impacto del MPPF es una forma
de obtener información pronta, que sirva de base para futuras comparaciones, de los efectos
de la estrategia para desarrollar competencias en las comunidades.
3
Las competencias del MPPF
Las competencias de los participantes en el MPPF se clasifican en ámbitos como la
Comunidad, Convivencia, Comunicación, Conocimiento de sí mismo (del alumno),
Gestión, Aprendizaje y Transiciones.
Una breve descripción del contenido de los ámbitos, y sus competencias, que en esta
evaluación se toman en cuenta, se muestra en el Cuadro 1. Como se mencionó párrafos
arriba, si bien cada participante desarrolla sus propias competencias, éstas se refieren
principalmente a las capacidades de comunicación y coordinación entre las personas en la
familia, la comunidad y la escuela.
Cuadro 1. Ámbitos y competencias considerados en la presente evaluación del MPPF
Ámbito Competencias de actores
Conductas y hábitos promovidos Instructor Padres de
familia
APEC Alumno
1.- Comunidad y
cultura
Difundir valores y tradiciones de la
comunidad
2.- Convivencia Actitudes de respeto, ayuda,
colaboración entre alumnos y dentro
de la familia.
3.- Comunicación Comunicación en la familia
5.- Conocimiento
de sí mismo
Crear en los niños confianza,
autoestima e identificación
6.- Gestión Crear condiciones materiales
propicias para impartir educación
7.- Aprendizaje Comunicación y coordinación entre
instructor, padres de familia y
alumnos, con el apoyo de la
comunidad.
8.- Transiciones Padres de familia proporcionan ayuda
a sus hijos en su etapa de crecimiento
Fuente: elaboración propia con base en el MPPF del CONAFE.
Este documento se organiza como sigue. El primer apartado presenta una síntesis de los
análisis realizados en los diversos productos entregados en esta evaluación. En el segundo
apartado se incluyen las conclusiones y recomendaciones para dar seguimiento a la
evaluación de impacto.
4
1. Análisis y contenido en los productos entregados
La evaluación de impacto del Modelo de Participación de Padres de Familia, MPPF, se
realizó en diferentes momentos de acuerdo con el esquema de recepción y evaluación de la
información de las escuelas.
El MPPF busca desarrollar competencias de los actores para fomentar el trabajo conjunto,
mediante la comunicación y la coordinación, con la finalidad última de mejorar los
procesos de enseñanza-aprendizaje de los niños.
La implementación del MPPF tiene dos momentos que son tomados en cuenta para
organizar el proceso de evaluación. En el ciclo 2010-2011 inició la implementación del
MPPF en un grupo de 1,548 escuelas y en el ciclo escolar 2011-2011 se implementó la
estrategia en todo el país.
El MPPF está en su etapa inicial de implementación por lo cual se espera que se puedan
observar sus efectos de manera paulatina en los ciclos escolares subsecuentes. El objetivo
de esta evaluación es, por un lado, determinar la línea base de las competencias del MPPF
y, por otro, establecer una metodología de evaluación a fin de dar seguimiento al desarrollo
del MPPF y poder hacer los ajustes pertinentes. Es decir, el objetivo de la evaluación del
MPPF es seguir un proceso de evaluación continuo y no esperar a que pasen varios ciclos
escolares para realizar las mediciones.
La evaluación del MPPF consideró tres direcciones que de manera combinada convergen
en las conclusiones de este informe final. La primera es la determinación de la línea base de
los índices de competencias del MPPF. La segunda es el estudio del aprovechamiento
escolar, medido por las calificaciones de los alumnos, a fin de conocer la condición inicial
del aprovechamiento escolar al momento de implementar el MPPF. El tercer camino fue la
intervención directa en un grupo de escuelas, de dos estados del país, para observar el
desarrollo de las interacciones entre el Instructor Comunitario y los padres de familia.
Los análisis realizados en estas tres direcciones mencionadas fueron entregados en los
siguientes productos de la consultoría para la evaluación del MPPF:
1. Esquema de intervención en comunidades seleccionadas en San Luis Potosí y
Guanajuato (incluye programa de trabajo, materiales con las dinámicas que seguirá
5
el IC así como las pautas para el seguimiento y monitoreo que se dará a dichos
servicios).
2. Informe del análisis de la base de datos del levantamiento realizado por el CONAFE
en marzo-mayo 2012, para definir la línea base de la evaluación de impacto.
3. Informe de dos talleres de formación, cada uno en una región del CONAFE de los
estados de San Luis Potosí y Guanajuato.
4. Informe del análisis comparativo de los resultados obtenidos en la línea base
(numeral 3) contra los resultados académicos de los alumnos en la muestra, tanto en
la prueba Enlace 2012 como en las evaluaciones aplicadas por los instructores
comunitarios del Conafe.
5. Informe del taller para capacitar al personal de oficinas centrales para realizar el
análisis estadístico que ayudó a determinar los resultados de la línea base (numeral
4).
6. Informe del análisis de la base de datos del segundo levantamiento realizado por
Conafe en septiembre y octubre de 2012 para identificar las variaciones entre la
línea base (numeral 3) y la segunda etapa de aplicación de instrumentos.
Los análisis realizados de manera separada constituyen etapas del proceso de evaluación de
manera que deben ser considerados en conjunto para tener un panorama: Del desarrollo del
MPPF, de los problemas encontrados en el procedimiento de evaluación, y de los ajustes
que será necesario considerar en las subsecuentes etapas de la evaluación de impacto del
MPFF.
1.1. Intervención en escuelas
Documento 1: “Esquema de intervención en comunidades seleccionadas en San Luis Potosí y Guanajuato
(incluye programa de trabajo, materiales con las dinámicas que seguirá el IC así como las pautas para el
seguimiento y monitoreo que se dará a dichos servicios)”.
Para conocer de manera directa cómo se implementa el MPPF se consideró realizar una
intervención en 12 escuelas de tres estados con la finalidad de observar cómo los
instructores comunitarios planean sus acciones para comunicarse, coordinarse e involucrar
a los padres de familia como lo propone el MPPF.
6
La hipótesis de la intervención fue que el MPPF puede generar cambios en las actitudes de
las familias respecto a la educación de sus hijos, y esto deriva en cambios en los hábitos de
estudio de los niños que conllevan a una mejora en sus logros de aprendizaje.
Para observar los cambios generados por el MPPF, se consideró que los instructores
comunitarios desarrollaran actividades con los padres de familia en torno a juegos
pedagógicos basados en “matemáticas para la familia”. El objetivo es que los juegos se
desarrollen en casa sin que se necesite un nivel de conocimiento especial del padre de
familia acerca de las matemáticas.
Sólo se necesita que el Instructor Comunitario oriente y coordine el desarrollo de dichos
juegos. Primero, para que el objetivo pedagógico de los juegos coincida con el tratamiento
de los temas en el salón de clase. Segundo, para que los padres de familia reciban la
orientación adecuada para realizar dichos juegos.
Como primera acción de esta intervención se realizó un taller denominado “Matemáticas
para la Familia” cuyo objetivo fue que los instructores comunitarios desarrollaran
capacidades para comunicarse y ayudar a los padres de familia para que a través de su
comunicación con los niños se desarrollen destrezas útiles para la resolución de problemas,
y así ganar un entendimiento de las matemáticas a través de actividades sencillas y lúdicas
que promueven la manipulación de objetos concretos.
La intervención se planeó realizar en un grupo de 12 escuelas de los estados de Guanajuato
y San Luis Potosí, en las regiones de León y Río Verde, respectivamente.
La intervención inició en el ciclo escolar 2012-2013 y se propone que al menos continúe y
se le dé seguimiento durante tres ciclos escolares a fin de establecer los efectos en las
competencias de los niños que asisten a los servicios de educación comunitaria en donde se
realizó la intervención dirigida.
Este taller fue impartido por el Profesor Richard Cisneros quien fue maestro rural de
secundaria y bachillerato por 32 años y en 2010 se jubiló de la Secretaría de Educacion del
Estado de Chiapas. El Profesor Cisneros impartió capacitación en ciencias y matemáticas a
docentes de educación básica en la Casa de la Ciencia del Colegio de la Frontera Sur
(ECOSUR) en Chiapas. Desde 2009, el profesor Cisneros es coordinador, en el estado de
Morelos, del Programa Adopte un Talento (PAUTA, A.C.) el cual identifica y acompaña a
7
estudiantes con talento para las ciencias y matemáticas a nivel de educación básica, medio
superior y superior para que continúen sus estudios en estas materias.
En el desarrollo de la intervención los Instructores Comunitarios deben registrar las
actividades que realizan con los padres de familia. Mediante esos instrumentos se puede dar
seguimiento a los resultados de la coordinación establecida con los padres de familia en las
escuelas de esta intervención. Hasta el momento no se tienen ningún reporte de las
actividades de intervención realizadas por los Instructores Comunitarios que asistieron al
taller, pero se espera que durante el ciclo escolar 2012-2013 se puedan tener los primeros
reportes de seguimiento.
1.2. Levantamiento de la línea base de las competencias del MPPF
Documento 2: “Informe del análisis de la base de datos del levantamiento realizado por el CONAFE en
marzo-mayo 2012, para definir la línea base de la evaluación de impacto”
Uno de los dos objetivos principales de esta evaluación fue establecer la línea base para las
competencias del MPPF.
En ese documento se informó de los resultados de la aplicación de encuestas en 322
escuelas de una muestra de 380 seleccionadas aleatoriamente. Las encuestas fueron
aplicadas en los meses de marzo a mayo de 2012 en el ciclo escolar 2011-2012.
La aplicación de las encuestas presentó varios problemas de logística, principalmente por el
difícil acceso (caminos de terracería inundados por las lluvias, inexistencia de acceso en
automóvil por lo cual se debía caminar por algunas horas, inseguridad en los caminos sin
iluminación y solitarios, entre otros problemas) y la dispersión de las comunidades
seleccionadas. Al recuperar la información sólo se obtuvieron las encuestas de 322 de las
380 escuelas planeadas. De las 322 escuelas encuestadas, sólo 242 de ellas fueron
seleccionadas aleatoriamente, y el resto tuvo que ser sustituida por alguna escuela que
presentara viabilidad para el acceso.
8
Una consecuencia de la pérdida de aleatoriedad es el crecimiento del error de la muestra,
que pasó de 5% a 6.29% y, por otro lado, se puede tener un problema de sesgo en la
medición de las competencias así como en los efectos del MPPF.
El índice de competencias del MPPF se obtiene del promedio de las competencias de las
escuelas. A su vez, éste índice por escuela es un promedio que se obtiene del ejercicio de
las competencias de los participantes, como son: el Instructor Comunitario, los padres de
familia y sus hijos y los miembros de la APEC (Asociación Promotora de la Educación
Comunitaria). Las competencias de los actores se valoran de acuerdo con las respuestas de
varios entrevistados como se describirá líneas adelante.
El índice de competencias del MPPF a nivel nacional, es decir la media muestral, tuvo
valor estimado de 61%, en donde un valor de 100% representaría la situación deseable.
La muestra de 322 escuelas que constituyó la línea base se analizó adicionalmente con tres
criterios de estratificación: i) Los índices de marginación de las comunidades, ii) el tamaño
de la población, iii) la distancia de las comunidades respecto a la capital de su respectivo
estado, y v) el grado de escolaridad de la población.
Un primer resultado es que la distribución de la muestra es similar a la distribución de las
escuelas del CONAFE, 37 mil escuelas consideradas, de acuerdo con los criterios de
estratificación señalados.
Además, en las diferentes formas de estratificación o clasificación de la muestra de
escuelas, los índices de competencias promedio se mantuvieron sin diferencias importantes,
o significativas, alrededor del promedio nacional o de la media muestral del MPPF. Esto
implica que el nivel de competencias en la línea base es similar independientemente de las
condiciones de marginación, escolaridad, tamaño de la población y distancia.
Considerando los ámbitos de las competencias tenemos que los menores valores de los
índices (alrededor de 50% del nivel deseable) se observaron en el ámbito del Aprendizaje.
Estos bajos valores en las competencias de los actores estarían reflejando los problemas que
busca resolver el MPPF. Es decir, se espera que el MPPF promueva una mejor
comunicación y coordinación entre los participantes y que el valor de los índices de
competencias mejore.
9
En general, los índices de competencias muestran valores bajos a consecuencia de
problemas de Comunicación y Coordinación entre la escuela, el hogar y la comunidad y, de
manera específica, entre el Instructor Comunitario, los Padres de Familia y los Alumnos.
En este sentido, la línea base está identificando el punto de partida o bien la condición
inicial a partir de la cual se evaluará el impacto del MPPF.
1.3. Talleres para la intervención en escuelas
Documento 3: “Informe de dos talleres de formación, cada uno en una región del CONAFE de los estados de
San Luis Potosí y Guanajuato”
Se realizaron los dos talleres de “matemáticas para la familia” planeados para iniciar la
intervención dirigida en un grupo de escuelas. El primer taller se realizó en León,
Guanajuato los días 2 y 3 de agosto de 2012. El segundo taller se realizó en Río Verde,
San Luis Potosí, los días 6 y 7 de agosto de 2012, en ambos participó personal de las
oficinas regionales del CONAFE.
En Guanajuato asistieron 15 personas y en SLP 27, e incluyeron coordinadores regionales,
instructores comunitarios y personal de los estados. Las escuelas representadas fueron 7 en
Guanajuato y 9 en SLP, es decir, asistieron al taller 16 Instructores Comunitarios.
El plan de la intervención es que los Instructores Comunitarios utilicen las dinámicas
aprendidas para que las practiquen, en sus comunidades, con los padres de familia a fin de
que éstos últimos tengan medios concretos para comunicarse con sus hijos, a la vez que los
niños refuerzan los conocimientos que adquirieron en clase.
Para dar seguimiento a esta intervención se solicitó a los Instructores que llevaran un
control de los momentos donde se comunican y coordinan con los padres de familia. Este
seguimiento tiene que ser puntual para observar la manera en que el Instructor Comunitario
y los Padres de Familia desarrollan estas actividades de comunicación y coordinación tal y
como lo espera el MPPF.
Las opiniones de los asistentes al taller fueron positivas ya que los juegos practicados están
diseñados para aprender implícitamente cuando se desarrollan. Esto permite tener una
10
herramienta de aprendizaje que es lúdica y que supera el problema del nivel de
conocimiento y escolaridad de los padres de familia.
Cabe anotar que los juegos practicados fueron tomados del libro “Matemáticas para la
Familia” publicado por investigadores de la Universidad de California en Berkeley y que el
tallerista que impartió las sesiones tiene amplia experiencia, más de 20 años, en la
utilización de estos materiales en comunidades rurales mexicanas del estado de Chiapas.
1.4. Análisis de competencias y resultados del aprovechamiento escolar
Documento 4: “Informe del análisis comparativo de los resultados obtenidos en la línea base (numeral 3)
contra los resultados académicos de los alumnos en la muestra, tanto en la prueba Enlace 2012 como en las
evaluaciones aplicadas por los instructores comunitarios del Conafe”.
El segundo objetivo de la evaluación del MPPF es analizar la relación entre las
competencias de la línea base y los resultados académicos de las escuelas.
Para analizar esta relación se consideran varios elementos.
Primero, es necesario establecer un modelo de aprovechamiento escolar donde se considere
la forma en que las competencias del MPPF afectan el aprovechamiento escolar.
En segundo lugar, la disponibilidad de información de calificaciones para analizar esas
relaciones.
En tercer lugar, los momentos en que se implementa el MPPF. En el ciclo escolar 2010-
2011 en un grupo de escuelas y, posteriormente, en el ciclo 2011-2012 la implementación
en todas las escuelas del CONAFE.
En cuarto lugar, los modelos y métodos estadísticos para analizar el efecto del MPPF en el
aprovechamiento escolar y la manera de incorporar las competencias del MPPF a esos
modelos estadísticos.
El modelo de aprovechamiento escolar considera que éste depende de factores
estructurales, familiares y socioeconómicos, los cuales deben ser considerados en
combinación con el factor institucional que representa la educación comunitaria del
11
CONAFE. Sobre este factor institucional busca incidir el MPPF a través del desarrollo de
competencias de los actores.
Para valorar las competencias y el aprovechamiento escolar se considera sólo a las escuelas
primarias de las cuales se dispone de información. Se tomaron en cuenta las calificaciones
bimestrales del ciclo 2010-2011, tres bimestres del ciclo 2011-2012 y los resultados del
examen ENLACE de 2009 a 2012. Los criterios utilizados fueron:
El análisis tomó en cuenta las materias de español y matemáticas, tanto para los
resultados bimestrales como los de ENLACE, y
Las calificaciones bimestrales por escuela se calcularon tomando en cuenta a los
alumnos que estuvieron presentes en los dos ciclos escolares. Es decir, se dejó fuera
a los alumnos de recién ingreso y a los alumnos que salieron de un ciclo escolar.
Este documento consideró analizar las calificaciones bimestrales tomando en cuenta que el
efecto del MPPF se observa de manera acumulativa en la medida en que los integrantes de
las comunidades escolares asimilan, comprenden y aprenden a aplicar las acciones y
estrategias previstas en el MPPF.
Este análisis considera además que hay factores estructurales que condicionan los
resultados del servicio educativo proporcionado por el CONAFE. Esos factores
estructurales son las condiciones en las que se implementa el MPPF, cuyas estrategias
buscarían compensar y contrarrestar algunos aspectos negativos de las condiciones
familiares y socioeconómicas de las comunidades que reciben los servicios del CONAFE.
Entre los factores familiares se consideran variables como la proporción de niños en edad
de 6 a 11 años que no asisten a la escuela, el grado de escolaridad promedio de las
comunidades, los hogares cuya cabeza de familia es una mujer, la población indígena que
además de su lengua materna habla el español. En los factores socioeconómicos se incluyen
variables como la población ocupada, el índice de marginación de las comunidades, las
viviendas que no tienen agua entubada o no cuentan con electricidad, el tamaño de la
población y la distancia de las comunidades a las capitales de los respectivos estados. Esto
último como una variable que buscar aproximar las condiciones en que el CONAFE
proporciona los servicios.
12
Entre las variables más relevantes que presentan o se relacionan de manera negativa con el
aprovechamiento escolar se encuentran los índices de marginación y la condición de ser
escuela indígena. Por el contrario, el grado de escolaridad de la población en las
comunidades presenta una relación positiva con las calificaciones de español y
matemáticas, tanto en los resultados bimestrales como en los resultados de ENLACE.
Con relación a los modelos y métodos estadísticos para evaluar el efecto del MPPF en el
aprovechamiento escolar se utilizaron, por un lado, el modelo de diferencias en diferencias
y por otro lado, el método del Propensity score matching. En ambos casos se necesita
determinar de manera aleatoria un grupo de control que permita comparar calificaciones del
grupo de escuelas de tratamiento y un grupo de escuelas de control.
En el documento se presentó un análisis descriptivo de los posibles efectos del MPPF con
un modelo de diferencias en diferencias, DD. El grupo de control se determina de manera
no aleatoria considerando las escuelas de los municipios donde se inicia la aplicación del
MPPF en el ciclo 2010-2011. Este análisis descriptivo no mide efectos ya que el grupo de
control no es aleatorio. Sin embargo, la estimación presentada muestra efectos menores a
1% en las calificaciones de las escuelas que aplicaron el MPPF en 2010-2011. Estos
posibles efectos a nivel municipal proporcionan información de los municipios donde hay
efectos positivos y donde se presentan efectos negativos. En estos últimos se pueden
focalizar estrategias que ayuden a mejorar los efectos promedio.
Los modelos de DD estimados incluyen factores estructurales pero no muestran efectos del
MPPF en las calificaciones de español. Sin embargo, las variables de marginación, grado
de escolaridad y condición de ser escuelas indígenas presentan los efectos esperados de
estas variables.
En los modelos DD estimados se incluyen las calificaciones del periodo base de la
evaluación. La consideración es que el conocimiento adquirido en cada ciclo escolar es
resultado de un proceso acumulativo, es decir los avances y deficiencias de los alumnos se
van acumulando en las calificaciones. Por ello, la calificación del periodo base es una
condición inicial para evaluar el efecto del MPPF. El parámetro estimado es una elasticidad
que señala un beneficio porcentual entre 0.5% y 0.6% por cada punto porcentual de mejora
en la calificación del periodo base.
13
Otra estimación del efecto del MPPF se realiza con el método de Propensity score
matching. Este método determina las escuelas que tienen la misma propensión a ser
seleccionadas que las escuelas que implementaron el MPPF en el ciclo 2010-2011.
Además, el método determina las escuelas que son vecinas estadísticamente con las cuales
se realiza la comparación de calificaciones. Con este método se estima que las escuelas que
aplicaron el MPPF en 2010-2011 tienen un efecto que va de 0.9% a 1.7% de mejora en el
promedio de la calificación general de tres bimestres de 2011-2012. Esta es una estimación
robusta ya que los efectos estimados se observan con diferentes criterios de estimación.
Por último, se estima un modelo de aprovechamiento escolar que incluyen variables de
competencias de la línea base las cuales están relacionadas con el aprendizaje escolar, pero
no se observan efectos estadísticamente significativos. Esta estimación no tiene el propósito
de evaluar efectos del MPPF, ya que sólo se considera la línea base, pero busca valorar si
existen relaciones estadísticas.
Adicionalmente se estima la relación entre competencias relacionadas con el aprendizaje
escolar y la competencia de los alumnos Compromiso del alumno, que mide la disposición
y actitud de los alumnos hacia sus estudios. El modelo muestra efectos estimados de
variables como educación en casa y relación familiar, pero no así de la competencia
Relación del instructor Comunitario y Padres de Familia de la cual se espera observar una
relación positiva con el aprovechamiento escolar.
El propósito de presentar la metodología para evaluar el impacto del MPPF, aun cuando es
reciente su implementación, tiene el propósito de proveer un esquema que permita el
seguimiento del desarrollo del MPPF.
Un proceso de evaluación continuo, durante el desarrollo del MPPF, puede además
proporcionar elementos para ajustar o corregir la aplicación del MPPF, y medir sus efectos,
o bien para modificar aspectos del propio proceso de evaluación. Este seguimiento a la
evaluación del MPPF es necesario debido a las condiciones en que se provee la
educación comunitaria; es decir, en comunidades rurales, pequeñas, dispersas, de
difícil acceso, con escasez de recursos.
Como hemos visto existen diversos factores que están interviniendo y es necesario no
perder de vista su relación con el MPPF. Esto es porque cualquier mejora o ajuste en
14
el modelo, ya sea en su diseño o en su implementación, puede tener efectos positivos en
la educación de los niños y en el bienestar general de las comunidades. Por ello se debe
pensar en el MPPF como una herramienta o un medio para compensar, en la medida
de lo posible, las circunstancias en que se desarrollan los niños que atiende el
CONAFE.
1.5. Taller de capacitación de personal de oficinas centrales
Documento 5: “Informe del taller para capacitar al personal de oficinas centrales para realizar el análisis
estadístico que ayudó a determinar los resultados de la línea base (numeral 4)”
En este documento se presenta el contenido del taller dirigido a personal de oficinas
centrales. El objetivo del taller es presentar los procedimientos y métodos de análisis
aplicados en las etapas de la evaluación del MPPF a fin de que se pueda dar seguimiento a
la evolución del mismo.
Una consideración para organizar este taller es que la evaluación de impacto no debe
realizarse sólo después de transcurrir varios ciclos escolares, sino que es necesario dar
seguimiento continuo a la evaluación y al desarrollo del MPPF a fin de hacer los ajustes
correspondientes. Esto se demostró de manera clara en los problemas logísticos para aplicar
encuestas en una muestra de escuelas. Estos factores afectan el diseño de la evaluación,
razón por la cual es necesario tener control de los cambios que pueden afectar la valoración
de los efectos del MPPF.
El programa del taller incluyó una revisión de temas de estadística, como el muestreo, la
regresión lineal y los métodos quasi-experimentales, para evaluar los efectos de un
programa público. Se adoptó un método de exposición que combinó la exposición teórica
con ejercicios realizados con el programa STATA. Para ello, cada asistente al curso contó
con una computadora personal para ir realizando ejercicios, al tiempo que recibían
elementos básicos para el manejo de datos en STATA, así pudieron realizar e interpretar un
análisis de regresión lineal y conocer los pasos para la primera etapa del procedimiento para
15
estimar el Propensity Score de un grupo de escuelas de acuerdo con una base de datos
utilizada para la evaluación del MPPF.
En la parte final del taller se presentaron las competencias del MPPF y los criterios de
valoración que, a través de cuestionarios aplicados a los miembros de las comunidades
escolares, permitieron recolectar la información utilizada.
Una encuesta de satisfacción con el taller impartido mostró una valoración promedio de
Bueno acerca del desarrollo, exposición y conclusiones del taller.
1.6. Análisis del segundo levantamiento
Documento 6: “Informe del análisis de la base de datos del segundo levantamiento realizado por Conafe en
septiembre y octubre de 2012 para identificar las variaciones entre la línea base (numeral 3) y la segunda
etapa de aplicación de instrumentos”
En este documento se presentó un informe del resultado de la aplicación de encuestas en el
periodo de septiembre a octubre de 2012, cuyo objetivo fue tomar la primera observación
de las competencias en la muestra de escuelas donde se levantó la línea base en los meses
de marzo a mayo de 2012.
Un primer aspecto que se debe mencionar es que la aplicación de encuestas para determinar
la línea base se desfasó de modo que disminuyó la distancia con la 1ª observación. Aun con
ese problema se decidió realizar encuestas en septiembre - octubre para tener una secuencia
de observaciones de la evolución de las competencias del MPPF. Se consideró, también,
que sería una ventaja contar con observaciones que permitan valorar los instrumentos de
medición y el mecanismo mismo de medición. Esto se debe a la complejidad de las
relaciones que entre todos los actores busca desarrollar el MPPF.
En las encuestas que se aplicaron durante septiembre-octubre se presentaron los mismos
problemas que durante la recolección de información en la línea base, los principales
fueron:
Se sustituyeron escuelas de la muestra y no se completaron todas las entrevistas. De
este modo se obtuvieron respuestas de las encuestas aplicadas en 298 escuelas. De ese
16
número de escuelas, en 219 se realizaron encuestas tanto en el momento de levantar la
línea base como en la primera observación. Además, un grupo de 193 escuelas forma
parte de la muestra aleatoria original de 380 escuelas.
Del grupo de 193 escuelas en 173 se observó que los Instructores Comunitarios no
permanecieron; es decir, no son los mismos a los cuales se entrevistó para la línea base.
Algunas preguntas de los cuestionarios necesitan una revisión en su redacción, para ser
específicas y claras, ya que las respuestas parecen estar sesgadas por el entrevistador.
Los problemas señalados se deberán considerar en la subsecuente aplicación de las
encuestas. Como se ha mencionado, en otros momentos, el problema del sesgo en la
muestra de escuelas se puede atender desde un punto de vista estadístico pero se deben
realizar ajustes en la logística para recopilar la información.
Un primer elemento a considerar es que se realice la siguiente encuesta en los meses de
mayo a junio de 2013 para obtener respuestas del Instructor Comunitario que haya
trabajado durante el mismo ciclo escolar, esto debido a su alta movilidad. Se tendrán que
prever las cargas de trabajo y el calendario escolar de las comunidades, por ejemplo, en el
mes de mayo es la aplicación del examen ENLACE en algunas comunidades.
Los índices de competencias que se obtuvieron para la línea base y la 1ª observación
tuvieron una diferencia en su valor promedio. En la 1ª observación aumentó el índice de
competencias estimado del MPPF en 2%. Este es un aumento no esperado en la medición
de las competencias debido al corto tiempo que hubo entre ambas observaciones. Se realizó
y se rechazó una prueba de hipótesis sobre la igualdad de las medias muestrales de las
competencias en ambos puntos de observación.
Las competencias en la línea base y en la 1ª observación no cambian en sus aspectos
relevantes. Las competencias de los actores que están relacionadas con el aprendizaje
presentan los valores menores de alrededor de 50% de un nivel deseable de 100%. En esas
competencias se incluyen: La relación del Instructor Comunitario con los padres de familia,
la comunicación y atención que el padre de familia presta a sus hijos en el estudio en casa,
y la actitud y disposición de los alumnos hacia el estudio.
El bajo valor de los índices de competencias en el ámbito del aprendizaje es un resultado
esperado ya que el MPPF se diseñó específicamente para desarrollar un tipo de habilidades
17
que aun no se desarrollan en las escuelas, como son: La coordinación y la comunicación
entre los Instructores Comunitarios y los padres de familia con el propósito de
complementar la enseñanza del salón de clase con el estudio en el hogar.
Los índices de competencias de la APEC referidas a sus actividades de gestión mostraron,
en ambas observaciones, valores similares. Esta competencia presenta un nivel alrededor de
80% de una competencia deseable cuyo valor máximo sería de 100%. La competencia se
refiere a la provisión de alimentos y hospedaje a los Instructores Comunitarios y al
mantenimiento de la escuela. En dado caso, lo que se debe revisar son las razones que
explican por qué no es más alto el valor de esa competencia.
Las competencias agrupadas en el ámbito del aprendizaje mantuvieron sus niveles en
ambas observaciones, 55% de un nivel deseable cuyo mayor máximo sería de 100%. Este
valor es un promedio de las competencias de los actores donde resalta el valor de 45% del
nivel deseable de las competencias de los Instructores Culturales. En esta competencia se
captura información sobre la frecuencia de la interacción, la cobertura (el número de padres
que se atiende) y la amplitud de los temas tratados con los padres de familia.
Los aspectos valorados de las competencias de los Instructores comunitarios se encuentran
en las guías para aplicar el MPPF. Sin embargo, no se debe olvidar que esas competencias
también dependen de las acciones de los padres de familia. Por ejemplo, el Instructor
Comunitario puede convocar a una plática donde no asistan todos los padres de familia por
lo cual el valor de la competencia del Instructor disminuye. Esto indica que las
competencias no miden las funciones de los actores en lo individual sino la situación que
guarda la interacción entre un actor y otro, o entre un actor y más participantes en la
comunidad. Este es el sentido señalado anteriormente de que las competencias del MPPF se
refieren a la comunicación e interacción de un participante con otros, aun cuando las
competencias sean individuales.
Las competencias de los padres de familia en el ámbito del aprendizaje son tres. El mayor
valor de estas competencias fue de 60% del nivel deseable de 100%. Estas competencias se
refieren a las actividades de los padres de familia para vigilar, supervisar y atender el
estudio de sus hijos en casa. De igual manera, en estas competencias se incluyen las
capacidades y habilidades del padre de familia para solicitar la ayuda del Instructor
18
Comunitario para las materias y temas donde le es difícil ayudar a sus hijos. En estas
competencias también se considera la habilidad y capacidad del padre de familia para
motivar la comunicación con su hijo sobre su educación. Es decir, las competencias valoran
las capacidades de comunicación y coordinación del padre de familia con su hijo y con el
Instructor Comunitario.
Las competencias del alumno incluyen una que valora su compromiso con el estudio y la
escuela. El valor de esta competencia es de 75% de su nivel deseable. Esta es una
competencia donde se busca determinar la actitud y los hábitos que el alumno practica por
su cuenta. Las preguntas no versan sobre las tareas, aunque implícitamente el alumno pueda
interpretar así la pregunta. El supuesto es que la actitud que desarrolla el estudiante facilita
un mejor aprovechamiento escolar.
Otras competencias buscan valorar las acciones de la APEC en torno al aprendizaje. El
valor resultó nulo con lo cual se destaca que la APEC está centrada en proveer recursos
para sostener el servicio educativo pero no se involucra más allá de esta función.
La presentación de las competencias señaladas en los párrafos anteriores tiene el objetivo
de enfatizar el bajo nivel que presenta el trabajo conjunto, la coordinación y la
comunicación entre los participantes con relación al aprendizaje de los alumnos. Por la
misma razón, los bajos índices de competencias por escuela corresponden de manera
agregada a las competencias individuales de los actores.
No es de extrañar que las competencias del ámbito del aprendizaje sean en promedio de
55% de un nivel deseable. Ese nivel deseable es acorde con los parámetros establecidos en
el MPPF. La brecha respecto a ese nivel deseable es el espacio donde el MPPF espera tener
efectos en los ciclos escolares siguientes.
La medición de las competencias en la muestra de 322 escuelas de la línea base sería
conveniente que se realizara al menos durante tres ciclos escolares, esto para tener certeza
sobre los efectos del MPPF en el aprendizaje de los alumnos al incorporar diversas
circunstancias o condiciones de las comunidades. El propósito de aplicar encuestas en una
muestra aleatoria de escuelas es para medir las competencias del MPPF en el sistema de
educación comunitaria del CONAFE. Es decir, no se busca medir las competencias en una
escuela específica ni en una entidad federativa en particular.
19
2. Conclusiones y recomendaciones
La evaluación del MPPF tiene el objetivo principal de establecer, por un lado, la línea base
de las competencias de los actores, y, por otro, establecer la metodología para evaluar los
efectos del MPPF. Esta metodología de análisis servirá para dar seguimiento al desarrollo
de las competencias del MPPF y los resultados de las mismas sobre el aprovechamiento
escolar.
El MPPF se implementa en todas las escuelas comunitarias del CONAFE a partir del ciclo
escolar 2011-2012 el cual finalizó en julio de 2012. Es decir, actualmente está en el
segundo ciclo escolar de su implementación. En este sentido, la actual evaluación del
MPPF es la parte inicial de un proceso de evaluación que continuará en los siguientes tres
ciclos escolares. En esta etapa, la actual evaluación establece los criterios para dar
seguimiento al desarrollo y avances del MPPF. Esta evaluación comprende diferentes
aspectos.
El primero está relacionado con el diseño del muestreo estadístico para obtener una
medición del punto de partida y desarrollo de las competencias del MPPF durante al menos
tres ciclos escolares.
Un segundo aspecto comprende la medición de las competencias a través de los
cuestionarios que respondieron miembros de las comunidades escolares.
El tercer aspecto comprende la estrategia para medir los efectos del MPPF en el
aprovechamiento escolar considerando los múltiples factores que influyen en los logros
académicos de los alumnos y, por tanto, en el promedio de aprovechamiento que reporta la
escuela. En este caso, las competencias del MPPF son un elemento de este ambiente
multifactorial que influye en el aprovechamiento escolar.
Un cuarto aspecto se refiere al sentido mismo de la evaluación de los efectos. En un
enfoque lineal la evaluación es la última etapa del proceso de las políticas públicas. En un
enfoque interactivo la evaluación es parte del proceso mismo de implementación y su
utilidad radica en proporcionar elementos para ajustar, corregir, o modificar la
implementación del MPPF a fin de potenciar sus resultados.
20
Estos aspectos ordenan la exposición de las conclusiones y recomendaciones de esta etapa
de la evaluación del MPPF.
2.1. Muestra representativa de escuelas
La medición de las competencias se realizó mediante encuestas aplicadas a Instructores
Comunitarios, Padres de familia y sus hijos que son alumnos de la escuela y miembros de
la APEC. En marzo – mayo de 2012 se levantaron encuestas para determinar la línea base
de las competencias. En septiembre-octubre se realizó una 1ª observación de las
competencias. No obstante el corto periodo entre ambas observaciones se consideró
necesario aplacar esas encuestas para tener una secuencia de observaciones que permitiera
evaluar los efectos del MPPF en los ciclos escolares subsecuentes.
La aplicación de encuestas en la muestra de escuelas seleccionadas aleatoriamente presentó
problemas de logística debido a la dispersión y difícil acceso de las comunidades. Las
encuestas son aplicadas por los tutores capacitadores de modo que las encuestas tienen que
combinarse con la operación normal de la educación comunitaria. Este esquema de
aplicación de encuestas difícilmente se podrá modificar debido al costo que implicaría
realizar encuestas con recursos externos.
De la muestra aleatoria de 380 escuelas consideradas en el diseño de la evaluación, en la
primera observación de las competencias realizada en septiembre de 2012 sólo un grupo de
193 escuelas formaron parte de la muestra aleatoria original. En la línea base ese grupo fue
de 242 escuelas. Por ello, en las subsecuentes encuestas es posible esperar una mayor
reducción de la parte aleatoria de la muestra.
Hay dos problemas que surgen por la reducción del componente aleatorio de la muestra;
aumenta el error de la muestra y disminuye la precisión de los estimadores de las
competencias del MPPF. Adicionalmente, la perdida de elementos o escuelas de la muestra
aleatoria puede ocasionar una pérdida de representatividad geográfica.
En las siguientes encuestas será necesario ampliar el tamaño de la muestra y su componente
aleatorio. Además, una opción de muestreo puede ser la estratificación por regiones que
permita mantener la representatividad de las escuelas del CONAFE.
21
Otro aspecto del muestreo es el momento para aplicar las encuestas. En la primera
observación de las competencias tomada en el mes de septiembre de 2012, de las 219
escuelas que fueron encuestadas también en la línea base, sólo en 20 de ellas
permanecieron los mismos Instructores Culturales. Esta alta movilidad afecta el diseño ya
que las preguntas, a esta figura educativa, versan sobre sus actividades con los padres de
familia en la comunidad.
Originalmente se consideró al mes de septiembre, al inicio de un ciclo escolar, como un
momento oportuno para obtener respuestas a las encuestas ya que al final del ciclo escolar,
en mayo y junio, usualmente se experimenta una sobrecarga de actividades: se aplica el
examen ENLACE y se aplican los últimos exámenes del ciclo escolar. Sin embargo, se
tendrá que hacer un espacio para aplicar las siguientes encuestas en el mes de mayo-junio
de 2013 a fin de considerar las actividades de los Instructores Comunitarios durante el ciclo
escolar 2012-2013. Esto permitirá entrevistar nuevamente a los IC del primer levantamiento
y conocer su experiencia con el MPPF antes de que concluyan su colaboración con el
CONAFE o bien sean reasignados a otras comunidades.
2.2. Medición de las competencias del MPPF
Las competencias de los actores se refieren de manera importante a las actividades de
coordinación, comunicación y trabajo en equipo. Este tipo de actividades difícilmente se
puede medir con base en registros cuantitativos (reuniones, asistentes, entre otros) o bien
con base en los registros que realicen las comunidades de las tareas que dan cuenta del
trabajo conjunto en la escuela, la casa o la comunidad. Un aspecto que tampoco se puede
obviar es la situación cambiante de las condiciones donde se prestan los servicios
educativos del CONAFE debido a la movilidad de los Instructores Comunitarios y de los
alumnos.
Para prevenir que la medición de las competencias sea afectada de manera significativa por
cambios en los actores encuestados, ya sea Instructores o alumnos, se necesitará recabar
información de manera continua para que la nueva información permita eliminar las
variaciones de corto plazo.
22
El MPPF considera una serie de instrumentos, formatos de reportes y entrevistas, con los
cuales se recaba información de las actividades desarrolladas durante el ciclo escolar, pero
dicha información no se está recopilando de manera sistemática.
Una forma de aumentar la cantidad de información, proveniente de las comunidades, es
crear un sistema de información que combine la información de los cuestionarios aplicados
a la muestra de escuelas y los informes que ya considera el MPPF.
Un segundo aspecto a destacar es que el MPPF plantea una seria de estrategias y
actividades que recaen principalmente en los Instructores Comunitarios. Es decir, el MPPF
depende en gran parte de la interpretación y adopción de las estrategias por parte de esta
figura educativa. Sin embargo, la alta movilidad del Instructor Comunitario coloca a la
implementación del MPPF en una situación poco estable. El cambio de Instructores
Comunitarios puede significar que en una comunidad se parta de cero en las relaciones
creadas con los padres de familia y los alumnos.
La situación de cambio mencionada en las escuelas puede ser menos preocupante si la
comunidad desarrolla las competencias planteadas por el MPPF, pero ello implica cierta
madurez de los actores en la implementación del MPPF, lo cual aún está lejos de ocurrir
porque apenas está iniciando la implementación de la estrategia. Por ello, en este momento,
la movilidad de los Instructores Comunitarios puede implicar avances y retrocesos en la
implementación del MPPF. Este problema afecta el diseño mismo del MPPF el cual
depende en gran medida del Instructor Comunitario.
Es necesario llamar la atención sobre este problema ya que las mediciones que se realicen
de las competencias y la evaluación de los efectos del MPPF tendrán que incluir como
factor adicional la movilidad de los Instructores Comunitarios. Para medir esta condición
será necesario incluir en los cuestionarios aplicados en las escuelas algunas preguntas
relacionadas con los cambios que implica la movilidad del Instructor Comunitario.
23
2.3. Competencias de los actores
Los índices de competencias obtenidos con las dos observaciones tomadas, en la línea base
y en la primera observación en el mes de septiembre, muestran resultados esperados y son
consistentes con la operación de la educación comunitaria y el nivel de competencias del
cual parte el MPPF.
Primero, la competencia de Gestión que corresponde a la APEC muestra los mayores
valores dentro de las competencias estimadas. Esta competencia se refiere a la provisión de
servicios a la que se compromete la APEC para mantener los servicios educativos del
CONAFE lo cual incluye el hospedaje y alimentación a los Instructores Comunitarios.
El valor de 80% en esta competencia lleva a preguntarse por qué razón no es más alto el
valor de este índice. Una revisión de los resultados proporcionados puede servir para tomar
decisiones que permitan asegurar la provisión de servicios básicos a los Instructores
Comunitarios.
En segundo término, el bajo valor que presentan los índices de las competencias del ámbito
del Aprendizaje no es un resultado inesperado ya que el objetivo del MPPF es precisamente
desarrollar dichas competencias. Por el contrario, un resultado inconsistente hubiera sido
tener un valor elevado de los índices en este ámbito porque hubiera implicado una de dos
cosas: el MPPF no era necesario, o bien se están midiendo de manera incorrecta las
competencias. Entonces, el valor de las competencias en este ámbito, que presentan tanto
los Instructores Comunitarios, los padres de familia y los alumnos establece un punto de
partida para valorar el desarrollo de dichas competencias.
El tercer aspecto que se destaca es que el análisis de las competencias se aborda también
considerando variables del MPPF para explicar el aprovechamiento escolar observado. En
específico se postula que el Compromiso del alumno puede ser explicado por las variables
que dan cuenta de las actividades de los IC y los padres de familia: Relación entre IC y
Padres y Educación en casa. Esta relación postula que la mejoría en la educación en casa y
una mejor comunicación y coordinación entre el IC y el padre de familia tiene efectos
positivos en la actitud de los alumnos hacia sus estudios y, por tanto, se tendrá un efecto
positivo en el aprovechamiento escolar.
24
Las variables señaladas destacan el vínculo entre lo aprendido en el salón de clase y el
estudio en el hogar; vínculo establecido través de la comunicación y coordinación del
Instructor Comunitario y los padres de familia. Otras variables consideradas son la
Relación familiar y la Situación económica. La primera variable se refiere al ambiente de
comunicación y convivencia dentro de la familia. La segunda variable, la situación
económica, se refiere a las dificultades económicas que limitan la permanencia de los niños
en la escuela. En este caso, cuando los niños reciben becas y apoyos se reduce el problema
económico y el índice de la variable aumenta. Sin embargo, también cabe la posibilidad de
que el alumno no tenga disposición para continuar sus estudios o bien los padres de familia
no consideren la utilidad de la educación. En estos casos el valor de la variable disminuye.
El modelo estimado para analizar la relación entre las variables del MPPF muestra la
existencia de la relación postulada entre el Compromiso del alumno y Educación en casa.
Sin embargo, la variable Relación del IC y el padre de familia presenta un signo negativo
inesperado en la línea base, indicando que hay una relación negativa entre la comunicación
y coordinación entre el IC y los padres de familia y la competencia Compromiso del
Alumno; esta relación estadística negativa no tiene sentido, Por otro lado, en las
competencias obtenidas con la primera observación la evidencia estadística no señala la
existencia de la relación de esa variable del IC y del padre de familia con el Compromiso
del alumno, por lo que habrá que observarla posteriormente.
Lo señalado en el párrafo anterior indica un tipo de relación que se deberá considerar en la
implementación del MPPF. Una competencia de un actor se puede desarrollar de manera
independiente de la competencia de otro actor, sin que ello implique una contradicción en
el diseño del MPPF o en la medición de las competencias. El MPPF espera desarrollar un
vínculo entre las diversas competencias, pero la ausencia de dicho vínculo es una llamada
adicional de atención acerca de que el MPPF no está generando los vínculos que espera
desarrollar entre los actores.
La medición de competencias que está proporcionando la aplicación de encuestas no es
sólo información de un experimento aleatorio donde se busca observar los efectos de un
tratamiento. Por el contrario, las competencias observadas indican una condición inicial que
el propio MPPF busca modificar. En este sentido, se puede esperar que el MPPF se adapte,
25
se ajuste o se modifique de acuerdo con la información que la propia evaluación
proporcione.
Este aspecto interactivo de la evaluación del MPPF lleva a considerar que sea factible
focalizar estrategias, o definir alternativas de trabajo, para la implementación del MPPF de
acuerdo a las condiciones de las comunidades. No sería contradictorio que el CONAFE
estableciera estrategias dirigidas a mejorar el efecto promedio del MPPF sobre el
aprovechamiento escolar. Por ello, en la evaluación de los efectos del MPPF se propone el
uso de algunos instrumentos para identificar grupos de escuelas donde se observan mayores
desventajas con respecto a otras escuelas del propio CONAFE.
2.4. Efectos del MPPF en el aprovechamiento escolar
La evaluación del efecto del MPPF en el aprovechamiento escolar destaca una serie de
aspectos que ilustran el ambiente en que se desarrolla la educación comunitaria.
Un primer elemento a considerar es que el aprovechamiento escolar depende de múltiples
factores: Familiares, socioeconómicos e institucionales que son condiciones dadas ya que
no cambian rápidamente.
El factor institucional determinado por el sistema de educación comunitaria del CONAFE
es un elemento que también tarda en madurar cambios. El sistema educativo del CONAFE
está formado por procedimientos, procesos y una cultura organizacional (comportamientos
y conductas) asentada a lo largo del tiempo. Por ello, los cambios de procesos y
procedimientos no se adoptan de inmediato. Este es el caso del MPPF que busca introducir
un nuevo tipo de relación en las comunidades escolares.
El efecto del MPPF en el aprovechamiento escolar y en el desarrollo de competencias
puede presentarse en los siguientes ciclos escolares. Sin embargo, como se anotó en el
inciso anterior, el MPPF no es un experimento aleatorio donde sólo se busca observar los
efectos de un tratamiento. Por el contrario, la evaluación de los efectos es necesaria para
valorar los ajustes y cambios que sean necesarios en la implementación del MPPF. En este
sentido es necesario disponer de un esquema de seguimiento de los efectos del MPPF.
El modelo de aprovechamiento escolar utilizado en esta evaluación considera el peso que
tienen factores estructurales como la marginación de las comunidades y el grado de
26
escolaridad de la población. Los modelos estimados muestran resultados consistentes que
miden el efecto negativo de la marginación y el efecto positivo de la escolaridad de la
población en las calificaciones bimestrales y de ENLACE de las escuelas primarias
analizadas.
Cabe reiterar que evaluar los efectos del MPPF no es la etapa final de un proceso lineal de
diseño e implementación de la estrategia para promover la participación de los padres de
familia en la educación, sino que por el contrario la evaluación de efectos proporciona
elementos para ajustar, corregir y mejorar el MPPF.
Por lo expuesto será necesario dar seguimiento a la evolución del MPPF y valorar
regularmente los efectos que se pueden acumular de manera paulatina en las comunidades y
sus escuelas. Como se mencionó antes, no resulta contradictorio con la evaluación el que se
puedan focalizar acciones dirigidas a las escuelas de menor desempeño del CONAFE con
el propósito expreso de mejorar el efecto promedio del MPPF. Cabe recordar que la
metodología de evaluación debe cumplir con requisitos estadísticos lo cual es
independiente de las acciones de mejora que se puedan realizar en el MPPF con base en los
resultados de la evaluación de los efectos en el aprovechamiento escolar.
2.5. Intervención dirigida en escuelas comunitarias
La intervención en un grupo de escuelas de los estados de Guanajuato y SLP tiene el
propósito de observar cómo se desarrollan las relaciones de comunicación y coordinación
entre el Instructor Comunitario y los padres de familia.
La observación de esta comunicación y coordinación se realiza por medio de la aplicación
de juegos de matemáticas para la familia donde no se requiere un conocimiento previo de
esta materia por parte de los padres de familia, por lo que se pueden realizar las actividades
aún si los padres no pueden leer o si no hablan español. El propósito es que el Instructor
Comunitario oriente al padre de familia para que éste realice juegos en el hogar con sus
hijos. Los juegos tienen un contenido pedagógico que solo el Instructor conoce y, por ello,
recomienda que esos juegos se realicen en casa de acuerdo con los temas que va tratando en
el salón de clase.
27
Esta intervención incluye la elaboración de reportes puntuales acerca de la comunicación y
coordinación que realizan los Instructores Comunitarios con los padres de familia. Sin
embargo, hasta el momento dichos reportes o diarios de actividades no se llevan de manera
sistemática. Además, en algunos casos los Instructores prefieren aplicar los juegos
directamente con sus alumnos, con lo cual se desvirtúa el propósito de la intervención.
Los problemas señalados son indicativos del tipo de situaciones que se presentan no sólo en
esta intervención sino también en la implementación del MPPF. Por esta razón, es
importante conocer y valorar los factores que desvían al Instructor Comunitario de las
instrucciones que se le proporcionan.