EVALUACIÓN DEL PROGRAMA COMPROMISO
EDUCATIVO
2011 – 2012
ANEP(DIEE) – MIDES (DINEM)
CONTENIDO
1. Estrategia de evaluación
2. Cobertura y niveles de participación
3. Procesos de Implementación
4. Resultados
5. Impacto
6. Consideraciones finales
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
1. ESTRATEGIAS DE EVALUACIÓN
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Concepción del programa desde la evaluación
El programa es la conjunción de los tres componentes, no se concibe el programa únicamente atado a ninguno de ellos y en consecuencia la evaluación buscó dar cuenta de todos ellos y del efecto combinado de los mismos.
El programa supone dos niveles de acción: a) los estudiantes; b) los centros. En consecuencia la evaluación trabajó en conocer efectos en estos dos niveles (unidades de análisis)
La evaluación debe dar cuenta de los resultados/impactos del programa, pero a la vez debe atender a la implementación y procesos que el programa hace/genera en los dos niveles mencionados. En consecuencia el enfoque de evaluación es combinado.
El objetivo general es contribuir a enriquecer y consolidar la matriz de programas educativos existentes, con el fin de mejorar las condiciones para que los estudiantes de EMS permanezcan y potencien sus trayectorias en el sistema educativo público y particularmente puedan completar el segundo ciclo de enseñanza media.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
ESTRATEGIAS DE EVALUACIÓN Y FUENTES DE INFORMACIÓN
2011 2012
CUALI
Técnica Entrevistas Entrevistas
Actores
Participante / No participantes Participantes con acuerdo acompañamiento
Articuladores Pedagógicos Articuladores pedagógicos Referentes Pares Referentes Pares Dirección Dirección Adscripción Adscripción Docentes Docentes
Muestreo Teórico (Región, tamaño, % becas) Teórico (Región, año, CES/CETP)
Casos 8 centros 6 centros 89 entrevistas 52 entrevistas
CUANTI (Encuesta panel)
Técnica
Encuesta longitudinal (dos ondas: julio y noviembre)
Actores Estudiantes Muestreo Por conglomerado
Casos 41 centros 3300 (julio) / 2772 (noviembre)
REGISTROS ADMINISTRATIVO
S Resultados SECLI Matrícula SECLI / UTU
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
2. COBERTURA Y NIVELES DE PARTICIPACIÓN
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
COBERTURA
En 2012 el programa llega a implementarse en 63 centros educativos, aumentando así el número de centros en un 62%. Concentra su expansión en los centros educativos del CETP-UTU y mantiene la importancia relativa de los centros del interior del país (70%).
Amplía el número de becas otorgadas (162%) y de los Referentes Pares (43%).
El 28% de los estudiantes en centros CE (noviembre 2012), participan al menos una vez de algún componente del programa.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
La cobertura del programa entre 2011 y 2012 aumenta en términos de centros y alcance de sus componentes
AÑO Centros CE % en relación
a centros EMS
Postulantes CE
Becas otorgadas
Referentes Pares
2011 39 13 2086 1659 350
2012 63 21 6952 4347 500
PARTICIPACIÓN EN LOS COMPONENTES DEL PROGRAMA
71,6
27,8
0,6
Recibe beca No recibe beca NS/NC
De acuerdo a los datos de la encuesta, y con lo recabado en la estrategia cualitativa, puede decirse que mayoritariamente los participantes del programa “reciben” en algún momento del año los tres componentes (Beca, Acuerdo y ER).
• En tanto el 100% de los Becados firma el acuerdo educativo, y el 92% de los mismos participa al menos una vez del ER. • Por su parte, del 100% de los que participaron al menos una vez del ER, el 72% perciben la Beca y firmaron el Acuerdo.
Lo anterior puede indicarnos que el ER probablemente fue percibido por los becados como un ámbito de participación “obligatoria”, a la vez que muestra que los ER no se han generalizado entre los estudiantes.
Nivel de participación en Espacios de Referencia Noviembre 2012.
92%
8%
Participa ER
No participa ER
Becados en ER Composición de los ER
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
3. EVALUACIÓN DE PROCESOS DE
IMPLEMENTACIÓN
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
A través del análisis de los dos años de implementación del programa, se aprecia un proceso de «maduración» de la inserción de CE en los centros educativos y de afianzamiento en las dinámicas institucionales. (Conocimiento, aceptación y articulación)
Uno de los principales indicadores en este sentido es la disminución de prejuicios y temores por parte de los actores institucionales así como la disminución de la centralidad asignada al componente beca -apreciándose un avance en la valorización de los restantes componentes del programa-.
Beca:
Si bien no existe un discurso homogéneo sobre la beca, continúa su valoración positiva y es significada desde tres aspectos
a) vinculada a realidades socio económicas vulnerables; b) como elemento motivacional y c) valoración positiva atada a la existencia de “contrapartidas”.
A su vez, 9 de cada 10 estudiantes (incluidos los no becados) tiene una opinión favorable respecto a la existencia de la beca, y 3 de cada 4 piensa que está bien asignada. Esta buena valoración se condice con los análisis de focalización*. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Hallazgos de la estrategia cualitativa. Generales y por componentes (a)
Espacios de Referencia:
Adquieren mayor visualización en el segundo año. Su inserción continúa siendo heterogénea y asumiendo contenidos diferenciados en relación a la forma en que son concebidos por los actores, y a la impronta particular de los RP.
Sobre los RP se apreció una idea favorable sobre su figura, en la que se refleja un rol en construcción, que aún debe ser ponderado y potenciado.
Acuerdos y Articulador Pedagógico
Su figura adquirió mayor visualización y legitimación desde los demás actores institucionales, siendo concebidos como el “pilar” del programa. Se observó además una mayor integración entre su trabajo y el del resto de los actores del centro, se apreciaron casos donde la relación AP-adscriptos operó de modo favorable al cumplimiento de los objetivos del programa.
Dificultades ER:
ü En algunos actores se aprecia escepticismo
sobre el programa.
ü Problemas de infraestructura asociado
a los ER (lugar físico)
ü Difusión y débil participación de No-
Becados*
ü Se reclama concientización y
sensibilización del programa hacia el
cuerpo docente.
ü Desde los referentes pares, se reclama
mayor orientación sobre cómo llevar adelante los
ER.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Hallazgos de la estrategia cualitativa. Generales y por componentes (b)
4. RESULTADOS
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
La estrategia de evaluación de impacto supuso trabajo en dos niveles, estudiantes y centros.
De acuerdo a los objetivos del programa se definen tres indicadores de resultado/impacto:
1) Promoción; 2) Inasistencia (durante el año) –sólo para CES-; 3) Continuidad educativa al año siguiente (t+1).
I. En primer lugar se presentan datos descriptivos –diferenciados por subsistema (CETP / CES)- sobre resultados de estudiantes, comparando tres grupos:
a) Participantes CE; b) No participantes CE en Centros con CE; c) Estudiantes de Centros NO CE.
II. En segundo lugar, en base a las mismas variables, se evalúa impacto del programa mediante propensity score matching (PSM)
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Consideraciones y estructura de los resultados e impactos del programa
RESULTADOS A NIVEL DEL CETP
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Aprobación de estudiantes de 1º y 2º nivel de EMS en CETP (2012)
ü Además, tanto en las mujeres como en los varones becados se observan niveles de aprobación superiores al del resto de los grupos de estudiantes.
ü La aprobación es de 79,5% entre los varones y de 74,5% entre las mujeres.
La aprobación
de los
participantes CE
es más alta que
para los
restantes
grupos.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Continuidad educativa de estudiantes de 1º y 2º nivel de EMS en CETP (2012)
ü Tanto en los varones como en las mujeres, más de un 80% de los becados se inscribe al año siguiente.
La continuidad
a nivel de los
participantes
CE es superior
al registrado en
los estudiantes
sin beca en
centros con y
sin el
programa.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estudiantes de 1° de CETP-2012 por extraedad, aprobación
Al controlar los resultados del programa por extraedad se observa que… Entre los
estudiantes sin extraedad se observa una de 6.2 puntos entre participantes CE y no participantes en centros CE.
Entre los estudiantes con extraedad se observa una de 22.2 puntos entre participantes CE y no participantes en centros CE.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estudiantes de 1° de CETP-2012 por extraedad, continuidad
Entre los estudiantes sin extraedad se observa una de 2.5 puntos entre participantes CE y no participantes en centros CE.
Entre los estudiantes con extraedad se observa una de 24.6 puntos entre participantes CE y no participantes en centros CE.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estudiantes de 2° de CETP-2012 por extraedad, aprobación
Entre los estudiantes sin extraedad se observa una de 4.2 puntos entre participantes CE y no participantes en centros CE.
Entre los estudiantes con extraedad se observa una de 22.3 puntos entre participantes CE y no participantes en centros CE.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estudiantes de 2° de CETP-2012 por extraedad, continuidad
Entre los estudiantes sin extraedad se observa una de 9.7 puntos entre participantes CE y no participantes en centros CE.
Entre los estudiantes con extraedad se observa una de 15.7 puntos entre participantes CE y no participantes en centros CE.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
11/04/13
RESULTADOS A NIVEL DEL CES
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Aprobación de estudiantes de 1º nivel de EMS en CES (2012)
ü Desempeño comparativamente más favorable por parte de las mujeres respecto a los varones. ü Sin embargo, varones becados presentan mejor desempeño en repetición por inasistencias. Asimismo, es al interior de los varones donde se verifican las mayores brechas entre becados y no becados.
Los estudiantes becados obtienen niveles superiores de promoción respecto a quienes, estando el mismo centro, no recibieron beca, y niveles similares respecto a los estudiantes de los centros que no participaron del programa.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
11/04/13
ü Los varones becados muestran un desempeño levemente mejor que el de las mujeres becadas, invirtiendo la situación que se observa para el promedio.
Repetición por inasistencias de estudiantes de 1º nivel de EMS en CES (2012)
Se observa la obtención de mejores resultados por parte de los estudiantes becados en relación a quienes concurren a centros no CE.
Registrando menores niveles de repetición por inasistencias
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Continuidad educativa de estudiantes de 1º nivel de EMS en CES (2012)
ü Se observa mayor nivel de continuidad para participantes CE que para los restantes grupos
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estudiantes de 1° de CES-2012 por extraedad, aprobación
Al controlar los resultados del programa por extraedad se observa que…
Entre los estudiantes sin extraedad se observa una de 6.1 puntos entre participantes CE y no participantes en centros CE.
Entre los estudiantes con extraedad se observa una de 15.7 puntos entre participantes CE y no participantes en centros CE.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estudiantes de 1° de CES-2012 por extraedad, repetición por inasistencias
Entre los estudiantes sin extraedad se observa una de -2.1 puntos entre participantes CE y no participantes en centros CE.
Entre los estudiantes con extraedad se observa una de -12.7 puntos entre participantes CE y no participantes en centros CE.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
11/04/13
Entre los estudiantes sin extraedad se observa una de 4 puntos entre participantes CE y no participantes en centros CE.
Entre los estudiantes con extraedad se observa una de 17.9 puntos entre participantes CE y no participantes en centros CE.
Continuidad educativa de estudiantes de 1° de CES-2012 por extraedad
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
5. IMPACTO
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Introducción En este apartado se comentaran los resultados de la evaluación de impacto de Compromiso Educativo en base a los datos procedentes de:
v la encuesta realizada en 2012 v Los registros administrativos de los postulantes al programa en 2012.
La metodología adoptada para la evaluación de impacto se basó en la construcción de un grupo de control sintético para los participantes de CE – a través de las técnicas de propensity score matching y matching en las variables – y la posterior comparación de los resultados obtenidos por ambos grupos, a través del “efecto promedio en los tratados” (representado por su sigla en inglés, ATT).
Para definir la variable “grupo de tratamiento” se ensayaron dos alternativas:
Variable Descripción Participa como Becado Vale 1 si el individuo recibió la beca en el 2012
Participa en al m e n o s 1 c o m p o n e n t e CE
Vale 1 si el individuo participo en alguno de los componentes del programa en por lo menos una de las dos encuestas de evaluación.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Encuesta de evaluación de julio 2012
Variable Descripción ICC Índice de Carencias Críticas, mide el nivel socioeconómico Edad Edad en años Sexo Toma el valor 1 si es varón y 0 si es mujer
AprobSinPrev Vale 1 si el individuo aprobó el año pasado sin previas, 0 en caso contrario
Beca11 Indicadora que vale 1 si el sujeto obtuvo beca en el 2011 y 0 en caso contrario
Cuarto Vale 1 si el individuo cursa el nivel 1 de EMS, 0 en caso contrario Distancia al Centro
Distancia al centro en kilómetros
Hacinamiento Vale 1 si el individuo vive en un hogar hacinado, 0 en caso contrario
ImEdTerc Vale 1 si el estudiante expresa intención de cursar estudios terciarios, 0 en caso contrario
Cuarto Secundaria
Indicatriz que vale 1 si el individuo cursa cuarto año en secundaria
Variables utilizadas para la definición del PSM
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estimación del efecto promedio del programa para becados (nivel 1 y 2) en CETP , en base a
Encuesta CE12
Población Tratamiento Resultado ATT Balancea
CETP (nivel 1 y 2) BecaCE12 Aprobó 5,7% Si
Continuidad 2013 13,3%* Si
• Valores estadísticamente significativos el 5%. Fuente: Elaboración propia en base a encuesta CE12 Se presenta el valor ATT obtenido utilizando kernel para el emparejamiento. El efecto en aprobación y desvinculación se estimo con 630 casos de los cuales el 27% eran becados (171). El efecto en continuidad se estimo con 695 casos de los cuales el 25% eran becados (173). En el anexo XXX se muestran los contrastes de calidad de emparejamiento.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estimación del efecto promedio del programa para becados (nivel 1) en CES , en base a Encuesta
CE12
Población Tratamiento Resultado ATT Balancea
CES (4º año) Participó en algún
componente
Aprobó 0,3% Si
Inasistencias -1,0% Si
Inscripción 2013 7,1%* Si
Fuente: Elaboración propia en base a encuesta CE12 Se presenta el valor ATT obtenido utilizando kernel para el emparejamiento. El efecto en aprobación y desvinculación se estimo con 940de los cuales el 237 eran becados. El efecto en continuidad se estimo con 975 casos de los cuales el 239 eran becados.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Registros de postulantes al programa 2012
Variables utilizadas para la definición del PSM y para el emparejamiento directo en las variables
Variable (X) Descripción
ICC Índice de Carencias Críticas, mide el nivel socioeconómico
Edad Edad en años
Sexo Toma el valor 1 si es varón y 2 si es mujer
Nivel Indica si la persona cursa primer año de EMS o segundo
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Resultados con registros administrativos
Sistema Grado Variable
Matching en variables PSM
Control Tratados ATT Balance Resultado Balance
CES 4º liceo Promoción 261 1420 9,2* Si - No
4º y 5º liceo Continuidad 527 2792 11,9 ** Si - No
UTU
Nivel 1 y 2 hasta 19 años
Promoción 168 728 23,2 ** Si 21,3 ** Si
Nivel 1 y 2 hasta 19 años
Continuidad 200 822 14,3 ** Si 12,0 ** Si
[1] Se acotó la edad para mejorar la calidad de los emparejamientos
**: significativo al 5% *: significativo al 10%
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
6. CONSIDERACIONES FINALES
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
CONSIDERACIONES FINALES (a)
• Institucionalización y maduración del programa al interior de los centros.
• Si bien los participantes del programa mayoritariamente “reciben” –en algún momento- a los tres componentes del programa (integralidad); el Espacio de referencia aún no se ha generalizado como espacio abierto para los estudiantes del centro.
• Demanda por incluir a los actores de los centros en la sensibilización y conocimiento del programa (en especial docentes), en la medida que las sinergias entre recursos CE y del centro genera prácticas virtuosas.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
CONSIDERACIONES FINALES (b)
• Impacto a nivel general en Continuidad para UTU (efecto robusto y consistente), en torno al 12%-14%
• Impacto del programa a nivel de extraedad (valores en torno a las diferencias observadas los descriptos).
Encuesta
Registro administrativo
Emparejamiento en X PSM
CETP Aprobación - SÍ -
Continuidad SÍ SÍ -
CES Aprobación - SÍ SÍ
Continuidad SÍ SÍ SÍ
Indicios de efectos en continuidad CES y aprobación en ambos
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)