qué son los excale
TRANSCRIPT
Qué son los Excale? Diez preguntas básicas sobre los Exámenes de la
Calidad y el Logro Educativos (Excale)
Una de las funciones del Instituto Nacional para la
Evaluación de la Educación (INEE) es evaluar lo que los
estudiantes mexicanos aprenden del currículo nacional. El
propósito fundamental de la evaluación del aprendizaje es
proporcionar un conocimiento general del rendimiento
académico de los estudiantes, a nivel estatal y nacional, así
como identificar los factores que ayuden a explicar las
diferencias entre los niveles de logro.
Para lograr este objetivo, el INEE desarrolló los
Exámenes de la Calidad y el Logro Educativos (Excale).
1. ¿Qué son los Excale?
2. ¿Qué grados y asignaturas evalúan los Excale?
3. ¿A quién se aplican los Excale?
4. ¿Cada cuándo se aplican los Excale?
5. ¿Pueden los maestros y padres de familia conocer los resultados obtenidos por sus alumnos o hijos en los Excale?
6. ¿Cómo se elaboran los Excale?
7. Una vez elaborados, ¿qué sigue?
8. ¿Qué tipo de información relacionada con el contexto en que ocurre el aprendizaje recaba el INEE?
9. ¿Cómo se efectúa el análisis e interpretación de resultados de los Excale?
10. ¿Cómo se difunden los resultados?
1. ¿Qué son los Excale?
Los Excale son pruebas de aprendizaje de gran escala
que miden el logro escolar de los estudiantes de educación
básica en distintas asignaturas y grados. Estos exámenes
tienen tres características distintivas: son criteriales, están
alineados al currículo y son matriciales.
Son criteriales porque se diseñan para evaluar el
dominio que tienen los estudiantes de una disciplina en
particular. Su interés central es conocer el nivel de logro que
alcanzan los estudiantes como resultado de su
escolarización formal. Cada contenido temático se evalúa a
profundidad, procurando incluir todos los conocimientos y
habilidades de importancia para la disciplina y grado escolar.
Están alineados al currículo porque su propósito es
evaluar los aprendizajes pretendidos por los planes y
programas de estudio nacionales. El hecho de contar en
México con un currículo nacional para la educación básica,
libros de textos gratuitos y una formación magisterial
bastante uniforme, facilita identificar lo que aprenden los
estudiantes en relación con lo que se espera de ellos.
Puesto que los Excale pretenden evaluar todos los
contenidos curriculares importantes, tienen un diseño
matricial en el cual los reactivos que conforman una prueba
se agrupan en bloques para ser distribuidos entre los
alumnos; no todos contestan las mismas preguntas, pero con
las repuestas de todos se obtienen resultados del examen en
su conjunto. En este tipo de pruebas, la calificación
individual del estudiante no es tan importante como los
resultados agregados a nivel de entidad federativa y
modalidad educativa, dado que lo que se busca es evaluar al
sistema educativo en su conjunto.
2. ¿Qué grados y asignaturas evalúan los Excale?
Las asignaturas propiamente instrumentales, tales
como Matemáticas y Español, además de aquellas que
cubren grandes áreas curriculares relacionadas con Ciencias
Naturales y Ciencias Sociales, realizando en cada caso la
selección de contenidos conforme el currículo nacional y el
grado escolar a evaluar.
Los grados a evaluar son los terminales de cada nivel
escolar: 3º de preescolar, 6º de primaria y 3º de secundaria.
Adicionalmente, se añade 3º de primaria con el fin de
evaluar segmentos de tres años escolares.
De este modo, se han establecido las siguientes
asignaturas para cada nivel y grado desde el preescolar
hasta la secundaria.
Niveles, grados y asignaturas que evalúan los Excale
NIVELGRAD
OASIGNATURAS
Preescolar
3°
Lenguaje y comunicación
Pensamiento matemático
Primaria
3° y 6°
Español
Matemáticas
Ciencias Naturales
Ciencias Sociales
Secundaria
3° Español
Matemáticas
Ciencias Naturales
Ciencias Sociales
3. ¿A quién se aplican los Excale?
Se aplican a muestras representativas de estudiantes
de escuelas públicas y privadas, de educación básica de
todo el país. El número de estudiantes varía de acuerdo con
el estado, el grado a evaluar y la modalidad educativa de
que se trate. En 2005 se aplicaron más de 47 mil pruebas a
estudiantes de sexto de primaria en 2 mil 770 escuelas y a
52 mil 251 alumnos de tercero de secundaria en 2 mil 397
escuelas. En 2006, la prueba se aplicó a casi 55 mil alumnos
de tercero de primaria en un poco mas 3 mil escuelas
mientras que en 2007 se aplicaron a más de 10 mil pruebas
a estudiantes de tercer año de preescolar en
aproximadamente mil 100 escuelas y a alrededor de 13 mil
estudiantes de sexto de primaria en más de 700 planteles
educativos.En 2008, la evaluación de tercer grado de
secundaria abarcó a más de 100 mil estudiantes de
aproximadamente 4 mil escuelas.
Aunque el porcentaje de estudiantes evaluados en
cada grado es pequeño, las estimaciones que hace el INEE
son bastante precisas y confiables. Cada escuela tiene la
misma probabilidad de ser seleccionada en la muestra;
asimismo, al interior de cada escuela y grado escolar, todos
los estudiantes tienen la misma probabilidad de ser
seleccionados para responder la prueba.
Las evaluaciones que realiza el INEE no son
voluntarias: todas las escuelas y alumnos del país tienen la
obligación de participar en las evaluaciones de gran escala
que se realizan año con año.
4. ¿Cada cuándo se aplican los Excale?
El plan de evaluación de los Excale se basa en un
programa cuatrianual; es decir, un mismo grado se evaluará
cada cuatro años, tal como se muestra en la siguiente tabla.
Plan de Evaluación por grados y asignaturas escolares
AÑOS ESCOLARES.
2005
2006
2007
2008
2009
2010
2011
2012
2013
2014
2015
2016
L, P L, P L, P
E, M
N, S
E, M
N, S
E, M
N, S
E, M E,ME, M
N, SE,M
E, M
N, SE,M
E, ME, M
N, SE,M
E, M
N, SE,M
E, M
N, S
Nota: L = Excale-Lenguaje y Comunicación; P = Excale-Pensamiento Matemático; Excale-Español; M = Excale-Matemáticas; N
= Excale-Ciencias Naturales; S = Excale-Ciencias Sociales. El sombreado indica muestras nacionales sin representatividad estatal.
Este plan ofrece la posibilidad de evaluar los
aprendizajes de los estudiantes del Sistema Educativo
Nacional tanto transversal como longitudinalmente ya que,
por ejemplo, si en 2006 se evaluó a los alumnos de tercero
de primaria, tres años más tarde, cuando teóricamente estén
cursando sexto, serán sujetos de una nueva evaluación y
tres años después, en 2012, participarán en la evaluación de
tercero de secundaria. Es cierto que no necesariamente
estarán siendo evaluados exactamente los mismos alumnos,
sin embargo, hay que recordar que el objetivo de los Excale
no es evaluar los aprendizajes logrados por cada alumno,
sino tener una visión del Sistema Educativo en su conjunto.
Las evaluaciones se realizan al final del año escolar (mayo o
junio).
5. ¿Pueden los maestros y padres de familia
conocer los resultados obtenidos por sus alumnos o
hijos en los Excale?
Si bien no es posible conocer los resultados obtenidos
en los Excale por algún estudiante en particular, el INEE
publica los resultados obtenidos por todos los alumnos a
nivel nacional, estatal y/o por modalidad educativa.
La aplicación de los Excale permite cubrir diversos
objetivos:
a) proporcionar un conocimiento general del
rendimiento académico de los estudiantes como resultado de
su escolarización formal, con distintos grados de
desagregación, entre los que se encuentran los estratos
escolares de primaria (escuelas urbanas públicas, rurales
públicas, cursos comunitarios, educación indígena, y
escuelas privadas) y las modalidades educativas de
secundaria (escuelas generales, técnicas, telesecundarias y
escuelas privadas);
b) permitir comparaciones del rendimiento escolar
entre diversas regiones geográficas, así como entre distintas
modalidades educativas;
c) conocer los puntos fuertes y débiles del aprendizaje
de los estudiantes en distintos grados y áreas temáticas del
currículum;
d) conocer las tendencias a lo largo del tiempo del
aprendizaje de las Matemáticas, el Español, las Ciencias
Naturales y las Ciencias Sociales;
e) analizar algunas variables de contexto que influyen
de manera importante en el logro escolar; y,
f) identificar el crecimiento o estancamiento de los
aprendizajes en las disciplinas evaluadas.
6. ¿Cómo se elaboran los Excale?
Cada prueba Excale se elabora con mucho tiempo de
anticipación; su realización abarca diferentes etapas, en
cada una de las cuales participa no sólo el personal técnico
del INEE, sino grupos de profesionales, expertos en
currículo, profesores en servicio, autores de libros, entre
otros, quienes conforman distintos comités. Las labores de
estos comités abarcan diversas tareas: analizar el currículo y
seleccionar los contenidos que se evaluarán; definir las
características de los reactivos que conformarán la prueba;
formular, revisar y pilotear las preguntas así como ensayar
las condiciones reales de aplicación de los Excale.
7. Una vez elaborados, ¿qué sigue?
La prueba se aplica a una muestra nacional de
estudiantes. El equipo de personas que aplica la prueba se
compone por personal del INEE y por aplicadores
contratados y capacitados especialmente para llevar a cabo
esta tarea. La información se recaba a través de
procedimientos estandarizados y una supervisión eficaz.
Todo el proceso está diseñado para asegurar que la prueba
arroje resultados confiables. Las evaluaciones se realizan al
mismo tiempo en todas las escuelas participantes.
La información que se recaba individualmente de los
directores y sus escuelas, de los docentes y sus aulas, así
como de los estudiantes y sus familias, es confidencial.
Después de que se reportan los resultados de las
evaluaciones, el INEE pone a disposición de todos los
interesados las bases de datos sin los nombres de los
estudiantes ni de los planteles, para asegurar que éstos no
puedan ser identificados.
8. ¿Qué tipo de información relacionada con el
contexto en que ocurre el aprendizaje recaba el INEE?
Los resultados de los Excale nos permiten conocer lo
que los estudiantes aprenden del currículo; sin embargo,
esta información no es suficiente para entender las
diferencias que logran en el aprendizaje.
Por eso, el INEE recaba información de diversas
variables de contexto sobre los alumnos y sus familias, los
docentes y el aula, y el director y la escuela. Es de especial
interés conocer las oportunidades de aprendizaje a las que
están expuestos los estudiantes, a fin de explicar las
diferencias en el logro educativo de los distintos tipos de
centros escolares.
Los cuestionarios tienen el propósito de recabar
información sobre el estudiante y su familia, los docentes, y
el director, sobre aspectos relacionados con características
personales, familiares y escolares; así mismo, se obtiene
información sobre el salón de clases, el ambiente del aula, la
interacción con los padres, la cobertura curricular y las
prácticas pedagógicas; la infraestructura y la organización
escolar.
Las características y composición de los distintos
cuestionarios varían de acuerdo con el grado escolar al que
estén destinados.
9. ¿Cómo se efectúa el análisis e interpretación de
resultados de los Excale?
Esta fase se inicia con un análisis de los resultados
con el fin de establecer los niveles de logro de los
estudiantes; se realizan los primeros análisis estadísticos
poniendo especial énfasis en el comportamiento
psicométrico de las pruebas aplicadas. Los niveles de logro
que han sido utilizados por el INEE son:
NIVELES DE LOGRO COMPETENCIAS ACADÉMICAS
Por debajo del básicoIndica carencias importantes en el dominio curricular de los conocimientos, habilidades y destrezas escolares, lo cual expresa una limitación para progresar satisfactoriamente en la materia.
BásicoIndica un dominio suficiente o elemental de conocimientos, habilidades y destrezas para poder progresar satisfactoriamente en la materia.
MedioIndica un dominio adecuado de conocimientos, habilidades y destrezas que indican un buen aprovechamiento de lo previsto en el currículo.
AvanzadoIndica un dominio óptimo de conocimientos, habilidades y destrezas que indican el aprovechamiento máximo de lo previsto en el currículo.
Estos niveles se definen de acuerdo con la asignatura
y grado de que se trate. Finalmente, se realizan los informes
sobre los resultados de aprendizaje de los estudiantes
evaluados, considerando las variables de contexto y de
oportunidades de aprendizaje aportadas en los cuestionarios
aplicados a alumnos, docentes y directores. Asimismo, es
muy importante para el INEE conocer el logro de aprendizaje
de las distintas poblaciones muestreadas (entidades
federativas, estratos y modalidades educativas), así como
los contenidos del currículo nacional que los estudiantes
dominan.
10. ¿Cómo se difunden los resultados?
Los resultados de los Excale se dan a conocer a través
de múltiples modalidades: mesas públicas; conferencias de
prensa; libros; folletos, informes, etcétera, los cuales pueden
ser consultados en el portal de Internet del INEE:
http://www.inee.edu.mx
¿Qué es ENLACE?
La Evaluación Nacional de Logro Académico en Centros Escolares (ENLACE) es una prueba del Sistema Educativo Nacional que se aplica a planteles públicos y privados del País.
En Educación Básica, a niños y niñas de tercero a sexto de primaria y jóvenes de tercero de secundaria, en función de los planes o programas de estudios oficiales en las asignaturas de español, matemáticas y ciencias.
En Educación Media: a jóvenes que cursan el último grado de bachillerato para evaluar conocimientos y habilidades básicas adquiridas a lo largo de la trayectoria escolar para hacer un uso apropiado de la lengua –comprensión lectora- y las matemáticas –habilidad matemática-.
Permite retroalimentar a padres de familia, estudiantes, docentes, directivos y autoridades educativas con información para mejorar la calidad de la educación, promoviendo la transparencia y rendición de cuentas.
Presentación
Antes de iniciar mi participación agradezco a Apoyo a la Calidad Educativa, A. C.; al
Grupo de Trabajo sobre Desarrollo Profesional Docente en América Latina, al
Programa de Promoción de la Reforma Educativa en América Latina y el Caribe (GTD-
PREAL) y al Patronato de la Universidad Autónoma de Querétaro por la invitación a
este III Congreso Internacional “Evaluación: factor de calidad educativa”. Para un
servidor es un honor estar en este importantísimo evento porque nos brinda la
oportunidad de compartir con el selecto auditorio nuestra experiencia sobre el tema
que abordaremos e intercambiar ideas con nuestros colegas encargados de los
diversos cursos, talleristas y conferencistas.
En esta ocasión, hablaré de la Evaluación Nacional del Logro Académico en Centros
Escolares (ENLACE). Abordaré lo relativo al impacto mediático, su relación con las
políticas públicas en materia educativa, los aspectos técnicos (diseño,
instrumentación, logística, procesamiento, difusión y divulgación).
Con la colaboración de ustedes pretendo los siguientes propósitos:
Proporcionar información referente al diseño, la instrumentación, la logística, el
procesamiento, la difusión y divulgación de ENLACE para ampliar el marco referencial
de quienes sean expertos en evaluación, especialistas en educación y a los futuros
educadores y pedagogos.
El texto que a continuación pongo a consideración del Comité Organizador también
pretende despertar el interés del público por esta evaluación y promover su uso para
fines pedagógicos. Una postura activa, reflexiva, crítica y propositiva de los asistentes
redundará en aportaciones que enriquecerán a ENLACE. Esta plática se motivará el
trabajo intelectual de los docentes e investigadores (en otros momentos y espacios por
supuesto), mediante reflexiones entorno a:
Brindar algunas sugerencias metodológicas para el uso de los resultados para
la mejora del proceso educativo y susceptibles de considerase en el modelo de
gestión escolar.
Sugerir algunas líneas de investigación a desarrollarse en el ambiente
académico y heurístico resaltando los retos y lecciones aprendidas en
ENLACE.
Ampliar el marco referencial para una mejor comprensión del estado que
guarda el nivel de logro académico de los estudiantes de primaria y secundaria
desde la perspectiva de la prueba ENLACE.
Es insoslayable el impacto de ENLACE. Está en camino de constituirse como una
política de estado y se corre el riesgo de las políticas giren entorno a esta evaluación
cuando debiera ser lo contrario. No debe sobrevalorarse ni subestimarse sino darle su
justa medida y valor. Se tiene la oportunidad de conocer los implícitos e implicaciones
de ENLACE en educación. Este parteaguas y, de seguir así, puede conducir a valorar
la educación antes de ENLACE y después de ENLACE y no por ENLACE en sí sino
por lo que está detonando. A todos nos corresponde aportar al menos un granito de
arena desde nuestro ámbito profesional, político o social. Es impostergable la mejora
educativa porque está en juego, nada más y nada menos, nuestro futuro como nación
y sociedad. Sin más preámbulo, iniciemos nuestra charla.
I
El impacto mediático de ENLACE
Desde su origen, la Evaluación Nacional del Logro Académico en Centros Escolares
(ENLACE) busca la mejora educativa. Algunas Organizaciones civiles no
gubernamentales la han visto como una oportunidad para la rendición de cuentas. Los
medios de comunicación, principalmente la prensa escrita, la han utilizado como un
mecanismo de transparencia. Recientemente la Secretaría de Educación Pública la ha
considerado una estrategia de participación social. Estas circunstancias obligan a un
análisis profundo para dar respuesta a las diversas interrogantes planteadas por
diversos actores. A continuación resaltaré algunas noticias relevantes sobre el tema:
Por ejemplo, en el periódico Reforma del 28 del septiembre de año en curso, Leslie
Gómez reseña el Foro de Análisis convocado por la UNAM en donde se mencionó que
los maestros desconocen como se construyó la prueba, cual es su objetivo, que los
reactivos no toman en cuenta los intereses de los niños de distintos sectores sociales.
El examen es un efecto de las concepciones sobre el aprendizaje y no el motor para
transformar la enseñanza” indicó Ángel Díaz Barriga. En tanto Elizabeth Flores,
supervisora de zona y Exdirectora de una escuela reveló que, según una encuesta
realizada en varias demarcaciones escolares la prueba ENLACE representa para los
alumnos una presión pues se sienten exhibidos cuando se dan a conocer los
resultados y los maestros, dicen lo consideran como un instrumento de vigilancia,
como un acto que deben cumplir. No asumen responsabilidad de los resultados
obtenidos.
El periódico Excélsior fechado el 12 de septiembre del año en curso, Karina Álvarez
menciona un análisis elaborado por el Instituto de Fomento e Investigación Educativa
(IFIE) en el cual se menciona que las escuelas evaluadas por la prueba ENLACE
mejoraron no gracias a las políticas educativas del gobierno sino a la presión social.
“El hecho de ser evaluados ayuda a mejorar la calidad porque hace que las escuelas y
los profesores hagan un mayor esfuerzo para tener una mejor calificación, además de
que los padres de familia están más informados para apoyar la educación de sus hijos
y así exigirla”. “El examen está hecho por expertos y está bien hecho. Está midiendo lo
que deben saber los niños, y si están preparando a los niños para el examen, que
bueno. Si bien ENLACE no es una evaluación de la calidad, si es un indicador
importante para la sociedad de que los niños aprendan bien sus matemáticas y
español”.
La SEP publicó los resultados ordenados con base en el puntaje que obtuvieron las
escuelas a partir de la calificación de los alumnos. A pesar de haber señalado que es
técnicamente incorrecto ordenar las escuelas de mayor a menor puntaje a partir del
resultado de la prueba la decisión se tomó porque se estaba cuestionando la
transparencia de los resultados. Esta nota la publicó el periódico Reforma el 29 de
Agosto del 2007 y está firmada por Sonia del Valle y Guadalupe Irízar.
Al día siguiente, en el periódico el Economista Eduardo Andere escribió que una
difusión equivocada de los resultados de ENLACE ocasiona un impacto negativo en
los siguientes aspectos: injusta, incorrecta e irresponsable.
En el financiero, el 5 de octubre del presente año, Rosalía Servín Magaña firma una
nota en donde se menciona “ENLACE único termómetro de la educación. Los críticos
dicen que desprestigia al sistema público y promueve al de paga; para la SEP, eleva la
calidad de la enseñanza.
En el periódico la Jornada, el 28 de agosto, Karina Avilés menciona ENLACE fomenta
competencia desleal y trampas entre escuelas. La SEP se deslinda de la interpretación
de los resultados, aunque es responsable de la evaluación. Al día siguiente, en el
mismo periódico y la misma periodista cabecea una nota que menciona Admite SEP
que ENLACE no cumple con la tarea de evaluar las escuelas.
Inician clases para maestros reprobados… ENLACE ligth…etc, etc, y muchos más
etcéteras…
II
ENLACE en el marco de las políticas públicas en materia educativa
En voz de la propia Secretaria de Educación, Lic. Josefina Vázquez Mota, puso a
consideración a la Conferencia Nacional de Gobernadores (CONAGO) algunos temas
fundamentales para avanzar en esta agenda educativa sustantiva.
La equidad es eje básico para la calidad. Y la calidad es a la vez el requisito para
consolidar la equidad. (…) quiero referirme a un instrumento muy importante para
avanzar en esta dirección: la prueba Enlace 2007.
ENLACE nos ha mostrado:
que es un instrumento que permite conocer el nivel de aprendizaje de los
niños,
que por lo menos la mitad de los resultados educativos depende del apoyo y
participación de los padres,
que falta mucho por hacer, pues sólo 1% de los evaluados está en el nivel de
logro de excelencia,
que el resultado educativo es compromiso de todos: los directores de los
planteles, los jefes de sector, las autoridades educativas, la sociedad civil y los
gobiernos locales,
que hay que tomar decisiones de fondo, porque los retos de la educación no
pueden esperar y el desarrollo de las personas y del país depende, en gran
medida, de la fortaleza y calidad de la educación,
que la ciudadanía desea rendición de cuentas y evaluación permanente, que
podemos y debemos construir una cultura de evaluación,
y que estos niños que obtuvieron los mejores puntajes son ejemplo que aún
con grandes carencias, se puede alcanzar un alto rendimiento
A partir de los resultados que se obtuvieron del ejercicio de 2006, el examen de abril
permitirá la consolidación de la Prueba ENLACE como un eje fundamental para
fortalecer a las comunidades educativas e impulsar la calidad y dar seguimiento al
desarrollo de cada alumno, pero también de cada centro escolar.
Vamos a mejorar la confiabilidad de la prueba, contratando aplicadores externos y
promoviendo la participación en los salones de padres y madres de familia de niños
distintos a los que son evaluados.
Por instrucciones del Presidente Felipe Calderón Hinojosa, además, vamos a ampliar
la aplicación a Educación Media Superior.
Para lograr la más amplia participación en la instrumentación de ENLACE, la
participación de los estados será muy relevante.
De esta manera, con instrumentos como ENLACE vamos a fortalecer la evaluación de
los alumnos, y vamos también a avanzar en la evaluación de docentes y centros
escolares.
Las ideas anteriormente citadas se plasmaron en un documento titulado “Puntos de la
Agenda Educativa” y son congruentes con lo establecido en el Programa Nacional de
Desarrollo 2007-2012 que señala: Con el propósito de contribuir a dar un salto
cualitativo en los servicios educativos se impulsarán mecanismos sistemáticos de
evaluación de resultados de aprendizaje de los alumnos, de desempeño de los
maestros, directivos, supervisores y jefes de sector, y de los procesos de enseñanza y
gestión en todo el sistema educativo. La evaluación es una de las herramientas más
poderosas para mejorar la calidad de la educación, como se ha comprobado en todos
los países que han logrado elevar el desempeño de sus sistemas educativos.
La evaluación con métodos probados internacionalmente es, sin duda, el mejor camino
para asignar estímulos tanto a las escuelas como al personal docente. Por ello, se
realizarán evaluaciones anuales de aprendizaje en las áreas de matemáticas y
español para estudiantes de primaria, secundaria y de educación media superior. Los
resultados de estas evaluaciones serán públicos y estarán disponibles para todos los
ciudadanos. El propósito es fortalecer la evaluación como un instrumento para la
rendición de cuentas que permita mejorar de forma objetiva y lograr la calidad
educativa que el país necesita y merece. Se fortalecerá la cultura de la evaluación en
todos los medios relacionados con la educación, para lo cual se desarrollarán
actividades de capacitación para realizar evaluaciones, así como para interpretarlas y
utilizarlas.
En este contexto, se resalta que ENLACE fue concebido originalmente para atender la
política de mejora de educativa aunque indirecta e intencionalmente se relaciona con
otras como la rendición de cuentas, la transparencia y la participación social. Su
implantación ha generado controversias, posturas favorables y desfavorables.
ENLACE se está convirtiendo en una política de estado y ello no es cualquier cosa. El
riesgo es que las políticas giren en torno a ENLACE y no a la inversa. Por lo tanto, no
debe soslayarse ni sobrevalorarse sino darle su justa valor y para este fin se requiere
conocer sus características para evitar prejuicios. Debe juzgarse con argumentos
sólidos. Esta es la finalidad del siguiente apartado.
III
Aspectos Técnicos de ENLACE
A continuación se analizarán los aspectos técnicos implícitos en ENLACE para contar
con mayores elementos de juicio y valorar si está cumpliendo con las expectativas
generadas. Lo subdividiremos en seis grandes etapas: Diseño, Instrumentación,
logística, procesamiento, análisis y difusión de resultados. La explicación y descripción
de estas etapas es de manera sintética. La idea es proveerlas un marco referencial
para una mejor comprensión de ENLACE.
a).- Diseño
Los propósitos explícitos de esta evaluación son:
Coadyuvar a mejorar el aprendizaje de los alumnos de educación primaria y
secundaria, orientando y facilitando la planeación del trabajo en el aula de los
maestros y la participación de los padres de familia en la tarea educativa.
Generar una sola escala de carácter nacional, con la finalidad de proporcionar
información indicativa comparable del logro académico de los alumnos de
educación primaria y secundaria.
Posibilitar la rendición de cuentas y la transparencia en los diferentes niveles
de mando del sistema de educación en primaria y secundaria, y de las
escuelas hacia los padres de sus alumnos.
De esta manera, ENLACE está orientado a proporcionar elementos que coadyuven a
incidir en la calidad educativa del país desde el salón de clases y la escuela. El
docente dispondrá de información precisa para identificar oportunidades de mejora en
su intervención pedagógica y compartir con los padres de familia los resultados de
cada uno de sus alumnos, con la finalidad de socializar el trabajo de la escuela,
fortalecer la idea de comunidad escolar y orientar el apoyo familiar.
En síntesis, se busca mejorar el aprendizaje de los alumnos de educación primaria y
secundaria de nuestro país proporcionando información útil y oportuna para facilitar la
planeación de la enseñanza; orientar la intervención educativa y estimular la
participación de los padres de familia en la tarea educativa.
Este ejercicio inédito, sin precedente alguno en nuestro país y en sistemas educativos
internacionales con cifras similares a las de México, indudablemente arrojará múltiples
beneficios a los agentes y gestores educativos e incluso a los tomadores de
decisiones, entre los cuales se destacan:
A los Docentes y directivos escolares:
Apoyarlos en la detección de áreas de oportunidad en las prácticas
pedagógicas.
Proveerles de información para el diseño de cursos de capacitación.
Proporcionarles indicadores de rendimiento académico para la autoevaluación
del centro escolar.
Permitirles identificar fortalezas académicas, para transformarlas en
experiencias susceptibles de ser compartidas.A los Padres de familia y
estudiantes:Ofrecerles información respecto del nivel de logro obtenido por los
estudiantes y los contenidos educativos.
Proporcionarles información sobre los resultados obtenidos por el alumno, el
grupo y la escuela y en general de los centros escolares del país.
Identificar las fortalezas académicas que los estudiantes poseen, para que
sean estimuladas y reconocidas por los padres de familia.
A las Autoridades educativas:
Proporcionarles información por alumno, grupo y centro escolar, así como
indicadores de rendimiento escolar, susceptibles de emplearse para evaluar
programas educativos, así como para definir y valorar las políticas educativas.
Aportarles elementos que pueden ser utilizados en sus tareas de planificación
y programación de recursos humanos, materiales y financieros.
Rasgos distintivos con otros programas evaluativos internacionales y nacionales
Se detectan algunos rasgos distintos de ENLACE con otros programas evaluativos
tales como Programa para la Evaluación Internacional de los Estudiantes, PISA por
sus siglas en inglés (Programme for International Student Assesment) promovido y
organizado por la Organización de Cooperación y Desarrollo Económico (OCDE) o los
Exámenes de la Calidad y el Logro Educativos (EXCALE) desarrollados por el Instituto
Nacional para la Evaluación de la Educación (INEE).
En el caso de PISA, se monitorean los resultados de los sistemas educativos de los
países participantes en términos de logros de los estudiantes. Hace énfasis en la
evaluación de las habilidades requeridos por los estudiantes para desempeñarse
adecuadamente en su vida diaria independientemente si fueron adquiridas o no en el
trayecto escolar. Su grupo objetivo es la población de quince años. Por otra parte,
EXCALE es una evaluación sistémica de los aprendizajes de los estudiantes del
Sistema Educativo Mexicano.
Por lo anteriormente mencionado es distinguible que ENLACE mide el resultado del
trabajo escolar de cada alumno. Tanto PISA como EXCALE son muestrales. En otras
palabras, A diferencia de PISA, ENLACE mide el trabajo escolar y a diferencia de
EXCALE se evalúa el resultado de cada alumno y proporciona información por grados,
grupos y centros escolares.
b).- Instrumentación
ENLACE mide los conocimiento y habilidades cognitivas de los alumnos en
establecidos en los planes programas de estudio oficiales en las asignaturas de
Español y Matemáticas. En primaria se aplica en los grados de tercero a sexto y en
secundaria en tercero.
Características de las pruebas ENLACE:
Objetivas porque su metodología de calificación es precisa y preestablecida
además proporciona una referencia de comparación nacional y contra un
criterio externo.
Centradas en el conocimiento ya que tratan de reflejar el resultado del trabajo
escolar. Su enfoque está apegado a los planes y programas de estudio
oficiales vigentes.
Estandarizadas considerando que su administración se hace en condiciones
iguales para todos los examinados.
De opción múltiple para automatizar el procesamiento de la información y se
descarta el uso de preguntas abiertas.
La aplicación es autoadministrable y controlada.
La extensión es de 50 reactivos como mínimo y 70 como máximo para cada
asignatura-grado. El contenido de las pruebas responderá al diseño explicitado
en la matriz de especificaciones para cada asignatura-grado. La mencionada
matriz de especificaciones se ajustará a los contenidos establecidos en los
planes y programas de estudios oficiales vigentes.
Tomando en cuenta la necesidad de proporcionar información por alumno no se
emplean diseños matriciales. Por lo tanto cada prueba tiene la extensión suficiente
para constituir una muestra representativa de los contenidos propios de los planes y
programas de las asignaturas evaluadas en cada grado.
Con la finalidad de garantizar la comparación, cada año se evalúan en pretest los
reactivos a utilizarse de manera operativa al año siguiente. Para este fin se administra
a una muestra representativa de alumnos recibe, además de la prueba general,
algunos bloques correspondientes a la prueba en pretest con el propósito de poner a
prueba un conjunto de ítems suficientemente grande como para asegurar la
construcción del año siguiente.
Considerando que se realizará una evaluación censal, a todos los alumnos de los
grados evaluados, no es posible reutilizar los reactivos. Esto imprime una
característica a la prueba de alta volatilidad lo cual implica la necesidad de construir el
mismo volumen de reactivos cada año. Para satisfacer esta necesidad de
disponibilidad de ítems se requiere la constitución de un Banco Nacional de Reactivos
se convoca anualmente a participar a instituciones públicas y privadas para alimentar
este banco así como la construcción de una herramienta informática que permita
automatizar el almacenamiento, consulta, acceso elaboración y validación de los
reactivos.
Elaboración de Reactivos
Se elaboraron Tablas de Contenidos y Especificaciones para el proceso de
elaboración de los reactivos que integraron las pruebas de ENLACE. Contempla el
tema, contenido y las especificaciones respectivas para cada uno de los grados para
el caso de matemáticas. En el caso de español se consideran el tipo de texto,
contenido curricular, las líneas de evaluación y las especificaciones.
A partir de estas tablas, se elaboran los reactivos de acuerdo a un Manual de Normas
en cuanto a su contenido (lo relativo al campo de estudio que trata un área o disciplina
determinada) y estructura (procedimiento para elaborar reactivos de opción múltiple).
Una vez elaborados los reactivos se someten a revisión de profesores de todo el país
y expertos en contenido y currículum en un Taller de Jueceo con la finalidad evitar
algún tipo de sesgo, determinar la calidad individual y colectiva de los reactivos;
ajustarlos a las normas; constituir una muestra representativa y suficiente del dominio
de conocimientos a evaluar.
También se realiza un estudio piloto en una muestra de alumnos para valorar el
comportamiento de los reactivos a fin de asegurar el cumplimiento de estándares de
calidad internacional esperados.
Con la información resultante en el jueceo y el piloteo, se define un marco
metodológico y se realiza un análisis de los reactivos centrado principalmente en la
selección de aquéllos que proporcionan mayor información. Se eliminan los reactivos
de dificultad con valores extremos y se calcula la cantidad de varianza que aporta el
ítem al total del test o prueba (covarianza). De esta manera, se seleccionan los
mejores ítems a fin de integrar la prueba definitiva y contar con mayores elementos
para fundamentar su inclusión en la versión final del examen.
Adicionalmente a las pruebas se elaboran los instrumentos Cuestionarios de contexto
para ser respondidos por
Padres de familia. Son dirigidos a una muestra y se les solicita información
relativa al contexto sociocultural de la familia
Alumnos. También se dirigen a una muestra para recabar información con
respecto a hábitos que inciden el proceso de aprendizaje.
Docentes. También se dirigen a una muestra para identificar los factores que
inciden en el procese de enseñanza.
Directores. Se les ofrece de manera censal en donde se desarrolla la
aplicación con la finalidad de obtener datos del contexto, social y cultural de la
escuela.
El fin último de estos cuestionarios es el desarrollo de estudios de factores asociados
al logro académico de los estudiantes.
c).- Logística de Aplicación
Este etapa inicia con la planeación, organización y presupuestación del levantamiento
de datos se realiza con varios meses de anticipación se reúnen periódicamente las
instancias responsables de evaluación federales y locales para planear. Se definen las
normas y las condiciones de aplicación (fechas, sesiones, procedimientos de control,
logística, financiamiento, entre otros); la organización y las estrategias para el
levantamiento de la información; la capacitación de quienes fungen como
Coordinadores de la Aplicación en el conocimiento y manejo de los materiales así
como en la función a desempeñar y la manera de organizar los materiales a fin de ser
distribuirlos regionalmente.
En todas las entidades federativas participan los directivos y supervisores escolares
así como padres de familia a quienes se les invita como testigos de la aplicación. Se
redactan actas para documentar las condiciones en como se lleva a cabo el
levantamiento de la información en lo general y la administración de las pruebas en lo
particular.
La SEP provee los recursos financieros necesarios para la distribución de materiales y
otros costos adicionales. Partiendo de las bases de datos oficiales se toman en cuenta
las estadísticas de alumnos, grupos, escuelas y su ubicación geográfica para elaborar
un proyecto de presupuesto nacional desagregado por entidad federativa con la
finalidad de requerir la autorización del techo financiero de las autoridades federales. A
su vez, cada entidad federativa diseña una estrategia de aplicación. En base a ella
elabora su proyecto de presupuesto de operación.
Después del ensamble de la prueba final, se elaboran diversos documentos asociados
para informar a todos los participantes (autoridades educativas federales y locales
responsables de la evaluación, directivos, docentes, alumnos y padres de familia) la
función por desempeñar. También son útiles para organizar y controlar y administrar
los instrumentos de medición. Todos los materiales de evaluación y asociados se
envían para su reproducción, armado y distribución a las entidades federativas.
A continuación se describe estos materiales:
1.- Un díptico con las características generales del levantamiento de la información. Se
les entrega a todos los participantes en el proceso de aplicación. Ahí se les da a
conocer sintéticamente los propósitos de la evaluación, los días, sesiones y horarios
de aplicación entre otros datos.
2.- Un díptico con las normas operativas de la aplicación describiendo las funciones de
los diversos participantes y los tiempos planeados para la realización de todas y cada
una de las actividades programadas.
3.- Un documento para el Coordinador Operativo en la entidad federativa en donde se
especifican sus funciones como responsable de la evaluación y su vinculación con los
demás participantes. Este documento se utiliza también para regular las funciones de
los Coordinadores Regionales.
4.- Un Manual para el Coordinador de Aplicación en la escuela mediante el cual se le
explican las normas a las que debe apegarse el levantamiento y las funciones que
debe realizar antes, durante y después de la aplicación.
5.- Una Guía para el Docente-Aplicador en la cual se le describe la forma en cómo
deben administrarse los exámenes.
6.- Una guía para el Padre-Supervisor en donde se detallan sus funciones como
observador al interior del grupo. Cada Padre-Supervisor deberá elaborar una carta
compromiso para su participación en el proceso y para tal fin se le anexa el formato
respectivo.
7.- También se emplean diversos formatos para la organización y control del
levantamiento.
Una documento en donde se registran las cantidades y tipos de materiales
recibidos por la instancia responsable de la impresión, empaquetado y
distribución a las ciudades capitales de las entidades federativas.
Un formato para la entrega y recepción de los materiales en la entidad
federativa para ser llenado por el Coordinador Operativa para asentar la forma
en como serán distribuidos los materiales al interior de la entidad federativa
(por regiones, municipios, según sea el caso).
Un formato para el control de la aplicación en la escuela con la finalidad de
tener el control de la entrega de los materiales a los docentes encargados de
administrar las pruebas a los estudiantes.
Un formato para el control de la aplicación en el aula con el propósito de
identificar los números de folio de las pruebas asignados a los alumnos.
Un acta para registrar las probables irregularidades que se susciten en la
escuela durante la aplicación. Es decir, registrar cualquier situación anómala
que afecte el desarrollo de la aplicación del examen y que violenten las normas
y lineamientos preestablecidos.
Una acta de entrega de materiales de parte cada Coordinador Operativo en las
entidades federativas a la instancia responsable de ENLACE. Se enlistan los
tipos de materiales y las cantidades que se remiten para su procesamiento.
Considerando las particularidades de las escuelas administradas por el
Consejo Nacional de Fomento Educativo (CONAFE), conocidas genéricamente
como Cursos Comunitarios, se emite un documento similar ex profeso para
estos casos. En estas escuelas la figura de Coordinador de Aplicación cumple
estas funciones además de las de Docente-Aplicador ya que la norma
establecida señala que debes intercambiarse entre grupos los maestros.
Asimismo se les entrega un díptico con las funciones que debe realizar el
Instructor-Aplicador.
Se integra una base de datos nacional, con información de los alumnos, grados, grupos y
escuelas a evaluar. Se identifican a alumnos con nombre y CURP. Se lleva a cabo una
validación de la información que envían las entidades federativas contra la base de datos
de la SEP.
Se establecen las Normas Operativas para la Aplicación con el fin de garantizar una
igualdad de condiciones en el proceso. Estas normas regulan aspectos como fechas de
aplicación, cantidad y duración de las sesiones, procedimientos de control, reglas de
aplicación –como intercambio de grupo entre maestros-, levantamiento de actas en caso de
irregularidades (acta de irregularidades.PDF), así como características y funciones de los
participantes, tales como: Coordinador operativo , Coordinador de aplicación, Docente
aplicador. Este año se promovió la participación de al menos dos padres de familia para
fungir como observadores de la aplicación en el aula, además de haber contado con la
participación de 2,200 observadores externos de instituciones privadas educativas y
empresariales.
Se diseña e imprimen las pruebas a partir de las bases de datos por entidad federativa. El
empaquetado de los materiales se realiza por centro escolar. Las cajas se flejan y sellan
para garantizar su apertura hasta el momento de aplicación. Durante este proceso se
llevan a cabo revisiones de una muestra de caja. Los materiales se envían a las entidades
federativas, quienes los distribuyen a las escuelas.
Se lleva a cabo el Reclutamiento y selección de coordinadores de aplicación. Se les
capacita en el conocimiento y manejo de los materiales así como en la función a
desempeñar y la manera de organizar los materiales a fin de ser distribuirlos
regionalmente. Al concluir este proceso, se les aplica una evaluación.
El coordinador de aplicación se presenta a las escuelas. En presencia del Director y
padres de familia verifica los sellos, distribuye los materiales en cada aula y verifica que
los maestros se intercambien de grupo. En caso de detectar alguna anomalía procede al
levantamiento del acta de irregularidades. Deja las pruebas en la escuela y entrega las
hojas de respuesta a las autoridades educativas estatales, quienes las remiten a la
Secretaría de Educación Pública.
d).- El procesamiento de la información
El procesamiento de la información consistió en la lectura óptica de los materiales con
tecnología especial para tener la información de cada examinado con puntos de
verificación y control rigurosos. Se revisan las respuestas dadas por los estudiantes.
Se realiza una validación para detectar hojas de respuesta poco confiables,
empleando dos metodologías para la detección de copia.
La calificación toma como base una escala subyacente, basada en la Teoría de
Respuesta al Item (TRI) utilizando el modelo de tres parámetros (adivinación, dificultad
y discriminación). Se le asigna a cada alumno un valor en puntaje no sólo por la
cantidad de respuestas correctas sino de cuáles se respondieron. Este valor se
presenta de forma estandarizada en una escala con media 500 y desviación estándar
100 para cada grado asignatura. Es decir, se define una escala independiente para
cada grado-asignatura. Por lo tanto, los resultados de todos los años y en cada grado
se expresan en la misma escala.
Según el grado de dificultad de las preguntas se establecen cuatro niveles de logro:
El más bajo, Insuficiente, significa que el alumno necesita adquirir los conocimientos y
desarrollar las habilidades de la asignatura evaluada.
El segundo, Elemental, significa que el alumno requiere fortalecer la mayoría de los
conocimientos y desarrollar las habilidades de las asignatura evaluada.
El Siguiente nivel, Bueno, significa que el alumno muestra un nivel de dominio
adecuado de los conocimientos y posee las habilidades de la asignatura evaluada.
El nivel más alto, Excelente, significa que el alumno posee un alto nivel de dominio de
los conocimientos y las habilidades de la asignatura evaluada.
Se realiza una validación para detectar patrones similares de respuesta. Se emplearon
dos métodos al interior de los grupos:
Se emplearon 2 métodos para la detección de copia al interior de los grupos.
El método K-index: Este método se basa en la comparación de los trenes
de respuestas de los alumnos al interior de un grupo, toma en cuenta las
coincidencias de las respuestas incorrectas de los alumnos al interior de
cada grupo escolar. El valor que se obtiene es la probabilidad de que dos
individuos presenten coincidencias. Para esto se utiliza la proporción de
respuestas a cada opción de cada pregunta. Para determinar el punto de
corte, se llevó a cabo una simulación con información generada de manera
aleatoria con proporciones de copia determinadas a priori. El punto de corte
que se utilizó a partir de los resultados de la simulación fue de 4.369 X 10-6,
esto es que los alumnos con probabilidad igual o menor a lo señalado se
clasificó como copia.
El método de Diferencias. Este método es el que ha utilizado la DGEP en
sus aplicaciones. Éste se basa en la comparación de los trenes de
respuestas de los alumnos al interior de un grupo escolar. Se obtiene para
cada alumno la cantidad de diferencias mínimas respecto a las respuestas
de otro alumno que aplicó el examen en el mismo grupo escolar. El número
de diferencias mínimo para cada grado fue diferente, debido a que los
exámenes son de extensión diferente para cada grado, un alumno se
identificó como resultado poco confiable cuando presentó máximo 10 en 3º,
12 en 4º, 11 en 5º, 12 en 6º y 13 en 3º de secundaria. Se anexa cuadro de
copia por entidad y modalidad.
Estos dos métodos fueron complementarios y estos registros no se consideraron
para la obtención de las medias por entidad, ni para los conteos de nivel de logro.
Por último, la equiparación consiste en ubicar los reactivos de las diferentes
aplicaciones de cada asignatura en una misma escala. ENLACE utiliza el
método de poblaciones comunes en lugar de reactivos comunes.
En este sentido, el diseño de equiparación de ENLACE comprende 6 pruebas
con estructura matricial que fueron aplicadas a una muestra de los alumnos de
los cursos correspondientes en 2006 y que durante 2007 constituyeron la
“forma operativa”.
El diseño de equiparación elegido exige la calibración conjunta de los ítems
comprendidos en las formas de pretest· y operativas (2006) y las operativas
del 2007.
Las calibraciones así obtenidas permiten asignar puntuaciones independientes
para cada grado-asignatura en la misma escala que la de 2006.
La bondad del proceso de equiparación depende de que las puntuaciones
obtenidas para los alumnos de un grado utilizando sólo los ítems de la forma
operativa o el conjunto de los ítems de la forma operativa y los de pretest
coincidan.
Para comprobar este procedimiento, se obtuvo la correlación para cada grado-
asignatura de las variables Medida y Medida2. La primera corresponde a las
estimaciones de las puntuaciones de cada individuo en la asignatura y grado
correspondiente, basándose estrictamente en las calibraciones de los ítems operativos
de 2006 por separado. La Medida corresponde a las estimaciones basadas en el
procesamiento conjunto de los ítems operativos y de pretest.
e).- Difusión y Divulgación.
Los resultados obtenidos se publicaron en la página de internet
http://www.enlace.sep.gob.mx. Los resultados de los estudiantes se presentan en
puntaje y niveles de logro. Se les dan a conocer las respuestas dadas por los
estudiantes identificando las correctas, incorrectas y no contestadas por asignatura.
Adicionalmente se les proponen algunas lecciones y actividades para los estudiantes y
maestros productos de tres proyectos realizados por la Universidad Pedagógica
Nacional y la Universidad Nacional Autónoma de México:
Mi Ayudante. Esta página dirigida para los profesores y se les sistematizan por
contenidos temáticos los materiales educativos (libro del alumno, libro del maestro,
ficheros, etc.)
PUEMAC (Proyecto Universitario para Enseñanza de las Matemáticas Asistida por
Computadora). Esta dirigida a los estudiantes y a través de ella se le presenta formas
interactivas de aprender determinados temas.
E-21. Al igual que PUEMAC con la diferencia de que incluye otras asignaturas,
además de las matemáticas, y se apega a la Reforma de la Educación Secundaria.
También se imprimieron los informes de los resultados y se entregaron a los padres de
familia, docentes y directivos escolares. Adicionalmente a estos informes se
entregaron. Estor informes se acompañaron de otros materiales como una Guía de
Trabajo para los docentes para el uso de los resultados de ENLACE, un Modelo de
Autoevaluación de Centros Escolares y discos compactos para su sistematización
además de otros dos discos compactos con la información de PUEMAC y Mi
Ayudante. La divulgación ha sido a través de cursos capacitación, talleres,
conferencias, etc.
Consideraciones Finales
ENLACE trastoca muchos ámbitos: La formación de docentes, la innovación
educativa, el currículum, la gestión escolar. Es importante conocer los principios
fundamentales de esta evaluación y usarla para los fines para los cuales fue creada.
Puede ser un buen instrumento para identificar las áreas de mejora pero también
puede convertirse en algo indeseable.
Considero relevante mencionar que está en los actores centrales del hecho educativo
aprovechar la información valiosa que aporta y desdeñar otros fines extraños. Para
ello, debemos darle los elementos necesarios para convertir ENLACE en una
verdadero instrumento de cambio