contenido - inee · mo de la calidad de los servicios que se ofrecen en la educación básica y...
Post on 25-Feb-2020
1 Views
Preview:
TRANSCRIPT
1
Instituto N acional para laEvaluación de la Educación
Contenido
Presentación
Importancia de la evaluación
¿Qué son los Excale?
Niveles, grados y dominios curriculares
Otras áreas sujetas a evaluación
Cuestionarios de contexto
Plan de evaluación del aprendizaje
Proceso general de diseño, construcción, aplicación y validación de los Excale
Esquema del proceso de diseño, construc-ción, aplicación y validación de los Excale
Preguntas para la refl exión
Para saber más sobre el tema
En México la cobertura educativa de la educación básica se ha ido resolviendo gradualmente y, des-de hace más de una década, el interés se ha cen-
trado en indagar qué es lo que efectivamente aprende la población escolar y cuáles son los aprendizajes bási-cos que forman parte del repertorio de los estudian-tes.
Ante esta perspectiva, recientemente en nuestro país, al igual que en muchos otros, se estableció un sis-tema nacional de evaluación (el Instituto Nacional para la Evaluación de la Educación), el cual emplea pruebas diseñadas para tal efecto, además de cuestionarios de contexto que buscan encontrar las variables explicati-vas de los resultados obtenidos.
En ese sentido, una de las funciones del INEE es eva-luar lo que los estudiantes mexicanos aprenden del cu-rrículo nacional. Es decir, proveer información del logro educativo de los alumnos a lo largo del tiempo, así co-mo de la calidad de los servicios que se ofrecen en la educación básica y media superior.
Para el INEE el propósito fundamental de la evalua-ción del aprendizaje es proporcionar un conocimien-to general del rendimiento académico de los estudian-tes a niveles estatal y nacional, así como de los factores más importantes que influyen en éste.
A fin de lograr este objetivo, el INEE planteó la ne-cesidad de contar con instrumentos teóricos y técnica-mente sólidos; idea que se consolidó con el desarrollo de una nueva generación de pruebas nacionales -de-nominadas Exámenes de la Calidad y el Logro Educati-vos (Excale)-, mismas que se utilizaron por primera oca-sión en junio de 2005.
Por lo anterior, el propósito del presente folleto es, precisamente, difundir a toda la sociedad la naturaleza de los Excale, su plan de evaluación a largo plazo y la metodología utilizada para su desarrollo.
Presentación
2
¿Qué son los Excale?largo del tiempo entre di-versos grupos de alum-nos y áreas temáticas; y d) mejorar la evaluación a gran escala de las discipli-nas evaluadas.
Para fundamentar la propuesta de esta nue-va generación de prue-bas (Excale), el INNE reali-zó una revisión cuidadosa del conocimiento acumu-lado en materia de eva-luación, así como de los resultados que han apor-
tado las evaluaciones na-cionales e internacionales en las últimas décadas.
De esta manera, el IN-NE se adhiere a plantea-mientos que han recibido el consenso de la comu-nidad educativa interna-cional, como son: desta-car la complejidad e inte-racción de los múltiples factores que intervienen y afectan el logro edu-cativo; centrarse en las oportunidades de apren-dizaje de cada estudian-te; colectar información de las diversas esferas so-cioeducativas (la escuela,
el aula y el estudiante); y, finalmente, reconocer el hecho de que los conte-nidos de aprendizaje se manifiestan en tres dife-rentes niveles o tipos de currículo: formal (referido a los aprendizajes que el sistema educativo de un país se propone alcanzar), implementado (relativo a la interpretación o adap-tación que cada docente realiza en aula), y logrado (expresado por la apro-piación de conocimien-tos, habilidades y actitu-des que cada estudian-te, de manera individual,
Para el INEE los resultados de la evaluación del aprendizaje tienen sentido en la medida que impacten positivamente en los diferentes
ámbitos o esferas educativas, entre otras: 1) las po-líticas educativas nacionales y estatales; 2) el currí-culo nacional, los programas de estudio y los libros de texto; 3) las prácticas pedagógicas; 4) la adminis-tración y gestión escolares; 5) la formación y actua-lización docente; y 6) la opinión de especialistas y de la sociedad en general.
Para lograr dicho impacto, el INEE ha definido que la evaluación que realice debe partir de las si-guientes premisas:
Ser considerada como una evaluación externa del Sistema Educativo Nacional.Ser de alta calidad y estar apegada a normas y prácticas reconocidas internacionalmente. Proporcionar información válida y confiable con respecto a los resultados de aprendizaje que lo-gran los estudiantes en México.Asegurar el respeto por la equidad de género y de grupos étnicos.Ser realizada de manera clara y transparente, mediante la participación colegiada de docen-tes y especialistas.Estar legitimada académica y socialmente.Proporcionar elementos que ayuden a mejorar la calidad del sistema educativo del país.
Importancia
de la evaluación
Los resultados que produzcan los Exca-le deben permitir: a)
construir una visión ge-neral de lo que los estu-diantes aprenden como resultado de su escolari-zación formal; b) conocer los puntos fuertes y débi-les del currículo nacional, atendiendo variables co-mo grado y asignatura, modalidad educativa, gé-nero y estrato social; c) es-tablecer comparaciones del rendimiento escolar, así como de las tenden-cias de aprendizaje a lo
3
Instituto N acional para laEvaluación de la Educación
logra con respecto a los contenidos que fueron enseñados en su grupo).
Para lograr sus objeti-vos, el INNE ha definido que sus pruebas a gran escala tengan tres carac-terísticas distintivas: 1) ser de tipo criterial, 2) estar
alineadas al currículo na-cional, y 3) tener un dise-ño matricial.
1. Criteriales. Los Exca-le se diseñan para evaluar el dominio que tienen los estudiantes de una disci-plina en particular. Es decir, el interés central es cono-
cer el nivel de aprendiza-je de contenidos específi-cos que logran los alum-nos como producto de su escolarización formal. Por lo anterior, cada contenido temático se evalúa a pro-fundidad, procurando in-cluir todos los conocimien-
tos, habilidades y actitudes de importancia para la dis-ciplina y grado escolar.
2. Alineadas al currí-culo. El propósito de las pruebas es evaluar los aprendizajes pretendidos por el currículo mexica-no. El hecho de contar en nuestro país con un plan de estudios nacional pa-ra la educación básica, así como también con li-bros de texto gratuitos y una formación magiste-rial bastante uniforme, fa-cilita la identificación de lo que aprenden los estu-diantes en relación con lo que se espera de ellos.
3. Matriciales. Toman-do en consideración que los alumnos sólo pueden trabajar eficientemente dentro de ciertos límites de tiempo y, por otra par-te, que la pretensión de las pruebas nacionales es evaluar todos los conteni-dos curriculares importan-tes, los Excale se diseñaron con un modelo matricial, en el cual los reactivos que conforman una prueba se agrupan en bloques pa-ra ser distribuidos unifor-memente entre los alum-nos, por lo que no todos contestan las mismas pre-guntas. Por esta razón, ca-be decir que la calificación individual del estudiante pierde precisión, no así los resultados agregados a ni-vel de escuela, entidad fe-derativa, modalidad edu-cativa y estrato social; to-dos ellos centro de interés del INEE.
Niveles, grados y dominios curriculares
El INNE considera que la evaluación del aprendizaje que realice ha de cen-trarse en asignaturas propiamente instrumentales, tales como Matemáti-cas y Español, además de aquéllas que cubren grandes áreas curriculares
relacionadas con las Ciencias Naturales y Sociales, identifi cando en cada caso la selección idónea de contenidos conforme al currículo nacional y al grado es-colar a evaluar.
Respecto a los grados, se seleccionaron estratégicamente los terminales de cada ciclo escolar y los que representan momentos de inflexión en el desarrollo del aprendizaje en nuestro sistema educativo. De este modo, se han estableci-do las siguientes áreas temáticas para cada nivel y grado escolar.
NIVELES, GRADOS Y ASIGNATURAS A EVALUAR
Nivel Grado Dominio curricular
Preescolar 3º Razonamiento NuméricoRazonamiento Verbal
Primaria 3º y 6º
MatemáticasEspañolCiencias NaturalesCiencias Sociales
Secundaria 3º
MatemáticasEspañolCiencias NaturalesCiencias Sociales
Bachillerato 3º
MatemáticasEspañolCiencias Humanidades
4
Cuestionarios de contexto
Los resultados gene-rados a partir de la aplicación de los Ex-
cale permiten conocer lo que los estudiantes apren-den del currículo ofi cial; sin embargo, esta información no es sufi ciente para en-tender las diferencias en el logro académico. Por ello, el INEE desarrolla como es-trategia paralela los cues-tionarios de contexto, cu-yo objetivo primordial es identifi car los factores im-portantes asociados al ren-dimiento escolar.
Estos cuestionarios están basados en el Mo-delo de Logro Educa-tivo del INEE, en el que se plantea que el rendi-miento académico de los estudiantes se deriva de una compleja red de va-
riables que interactúan entre sí para desencade-nar efectos diferenciales en los distintos niveles del sistema educativo. En suma, este modelo pro-pone que el logro acadé-mico está poderosamen-te influenciado por el es-fuerzo coordinado de los alumnos, la familia, los docentes y las autorida-des educativas.
Al igual que las prue-bas de logro, los instru-mentos de contexto se construyen siguiendo li-neamientos y estándares apegados a una metodo-logía robusta, en la que investigadores del INEE y un cuerpo colegiado de expertos externos deter-minan por consenso los dominios que deben in-
cluir los cuestionarios que se aplican a los estu-diantes evaluados, a sus maestros y al director de escuela.
Bajo este panorama, la información del contexto debe ser sufi-ciente y rele-vante para lo-grar conocer las diferencias en el aprendizaje (por género, grupos étnicos, nivel socioeconómico, situación laboral, moda-lidad o estrato educati-vo, y entidad federati-va). Asimismo, permiti-rá identificar los factores personales, económicos y sociales que influyen en el aprendizaje.
El sistema integrado de información de los cuestionarios de con-texto posibilitará, final-mente, dar sustento a las políticas públicas que consideran, en su hacer, las prácticas más eficaces de alumnos, padres de familia, do-centes y directores.
5
Instituto N acional para laEvaluación de la Educación
Criterios generales para revisar la calidad técnica de las evaluaciones del aprendizaje que desarrolla el INEE, basados en la propuesta del National Center for Research on Evaluation, Standards and Student Testing (CRESST) de los Estados Unidos.
Alineamiento con el currículo nacional. Los Excale deberán reflejar los resultados de aprendizaje que se espera que los estudiantes logren del currículo de cada asignatura y grado escolar.
Calidad del contenido. Los contenidos de los Excale deberán representar los conoci-mientos y habilidades más importantes del currículo, de tal forma que representen un re-to para los estudiantes.
Complejidad cognitiva. Los reactivos de los Excale buscarán evaluar diversos grados de habilidades cognitivas, tales como la comprensión de conceptos y procedimientos, la so-lución de problemas y el pensamiento crítico.
Evaluación significativa. Las tareas evaluativas deberán tener sentido para que los estu-diantes aprecien su valor e importancia.
Propiedad del lenguaje. Las preguntas de los Excale deberán estar claramente redactadas, utilizando un lenguaje apropiado para el nivel y grado escolar que cursa el estudiante.
Transferencia y generalización. Los resultados de las evaluaciones deberán permitir ha-cer generalizaciones válidas respecto a la habilidad para realizar otras tareas escolares.
Consecuencias pretendidas. Las evaluaciones del aprendizaje servirán para evaluar al Sistema Educativo Nacional y de ninguna manera deberán tener efectos indeseables para los alumnos evaluados, ni para sus escuelas, directores o maestros.
Plan de evaluación del aprendizaje
PROGRAMA DE EVALUACIÓN DEL APRENDIZAJE DEL INEE
Grados Años escolares
2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
3º Preescolar E, M E, M E, M
3º PrimariaE, MN, S
E, MN, S
E, MN, S
6º Primaria E, M E, ME, MN, S
E, ME, MN, S
E, M
3º Secundaria E, ME, MN, S
E, ME, MN, S
E, ME, MN, S
3º Bachillerato E, ME, MN, S
E, MN, S
Evaluaciones especialesPEMPECL
Nota: E = Excale-Español; M = Excale-Matemáticas; N = Excale-Ciencias Naturales; S = Excale-Ciencias Sociales; PEM = Pruebas de Estándares Nacionales de Matemáticas; PECL = Pruebas de Estándares Nacionales de Comprensión Lectora. Las áreas sombreadas indican muestras nacionales sin representatividad estatal.
Dado que la mi-sión del INEE es evaluar al Siste-
ma Educativo Nacional; que los resultados de aprendizaje no cambian signifi cativamente de un año a otro; y que la apli-cación de pruebas na-cionales a gran escala es muy onerosa, se diseñó un esquema de evalua-ción racional con el cual se puede hacer un se-
guimiento de las gene-raciones de estudiantes a lo largo de su escolari-dad.
El plan de evaluación de los Excale se basa en un programa cuatrianual; es decir, un mismo grado escolar se evaluará cada cuatro años. La implemen-tación de este esquema se hará en forma gradual, de manera que poco a po-co se evaluarán todos los
grados y áreas temáticas, de conformidad con la si-guiente tabla.
Como se puede apre-ciar, en 2005 se aplicarán los Excale de Español y Matemáticas en los gra-dos de 6º de primaria y 3º de secundaria. En 2006 se evaluará, además, Cien-cias Sociales y Ciencias Naturales en 3º de prima-ria. En 2007 se evaluarán las habilidades de Len-
guaje y Matemáticas en 3º de preescolar. Final-mente, en 2008 se eva-luarán las cuatro asigna-turas mencionadas en 3º de secundaria, así como Matemáticas y Español en bachillerato. A partir de 2009 se aplicarán en for-ma regular todas las áreas previstas en el modelo.
Esta propuesta de-ja abierta la posibilidad de que se apliquen otras
evaluaciones de aprendi-zaje; como puede ser una prueba de Comprensión Lectora y otra de Habili-dad Matemática para al-gunas modalidades edu-cativas y grados escolares que el Consejo Técnico creyera conveniente (por ejemplo, las Pruebas de Estándares Nacionales de 6º de primaria y 3º de se-cundaria para el estudio comparativo 2000-2005).
6
Con el fi n de evaluar los aprendi-zajes que logran los estudiantes del Sistema Educativo Nacional,
es preciso desarrollar una serie de li-neamientos y estándares rigurosos en la construcción de instrumentos de evaluación educativa, lo cual implica la adaptación de una metodología ro-busta que haya probado su validez para los propósitos que se persiguen. Éste es el caso del modelo de cons-trucción de pruebas criteriales alinea-das al currículo, donde un aspecto central es el trabajo colegiado de es-pecialistas y docentes (para mayor in-formación consultense los trabajos de Anthony Nitko, Ronald Hambleton y James Popham, entre otros).
Esta metodología, adaptada en los Exámenes de la Calidad y el Logro Edu-cativos (Excale) que el Instituto Nacional para la Evaluación de la Educación (INEE) diseña, establece un proceso definido en siete fases y 16 etapas, mismas que se muestran gráficamente en el diagrama que aparece al final del folleto. En dicho diagrama se puede apreciar: a) el proce-so completo para diseñar, construir, apli-car y validar los Excale; b) los diversos es-pecialistas y comités que intervienen en el proceso; c) los principales productos que se generan en cada etapa; y d) el sis-tema de supervisión cíclico que garanti-za el control de calidad.
Es importante señalar que, por lo ge-neral, los productos de cada etapa sir-ven como insumos de la siguiente, por lo que en el propio proceso de genera-ción de este tipo de pruebas se contem-pla, en parte, el proceso de validación de las mismas.
EXAMEN DE LA CAEDUCATIVO DE ESPA
LÍNEA DE EVALUACIÓN
¿QUÉ SE E
Comprensión de lectura
Estrategias de comp
Refl exión sobre los códigos escritos
Conocimientos en usgramática
RedacciónEscritura de palabrasde textos descriptivoargumentativos
* Estos seis reactivos son de respuesta construida y
Fase I: Plan generalLa primera fase del proceso tiene
el propósito principal de establecer un plan de pruebas a largo plazo, por lo que resulta de particular importan-cia la participación del Consejo Técni-co del INEE y de los asesores externos en medición y validación; todos ellos encargados de definir los propósitos, principios y referentes conceptuales de los cuales dependerán las fases restantes del proceso. Esta fase cons-ta de tres etapas:
En la primera se diseña el Plan Ge-neral de Evaluación del Aprendizaje, donde se plasman: el Marco de Refe-rencia de los Excale; el proceso de di-seño, construcción, aplicación y vali-dación de pruebas; el diseño matricial; y el modelo de niveles de logro. Asi-mismo, se elabora el marco teórico y el programa para validar las interpreta-ciones de los Excale.
En la segunda etapa se diseñan y elaboran los cuestionarios de contex-to –dirigidos a estudiantes, docentes y directores de escuela– que se aplicarán junto con las pruebas para poder expli-car los resultados de aprendizaje que se obtengan.
Finalmente, en la tercera etapa, se diseña y desarrolla un sistema auto-matizado de información para alojar, mantener y manejar la base de datos (estructura curricular de la asignatu-ra, tabla de contenidos de la prueba, especificaciones y plantillas de reacti-vos, resultados de la validez, paráme-tros del piloteo de reactivos, etcétera) relativa a las distintas pruebas que se vayan generando.
Fase II: Estructuración de los Excale
A partir de esta fase todas las etapas del proceso son específi-cas para cada Excale. Ésta tiene el propósito de diseñar y justificar la estructura del examen y, por otra parte, elaborar las especificaciones de todos los reactivos que confor-marán la prueba. En ella participan especialistas en currículo, en la en-señanza de la disciplina, autores de libros de texto, representantes de asociaciones, así como docen-tes en ejercicio de los distintos es-tratos y modalidades educativos.
En esta fase se establecen la cuar-ta y quinta etapas del proceso. En la cuarta etapa, el Comité Académico de cada prueba, formado por un nú-mero deseable de diez especialistas, realiza un análisis curricular exhaus-
Proceso general de diseño, construcción, aplicación y
validación de los Excale
7
Instituto N acional para laEvaluación de la Educación
ma detallada las características de cada reactivo. Es decir, se precisa el conteni-do a evaluar, su ubicación en el currí-culo, su importancia, la habilidad inte-lectual requerida al alumno y el forma-to del reactivo mismo (características de forma, fondo, redacción, etcétera), de tal manera que esta descripción sir-va como guía o modelo para construir reactivos similares y, hasta donde sea posible, equivalentes. El número de es-pecificaciones para cada prueba es va-riable, éste depende de la extensión cu-rricular de la asignatura.
Fase III: Construcción de reactivos de los Excale
Esta fase del proceso corresponde a la elaboración de los reactivos, su vali-dación y piloteo. Su propósito es produ-cir reactivos de alta calidad para la con-formación de la prueba. Dentro de esta fase se ubican la sexta, séptima y octava etapas del proceso.
En la sexta etapa, miembros del Co-mité Constructor de Reactivos de cada prueba, constituido aproximadamen-te por una decena de autores de libros de texto y docentes en ejercicio, formu-lan de manera independiente tres reac-tivos para cada especificación, los cua-les serán revisados por otros especialis-tas conforme al manual de revisión de reactivos, haciendo énfasis principal-mente en la congruencia reactivo-espe-cificación. El proceso se repite hasta que los reactivos quedan terminados a satis-facción de los revisores.
Los reactivos resultantes se pre-edi-tan, se alojan en el sistema informáti-co, y pasan al Comité de Validez y Ses-go con el cual se inicia la séptima eta-pa del proceso. Cabe resaltar que dicho Comité es constituido por docentes en ejercicio de las 32 entidades federativas del país, y representantes de los diver-sos estratos y modalidades educativos. Este Comité revisa cada reactivo en re-lación a su contenido (pertinencia curri-cular, grado de dificultad, etcétera), re-
LIDAD Y EL LOGRO ÑOL 6º DE PRIMARIA
EVALÚA?ESPECIFICACIONES
Y REACTIVOS
rensión68
so de ortografía y 52
s, copia y redacción os, narrativos y 6*
se califican con 40 rúbricas.
tivo de la asignatura y grado corres-pondientes, a fin de generar una retí-cula (tabla de doble entrada) donde se explicite la estructura curricular y los contenidos que son esenciales y muy importantes de evaluar. A par-tir de la retícula, se elabora la tabla de contenidos de la prueba y la jus-tificación de los contenidos curricu-lares que la conforman. En esta tabla se establecen las áreas temáticas o componentes, los temas y los subte-mas que derivan en los contenidos curriculares y habilidades intelec-tuales a evaluar, así como la forma y número de reactivos con que serán evaluados.
En la quinta etapa, el Comité Elaborador de Especificaciones de Reactivos de cada prueba, forma-do por una decena de especialistas y docentes, define y describe en for-
dacción (lenguaje utilizado y construc-ción sintáctica, entre otros) y sesgos cultural y de género (características de contenido y redacción que favorezcan o perjudiquen a algún grupo social). Ca-da reactivo es revisado independiente-mente por dos profesores y, en caso de discrepancia, por un grupo de ocho do-centes quienes deben llegar a consen-so. En su caso, se proponen recomen-daciones para mejorar los reactivos o se justifica su eliminación.
En la octava etapa se realiza un es-tudio piloto con una muestra intencio-nal de aproximadamente cinco mil es-tudiantes por prueba con el fin de cono-cer el comportamiento psicométrico de los reactivos y detectar los problemas que enfrentan los alumnos al respon-derlos. Este estudio piloto ensaya las condiciones reales de aplicación, misma que incluye la capacitación a coordina-dores y responsables de evaluación, la aplicación de encuestas a alumnos, do-centes y directores, así como la logísti-ca completa de los estudios evaluativos. Esta etapa culmina con la lectura de las respuestas de los estudiantes y la con-formación de una base de datos con los resultados obtenidos.
Fase IV: Conformación de los ExcaleEl propósito de esta fase es editar los
cuadernillos de cada una de las pruebas nacionales con la información recabada en las dos etapas anteriores. En esta fase se seleccionan los reactivos que confor-marán las pruebas nacionales, se agru-pan en bloques y se definen las diversas formas de cada uno de los Excale.
Para llevar a cabo dicha selección, se efectúa un análisis del comportamiento psicométrico de los reactivos (en diver-sos grupos de estudiantes) y se conside-ran las observaciones efectuadas por los docentes en cuanto a su validez de conte-nido y ausencia de sesgo. Este análisis se realiza considerando los estándares de las pruebas criteriales, es decir, dándole ma-yor preferencia al aspecto de contenido
8
EXAMEN DE LA CAEDUCATIVO DE ESPAÑ
LÍNEA DE EVALUACIÓN
¿QUÉ SE E
Comprensión de lectura
Estrategias de comp
Refl exión sobre los códigos escritos
Conocimientos en usgramática
Redacción
Escritura de palabrasenunciado y redacciódescriptivo, uno narrargumentativo
* Estos seis reactivos son de respuesta construida y
EXAMEN DE LA CAEDUCATIVO DE MATEMÁ
Eje temático ¿Qué se eva
Los números, sus relaciones y sus operaciones
Números naturales, fy decimales
MediciónLongitudes, áreas, vopeso, tiempo
GeometríaUbicación espacial, fi cuerpos geométricos
Tratamiento de la información
Organización de la inen tablas, diagramas,barras y pictogramas
Predicción y azarIdentifi cación de la mmenor probabilidad d
Procesos de cambioTablas de variación py cálculo de porcenta
Total 6
EXAMEN DE LA CAEDUCATIVO DE MATEMÁT
Área ¿Qué se eva
AritméticaNúmeros naturales, dracionales, con signooperaciones; proporc
ÁlgebraPreálgebra, monomiopolinomios, ecuacionfunciones
GeometríaEstudio de la forma, smedición y cálculo ge
Presentación y tratamiento de la información
Tablas y gráfi cas, medtendencia central
ProbabilidadConteo y cálculo de probabilidades
Total 5
que al comportamiento psicométrico. En la décima etapa, se forman distin-
tos bloques de reactivos y con ellos dis-tintas formas. Los bloques se conforman con una pequeña cantidad de reactivos, que en conjunto puedan ser contesta-dos en 15 minutos y compartan ciertas características que los hagan equivalen-tes en cuanto a su contenido, nivel de di-ficultad y varianza, así como en su exten-sión. Una vez conformados los bloques de reactivos, éstos se combinan con el fin de armar distintas formas, de tal mane-ra que todos los bloques se encuentren, hasta donde sea posible, en igual pro-porción y distribución. El número de for-mas puede variar de una prueba a otra. Finalmente, a cada forma se le agrega el cuestionario de contexto del alumno pa-ra mandar a imprimir los cuadernillos re-sultantes, y con esto, concluir la fase.
Fase V: Aplicación de los ExcaleLa quinta fase del proceso tiene co-
mo propósito principal administrar las pruebas considerando una muestra na-cional de estudiantes, así como los cues-tionarios de contexto que serán aplica-dos a alumnos, docentes y directores. Asimismo se desarrolla la captura de los resultados en una base de datos para su posterior análisis.
Durante esta fase se diseña la mues-tra poblacional de alumnos de confor-midad a los estudios evaluativos que se planeen realizar; se capacita al personal encargado de la coordinación de la apli-cación en las entidades federativas; se distribuyen los cuadernillos y, finalmen-te, se aplican las pruebas nacionales a las muestras poblacionales seleccionadas.
El diseño de estas muestras se reali-za en la etapa décimo primera; acción que implica la selección de escuelas y estudiantes de las 32 entidades fede-rativas del país. El diseño depende de muchos factores, entre los que se en-cuentran: el marco muestral disponi-ble, los propósitos del(los) estudio(s) a realizarse, la representatividad de las
subpoblaciones que se deseen evaluar (rurales, urbanas, privadas, etcétera), el grado de confianza de la muestra, y el tipo de diseño matricial de las prue-bas. Una vez diseñada la muestra alea-toriamente, ésta se valida con la infor-mación que proporcionan las escuelas seleccionadas.
En la décimo segunda etapa se reali-za el proceso de capacitación a los coor-dinadores y responsables de la aplica-ción, se distribuyen los cuadernillos a las 32 entidades federativas, se adminis-tran las pruebas a los estudiantes selec-cionados, se aplican los cuestionarios de contexto a docentes y directores de escuelas de los dos niveles educativos y, por último, se leen y capturan los resul-tados de las pruebas y cuestionarios en una base de datos.
Para el caso de los reactivos de res-puesta abierta donde sólo se utiliza una muestra nacional sin representati-vidad estatal, como es el caso de la sec-ción de Redacción de la prueba de Es-pañol, dos jueces califican cada reacti-vo con base en una rúbrica o protocolo de calificación para que, posteriormen-te, se agreguen los resultados a la base de datos correspondiente.
Esta etapa del proceso es muy deli-cada, pues en ella se presenta una di-versidad de problemas que fácilmente podrían invalidar los resultados de las evaluaciones.
Fase VI: Análisis e interpretación de resultados de los Excale
Esta fase consta de tres etapas y tie-ne como propósito final la elaboración de los informes técnicos sobre los resul-tados de las pruebas y los cuestionarios de contexto; elementos que serán el sus-tento de los reportes anuales relaciona-dos con el aprendizaje que publique el INEE. Para lograr esta meta, es necesario realizar un análisis inicial de los resulta-dos, a fin de establecer los niveles de lo-gro de los estudiantes e incluirlos en los reportes técnicos correspondientes.
9
Instituto N acional para laEvaluación de la Educación
LIDAD Y EL LOGRO OL 3º DE SECUNDARIA
EVALÚA?ESPECIFICACIONES
Y REACTIVOS
rensión64
so de ortografía y 48
s, copia de un ón de un texto rativo y uno
6*
se califican con 40 rúbricas.
LIDAD Y EL LOGRO ÁTICAS 6° DE PRIMARIA
alúa? Especifi caciones Reactivos
raccionarios 34 76
olúmenes, 19 28
guras y s
12 12
nformación , gráfi cas de
s 3 4
mayor o de eventos
6 6
proporcional ajes
7 10
81 136
LIDAD Y EL LOGRO TICAS 3° DE SECUNDARIA
alúa? Especifi caciones Reactivos
decimales, y sus
cionalidad 35 44
os y nes, 37 37
sólidos, eométrico
36 49
didas de 4 4
5 5
117 139
Así, en la etapa décimo tercera, se rea-lizan los primeros análisis estadísticos, tanto de estudiantes como de reactivos, poniendo especial énfasis en el compor-tamiento psicométrico de estos últimos.
En la etapa décimo cuarta, el Comité de Establecimiento de Niveles de Logro de cada prueba, compuesto por auto-ridades educativas, especialistas en cu-rrículo, autores de libros de texto y do-centes en ejercicio, define las categorías y niveles de logro de los estudiantes de acuerdo con: 1) la ejecución que en “teo-ría” se esperaría de ellos y 2) los resulta-dos reales en la prueba respectiva. Con esta información se definen los puntos de corte (puntuaciones mínima y máxi-ma) de cada nivel de logro.
Finalmente, en la etapa décimo quin-ta, se elaboran los informes técnicos so-bre los resultados de aprendizaje de los estudiantes evaluados, consideran-do para ello las variables de contexto y de oportunidades de aprendizaje apor-tadas en los cuestionarios aplicados a alumnos, docentes y directores.
De especial interés para el INEE es conocer el logro del aprendizaje en las distintas subpoblaciones muestreadas (entidades federativas; estratos y moda-lidades educativos), así como los conte-nidos que los estudiantes dominan del currículo nacional. No está por demás subrayar que la información generada en esta etapa nutre significativamente la publicación anual del INEE: La Calidad de la Educación Básica en México.
Fase VII: Validación de los ExcalePor último, esta fase consta de una
sola etapa y tiene como meta aportar información diversa sobre la validez de las pruebas y las interpretaciones que se deriven de su uso.
Aunque para fines prácticos la eta-pa décimo sexta se ubica al final del pro-ceso de construcción de las pruebas, en realidad inicia desde el momento en que termina el diseño de una prueba (cuar-ta etapa). Podemos ver dos momentos
de los estudios de validez de los Excale: 1) durante el proceso mismo de su cons-trucción y 2) posterior a su terminación.
En el primer caso, los estudios van di-rigidos a evaluar la calidad y congruencia de cada una de las etapas del proceso, y tiene como finalidad verificar el proce-so mismo, así como generar información tendiente a corregir los problemas detec-tados mientras se construye la prueba.
En el segundo caso, los estudios tie-nen el propósito de aportar evidencias de la veracidad y limitaciones de las inter-pretaciones que se generen como resul-tado del uso de una prueba. Su finalidad es doble: por un lado, legitimar académi-camente las evaluaciones generadas por el INEE y, por el otro, iniciar un proceso de mejora de las pruebas con base en la in-formación y documentación de estos es-tudios. El proceso de validación de una prueba nunca termina; sólo se van acu-mulando evidencias de la veracidad o fal-sedad de sus interpretaciones.
Conclusiones
Para conocer el logro educativo de los estudiantes mexicanos, el INEE plantea la necesidad de contar con
instrumentos teóricos y técnicamente só-lidos, que se basen en normas y prácticas de alta calidad utilizadas internacional-mente. Esta premisa ha consolidado el diseño de una nueva generación de prue-bas nacionales –los Excale– que se basa en el trabajo colegiado de diversos comi-tés, donde intervienen docentes de todas las entidades federativas del país, así co-mo especialistas nacionales y extranjeros de reconocido prestigio académico. Con estos instrumentos podremos proporcio-nar información válida y confi able que ayude a la toma de decisiones destinada a mejorar la calidad del sistema educati-vo del país.
Un compromiso ineludible que tiene el INEE con la sociedad en general, es ha-cer transparentes todas sus actividades evaluativas; razón por lo cual se publica esta información.
10
INEE
/ Sub
dire
cció
n PE
: ana
liza
resu
ltado
s Se
lecc
ión
de
Sí
Ase
sore
s: a
porta
n id
eas.
INEE
/ Dire
ccio
nes:
pre
para
n pl
an.
Con
sejo
Téc
nico
: rev
isa,
com
plem
enta
y
apru
eba
plan
.
INEE
/ Sub
dire
ccio
nes:
det
erm
inan
cara
cter
ístic
as d
e la
bas
e de
dat
os.
Espe
cial
ista
s en
base
de
dato
s: d
iseñ
an e
l si
stem
a.IN
EE/ P
erso
nal T
écni
co: a
poya
.
INEE
/ Per
sona
l Dire
ctiv
o: c
apac
ita c
omité
s.C
omité
s: c
onst
ruye
n re
activ
os.
Espe
cial
ista
s: re
visa
n re
activ
os.
INEE
/ Per
sona
l Téc
nico
: apo
ya.
Con
sejo
Técn
ico
apru
eba
INEE
y re
viso
res
apru
eban
Junt
aD
irec
tiva
apru
eba
Etapa 1 Etapa 3 Etapa 6
Dis
eño
del
Plan
Gen
eral
de
Eva
luac
ión
Dis
eño
y de
sarr
ollo
del
si
stem
ain
form
átic
o
Elab
orac
ión
dere
activ
os
Espe
cial
ista
s:el
abor
an p
ropu
esta
s.IN
EE/ D
irecc
ione
s, Su
bdire
ccio
nes:
revi
san
y co
mpl
emen
tan
prop
uest
as.
INEE
/ Per
sona
l Téc
nico
: ela
bora
o a
dapt
a cu
estio
nario
s.
Etapa 2
Dis
eño
y el
abor
ació
n de
cu
estio
nario
sde
con
text
o
Plan
Gen
eral
de
Eval
uaci
ón d
el
Apr
endi
zaje
Sist
ema
de
info
rmac
ión
(bas
e de
da
tos d
e re
activ
os)
Car
peta
s con
tres
re
activ
os p
or
espe
cific
ació
n
Cue
stio
nario
s de
Con
text
o de
l alu
mno
, do
cent
e y
dire
ctor
Sí SíNo No
INEE
/ Per
sona
l Dire
ctiv
o: c
apac
ita c
omité
s.C
omité
s: d
iseñ
an p
rueb
as.
INEE
/ Per
sona
l Téc
nico
: apo
ya.
Etapa 4
Dis
eño
de
las p
rueb
as
INEE
/ Per
sona
l Dire
ctiv
o: c
apac
ita c
omité
s.C
omité
s: e
labo
ran
espe
cific
acio
nes d
e re
activ
os.
Espe
cial
ista
s: re
visa
n es
peci
ficac
ione
s.
Etapa 5
Espe
cific
a-ci
ón d
e re
activ
os
Tabl
as d
e co
nten
idos
de lo
s Exc
ale
Car
peta
s con
las
espe
cific
acio
nes d
e re
activ
os d
e lo
s Ex
cale
SíNo
SíNo No
SÍNo
INEE
/ Per
sona
l Dire
ctiv
o: c
apac
ita c
omité
s. C
omité
s: v
alid
an c
onte
nido
s y a
usen
cia
de
sesg
o.
Etapa 7
Valid
ació
n de
re
activ
os
INEE
/Coo
rdin
ació
nPr
ueba
s:co
rrig
ere
activ
os.
INEE
/Sub
dire
cció
nPE
:def
ine
mue
stra
.Im
pren
taco
ntra
tada
:im
prim
ecu
ader
nillo
s.IN
EE/P
erso
nalT
écni
co:c
apac
itaa
coor
dina
dore
s.A
lgun
as C
oord
inac
ione
s Est
atal
esde
Eval
uaci
ónap
lican
pilo
teos
dere
activ
os.
Etapa 8
Pilo
teo
de
reac
tivos
y
cues
tiona
rios
de c
onte
xto
Car
peta
con
reac
tivos
va
lidad
os, p
or c
orre
gir
y el
imin
ados
Bas
e de
dat
os c
on
resu
ltado
s de
pilo
taje
Sí SíNo
No
INEE
apru
eba
INEE
apru
eba
INEE
apru
eba
Fas
e I
Plan
eaci
ónge
nera
l
Fas
e II
Est
ruct
urac
ión
de lo
s Exc
ale
Fas
e II
IC
onst
rucc
ión
de
reac
tivos
de
los E
xcal
e
INEE
revi
sore
sap
rueb
an
INEE
revi
sore
sap
rueb
an
11
Instituto N acional para laEvaluación de la Educación
INEE
/ Dep
to d
e Ed
ició
n: a
rma
prue
bas.
Impr
enta
con
trata
da: i
mpr
ime
cuad
erni
llos.
INEE
/ Dep
to E
dici
ón: s
uper
visa
.
Etapa 10
Edic
ión,
arm
ado
e im
pres
ión
Bas
e de
dat
os c
on lo
s re
sulta
dos c
aptu
rado
s
Sí
Espe
cial
ista
s de
mue
stre
o: e
labo
ran
prop
uest
a.IN
EE/ S
ubdi
recc
ión
PE: r
evis
a y
apru
eba
prop
uest
a.IN
EEap
rueb
a
Etapa 11
Mue
stre
opo
blac
iona
l
de p
ilote
o.IN
EE/ S
ubdi
recc
ione
s de
Prue
bas:
sele
ccio
na
reac
tivos
.IN
EE/ S
ubdi
recc
ión
PE: c
onfo
rma
bloq
ues
de re
activ
os.
Etapa 9
reac
tivos
e
inte
grac
ión
de
bloq
ues y
fo
rmas
Dis
eño
de m
uest
ra
pobl
acio
nal p
or g
rado
es
cola
r
Rea
ctiv
os se
lecc
iona
dos
en b
loqu
es p
ara
conf
orm
ar lo
s Exc
ale
Sí No
Fas
e IV
Con
form
ació
n de
lo
s Exc
ale
Fas
e V
Apl
icac
ión
de lo
sE
xcal
eTo
das l
as C
oord
inac
ione
s Est
atal
es d
e Ev
alua
ción
coo
rdin
an a
plic
ació
n.Pe
rson
al c
ontra
tado
: apl
ica
prue
bas.
INEE
/ Per
sona
l Dire
ctiv
o: c
apac
ita c
omité
s. C
omité
s: e
stab
lece
n ni
vele
s de
com
pete
ncia
.IN
EE/ P
erso
nal T
écni
co: a
poya
.
Etapa 12 Etapa 14Adm
inis
traci
ónde
las p
rueb
as
y ca
ptur
a de
re
sulta
dos
Est
able
-ci
mie
nto
deni
vele
sde
logr
o
INEE
/ Sub
dire
cció
n PE
: ana
liza
resu
ltado
s y
elab
ora
repo
rtes t
écni
cos y
psi
com
étric
os d
ere
activ
os.
Etapa 13
Aná
lisis
inic
iale
s de
resu
ltado
s
Bas
e de
dat
os c
on lo
s re
sulta
dos c
aptu
rado
s
Esta
blec
imie
nto
de
nive
les d
e co
mpe
tenc
ia
y pu
ntos
de
corte
Rep
orte
de
com
porta
mie
nto
psic
omét
rico
de
reac
tivos
Rea
ctiv
ospa
rade
scar
tar
Rea
ctiv
ospa
rapu
blic
ar
Rea
ctiv
ospa
rare
visa
r
Fas
e V
IA
nális
is e
in
terp
reta
ción
de
res
ulta
dos d
e lo
s Exc
ale
Fas
e V
IIVa
lidac
ión
de lo
s E
xcal
e
Ase
sore
s en
valid
ació
n: p
ropo
nen
estu
dios
.IN
EE/ I
nves
tigad
ores
: rea
lizan
est
udio
s.
Etapa 16
Estu
dios
de
valid
ez d
e pr
oces
os y
re
sulta
dos d
e la
s pr
ueba
s
Rep
orte
s téc
nico
s de
estu
dios
de
valid
ez d
e lo
s Exc
ale
Ase
sore
s: h
acen
pro
pues
tas s
obre
tipo
s de
anál
isis
a re
aliz
ar.
INEE
/ Sub
dire
cció
n PE
: ana
liza
resu
ltado
s y
elab
ora
info
rme
prel
imin
ar.
INEE
/ Sub
dire
cció
n de
Pru
ebas
: rev
isa
y en
rique
ce in
form
e.IN
EE/D
irecc
ión
PM: i
nter
pret
a re
sulta
dos y
e
stru
ctur
a in
form
e.
Etapa 15Elab
orac
ión
de
info
rme
técn
ico
de
resu
ltado
s de
apre
ndiz
aje
Info
rme
técn
ico
de
resu
ltado
s de
apre
ndiz
aje
No
SíNo SíNo
INEE
apru
eba
INEE
apru
eba
INEE
apru
eba
SíNo
SíNo
SíNo
INEE
apru
eba
INEE
apru
eba
INEE
apru
eba
Rei
nici
ode
la
fase II
12
Preguntas para la reflexiónDocentes
Si su escuela ha participado en los Excale ¿cómo describe su experiencia al respecto? ¿Qué aspectos conviene mejorar en la organización del operativo para la aplicación de
pruebas y cuestionarios de contexto? ¿Considera usted que los contenidos que manejan los Excale es-
tán bien seleccionados y son suficientes para medir los cono-cimientos y habilidades curriculares? ¿Considera que las preguntas de los cuestionarios de
contexto son suficientes y pertinentes para conocer la realidad familiar y escolar de los estudiantes?
¿Cómo reaccionan los estudiantes ante las prue-bas?
¿Cuáles serían sus propuestas para mejorar los as-pectos relacionados con la selección de contenidos de las pruebas nacionales y de los cuestionarios de contexto?
Padres
¿Qué información tiene usted sobre las pruebas na-cionales de matemáticas y comprensión lectora que se aplican en algunas escuelas del país?
En caso de que su (s) hijo (s) haya (n) sido evaluado (s) mediante estas pruebas ¿ha (n) comentado con usted
la experiencia tenida al respecto? ¿Encuentra positiva la aplicación de pruebas que reali-zan instancias externas a la escuela para identificar los
logros educativos de los alumnos? ¿Tiene usted alguna recomendación para obtener mayor pro-
vecho de la aplicación de las pruebas nacionales (los Excale)? ¿Sabía usted que a la par de las pruebas, también se aplican cues-
tionarios para conocer aspectos del entorno familiar y escolar de los alumnos?
En caso de que su (s) hijo (s) haya (n) sido encuestado (s) y conozca (n) de manera general la información que se pretende obtener, ¿tendría al-
guna propuesta que nos permitiera mejorar la calidad de los datos?
top related