una visión de la evaluación

Una visión de la evaluación

Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval)

6 de diciembre de 2007Campeche, Campeche

Rafael VidalDirector General

1

1. Herramientas para mejorar las instituciones sociales

2. Decisiones de política educativa sin información

3. Fascinación por los rankings

4. La evaluación, la mejor herramienta

Por qué evaluar

2

1. Hechos destacados en la evaluación educativa

2. Las pruebas aplicadas en México

3. Clasificación por su impacto

4. El uso inadecuado de la evaluación

5. La evaluación adecuada

6. La evaluación en Ceneval

Contenido

3

Hechos destacados en el mundo (1)

• El College Board (1900)

• La revista Psychometrika (1935)

• El Educational Testing Service –ETS- (1948)

• George Rasch desarrolla un modelo logístico

para medición (50’)

• La Asociación Internacional para la Evaluación

del Desempeño Educativo –IEA- (1958/1967)

• Establecimiento de CITO en Holanda (1968)

• El National Assessment of Educational

Progress –NAEP- (1969)

Hechos destacados en la evaluación educativa

Las pruebas aplicadas en México

Clasificación por su impacto

El uso inadecuado de la evaluación

La evaluación adecuada

La evaluación en Ceneval

4

Hechos destacados en el mundo (2)

• Establecimiento del INCE (luego INECSE) en

España (1994)

• Decisión de crear PISA (1997)

• Primera aplicación de PISA (2000)

• Ley No Child Left Behind, USA (2002)

• IEA - Primer Estudio Internacional de

Matemáticas –FIMS- (1964)

• IEA - Segundo Estudio Internacional de

Matemáticas –SIMSS- (1980-81)

• IEA - Tercer Estudio Internacional de

Matemáticas y Ciencias –TIMSS- (1995)5







6

Hechos destacados en México (1)

• Primeras pruebas estandarizadas de ingreso (60’s) • Pruebas de acceso a la secundaria –SEP- (1973) • Creación del Ceneval (1994)

• Acuerdo Secretarial de la SEP No. 200 (1994) • Pruebas IDANIS (90´s)







7

Hechos destacados en México (2)

• Pruebas de Estándares Nacionales 1998

• México decide participar en TIMSS (1995) Nota: el primer estudio es de 1964

• México retira los resultados nacionales del TIMSS (1996)

• México participa en PISA (2000)

• Creación del INEE (2002)







8

¿Qué hemos aprendido? Ya aprendimos a:

• Hacer las evaluaciones • Hacerlas mal • Tenerles miedo • Ocultarlas • Hacerlas bien • No tenerles miedo • Publicarlas







9

Las preguntas que muchos se hacen son:

• Si ya está PISA, ¿para qué queremos LLECE?

• Si ya está Ceneval, ¿para qué queremos al INEE?

• Si ya está Excale, ¿para qué queremos Enlace?

• Si ya está Exani, ¿para qué queremos Enlace?







10

Algunas pruebas aplicadas en México

Nom-bre Dirigido a Uso

Tipo de prueba

Im-pacto

PISA

Evaluar al sistema educativo al término de la educación obligatoria.Comparación con otros países.

Impactar a la política educativa. MatricialMuestra

Bajo

LLECE

Evaluar 2 grados de la Educación Básica. Comparación con países de la región.

Impactar a la política educativa. MatricialMuestra

Bajo

Excale

Evaluar el sistema educativo en sus diferentes grados (1 ó 2 grados cada año).

Impactar a la política educativa.Retroalimentar al curriculum.

MatricialMuestra

Bajo

Enlace

Evaluar a los estudiantes.

Informar a estudiantes, a padres de familia y a la sociedad sobre el desempeño de los estudiantes.

UniformeCensal

Bajo

EXANI

Evaluar a los aspirantes a educación media, superior y postgrado.

Ayudar a las decisiones de admisión.Informar a escuelas de procedencia.

Prueba bajo petición de

parte

Alto

EGEL Evaluar a los estudiantes.

Conocer la preparación de los estudiantes al final de la licenciatura.

Uniforme o individuali-

zada

Alto/ Bajo







11

Clasificación por su impacto:

Bajo impacto

• No tienen consecuencias directas de

importancia para el sustentante y se

utilizan, generalmente, para valorar los

resultados obtenidos de un currículum

académico, programa o acciones

realizadas en un centro escolar.

• Pruebas para evaluar centros escolares

y sistemas educativos (pueden hacer

uso de un diseño matricial).







12

Clasificación por su impacto:

Alto impacto

• Tienen consecuencias directas para el

sustentante y se utilizan para valorar los

repertorios adquiridos por los individuos.

• Pruebas para evaluar individuos (no pueden

hacer uso de un diseño matricial).







13

Ejemplos de pruebas de alto impacto y bajo impacto

Alto impacto Bajo impacto

IDANIS, EGEL, EXANI, EXABA Excale, ENLACE, Preexani, PISA

Uso: decisiones académicas Uso: evaluar centros, programas o sistemas

Normativas o criteriales Criteriales

Equivalentes (se pregunta lo mismo a todos los sustentantes)

Modulares (hay muchas versiones)

Por demanda (generalmente no son representativas)

Censo o muestra (representativas)

Conocimientos o habilidades generales o alineadas al currículo

Alineadas al currículo

Comparabilidad individualComparabilidad a nivel centro escolar, estado o país

Error de medida importante a nivel individual

Error de medida importante a nivel centro escolar







14

¿Qué deseamos evaluar?

Pero: ¿evaluamos personas porque queremos

saber cómo están las personas o evaluamos

personas porque queremos saber cómo están

los centros o instituciones o más aún el sistema

educativo?







Uso inadecuado de la información

• La evaluación como castigo

• Pruebas diseñadas para un propósito, pero utilizadas para otro.

• Obsesión por los rankings

15







Ejemplos de pruebas con un propósito, utilizadas para otro:

- El Exani que es una prueba de ingreso (alto impacto, no curricular, baja cobertura del dominio evaluado), utilizada para calificar a la institución que hace la admisión.

- El IDANIS (prueba de ingreso a la educación secundaria, baja cobertura del dominio evaluado), utilizada para clasificar a los estados de la república.

16







Ejemplos de pruebas con un propósito, utilizadas para otro:

- El EGEL que es una prueba de egreso, utilizada para clasificar sin más a las instituciones.

- La prueba PISA que es un instrumento matricial que se aplica a una muestra, utilizada para premiar a estudiantes.

17







Problemas con los rankings (ordenamientos)

• Condiciones para establecer un ranking:

– Tratar igual a los iguales

– Contar con el universo completo de los objetos a ser clasificados o contar con muestras representativas (en el sentido técnico de esta expresión) de los grupos de objetos a ser clasificados.

18







19

Validez. Las pruebas se diseñan y construyen para

medir un dominio perfectamente identificado. La validez de los instrumentos de medición denota la congruencia que existe entre lo que se planeó medir y lo que se midió. Por ello, las inferencias que se realizan de los resultados son indicadores fehacientes del rasgo medido.

Confiabilidad. Los resultados de la evaluación son

consistentes, de tal forma que los cambios en los niveles de competencia de los sustentantes reflejan cambios en los puntajes obtenidos en la prueba.

Cuatro características esenciales de la evaluación (1)Hechos destacados en la evaluación educativa






20

Equidad. Los instrumentos de medición se

construyen de forma tal que no benefician a un grupo determinado. Consecuentemente se asume que las diferencias de los puntajes se deben a cambios en los niveles de competencia de los sustentantes, no a factores ligados a otras variables omitidas.

Pertinencia. Los instrumentos de medición tienen

una cobertura suficiente y relevante de los dominios en los que el sustentante debe mostrar su competencia.

Cuatro características esenciales de la evaluación (2)Hechos destacados en la evaluación educativa






En las evaluaciones válidas…

• El propósito de la evaluación está delimitado

• El dominio que se mide está claramente definido

• Las características de la población sustentante están identificadas.

• Los instrumentos se diseñan para dar cumplimiento al propósito de la evaluación.

• Se cuenta con la evidencia escrita y empírica de la validez de la medición.

• Las inferencias que se derivan de la evaluación se acotan a las bondades de los instrumentos de medición utilizados.

21







En las evaluaciones confiables…

• Rinde mediciones equivalentes

• Se cumple el dictum atribuido a Al Beaton:

“If you want to measure change, don’t change the measure”.

• Hay validez de escala (no hay redundancias ni huecos, se cubre el espectro de la población evaluada y las medidas son cuasiequidistantes).

22







En las evaluaciones equitativas…

• No hay sesgos:

– Ideológicos

– Raciales

– De género

– Regionales

• Existe igualdad en las condiciones de aplicación

• Se usan procedimientos estandarizados para el manejo del material de examen, la lectura y la calificación.

23







En las evaluaciones pertinentes…

• Dependiendo del propósito de la prueba, la relevancia de los contenidos seleccionados para el examen son los esenciales de:

– La práctica profesional

– Del currículo académico

– De la habilidad o competencia

24







25

Alternativa al ranking

A efecto de que las instituciones cuenten con

parámetros que les permitan compararse con otras

instituciones similares o a través del tiempo, se podría:

1. Establecer niveles de desempeño.

2. Definir lo que significa estar en cierto nivel de

desempeño.







26

Misión del Ceneval

El Ceneval es una institución de carácter

eminentemente técnico cuya misión es

promover la calidad de la educación

mediante evaluaciones válidas, confiables

y pertinentes de los aprendizajes, que

contribuyan a la toma de decisiones

fundamentadas, así como la prestación

de servicios relacionados.







27

Numeralia General Hechos destacados en la evaluación educativa






• Pruebas en operación (instrumentos diferentes):

162

• Consejos Técnicos: 38

• Consejeros Técnicos: Más de 700

• Personal de planta del Ceneval 398

• Sustentantes evaluados anualmente: Alrededor de 1,750,000

• Aplicaciones al año: 2,800

• Piezas impresas anualmente: 11 millones

• Hojas leídas anualmente: Alrededor de 5 millones

• Total de sustentantes evaluados desde 1994: Más de 19 millones

• Piezas impresas desde 1994: 120 millones

• Hojas leídas desde 1994: 57 millones

28

Numeralia 2006

- Reuniones de Consejos Técnicos: 110

- Exámenes aplicados (en papel): 1,649,888

- Número de aplicaciones: 2,873

- Instrumentos aplicados: 155

- Piezas impresas: 11,110,946

- Hojas leídas: (incluye Comipems) 4,582,000

- Total de exámenes en línea 106,259







29

• La evaluación es la mejor herramienta para mejorar las instituciones sociales.

• La evaluación no es un fin en sí mismo, es un medio para otros fines.

• Evaluar es más que medir pero se necesita medir bien para evaluar mejor.

Filosofía de trabajo (1)Hechos destacados en la evaluación educativa






Evaluar... Una buena medida para educar mejor

30

Ceneval es una institución técnica

• Ceneval se reconoce como una institución de carácter técnico, su trabajo y su empeño son técnicos.

• No es una institución política, ni de opinión, ni responde a consignas, corazonadas o sospechas.

• Los resultados que entrega y los juicios que emite se fundan en razones técnicas y metodológicas.

• Ésto obliga a una preparación y actualización constante.

• El diseño, construcción y operación de los instrumentos debe apegarse a estándares internacionales.

• Ceneval está obligado a orientar a los usuarios sobre los requisitos técnicos de las pruebas y sobre la mejor forma de interpretar los resultados de las evaluaciones.







Diseño

Construcción

Verificación

Ensamble

Preparación del proyecto

Diseño de instrumentos

Delimitación de contenidos

Elaboración especificaciones

Elaboración de reactivos

Planeación operativa

Cuestionario de contexto

Complementos

Aplicación

Calificación

Reportes

Revisión técnica

Validación externa reactivos

Revisión de estilo

Calibración reactivos piloto

Guías para sustentante

Manuales de aplicación

Integración de versionesRevisión editorial

Impresión

Diccionarios de datos

Rutinas de calificación

Recopilación y clasificación

Capacitación de aplicadores

Distribución de materiales

Aplicación del examen

Control de material de examen

Calificación sustentantes

Calibración reactivos

Niveles de logro

Lectura y corrección

Reportes a instituciones

Consolidación bases de datos

Reportes a sustentantes

Estudios de validación

= Cuerpo colegiado

Definición niveles desempeño

Piloteo de reactivos

Metodología Ceneval

31

32

El corazón de Ceneval son sus cuerpos colegiados

• La validez y la legitimidad de su quehacer descansa en sus órganos colegiados (Consejos Técnicos, Comités Académicos, elaboradores de reactivos, validadores, etc.).

• Los cuerpos colegiados deben ser representativos y deben de mantenerse renovados.

• La actividad de sus cuerpos colegiados debe estar reglamentada.













Comités académicos Función

1. DiseñadorDelimitar los contenidos específicos de un examen

2. Elaborador de especificaciones

Definir operacionalmente los contenidos específicos del examen

3. Elaborador de reactivos Elaborar los reactivos del examen

4. Validador de reactivosRevisar el contenido y construcción de cada reactivo

5. Delimitador de los puntos de corte

Establecer los puntos de corte y definir los niveles de logro

Cuerpos Colegiados

Consejo TécnicoOrganismo rector del

examen

34

Valores fundamentales

• Veracidad en los datos.

• Respeto a la confidencialidad de los individuos y de las instituciones.

• Honestidad en el manejo de la información.







35

Compromisos del Ceneval

• Nueva generación de pruebas

• Fortalecimiento de los Consejos Técnicos

• Alta capacidad técnica

• Atención esmerada













Horizonte de ampliación en el repertorio de los EGEL: evolución y tendencias en las carreras profesionales; criterios para fundamentar el desarrollo de un nuevo EGEL.Dr. Mario Vizcarra MendozaDirector del Área de las Ingenierías y las TecnologíasExámenes de habilidades profesionales transversales y de campos de conocimiento para carreras profesionales afines: características generales y posibilidades de desarrollo.Mtra. Rebeca Reynoso AnguloDirectora del Área de las Ciencias Sociales y las Humanidades

Líneas de investigación y estudios relacionados con los resultados del EGEL.

Mtro. Rafael Hernández GonzálezDirector del Área de las Ciencias de la Vida y la Conducta

Relevancia y posibilidades en la formación de cuadros expertos en las IES en la formulación y validación de reactivos.Lic. Catalina Betancourt CorreaJefa del Departamento de Producción de ReactivosLos informes de resultados de los EGEL como herramienta de retroalimentación para las IES: contenido, y posibilidades de uso.Mtra. Laura Delgado MaldonadoJefa del Departamento de Análisis PsicométricoLa operación de los EGEL: organización y perspectiva de las aplicaciones presenciales.Lic. Beatriz Jiménez AguilarDirectora general adjunta de OperaciónEl registro y la aplicación de los exámenes en línea.Ing. Socrátes Muñiz Zafra

Director General Adjunto de Tecnologías de la Información y la Comunicación

Mesa 5

Mesa 6

Mesa 7

Mesa 1

Mesa 2

Mesa 3

Mesa 4

Mesas de trabajo

[email protected]

Evaluar... Una buena medida para Evaluar... Una buena medida para educar mejoreducar mejor

Muchas gracias

una visión de la evaluación

Documents