la nueva generaciÓn de los egel: caracterÍsticas, ventajas y condiciones de uso

LA NUEVA GENERACIÓN DE LOS EGEL: CARACTERÍSTICAS, VENTAJAS Y

CONDICIONES DE USO

Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval)Dirección General Adjunta de los EGEL.

6 de diciembre de 2007Campeche, Campeche

Jorge Hernández Uralde Director General Adjunto de los

EGEL

CONTENIDO

1. Los Exámenes Generales para el Egreso de la Licenciatura• Propósito• Características • Alcance• Datos sobre su expansión• Delimitación de contenido

2. Revisión y actualización de los EGEL en operación• Justificación• Enfoque metodológico

3. La nueva Generación de los EGEL• Ventajas• Condiciones para su adecuada aplicación• Interpretación de resultados

4. Resumen

• El EGEL es una prueba nacional, especializada por carrera profesional, que tiene como objetivo…

– Identificar la medida en que los egresados de la Licenciatura cuentan con los conocimientos y habilidades esenciales para el inicio del ejercicio profesional en el país.

PROPÓSITO DEL EGEL

Los Exámenes de Egreso de Licenciaturas

La revisión y actualización de los EGEL en operación

La nueva generación de EGEL

CARACTERÍSTICAS DEL EGEL

ATRIBUTO DEFINICIÓN

Especializado por carrera profesional

Considera las particularidades de contenido y enfoque de una formación profesional particular. No incluye conocimientos y habilidades profesionales genéricos.

De alcance nacional

Considera los aspectos esenciales de la formación profesional. No está referido a un currículo en particular.

Estandarizado Cuenta con reglas fijas de diseño, elaboración, aplicación y calificación.

Criterial Se diseña con referencia a un estándar de desempeño preestablecido.

De máximo esfuerzo

Permite establecer el nivel de rendimiento del sustentante, sobre la base de que éste hace su mejor esfuerzo al sustentar la prueba.

Objetiva Tiene criterios de calificación unívocos y precisos, lo cual permite su automatización.

Sensible a la instrucción

Evalúa resultados de aprendizaje de programas de formación profesional, los cuales son una consecuencia de la experiencia educativa.




ALCANCE DEL EGEL

• Con el uso continuo y sistemático del EGEL se espera poder contar con información válida y confiable que contribuya a establecer, fundamentalmente, tres aspectos:

1. El grado de idoneidad de cada egresado con respecto a un estándar de formación nacional;

2. El nivel de eficacia y pertinencia de los distintos programas y modalidades de formación profesional que administran las IES;

3. Los indicadores de rendimiento a partir de los cuales, los organismos acreditadores respectivos, puedan identificar los méritos de cada programa de licenciatura en cada institución educativa.




EXPANSIÓN DE LOS EGEL

• Existen 33 EGEL en operación.

• El próximo año entrarán en operación tres más:

− Ciencias de la Comunicación

− Nutrición

− Biología

• En 2008 se iniciarán los estudios de factibilidad de otros seis exámenes.

• De 1994 a la fecha, más de 450, 000 egresados de la Licenciatura han sido evaluados por un EGEL.




EXPANSIÓN DE LOS EGEL Durante 2007:

• Más de 80, 000 egresados sustentaron alguno de los 33 EGEL en operación. Representando cerca del 40% del total del egreso nacional de las Licenciaturas relacionadas con estos EGEL.

• Los sustentantes del EGEL provienen de más de 300 IES, públicas y privadas, de todas las entidades federativas del país.

• Un número importante de estas IES han establecido en sus reglamentos de exámenes y titulación, la sustentación y aprobación del EGEL como requisito previo para la titulación.




DELIMITACIÓN DEL CONTENIDO DE LOS EGEL EN OPERACIÓN

• En la delimitación del contenido de la mayoría de los EGEL en operación, se puso en práctica una metodología, fundamentalmente, centrada en la oferta educativa de las IES.

1° Se identificaron los puntos en común de los perfiles profesionales de egreso y los contenidos de los planes de estudio de las licenciaturas;

2° De este conjunto de aspectos, se seleccionaron aquellos que se consideraron críticos para el ejercicio de cada profesión.

3° A partir de la importancia relativa de cada uno de estos aspectos, se determinó su peso específico en el examen.

4° A partir del nivel de profundidad con el que se estudian en la licenciatura, se determinó el nivel de complejidad cognitiva en que son evaluados.




DELIMITACIÓN DEL CONTENIDO DE LOS EGEL EN OPERACIÓN...

• Los supuestos que subyacen a este enfoque son:

1. Los planes y programas de estudios de la licenciatura están relacionados con las necesidades del ejercicio profesional;

2. Los contenidos de mayor importancia disciplinar o formativa suelen ser los que se comparten por los diferentes planes de estudios;

3. La calidad académica y profesional de los integrantes de los Consejos Técnicos y su cuerpos auxiliares, garantiza que los contenidos finalmente seleccionados, refieran a conocimientos y habilidades críticos para el inicio del ejercicio profesional.




JUSTIFICACIÓN

• La principal responsabilidad de una agencia dedicada al desarrollo y operación de instrumentos de evaluación consiste en asegurar...

– que la validez y confiabilidad de éstos sea una constante, es decir, que midan lo que deben medir, con exactitud, durante el tiempo que se mantengan en operación.

• Por ello, están obligadas a realizar, periódicamente (óptimamente cada cinco años o seis años) la revisión y actualización de los instrumentos que operan.




JUSTIFICACIÓN …

• En el caso del CENEVAL y los EGEL, la importancia que

tiene esta revisión y actualización se acrecienta, en virtud

de que:

– Las profesiones y los planes de estudio de formación

profesional, son campos dinámicos en constante

transformación;

– Nos encontramos en una etapa de aceptación y uso

generalizado de los EGEL por parte de las IES,

públicas y privadas, de todo el país.




IMPLICACIONES INSTITUCIONALES

• Realizar la revisión y actualización de los EGEL en operación, implica la puesta en práctica de un complejo proceso, metodológico, técnico y de generación de consensos en el que participan...

– Más de 600 expertos de IES, colegios y asociaciones profesionales e instancias empleadoras de todo el país, que integran los Consejos Técnicos de los distintos EGEL.

– Miles de académicos y profesionistas en ejercicio, vinculados con las respectivas licenciaturas y carreras profesionales, que responderán una encuesta de validación sobre tareas profesionales.




ENFOQUE PARA LA REVISIÓN Y ACTUALIZACIÓN

DEL CONTENIDO DE LOS EGEL

• Para fortalecer la objetividad del proceso de revisión y actualización de los EGEL en operación, se planteó seguir una metodología diferente:

– Centrada en la identificación de los puntos de encuentro entre la oferta educativa y los requerimientos del mundo del trabajo.

– Toma también en cuenta los puntos en común de los Currículos de la licenciaturas, pero teniendo un punto de partida distinto…

• la recuperación de lo que hacen las personas al enfrentar y resolver situaciones y problemas característicos de la profesión.




ENFOQUE PARA LA REVISIÓN Y ACTUALIZACIÓN

DEL CONTENIDO DE LOS EGEL… Se requiere, progresivamente, especificar:

1. El papel y las responsabilidades del profesionista en la sociedad en términos de funciones profesionales;

2. Las actividades profesionales típicamente involucradas en cada función profesional,

3. Las tareas que resultan críticas para el desarrollo de cada una de las actividades profesionales identificadas,

4. De estas tareas críticas, aquellas que se abordan en la mayor parte de los currículos de las licenciaturas respectivas del país,

5. Los conocimientos y habilidades que son esenciales para la adecuada realización de estas tareas profesionales.




ESTRUCTURA DEL EGEL

DEFINIR FUNCIONES PROFESIONALES

IDENTIFICAR LAS ACTIVIDADES

RELACIONADAS CON LAS FUNCIONES PROFESIONALES

DEFINIR LAS TAREAS CRÍTICAS DE CADA

ACTIVIDAD

IDENTIFICAR LOS CONOCIMIENTOS Y LAS HABILIDADES

IMPLICADOS EN LAS TAREAS

DEFINIR OPERACIONALMENTE LOS CONOCIMIENTOS

Y HABILIDADES

DETERMINAR Y ACOPIAR

FUENTES DE INFORMACIÓN

VALIDAR

SI

NO

VALIDAR

SI

NO

VALIDAR

SI

NO

VALIDAR

SI

NO

VALIDAR

SI

NO

PROCEDIMIENTO PARA LA REVISIÓN Y ACTUALIZACIÓN DEL EGEL

ENCUESTA PARA LA VALIDACIÓN SOCIAL DE LAS TAREAS PROFESIONALES

Objetivos de la encuesta:• Confirmar las tareas que deben ser consideradas para la

delimitación del contenido del EGEL• Determinar el peso específico que tendrán en el EGEL los

conocimientos y habilidades implicados en cada tarea profesional

• Recoger sugerencias sobre tareas que deben ser contempladas para la delimitación del contenido del EGEL




ESPECIFICACIÓN DE REACTIVOS

• La especificación de un reactivo es…

– La descripción detallada de lo que se espera que el sustentante sea capaz de realizar como evidencia de que posee un conocimiento o habilidad cognitiva determinada.

• Incluye, como condición indispensable, la descripción, en términos observables, de dos aspectos:– La acción que el sustentante debe ser capaz de

realizar, en el contexto de la prueba. – Las condiciones en las que se espera realice esta

acción, en el contexto de la prueba.




ESPECIFICACIÓN DE REACTIVOS

• Para el caso del EGEL incluye también la descripción de un tercer aspecto fundamental:

– El papel y la importancia que tienen los conocimientos y habilidades cognitivas que se pretenden medir, en el contexto de la ejecución de la tarea profesional en la que están implicados.

– Esta descripción, constituye un referente muy importante para la elaboración de reactivos a partir de “casos” o problemas profesionales.




Revisión estilo

Validación externa

Especificación reactivo

Revisión técnica

Elaboración reactivos

Estructura del examen

Revisión técnica

Revisión técnica

Revisión técnica

Calibración piloto

Revisión técnica

Ensamble versión operativa

Revisión editorial

Revisión técnica

Calibración operativa

Mantenimiento de banco

Ensamble versión piloto

Revisión técnica

Revisión editorial

Migración

BRAE SII

FASES DE CONSTRUCCIÓN Y MANTENIMIENTO




Distribución de materiales

Aplicación del examen

Lectura hojas de respuesta

Calificación de los sustentantes

Emisión de reportes

FASES FINALES DEL PROCESO

Impresión de materiales

Establecimiento de puntos de corte y especificación niveles de

desempeño

Elaboración de bases de datos

Calibración de reactivos




VENTAJAS DEL EGEL DE NUEVA GENERACIÓN

• Su contenido se encontrará:

– Socialmente validado

– Definido en forma más precisa y detallada

– Orientado a determinar si los egresados son capaces de utilizar lo que han estudiado y aprendido en su licenciatura, en situaciones similares a las que enfrentarán en el ejercicio profesional

• Contarán con estándares de desempeño definidos en forma cualitativa, con base en los cuales, se podrá conocer...

– Qué problemas y situaciones es capaz de resolver un sustentante cuando alcanza un desempeño satisfactorio y cuales, cuando alcanza un desempeño sobresaliente.




CONDICIONES DE APLICACIÓN

• La potencialidad del EGEL de nueva generación está ligada al hecho de que se le utilice en forma apropiada.

• Se diseña y elabora como una prueba estandarizada, con el objeto de garantizar la comparabilidad de sus resultados:

– Siempre son iguales el dominio medido, las instrucciones, el formato, la tipografía de las preguntas y la forma de asignar las puntuaciones.

– Como se tienen diferentes preguntas en distintas versiones de la prueba, se utilizan procedimientos formales y estadísticos que garantizan que las versiones sean rigurosamente equivalentes para todos los sustentantes.




CONDICIONES DE APLICACIÓN

• En su aplicación siempre son iguales los límites de tiempo, las restricciones y los materiales de apoyo que utiliza el sustentante.

• Sin embargo, hay un aspecto más sutil referido a las condiciones de aplicación que el Ceneval no controla:– La motivación con la que el sustentante enfrenta la

resolución de la prueba.

• Debe asegurarse que el sustentante al resolver la prueba haga su máximo esfuerzo. Para lo cual, es condición indispensable que…

– La IES usuaria, introduzca los incentivos necesarios, estableciendola como una evaluación de alto impacto en la vida académica del sustentante.




LA INTERPRETACIÓN DE LOS RESULTADOS

• En las pruebas de evaluación educativas referidas a un criterio, como es el caso del EGEL, lo que se busca es:

• Comparar los resultados de una persona contra un patrón o estándar de desempeño, el cual…– Refiere a un cambio educativo deseado o previsto– Se define con independencia del puntaje obtenido por

el conjunto de los sustentantes.

• En el caso del EGEL de nueva generación, este estándar invariablemente, estará referido a…

– El dominio que debe mostrar el sustentante respecto de conocimientos y habilidades que se consideran indispensables para iniciarse en el ejercicio de la profesión.

.




– El énfasis está en establecer categorías cualitativas más que diferencias cuantitativas entre los sustentantes.

– Se requiere establecer un punto de corte que permita identificar a partir de que puntaje el sustentante alcanza el estándar de desempeño

No satisfactorio

Satisfactorio

Sobresaliente

Las puntuaciones obtenidas, por tanto, permiten inferir los problemas y situaciones que el sustentante es capaz de resolver

INTERPRETACIÓN DE LOS RESULTADOS





• Con el EGEL de nueva generación, en el caso de la

evaluación del egresado, no es relevante:

― Conocer la posición relativa que éste ocupa en el continum de puntuaciones del total de personas que sustentaron la prueba.― Es decir…

– Si se encuentra entre los últimos o los primeros en el continum de puntuaciones de la población evaluada o

– Si su puntuación se encuentra o no cerca de, por ejemplo, la media aritmética, la desviación estándar, un determinado percentil.




• En la evaluación de los programas de licenciatura, uno de los principales indicadores de calidad los es, sin duda, el nivel de aprendizaje efectivo alcanzado por sus estudiantes y egresados.

• Por tanto, al utilizar el EGEL de nueva generación, lo relevante es:

– la proporción de egresados que logran alcanzar el estándar de desempeño.

• Lo irrelevante:

– la puntuación promedio obtenida por el conjunto de egresados.





• En el caso de la comparación entre IES, lo relevante es:– la proporción diferencial en que se ubican los egresados de las

IES (equivalentes) en cada nivel de desempeño.• Lo irrelevante:

– la posición relativa en que se ubican los egresados de cada IES a partir de sus puntuaciones promedio.

INTERPRETACIÓN DE LOS RESULTADOS





• De cualquier forma, los resultados del EGEL no pueden considerarse, en ningún caso, como indicadores suficientes para obtener conclusiones absolutas sobre:

– la idoneidad profesional de un egresado o

–la calidad de un programa de formación profesional





• Entre otras cosas, porque no abarca la evaluación de aspectos relevantes de la formación de los egresados, tales como:

– Sus habilidades sociales, afectivas y motríces

–Sus valores

–Sus conocimientos y habilidades de tipo genérico

• Los resultados del EGEL deben verse, siempre, como indicadores complementarios de los demás que recojan las IES en su sistema de evaluación institucional.





Para poder hacer inferencias válidas respecto de la calidad

de un programa con base en los resultados del EGEL se

requiere, además, contar con los resultados de:

a. El conjunto de egresados del programa o

b. Una muestra representativa de ellos




A MANERA DE RESUMEN

Realizar la revisión y actualización de los EGEL en operación, es una

responsabilidad insoslayable del Ceneval que implica la puesta en práctica de un

complejo proceso en el que participa una gran cantidad de representantes y

expertos de las IES y colegios profesionales y profesionistas en ejercicio.

Los EGEL de nueva generación, producto de este proceso:

• Representan un avance importante respecto a los vigentes, en virtud de que su

contenido se encontrará validado socialmente, definido con mayor precisión y

orientado a determinar si los egresados son capaces de utilizar lo que han

estudiado y aprendido en su licenciatura, en situaciones similares a las que

enfrentarán en el ejercicio profesional.

• Serán herramientas de evaluación sumamente poderosas, siempre y cuando se

les utilice y sus resultados se interpreten en consonancia con los propósitos y

supuestos teórico - metodológicos con base en los cuales se les diseña y elabora.

GRACIAS

Jorge Hernández Uralde

Director General Adjunto de los EGEL

[email protected]

la nueva generaciÓn de los egel: caracterÍsticas, ventajas y condiciones de uso

Documents