líneas de investigación y estudios relacionados con resultados del egel centro nacional de...

Líneas de investigación y estudios relacionados con

resultados del EGEL

Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval)Dirección General Adjunta de los EGEL

06-08 de diciembre de 2007Campeche, Campeche

Rafael HernándezDirector de los EGEL de Ciencias

de la Vida y la Conducta

Dinámica de trabajo

1ª sesión. Diciembre 6 12:30-13:10 Conferencia

13:10-13:30 Sesión de preguntas

13:30-14:00Levantamiento de información (encuesta)

2ª sesión. Diciembre 7

9:30-10:00 Organización en mesas de trabajo

10:00-11:00 Discusión de la propuesta del Ceneval 11:00-12:00 Recopilación de sugerencias y observaciones de las IES usuarias por grupo de trabajo

12:00-12:30 Presentación de conclusiones por mesa

1. Conceptos y preguntas en torno a la investigación

educativa

2. Reportes del Ceneval:

Resultados de los sustentantes en Índice Ceneval Bases de datos con variables de contexto Informe anual de resultados

3. Orientación de la investigación

4. Cuestionarios de contexto del Ceneval

Contenido

Medir o evaluar, ¿ese es el dilema?

Cuando una institución aplica un EGEL, cuenta los testimonios

satisfactorios y sobresalientes que obtienen sus estudiantes y

compara sus resultados con los de otras instituciones (y los

reporta en los PIFI, procesos de acreditación, etc.), ¿está

haciendo evaluación?

Conceptos y preguntas

Reportes del Ceneval

Investigación:- Comparativos- Predictivos- Explicativos- Eficacia

Cuestionarios de Contexto

¿Los resultados de los sustentantes son atribuibles al contexto, a los individuos, al profesor, o a las instituciones?

¿Cuál es la contribución de la planta docente y de la escuela al proceso de aprendizaje del estudiante?

¿Se puede medir la eficacia educativa?

¿Puede el EGEL ayudarme a conocer la eficacia de mi programa académico o institución?





¿Qué debo buscar cuando se analizan los resultados de una evaluación?

¿Las deficiencias o los logros?

¿Se puede hacer evaluación e investigación educativa sin jerarquizar a las instituciones y sin generar resentimientos?





Reportes

Resultados de los sustentantes en Índice Ceneval

Testimonios de desempeño– Satisfactorio– Sobresaliente

Bases de datos con variables de contexto (información de la hoja de registro)

Informe anual de resultados





Reporte de resultados EGEL

Dos tipos de exámenes: EXANI y EGEL

Dos tipos de escala diferentes con un mismo nombre:

Índice Ceneval

EXANIExamen referido a la norma

EGELExamen referido al criterio





0

100 1300

0

120

5060 1000

30 25

90

75

700

Índice Ceneval

Número de aciertos

% aciertos

Calificación de los EXANI

1150

850

0

100 1300

0

100

1000

700

60

1150

No satisfactorio

Satisfactorio

Sobresaliente

Pto. corte

Pto. corte

48

40

94

Calificación de los EGEL

Escala Ceneval

Examen 1% rc

Examen 2% rc

Pto. corte

Pto. corte

Base de datos con variables de contexto (Información de la hoja de registro)

Objetivo de la investigación

Marco teórico de la investigación

Escala de medición de las variables

Representatividad de la muestra y alcances del estudio

Características de la población sustentante

Condiciones necesarias para el desarrollo de estudios sobre el EGEL





Investigación educativa

Estudios comparativos

Estudios predictivos

Estudios explicativos

Estudios sobre eficacia






Contrastar valores respecto de:

Proporción o % de sustentantes por arriba del punto de corte

Proporción o % de testimonios

versus:

Referentes o parámetros internos de la institución

Referentes similares, regionales, nacionales e internacionales





Supuestos:• Medidas comparables en las variables bajo estudio (equivalentes)• Población igualada en las variables importantes• Escuelas similares


Comparación de niveles de desempeño por institución

0% 20% 40% 60% 80% 100%

U.T. COAH

U.T. HUEJ

U.T. NTE COAH

U.T. V. TOLUCA

U.T. LEON

U.T. ZACATECAS

U.T. TAMPS NTE

U.T. TABASCO

U.T. FIDEL VELAZ

U.T. NTE DE AGS

U.T. TLAXCALA

U.T. NEZA

U.T. NOGALES

U.T. CANCUN

U.T. TORREON

U.T. CD. J UAREZ

U.T. NTE GTO

U.T. TULA TEPEJ I

U.T. TAMAULIPAS

U.T. E. ZAPATA

U.T. TECAMAC

U.T. SLP

U.T. V.MEZQUITAL

U.T. QUERETARO

U.T. AGS

U.T. HUASTECA H

SustentantesNIVEL 1 NIVEL 2 NIVEL 3 NIVEL 4 NIVEL 5

Se orientan a predecir el éxito académico que tendrán los estudiantes en ciclos escolares posteriores o en el desempeño laboral.

Se requiere tomar mediciones de las variables en diferentes tiempos.

Estudios predictivosConceptos y preguntas




Participantes:

590 egresados de la ULSA sustentantes del ENERAM 2001-2003

Variables:

Promedio de la carrera

Resultado en el EGEL

Curso AMLS (Actualización Médica La Salle)

Hospital del internado

Lugar del servicio social

Félix, O. A. y Ahumada, A. M. Desempeño de los egresados de la ULSA en el ENARM* (2001-2003).

*ENARM = Examen Nacional de Aspirantes a Residencias Médicas





Ceneval. (2004). El EGEL-Medicina. El mejor predictor para el examen de residencias médicas. Este País, Noviembre, p47-50

344

17

239

88

590

146

356

88

0

100

200

300

400

500

600

700

Global NS DS DSS

ACEPTADOSTOTAL DE ASPIRANTES

100%

67%

58%

NS= No satisfactorio DS= Desempeño Satisfactorio DSS= Desempeño Sobresaliente

Desempeño académico

Asp

iran

tes

11.6%

Pérez, G.J.A. y Martínez, P.J.H. (2006). Modelos de

predicción del desempeño de estudiantes de

licenciatura sujetos a instrumentos de evaluación.

Revista Iberoamericana de Educación. Número 39/7.

Objetivo:

Pronosticar el desempeño de 155 sustentantes del EGEL

egresados del programa de Ingeniería Civil de la UASLP





Resultados:

137 sustentantes (88.4 %) obtuvieron pronóstico positivo, al correlacionar de manera satisfactoria los resultados; índice de desempeño establecido (70%) y calificaciones arriba de 1000 puntos en el índice Ceneval.





Se orientan a generar modelos que dan cuenta de la influencia de variables personales, económicas, escolares o sociales sobre el aprendizaje.

Pueden utilizarse diseños longitudinales o cortes transversales.

Estudios explicativosConceptos y preguntas




Hernández, J., Márquez, A. y Palomar, J. (2006). Factores asociados con el desempeño académico en el EXANI-I: zona metropolitana de la ciudad de México 1996-2000. Revista Mexicana de Investigación Educativa, 11, 547-581.

Objetivo:

Identificar el impacto de variables socioeconómicas y educativas sobre el rendimiento académico de sustentantes del EXANI-I, así como la estructura de relaciones que se establecía entre las diversas variables consideradas.





Aciertos obtenidos por los sustentantes según la escolaridad de la madre y el ingreso familiar mensual

Encuesta sobre Igualdad de Oportunidades

Educativas, (EEOS) conocida como:

El Reporte Coleman (Coleman et al., 1966)





Eficacia y mejora

Evolución de la efectividad escolar, indicadores escolares y la rendición de cuentas para la mejora educativa

Encuesta sobre Igualdad de Oportunidades Educativas (EEOS)(El Reporte Coleman, 1966)

Indicadores escolares

Rendición de cuentas

Efectividad escolar

Acciones para la mejora

educativa

Susan Kochan, 2007CharlesTeddlie and Susan Stringfield,

2007

Procesos educativosProductos

Legados de la Investigación sobre efectividad escolar:

– Bajo condiciones apropiadas, todos los estudiantes pueden aprender.

– El valor agregado sobre el estigma ESE (SES).

– El bajo desempeño escolar no es sólo un problema individual del estudiante o su familia.

– Las mejores instituciones están mejor integradas (estructuralmente, simbólicamente y culturalmente), que las menos efectivas.

Tony Townsend, 2007





Efectividad escolar

Fuentes y % estimado de explicación de la varianza en el desempeño de los estudiantes

50

30

5

55

5

E s tudiatesMaes trosHogarC ompañerosE s cuelaD irector

Hattie Aus tralia, 2003

De las hojas de registro a los cuestionarios de contexto

Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval)

Lucía Monroy CazorlaDirectora General Adjunta Técnica y de Investigación

06-08 de diciembre de 2007Campeche, Campeche

Los cuestionarios de contexto: una definición

Son instrumentos de medición que se aplican para obtener información y hacer inferencias cuantitativas acerca de la población.

A diferencia de los exámenes, en un cuestionario de contexto no existen respuestas correctas e incorrectas.





Válida. Las variables que se incorporan responden a definiciones claras de lo que se pretende medir.

Confiable. Las mediciones deben ser consistentes, por lo que cambios en las puntuaciones deben reflejar cambios en la situación de los respondientes. Los resultados de los cuestionarios deben ser reproducibles en poblaciones similares.

No sesgada. Las mediciones deben presentarse a los respondientes de forma tal que no favorezcan a grupos de la población.

CaracterísticasConceptos y preguntas




Un cuestionario bien diseñado debe generar información:

Bajo impacto. Eliminación de variables que no están consistentemente asociadas con el logro académico.

Cuestiones metodológicas. Cambios en las variables que presentan baja tasa de respuestas o producen respuestas inverosímiles.

Diseño inapropiado. El formato de algunas preguntas generaba confusión entre las categorías de respuesta.

Baja utilidad. Variables que no han sido utilizadas en los reportes que produce el Ceneval.

Las hojas de registro: motivos de cambioConceptos y preguntas




Las hojas de registro: estructura 2007

Área Número de Preguntas

Identificación del examen 2

Identificación del sustentante 6

Institución de procedencia 4

Escolaridad 5

Situación laboral 7

Datos socioeconómicos 11

Datos sobre el examen 3

TOTAL 38





Los nuevos cuestionarios de contexto: utilidad

Proponer modelos de explicación sobre el rendimiento escolar de los alumnos en diferentes asignaturas y grados escolares.

Contextualizar las medidas obtenidas en las pruebas de logro académico.

Describir a la población sustentante del examen.

1

2

3





Responder a los propósitos de la medición.

Cada una de las preguntas debe ser útil y pertinente para lograr el objeto de medición.

Los constructos explorados deben incorporar variables manifiestas acordes con la definición conceptual.

La escala de medición de las variables debe corresponder a la definición del constructo que se mide y corresponder de manera natural a la pregunta.

Los modelos estadísticos para el análisis de los datos deben contemplar la métrica de las variables manifiestas y de los constructos definidos.

Los nuevos cuestionarios de contexto: supuestosConceptos y

preguntas




Proceso de construcción de los nuevos cuestionarios

1. Definir el propósito de la evaluación.

2. Revisar el estado actual del conocimiento.

3. Determinar el perfil de los investigadores que

conformarán el Consejo Técnico del Cuestionario.

4. Determinar el diseño del estudio y los

requerimientos para la aplicación.

5. Seleccionar las variables que se incorporarán.

6. Construir el instrumento.

7. Analizar el instrumento con grupos focales.

8. Realizar un estudio piloto del instrumento en

poblaciones similares.





9. Revisar los resultados del piloteo y conformar las

versiones definitivas.

10. Aplicar el instrumento.

11. Leer y elaborar las bases de datos.

12. Analizar el comportamiento de las preguntas.

13. Elaborar los indicadores de los constructos medidos.

14. Elaborar los perfiles descriptivos de la población.

15. Generar modelos explicativos del aprendizaje

(mediano plazo).

16. Difundir los resultados.

40

Proceso de construcción de los nuevos cuestionarios





Consejo Técnico

41

Sustentantes

• EXANI I, II, III

• EGEL

• Exámenes SEP

Docentes

• SEP

Directores

• SEP

Cuestionarios de contexto elaborados en 2007

Descriptivas

• Personales

• Escolares

• Sociales

Módulo básico

• Recursos no-cognitivos

• Capital cultural familiar

• Capital socio-económico familiar

• Calidad de la escuela de procedencia

Módulo investigación

• Recursos cognitivos: cómputo e inglés

• Comportamientos de riesgo

• Clima escolar

• Influencia de los pares

Módulo temporal

Estructura de los nuevos cuestionarios

EstructuraCuestionario de Contexto

para sustentantes

del EGEL

Módulo Temporal

EstructuraCuestionario de Contexto para

docentes

Elaborado para SEP

EstructuraCuestionario de Contexto para

directores

Elaborado para SEP

Encuesta

47

Muchas Gracias

Lucía Monroy Cazorla

Directora General Adjunta Técnica y de Investigación

[email protected]

Rafael HernándezDirector de los EGEL de Ciencias de la Vida y la Conducta

[email protected]

líneas de investigación y estudios relacionados con resultados del egel centro nacional de...

Documents