Los exámenes de mitad de carrera ECAMI

en la Universidad del Rosario, una oportunidad para la evaluación

curricular.

María del Rosario Navarro Botero

Nohra Pabón Fernández

FORO NACIONAL SOBRE LA EVALUACIÓN DEL APRENDIZAJE EN LA EDUCACIÓN SUPERIOR

MINISTERIO DE EDUCACIÓN NACIONAL4 Y 5 de Noviembre de 2008

I. Antecedentes y justificaciónII. Sistema de aseguramiento de la calidad y

autoevaluación curricular en la Universidad del Rosario

III. Objetivo General de los ECAMIIV. Objetivos específicosV. PrincipiosVI. Componentes de los ECAMIVII. Metodología y participantesVIII. Algunos resultadosIX. Factores que facilitaron su implementaciónX. Factores que dificultaron su implementaciónXI. Aspectos para la discusión y replicación de la

experienciaXII. Proyección a futuro: contexto interno y externoXIII. Retos

DESARROLLODESARROLLO

I. ANTECEDENTES Y JUSTIFICACIÓNI. ANTECEDENTES Y JUSTIFICACIÓN

En el primer semestre de 2008 el Centro de Aseguramiento de la Calidad (CEAC) inició la aplicación de los Exámenes de Mitad De Carrera – ECAMI - teniendo en cuenta que los estudiantes que ingresaron en el segundo semestre del 2005 iniciaron sus actividades de formación con programas curriculares revisados.

Estos ajustes curriculares abarcaron:• La estructura y revisión de los planes de estudio y de los

contenidos de las asignaturas • El sistema de créditos, el tiempo de trabajo y estudio presencial e

independiente previsto para que los estudiantes desarrollen sus competencias

• La orientación pedagógica y las estrategias didácticas por parte de los profesores, centrados en el aprendizaje de los estudiantes

• La introducción del Núcleo de Formación Rosarista (NFR): compuesto por asignaturas transversales y comunes para todos los programas: Ética, constitución política, competencias para el aprendizaje superior: argumentativa, dialéctica, propositiva y comunicativas; cultura rosarista.

REQUERIMIENTOSREQUERIMIENTOSEXTERNOSEXTERNOS

EVALUACIONES EVALUACIONES EXTERNAEXTERNASS

ACREDITACIONES ACREDITACIONES

AUDITORÍASAUDITORÍAS

REGISTRO REGISTRO CALIFICADO PARA CALIFICADO PARA

CREACIÓN DECREACIÓN DE PROGRAMASPROGRAMAS

INTELIGENCIAINTELIGENCIACOMPETITIVACOMPETITIVA

CALIDAD CALIDAD

OTRAS UNIVERSIDADESOTRAS UNIVERSIDADES

U ROSARIO U ROSARIO

AGENCIAS AGENCIAS ACREDITACIÓN ACREDITACIÓN INTERNACIONALINTERNACIONAL

RANKINGSRANKINGS

Sistema de información para la gestión de la calidadSistema de información para la gestión de la calidad

EVALUACIONES EVALUACIONES FORMATIVAS FORMATIVAS

INTERNASINTERNAS

CURRICULARCURRICULAR

PROFESORESPROFESORES

ECAMIECAMI

POSGRADOSPOSGRADOS

OTROSOTROS

AUTORREGULACIÓN AUTORREGULACIÓN

SISTEMA DE ASEGURAMIENTO DE LA CALIDAD

Centro de Aseguramiento de la Calidad UR

T. VROENJENSTIJN

MISIÓNMISIÓN

PROYECTO PROYECTO INSTITUCIONALINSTITUCIONAL

VISIÓN PLAN VISIÓN PLAN INTEGRAL DE INTEGRAL DE DESARROLLODESARROLLO

ENTORNO ENTORNO NACIONAL E NACIONAL E

INTERNACIONALINTERNACIONAL

POLÍTICASPOLÍTICAS Y PROGRAMAS

EQUIPO HUMANO EQUIPO HUMANO INSTITINSTIT

ESTUDIANTESESTUDIANTES

AP. ADMTIVO.AP. ADMTIVO.

RECURSOS RECURSOS FINANCIEROSFINANCIEROS

AP. CCIAL. Y DE AP. CCIAL. Y DE MERCADEOMERCADEO

AP. ACADÉMICO Y AP. ACADÉMICO Y SERVICIOSSERVICIOS

APOYO CALIDADAPOYO CALIDAD

PROGRAMAS DE

FORMACIÓN

PROGRAMASPROGRAMAS DE DEINVESTIGACIÓNINVESTIGACIÓN

EXTENSIÓNEXTENSIÓN Y Y

SERVICIOSSERVICIOS

EGRESADOSEGRESADOS

PRODUCCIÓN PRODUCCIÓN CIENTÍFICACIENTÍFICA

PROYECCIÓN PROYECCIÓN SOCIALSOCIAL

MEDIANOPLAZO

ENTORNO

SATISFACCIÓN NECESIDADES

LARGO PLAZO

DIMENSIONES ESTRATÉGICAS

PROCESOS RESULTADOS IMPACTO IMPACTO CONTEXTOCONTEXTO INSUMOSINSUMOS

MISIONALMISIONALDE APOYODE APOYO ACTORES

SISTEMA DE INFORMACIÓNSISTEMA DE INFORMACIÓN

SISTEMA DE ASEGURAMIENTO DE LA CALIDAD DE LOS ECAMI

Co

ntro

l inte

rno

Co

ntro

l extern

o

Evaluación InstitucionalECAMI

Aseguramiento de la Calidad

DecisionesEstrategias Metas Insumos Procesos Medición Resultados

Exámenes de calidad Nacionales e internacionales(Pisa, pruebas saber, ECAES, etc)

Adaptación Samuel Fernández et al. Assesment of Qualitiy Assurance Models 2008Adaptación Samuel Fernández et al. Assesment of Qualitiy Assurance Models 2008Adaptación Samuel Fernández et al. Assesment of Qualitiy Assurance Models 2008Adaptación Samuel Fernández et al. Assesment of Qualitiy Assurance Models 2008

IV. OBJETIVOS DEL ECAMIIV. OBJETIVOS DEL ECAMI

Teniendo presente su compromiso de autorregulación y mejoramiento continuo es importante para la Universidad contar con información que le permita:

• Evaluar los logros curriculares de alcance institucional y los logros de cada uno de los programas académicos a la mitad de carrera, a través de la evaluación del desempeño de los estudiantes en la Universidad del Rosario.

• Generar información valorativa sobre los procesos de formación de la Universidad del Rosario, de manera que se tomen decisiones, soportadas en resultados de procesos evaluativos, para el mejoramiento de los procesos de formación de los estudiantes de la Universidad.

• Tomar las mejores decisiones para revisar y enriquecer sus programas curriculares y así aportar a la formación integral de sus estudiantes

V. OBJETIVOS ESPECÍFICOSV. OBJETIVOS ESPECÍFICOS

• Constatar los logros de los estudiantes con relación a propósitos de formación del programa y de los transversales del NFR: en particular las competencias para el aprendizaje superior.

• Retroalimentar a las facultades y los estudiantes sobre el nivel de logros, de las diferentes áreas del currículo y generar estrategias de mejoramiento para su desarrollo.

• Avanzar en el análisis de variables asociadas al aprendizaje y proyectar estudios para identificar de qué manera intervienen y lo afectan: los profesores, las didácticas, los hábitos de estudio, materiales de consulta, recursos de apoyo, segunda lengua, entre otros.

• Identificar el valor agregado con relación a la situación de ingreso de cada uno de los estudiantes, en cuanto a competencias para el aprendizaje superior

V. OBJETIVOS ESPECÍFICOSV. OBJETIVOS ESPECÍFICOS

• Establecer el avance de los logros de los estudiantes, sus fortalezas y debilidades e indagar a qué aspectos están asociados (programas, profesores, recursos de apoyo, compromiso de los profesores y estudiantes) para así fortalecer o revisar actitudes, actividades, procesos y medios para lograr la formación del potencial de nuestros estudiantes

• Entregar a los estudiantes los resultados sobre su desempeño particular, en la perspectiva de dinamizar y motivar al estudiantado para que, desde su autonomía, desarrollen cursos de acción que aporten positivamente a la construcción y desarrollo de su proyecto de vida.

Dotado de significadoDotado de significado

Proceso en construcción

permanente

VI. PRINCIPIOSVI. PRINCIPIOS

Formativo y reflexivoFormativo y reflexivo

Integralidad Integralidad

Multiplicidad deMultiplicidad de métodosmétodos ContextualizaciónContextualización

Autoevaluación Autoevaluación Retroalimentación Retroalimentación Retroalimentación Retroalimentación

Principios de la Principios de la evaluaciónevaluación Curricular Curricular en la URen la UR

IntegralidadIntegralidad TransparenciaTransparencia

COHERENCIA CON COHERENCIA CON EL PEIEL PEI

Mejoramiento Mejoramiento DesarrolloDesarrollo

VII. COMPONENTES DEL ECAMIVII. COMPONENTES DEL ECAMI

Constan de dos pruebas:

 

1. Una común para todos los estudiantes de la Universidad que evalúa las competencias básicas para el aprendizaje superior, ética y constitución política, componentes del Núcleo de Formación Rosarista (NFR) que es común a todos los currículos de la Universidad del Rosario.

2. Una específica, que evalúa los contenidos particulares correspondientes a la formación profesional propia de cada programa curricular.

VIII. METODOLOGÍA Y PARTICIPANTES

IX. Algunos Resultados

EJEMPLOS

Los resultados se presentan en el siguiente orden:

• Primero, los correspondientes a la prueba común consolidada la cual agrupa a las competencias básicas para el aprendizaje superior, ética y constitución política.

• Segundo, los resultados de la prueba específica discriminada por áreas y consolidado del programa

El puntaje estándar promedio hace referencia a la conversión de la puntuación directa o puntaje bruto a una escala de unidades iguales con media aritmética en 50 y desviación típica de 10; el porcentaje promedio de respuestas correctas corresponde al porcentaje de respuestas acertadas sobre el total formulado.

Gráfica No. 9 Porcentajes Máximos y Mínimos Prueba Específica

Facultad 1 y programas 1 y 2ECAMI 2007-2

55,1

45,6

84,2

46,7

72,5

40,0

60,3

42,344,4

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0

1 2 3 4 5

Porcentajes Máximos Porcentajes Mínimos Porcentaje Promedio Programa

Porcentaje

Para la construcción de la gráfica se tomó el porcentaje más alto y el prorcentaje más bajo por programa

Resultados por programa, por área y por estudiantes

En las gráficas, la línea amarilla (porcentaje promedio de la prueba) corresponde al 50% de las preguntas formuladas y la línea vinotinto (porcentaje promedio del programa) corresponde al promedio de respuestas acertadas obtenido por los estudiantes del programa. Los puntos o rombos corresponden al porcentaje obtenido por cada estudiante.

X. Factores que facilitaron su implementación

1. Claridad institucional sobre los aportes del proyecto para la calidad

de la educación que se ofrece en la Universidad.

2. Participación y compromiso de Facultades, profesores y estudiantes.

3. Soporte académico y financiero de la Universidad del Rosario

Asignación de presupuesto para el pago de honorarios a los

profesores de hora cátedra que elaboraron las preguntas

Capacitación de profesores para la elaboración técnica de las

preguntas.

XI. Factores que dificultaron su implementación

1. Dificultad y definición de áreas de evaluación

2. Trabajo adicional a la carga de los profesores

3. Dificultad de profesores para elaborar preguntas técnicamente

4. Sistematización del banco de preguntas y análisis de resultados

5. Los estudiantes no se motivan lo suficiente y puede perderse el interés y

la credibilidad de los resultados

Soluciones:

– Pago a profesores de hora cátedra y reconocimiento de tiempo de

trabajo a profesores de carrera en su plan de trabajo

– Orientación específica y cursos especializados

– Cursos para aprender a elaborar preguntas y perspectivas

pedagógicas para mejorar las evaluaciones

– Compra y manejo de software especializado

– Otros incentivos a los estudiantes

XII. Aspectos de la experiencia importantes para la discusión

• Es una experiencia en construcción de la cual la misma

Universidad está aprendiendo de sus aciertos y sus errores.

• Es muy útil para la Universidad del Rosario recibir

retroalimentación para validar la experiencia.

• Para las demás instituciones de Educación superior es una

oportunidad para acceder a esta experiencia, que

pensamos es innovadora y aporta elementos importantes

para la evaluación curricular.

XIII. PROYECCION A FUTURO:Contexto interno

• Ir ampliando y profundizando el estudio de los resultados a medida que se

vaya repitiendo la experiencia semestre a semestre, para realizar estudios

longitudinales

• Avanzar en el análisis de variables asociadas al aprendizaje y

proyectar estudios para identificar de qué manera intervienen y lo

afectan: los profesores, las didácticas, los hábitos de estudio,

materiales de consulta, recursos de apoyo, segunda lengua, entre

otros.

• Identificar el valor agregado con relación a la situación de ingreso

de cada uno de los estudiantes

• Intercambiar experiencias con las facultades para ir mejorando la experiencia:

evaluar los aciertos y errores reflexionados para perfeccionar su utilización

como herramienta de evaluación formativa

XII. PROYECCION A FUTURO:Contexto interno

• Verificación de la validez y la confiabilidad del ECAMI como herramienta de

evaluación curricular

• Establecer mejoras curriculares institucionales a partir de los resultados en

la prueba común.

• Establecer mejoras curriculares en los programas a partir de los resultados

en las pruebas específicas.

• Avanzar aún más en la formación de profesores para la elaboración cada

día más técnica y significativa de las preguntas, que integren por ejemplo:

las áreas, formulación de casos, solución de problemas interdisciplinarios,

XII. PROYECCION A FUTURO: Contexto Externo

• Divulgación de la experiencia con otras Universidades en el

ámbito nacional e internacional para irla mejorando y obtener

retroalimentación.

• Verificación de la validez y la confiabilidad del ECAMI como

herramienta de evaluación curricular

XIII. RETOS

• Lograr y sostener la confianza, credibilidad y el compromiso de los

estudiantes, profesores, directivos y comunidad académica en torno

a los ECAMI.

• Complementar los resultados de los ECAMI con otros tipos de

pruebas que evalúen el saber hacer de los estudiantes en contextos

más reales y prácticos.

• Brindar y recibir mayor retroalimentación a las facultades, los

estudiantes y profesores para cada día mejorar e institucionalizar las

pruebas.

• Lograr la coherencia entre los ideales propuestos inicialmente y la

práctica de los exámenes

GRACIAS