desarrollo y validación de un generador automático de...
TRANSCRIPT
Incluya en esta zona El logo de su Institución
Desarrollo y validación de un Generador Automático de Reactivos de respuesta construida
para elaborar exámenes computarizados de ingreso a la educación superior
Eduardo Backhoff Escudero (INEE), Norma Larrazolo Reyna (UABC)y Felipe Tirado Segura (UNAM)
Noviembre de 2013
Este documento se ha realizado con la ayuda financiera de la Unión Europea. El contenido es este documento es responsabilidad exclusiva de sus autores y en modo alguno debe considerarse que refleja la posición de la Unión Europea
Premisa
Introducción
• Aunque los exámenes de ingreso a las universidades no se pueden considerar exámenes diagnósticos, sí generan información importante para tener “radiografías” del tipo de habilidades y conocimientos que dominan los estudiantes.
• Estas radiografías académicas permiten que las instituciones educativas puedan implementar acciones dirigidas a reforzar las debilidadesacadémicas de los estudiantes y con ello evitar la deserción y abandono escolar en etapas tempranasde los estudios universitarios.
Usos de los exámenes de ingreso
Introducción
• En los Estados Unidos se utilizan los resultados de los exámenes Scholastic Aptitud Test (SAT) y American College Testing (ACT) para distintos propósitos:
1) realizar estudios de progreso o seguimiento longitudinal del sistema educativo norteamericano,
2) conducir estudios comparativos de logro educativo entre los estados norteamericanos,
3) proveer información destinada a escuelas, estudiantes y tomadores de decisiones en forma oportuna, y
4) elaborar índices educativos nacionales
Incluya en esta zona el subtítulo del apartado
Incluya en esta zona el título del apartado
• Los resultados de los exámenes de admisión son también utilizados, para:
1) Colocar o ubicar a los estudiantes, durante su primer año escolar, en cursos básicos, medios o avanzados
2) Esto especialmente ocurre en la asignatura de matemáticas
• Sin embargo, en el caso de México no se hace uso de los resultados de los exámenes de admisión, más quepara seleccionar a los estudiantes.
Desarrollo del EXHCOBA
Introducción
• Hace más de 20 años desarrollamos el Examen de Habilidades y Conocimientos Básicos.
• También desarrollamos el Sistema Computarizado de Exámenes.
• Ambos desarrollos conforman un examen asistido por computadora que se utiliza para el ingreso al bachillerato y a las instituciones de educación superior, que se le conoce simplemente como EXHCOBA.
• En 2012, presentaron este examen 120 mil estudiantes , como parte del proceso para ingresar a distintas universidades estatales de México.
Filosofía del EXHCOBA
Introducción
• El principal propósito de este examen es evaluar el aprendizaje escolar que adquieren los estudiantesdurante su vida escolar.
• Su filosofía se centra en evaluar aquellas habilidades y conocimientos básicos que dan soporte a otrosaprendizajes que se adquirirán en los niveles educativos posteriores.
Ventajas
Exámenes de opción múltiple
• Las evaluaciones de gran escala requieren de procedimientos estandarizados y automatizados que sean validos y confiables. Por ello se utilizan las preguntas de opción múltiple.
• Ventajas de los reactivos de opción múltiple:1) la objetividad y rapidez para calificar las respuestas, 2) la capacidad y versatilidad para evaluar múltiples
habilidades intelectuales no-complejas. y 3) la confiabilidad y consistencia de los resultados.
Desventajas
Exémenes de opción múltiple
• Desventajas de los reactivos de opción múltiple:
1) Difícil elaborar buenos reactivos,2) dificultades para valorar habilidades intelectuales y
conocimientos complejos, 3) distancia entre la forma de evaluar y uso del
conocimiento en circunstancias vida real (evaluaciónauténtica)
4) rapidez con que se desgastan las preguntas y los exámenes,
5) sesgos ocasionado por la adivinación y la copia.
Filosofía del Excoba
Examen de Competencias Básicas (Excoba)
• Se desarrolló un Generador Automático de Reactivos que permite construir y administrar una cantidad importante de reactivos equivalentes de cada competencia a evaluar.
• De esta manera se pueden generar decenas o cientos de reactivos digitales, y miles de exámenes aleatorios.
• O bien, se pueden generar una cantidad importante de versiones fijas de exámenes.
Estructura conceptual
Examen de Competencias Básicas (Excoba)
• La evaluación auténtica pone énfasis en las actividades que se realizan dentro de un contextoreal, conocimiento situado.
• Se trata de evitar que se evalúe el aprendizaje de manera artificial, solo seleccionando opciones de respuesta.
• Se pone acento en producir o construir respuestas. • El modelo de “aprender haciendo” se transfiere a
“evaluar haciendo”, hasta donde sea posible.
Tipos de reactivos
Examen de Competencias Básicas (Excoba)
• Se trata de poder valorar la comprensión de las ideas, plantear dilemas que evoquen procesos de pensamiento en los que se requiera entender, juzgar y crear respuestas por parte de los estudiantes.
• Los alumnos construyen sus respuestas en un formato de respuesta abierta, o bien, en uno que solicita clasificar, ubicar, acomodar o seleccionar varios elementosconceptuales de un campo del conocimiento, construyendo la respuesta correspondiente.
Modelos de ítems
Examen de Competencias Básicas (Excoba)
• Para cada competencia a evaluar se elaboró un modelode evaluación que contiene dos grandes apartados: 1)la descripción del contenido a evaluar y 2)la plantilla o estrategia de evaluación.
• En la plantilla de evaluación se especifican todos los componentes conceptuales y gráficos que permitirán generar familias de ítems, ítems-padre e ítems-hijo, los cuales se generarán, se presentarán y se calificarán en un sistema computarizado.
Modelos de ítems
Examen de Competencias Básicas (Excoba)
La estrategia basada en recursos digitales se sustenta en: 1. Aprovechar las ventajas de los recursos computarizados para evaluar
respuestas construidas.2. La posibilidad de presentar imágenes dinámicas interactivas donde los
sustentantes deben construir respuestas, ya sea por texto escrito o al acomodar por medio de arrastres (drag) los componentes que se presentan en las posiciones correspondientes (campo estructural)
Modelos de ítems
Examen de Competencias Básicas (Excoba)
• Puede generar milesde reactivos por familias, ejemplo – tabla periódica
Se termina el problema de copiado y de fuga de exámenes
Modelos de ítems
Examen de Competencias Básicas (Excoba)
• Cuando se presentan reactivos dentro de un campo en el que se emiten diversas respuestas, las relaciones estructurales se reconstruyen, los elementos son componentes de una respuesta más compleja
Cultura andina
Mesopotamia
Modelos de ítems
Examen de Competencias Básicas (Excoba)
Localiza en el mapa las capitales, los estados enunciados y coloca (arrastra) la etiqueta del nombre.
Permite la calificación ponderada y distribuida (ej: geografía política y física)
Modelo de ítem
Examen de Competencias Básicas (Excoba)
Familias de ítems
Ítems-padre Ítems-hijo
Seleccionar las partes de una figura geométrica que indica la fracción
Pentágono 1/5,2/5,3/5,4/5,3/15,6/15,9/15,12/15
Triángulo 1/3,2/3,3/9,6/9,2/12,4/12,6/12,8/12,10/12
Estrella 1/3,2/3,1/4,2/4,3/4,1/6,2/6,3/6,4/6,5/6,2/8,4/8,6/8,3/9,6/9
Cuadrosapilados
1/5,2/5,3/5,4/5,2/10,4/10,6/10,8/10,3/15,6/15,9/15,12/15
Escribir la fracción que representan las partes sombreadas de una figura geométrica
Pentágono 1/5,2/5,3/5,4/5,3/15,6/15,9/15,12/15
Triángulo 1/3,2/3,3/9,6/9,2/12,4/12,6/12,8/12,10/12
Estrella 1/3,2/3,1/4,2/4,3/4,1/6,2/6,3/6,4/6,5/6,2/8,4/8,6/8,3/9,6/9
Cuadrosapilados
1/5,2/5,3/5,4/5,2/10,4/10,6/10,8/10,3/15,6/15,9/15,12/15
Conclusiones
• Los exámenes de ingreso a las instituciones de educación superior tienen un gran potencial para proporcionarinformación sobre las competencias, habilidades y conocimientos de los estudiantes.
• Esta información debe de utilizarse, no solo como herramienta de selección de aspirantes, sino que tambiéndebe de aprovecharse para detectar áreas académicas donde los estudiantes presentan dificultades.
• Con lo anterior se pueden establecer programaseducativos remediales que eviten la reprobación y el abandono escolar en los primeros años universitarios.
Uso de los exámens de ingreso
Conclusiones
• La evaluación asistida por computadora de los procesos cognoscitivos es un campo muy prometedor de la educación.
• El Excoba es un ejemplo de la integración de la teoríacognitiva, la teoría de la medición y la tecnología digital para evaluar competencias escolares.
• Pasamos de un solo examen de opción múltiple a un generador de ítems capaz de elaborar decenas o cientos de ítems y exámenes equivalentes conceptualmente.
• Contar con mejores exámenes de ingreso, implica tener información de alta calidad que puedan utilizarse para evitar el abandono escolar.
Uso de los exámens de ingreso