criterios para la elaboración de ítems de respuesta cerrada terce seminario internacional de...

Criterios para la elaboración de ítems de

respuesta cerrada TERCE

Seminario internacional de elaboración de ítems para TERCE,

UNESCO Bogotá, 25 al 27 de mayo de 2011

M. Paulina Flotts

Ítems de selección múltiple

Los ítems de respuesta cerrada utilizados en TERCE son de selección múltiple.

 Estos evalúan la capacidad del estudiante para seleccionar por escrito la respuesta correcta de entre varias opciones que se le suministran.

Están formados por un enunciado, opciones de respuesta, y si el diseño del ítem lo amerita, pueden ir antecedidos de un estímulo o contexto, por ejemplo: un texto, una imagen o una tabla.

Contexto

Opciones de respuesta

Enunciado

Estructura de los ítems de selección múltiple

Estructura de los ítems de selección múltiple

El enunciado es la pregunta o tarea concreta que se le solicita al sujeto.

 Las opciones de respuesta están conformadas por un número de respuestas plausibles que puedan derivarse del enunciado, entre las cuales existe una y solo una que es correcta. Para el caso de TERCE, se utilizarán 4 opciones de respuesta (la respuesta correcta y tres distractores).

El estímulo o contexto corresponde a la descripción de una situación que sirve como base para que el estudiante tenga un punto de referencia concreto al momento de enfrentarse a la pregunta.

Contexto: descripción de una situación que sirve como base para que el estudiante tenga un punto de referencia concreto al momento de enfrentarse a la pregunta.

Enunciado: pregunta o tarea concreta que se le solicita al sujeto.

Opciones: número de respuestas plausibles que puedan derivarse del enunciado, entre las cuales existe una y solo una que es correcta. Para el caso de TERCE, se utilizarán 4 opciones de respuesta (la respuesta correcta y tres distractores).

¿Distractores?

Los distractores están diseñados para atraer a los estudiantes, ojalá a los de menos habilidad.

Muchas veces los distractores son “relleno” para ocupar las opciones que no son la correcta.

Muchas veces los distractores son absurdos o incluso irrisorios.

Es muy difícil escribir buenos distractores.

Usualmente los distractores no son “atractores”

Los atractores…

Atraen estudiantes con errores conceptuales o de razonamiento específicos.

Atraen a los estudiantes de más baja habilidad.

Requieren que las opciones incorrectas sean plausibles, aun cuando no sean la mejor respuesta.

No son un relleno, contribuyen a la calidad del ítem y del test.

Están específicamente diseñados para informar acerca de errores.

Consideraciones generales para la elaboración de ítems (1de 3)

Concordancia con la tabla de especificaciones.

Los ítems deben construirse con el objetivo de evaluar un aprendizaje que pertenezca a un cuadrante determinado de la tabla de especificaciones, es decir, que evalúe un contenido y un proceso cognitivo específico de los allí mencionados. Además, deben abordar aspectos relevantes de cada disciplina. Claridad y brevedad.

Usar adecuadamente la gramática y puntuación.

Evitar complejidades innecesarias en el uso del lenguaje.

Disminuir al mínimo necesario la extensión del texto en cada elemento del ítem.

Evitar los localismos y las palabras que tienen significados diferentes según el país.

Consideraciones generales para la elaboración de ítems (2 de 3)

Sesgo: Evitar hacer alusión a situaciones

contextuales que sean más familiares —y que por lo tanto, favorezcan— a ciertos grupos de la población.

 Estereotipos: No reproducir estereotipos raciales,

culturales o de género. Ejemplo: Margarita reparte siete manzanas entre sus tres

hijos en partes iguales, ¿cuánto recibe cada uno?

Jaime pide un crédito en 30 cuotas mensuales. ¿Cuántos años tardará en pagar la casa?

Consideraciones generales para la elaboración de ítems (3 de 3)

Contexto Para estar alineados con el enfoque de habilidades

para la vida, es ideal incluir contextos verosímiles que permitan el uso del conocimiento, evitando, salvo que se desee en forma intencional, la mera reproducción de contenidos. Sin embargo, debe cuidarse que la dificultad del ítem no se vea artificialmente aumentada por la inclusión del contexto.

 Evitar el uso de situaciones que pueden ser muy fuertes o remover recuerdos dramáticos en los estudiantes.

 Uso de imágenes Las imágenes se pueden utilizar como contexto.

fundamental para responder el ítem o para motivar a los estudiantes a responder.

Evitar que la imagen entregue pistas para responder o que distraiga.

Recomendaciones para una buena

formulación de ítems de respuesta cerrada

Acerca del enunciado

En el enunciado del ítem debe expresarse claramente la tarea que se demanda al estudiante.  Por ello, es recomendable que esté

formulado como una pregunta y no como una frase inconclusa.

El enunciado debe estar planteado en positivo. Si es inevitable ocupar palabras como “no” o “excepto”, estas deben aparecer subrayadas.

Acerca de las opciones de respuesta

Todas las opciones deben parecer posibles respuestas a la pregunta planteada. Para ello se recomienda: Que sean lo más directas posibles e

independientes unas de otras.

Evitar el uso de opciones del tipo “Ninguna de las anteriores” o “Todas las anteriores”.

Ordenarlas en forma numérica o lógica (por ejemplo, de la más larga a la más corta, o de mayor a menor).

Que mantengan la misma o similar estructura gramatical y que sean concordantes con el enunciado.

Que tengan una extensión similar.

Evitar las opciones muy diversas y con diferente nivel lógico.

Acerca de la respuesta correcta (clave)

Debe ser completa y claramente correcta y además la mejor opción.

Debe ser claramente identificable cuando el evaluador del ítem conoce bien el concepto por el cual se pregunta.

Debe responder a la pregunta planteada tanto en el contenido (lógica conceptual) como en lo formal (lógica gramatical).

Si no atenta contra la lógica en que fueron ordenadas las respuestas, se debe variar su localización en distintas preguntas (en la ficha del ítem se pedirá especificar si las respuestas se pueden aleatorizar).

No debe contener determinantes específicos (siempre, nunca, completamente, absolutamente).

Acerca de los distractores

Deben ser claramente incorrectos, pero plausibles. Se debe evitar el uso de distractores absurdos o irrisorios.

Deben estar diseñados para informar acerca de errores típicos, de tal forma que atraigan a los estudiantes con errores conceptuales o razonamientos equivocados.

No deben atraer a través de “trampas” (sutilezas en la forma de preguntar, uso de habilidades diferentes a la que se busca evaluar en el ítem).

… y sobre distractores parcialmente correctos

Idealmente, de entre las opciones presentadas, solo la clave debe ser correcta y los distractores deben ser errores. Sin embargo, si se considera pertinente por el contenido a evaluar, se puede preguntar por la mejor respuesta. Algunos ejemplos de preguntas de este tipo son: ¿Cuál de los siguientes factores es el más

determinante de…?

¿Cuál de las siguientes acciones permite enfrentar de manera más directa el problema de…?

¿Cuál de las siguientes herramientas permite fabricar la pieza X con mayor precisión?

En estos casos se debe especificar claramente en el enunciado el criterio de graduación, es decir, con qué lógica una de las opciones es la correcta y las otras no.

Ítems con estímulo común

Lectura En TERCE cada estímulo debe ser utilizado al

menos para dos ítems, para minimizar la cantidad de tiempo que debe dedicar el estudiante a leer.

Para la construcción de ítems de lectura de la aplicación piloto TERCE, se solicita construir 4 o 5 ítems por estímulo.

 Ciencias naturales y matemáticas Se puede usar el mismo estímulo para varios

ítems, pero no serán considerados como una unidad ni se pondrán seguidos en la prueba.

Es importante tener la precaución de que uno de los ítems no dé respuesta a alguno de los otros.

El doble proceso

Se deben evitar las preguntas que implican un doble proceso.

Ejemplos de ítems que implican doble proceso son aquellos en que se presentan una serie de afirmaciones (I, II, III, IV) y luego opciones que consisten en combinaciones de dichas afirmaciones (por ejemplo, “sólo I”, “II y III”, “I y IV”, “todas las anteriores”).

Revisión de los ítems construidos

Desde el punto de vista gramatical, ¿son todas las opciones posibles respuestas a la pregunta?

Los distractores ¿son efectivamente respuestas incorrectas? Si los distractores son parcialmente correctos, ¿se especificó en el enunciado de la pregunta un criterio de graduación que los haga descartables?

Con respecto a los distractores, ¿hay alguno muy fácilmente descartable o hay alguno tan atractivo que pueda distraer a quien sabe la respuesta?

Una herramienta que puede ser de utilidad: Checklist de Rakow & Gee

El vocabulario es adecuado al nivel.

La complejidad del enunciado es adecuado al nivel.

Las definiciones y los ejemplos son claros y comprensibles.

Las habilidades de razonamiento requeridas son adecuadas para el nivel cognitivo de los estudiantes.

Se usan conectores precisos y lógicos para establecer relaciones.

El contenido del ítem está claramente organizado.

Los gráficos, ilustraciones y otras ayudas visuales facilitan la comprensión.

Las preguntas están claramente escritas.

El contenido de los ítems es de interés a la audiencia.

Se usaron palabras simples, claras y comunes, eliminando cualquier palabra innecesaria.

Thompson, S. J., Johnstone, C. J., & Thurlow, M. L. (2002). Universal design applied to large scale assessments (Synthesis Report 44). Minneapolis, MN: University of Minnesota, National Center on Educational Outcomes.