presentación de powerpoint · palés-argullós, 2010 … permite pasar de un ítem que mide...

Séverin Lions ([email protected])

JIAEN 2019 en Concepción:

Construcción y resolución de

preguntas de selección múltiple:

un acercamiento desde las Neurociencias cognitivas

mailto:[email protected]

les

¿Preguntas cerradas o abiertas?

¿Construcción? ¿Aplicación? ¿Calificación? ¿Corrección?

¿Pruebas estandardizadas o hechas por profesores?

1. Las PSM: preguntas de selección múltiple

2. Construcción de PSM: guías de directrices y detección de imperfecciones

3. Resolución de PSM: lectura de textos y toma de decisión entre posiciones

4. Conclusión

PLAN

¿Qué son las PSM?

tallo----------------1 clave + varios distractores

Formatos de PSM

en Moreno, Martinez, y Muñiz, 2004

En educación, se usan PSM…

A. en el colegio

B. en la universidad

C. en matemática

D. en lenguaje

E. en historia

F. en pruebas estandardizadas como la PSU

G. en pruebas formativas

H. en pruebas sumativas

Taxonomía de Bloom-Anderson, adaptado en Jovanovska, 2018

Las PSM pueden evaluar diferentes niveles cognitivos

Habilidades de pensamiento de orden superior:

Posiblemente evaluadaspor PSM

(excepto crear)

Habilidades de pensamiento de orden inferior:

Comúnmente evaluadas por PSM

Verbos asociados

en Churches, 2009

Palés-Argullós, 2010

… permite pasar de un ítem que mide “recordar” o “entender” a un ítem que mide “aplicar” o “analizar”

El contexto…

Ventajas / Desventajas

Pueden ser usadas en todas las asignaturas

Son de rápida y fácil calificación y corrección,(y por tanto es atractivo su uso cuando uno

tiene grupos muy numerosos de estudiantes)

Se pueden responder sin conocimientos… ¡incluso de forma correcta!

Evalúan más bien “recordar” y “comprender”

Son de difícil construcción

Son OBJETIVAS

EJERCICIO:ESCRITURA DE PSM

1. Redacte 1 pregunta de selección múltiple (formato tradicional)

2. Indique cuál es la respuesta correcta y califique los distractores (mejor, fuerte, débil)

(en hoja, individual, 6 min.)




4. Conclusión

PLAN

Una PSM está bien

construida cuando:

Es Válida: mide lo que pretende medir

Es Confiable: puede cambiar el corrector,o ser respondida en otro momento,no cambia el resultado

Es Discriminante:es bien respondida solamente por los estudiantes que dominan la competencia evaluada…

No se pelean con sus estudianteso colegas durante la corrección ☺

¿Las PSM que construyen

los docentes están bien

construidas?

A. La mayoría, no

B. Muchas, no

C. Nunca

D. Siempre

Downing, 2005

Breakall, Randle, y Tasker 2019

BUENA NOTICIA:¡las competencias de construcción de

PSM son entrenables!

Abdulghani et al, 2015

¿Cómo presentar PSM de mayor calidad a sus estudiantes?

¡Entrenarse!

Que las reviseun colega

Releerlas al día siguiente

¡Analizarlas!

¿Analizar dijeron?

¿Está bien construida una PSM que…

a) Es respondida correctamente por todos mis estudiantes?

b) Es respondida correctamente por mis estudiantes menos estudiosos solamente?

¡Análisis de dificultad de ítems!

¡Análisis de discriminación!

¿Y que tal usar una guía de recomendaciones?

Hederich, Bernal, y Camacho (2014)

¿Número? ¿Organización? ¿Fundamentación?

Directrices para la construcción de ítems de selección múltiple

(item-writing guidelines)

Los autores con mayor influencia:

Haladyna y Downing

43 reglas (1989)

• Consenso entre 46 manuales publicados entre 1935 y 1989

Haladyna y Downing, 1989Citado por 344

Las 13 reglas más importantes

Haladyna y Downing, 1989

Las reglas las más estudiadas

Haladyna and Downing, 1989bCitado por 344

Revisión de la taxonomía (2002, 31 reglas)

Haladyna, Downing, y Rodriguez, 2002Citado por 947

• Consenso entre 27 manuales (1989-2001)

Haladyna, Downing, y Rodriguez, 2013, 2018

Evolución de las reglas

Capítulo 6 Capítulo 18

Traducción de la guía de 2002

Moreno, Martínez, y Muñiz, 2004

Traducción


Construir distractores es una tarea difícil

Gierl et al, 2017

¿Se entienden estas reglas?

Imperfecciones(Flaws)

Entrenamiento a su detección

Problema de foco…

“Window dressing”


Detección de imperfecciones

Desorden de las palabras en las opciones



¡Múltiples opciones correctas!

¡Distractores implausibles!

Detección de imperfecciones en común


Repeticiones que dan pistas


Palés-Argullós, 2010

• Window dressing• Se refiere a aspectos controversiales u opiniones

• Convergencia• Imposible responder sin leer las opciones

• Formulación negativa• Quiebre sintáctico

• Formulación no interrogativa• Tamaño de las opciones…

• ¿Varias correctas?• Disposición de las opciones horizontales.

La Educación es un proceso de formación teórica y práctica que estípicamente humano. No se encuentra en otros especies. Respecto a laEducación chilena, a ti te parece que no se puede afirmar que:

A. Es de baja calidad. B. Es de alta calidad. C. Es la mejor educación delmundo, eso dicen los expertos por lo menos.

Detección de imperfecciones múltiples

Construyeron preguntas maravillosas, piloteadas anteriormente, de tal forma que

saben que están perfectamente adaptadas para evaluar los aprendizajes de sus estudiantes…

¿Qué podría salir mal?




4. Conclusión

PLAN

Creación de diferentes formas de prueba

¡Scrambling!

Cognitivamente hablando, responder a una PSM es leer…

y luego tomar una decisión

“Las tortugas son un grupo de animales tan popular comosimpáticos, paradigma de lentitud pero también de constancia.La fábula enseña cómo la tortuga pudo ganar a la liebre en unacarrera, gracias a esa constancia. Más real es la victoria que losquelonios, el grupo taxonómico en el que se integran lastortugas, han obtenido sobre otros animales en la carrera por lasupervivencia evolutiva. Las primeras tortugas probablementevieron aparecer a los dinosaurios y a otros grupos de grandesreptiles, y los vieron también extinguirse. La tortuga másantigua conocida, Proganochelys, vivió hace unos doscientosveinte millones de años, durante el triásico superior, y no eramuy diferente de las actuales”.

En el fragmento anterior, los quelonios corresponden al grupo alque pertenecen:

A) las animales.B) los liebres.C) los reptiles.D) las tortugas.E) los dinosaurios.

Opciones

Enunciado

Encabezado

Tiempo

-Atención sostenida

-Memorización

-Comprensión lectora

-Conducta orientada a meta

-Búsqueda-Toma de decisión

Lindner et al, 2014

• Los equipos

Medición de la exploración visual de textos: el Eye Tracking

Liversedge y Findlay, 2000

Fijaciones: localización, duración, cantidad, refijaciones.

Starr y Rayner, 2001

Sacadas: cantidad y tamaño.

Regresiones: intra o interpalabras.

Rayner, 2009

Exploración visual y lectura

VIDEO

Lindner et al., 2014

Exploración visual y toma de decisión

ElecciónAtención

Atalay, Bodur, y Rasolofoarison, 2012

Orquin y Loose, 2013

Destaque de color

Aparición sucesiva

¿Ayudas visuo-atencionales

pueden beneficiar la resolución de PSM?

• Señales puramente visuales,

• No agregan contenido semántico y destacan solamente parte del material: son señales de énfasis,

• Destacan la estructura de las PSM: organizadoras

% d

e r

espue

sta

s c

orr

ecta

s p

rom

edio

Sin señal Con señal

Chance

*p = .020, ƞ²p = .131

Resultados del estudio de lectura 1

Resultados del estudio de lectura 1

*P = .031, ƞ²p = .172

Núm

ero

de s

acadas p

rem

atu

ras p

rom

edio

Errores Respuestas

correctas

Núm

ero

de s

acadas p

rem

atu

ras p

rom

edio

*P = .010, ƞ²p = .008

Sin señal Con señal

• No encontramos otros efectos en la exploración visual

Conclusión del estudio de lectura 1

• La señal de color mejora la resolución de PSM decomprensión de lectura, porque limita la distracción visualcausada por las opciones, permitiendo una lectura menosinterrumpida del encabezado…

• Pero esta señal es una ayuda solamente:– Cuando se lee en computador,– Para alumnos con bajo rendimiento en lenguaje en el colegio.

• No interrumpir la lectura del encabezado es un predictorde exitosa resolución de las PSM.

➢ Controlar la aparición sucesiva de las partes de las PSM no beneficia laresolución.

➢ Sí lleva a realizar una exploración más exhaustiva del encabezado antes deexplorar las otras partes y antes de responder (en particular para losalumnos con bajo rendimiento en lenguaje).

➢ Variables que caracterizan una exploración exhaustiva del encabezadoantes de explorar las otras partes y antes de responder permiten depredecir la resolución de PSM de comprensión de lectura.

➢ Realizar una lectura exhaustiva y enfocada del encabezado es clavepara lograr la CL cuando está medida por PSM.

Estudio de lectura 2: Conclusiones finales

➢ Cuando construyen 1 PSM,

¿los docentes colocan la correcta en una posición más que en otra?

➢ Las pruebas con PSM tienen más correctas en alguna posición?

➢ Cuando responden a PSM, ¿los estudiantes seleccionan una posiciónmás que otra? ¿Por qué?

➢ Y ¿exploran una posición más que otra?

Estudios de la toma de decisión: Encaminados

Responder una PSM es como…

…seleccionar una posición espacial

…un juego de la escondida

…elegir un objeto en una lista¿Cuál de estos platos típicos franceses te

gustaría probar?

¿En cuál caja buscarías un tesoro escondido?

¿En cuál de estos enchufes enchufarías tu celular?

1. Blanquette de veau sauce

Basquaise

2. Ris d’agneaux

sauce Béarnaise

3. Bœuf bourguignon sauce

Nantua

Y por tanto:

A) Es el bordeB) Es el centroC) Es el centroD) Es el borde

Se eligen más las opciones céntricas, por aversión por los bordes, o por un fenómeno social.

A) Es la primeraB) Es la segundaC) Es la terceraD) Es la cuarta

Se eligen más las primeras opciones, por “satisfycingeffect”, o por interferencia.

Attali y Bar-Hillel, 2003; Bar-Hillel, 2015

Kiat, Ong y Ganesan, 2018; Hohensinn y Baghaei, 2017

Primeros estudios de toma de decisión

p = .008 η2 = .041 p = .048

η2 = .023p = .003

η2 = .050

p = .048; η2 = .044

• 171 escolares de 3ro medio

• 35 MCQ de comprensión de lectura

• 5 opciones, distractores en orden aleatorio

• Sin hojas de respuesta / grados de confianza

• 89 escolares de 3ro medio

• 30 MCQ de 3 opciones,

• Opciones en orden balanceado

• Sin hojas de respuesta / con grados de confianza

BALANCEO DE LAS CORRECTAS




4. Conclusión

PLAN

Conclusión (PARTE 1)

• Construir preguntas de selección múltiple todavía no es una ciencia, es más bien un

arte

• Es necesario entrenarse para poder escribir preguntas que tengan validez

• Solamente así el formato de selección múltiple puede medir el aprendizaje y

protegerse de las críticas que suele recibir…

Conclusión (PARTE 2)

• Para medir el aprendizaje con las PSM, es necesario construir preguntas de alta calidad,

pero también entender cómo se resuelven

• Para entender cómo se resuelven las PSM, hay que estudiar los procesos de lectura, pero

también de toma de decisión

• Es clave entender bien los efectos inespecíficos asociados a la resolución, para así mejorar la

validez del formato…

Referencias (PARTE 1)• Abdulghani, H. M., Ahmad, F., Irshad, M., Khalil, M. S., Al-Shaikh, G. K., Syed, S., ... & Haque, S. (2015). Faculty development programs improve the quality of Multiple

Choice Questions items' writing. Scientific reports, 5, 9556.

• Breakall, J., Randles, C., & Tasker, R. (2019). Development and use of a multiple-choice item writing flaws evaluation instrument in the context of general chemistry. Chemistry Education Research and Practice, 20(2), 369-382.

• Churches, A. (2009). Taxonomía de Bloom para la era digital. Eduteka.

• Crisp, G. T., & Palmer, E. J. (2007). Engaging academics with a simplified analysis of their multiple-choice question (MCQ) assessment results. Journal of university teaching & learning practice, 4(2), 4.

• Downing, S. M. (2005). The effects of violating standard item writing principles on tests and students: the consequences of using flawed test items on achievement examinations in medical education. Advances in health sciences education, 10(2), 133-143.

• Elliott, S. N., Kettler, R. J., Beddow, P. A., & Kurz, A. (2018). Handbook of accessible instruction and testing practices. New York, NY: Springer. doi, 10, 978-3.

• Gierl, M. J., Bulut, O., Guo, Q., & Zhang, X. (2017). Developing, analyzing, and using distractors for multiple-choice tests in education: A comprehensive review. Review of Educational Research, 87(6), 1082-1116.

• Haladyna, T. M., & Downing, S. M. (1989). A taxonomy of multiple-choice item-writing rules. Applied measurement in education, 2(1), 37-50.

• Haladyna, T. M., & Downing, S. M. (1989). Validity of a taxonomy of multiple-choice item-writing rules. Applied Measurement in Education, 2(1), 51-78.

• Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied measurement in education, 15(3), 309-333.

• Haladyna, T. M., & Rodriguez, M. C. (2013). Developing and validating test items. Routledge.

• Hederich, C., Bernal, J. M., & Camacho, L. R. (2014). Hacia una educación basada en la evidencia. Revista Colombiana de Educación, (66), 19-54.

• Jovanovska, J. Designing effective multiple-choice questions for assessing learning outcomes. Infotheca, 18(1), 25-42.

• Moreno, R., Martínez, R. J., & Muñiz, J. (2004). Directrices para la construcción de ítems de elección múltiple. Psicothema, 16(3), 490-497.

• Palés-Argullós, J. (2010). ¿ Cómo elaborar correctamente preguntas de elección múltiple?. Educación Médica, 13(3), 149-155.

Referencias (PARTE 2)

• Atalay, A. S., Bodur, H. O., & Rasolofoarison, D. (2012). Shining in the center: Central gaze cascade effect on product choice. Journal of Consumer Research, 39(4), 848-866.

• Attali, Y., & Bar‐Hillel, M. (2003). Guess where: The position of correct answers in multiple‐choice test items as a psychometric variable. Journal of Educational Measurement, 40(2), 109-128.

• Bar-Hillel, M. (2015). Position effects in choice from simultaneous displays: A conundrum solved. Perspectives on Psychological Science, 10(4), 419-433.

• Hohensinn, C., & Baghaei, P. (2017). Does the position of response options in multiple-choice tests matter?. Psicológica, 38(1), 93-109.

• Kiat, J. E., Ong, A. R., & Ganesan, A. (2018). The influence of distractor strength and response order on MCQ responding. Educational Psychology, 38(3), 368-380.

• Lindner, M. A., Eitel, A., Thoma, G. B., Dalehefte, I. M., Ihme, J. M., & Köller, O. (2014). Tracking the decision‐making process in multiple‐choiceassessment: Evidence from eye movements. Applied Cognitive Psychology, 28(5), 738-752.

• Liversedge, S. P., & Findlay, J. M. (2000). Saccadic eye movements and cognition. Trends in cognitive sciences, 4(1), 6-14.

• Orquin, J. L., & Loose, S. M. (2013). Attention and choice: A review on eye movements in decision making. Acta psychologica, 144(1), 190-206.

• Rayner, K. (2009). Eye movements and attention in reading, scene perception, and visual search. The quarterly journal of experimental psychology, 62(8), 1457-1506.

• Starr, M. S., & Rayner, K. (2001). Eye movements during reading: Some current controversies. Trends in cognitive sciences, 5(4), 156-163.

o seguimos @

[email protected]

presentación de powerpoint · palés-argullós, 2010 … permite pasar de un ítem que mide...

Documents