ENFOQUE METODOLÓGICO PARA EL DISEÑO Y CONTROL DE LA CALIDAD DE LOS

EXÁMENES DE COMPETENCIA Y DESEMPEÑO.

2007

Trabajo publicado en www.ilustrados.com

La mayor Comunidad de difusión del conocimiento

Dra. Sarah Guerrero Dra. Sarah Guerrero ChacónChacón

Especialista de MGIEspecialista de MGI

Asesora Metodológica ViceAsesora Metodológica Vice-R-Rectoría de ectoría de Postgrado ISCMHPostgrado ISCMH

ResumenResumen

En la exposición de este tema hemos basado En la exposición de este tema hemos basado nuestro trabajo en la necesidad que tenemos los nuestro trabajo en la necesidad que tenemos los profesores en conocer como debemos profesores en conocer como debemos orientarnos y prepararnos para realizar un orientarnos y prepararnos para realizar un examen de competencia y desempeño en el examen de competencia y desempeño en el postgrado.postgrado.Se darán los detalles de cómo se confeccionaSe darán los detalles de cómo se confeccionannlas preguntas de examen y sus características.las preguntas de examen y sus características.Estamos ofreciendo una herramienta de trabajo Estamos ofreciendo una herramienta de trabajo a nuestros colegas quienes frecuentemente a nuestros colegas quienes frecuentemente asumen esta tarea y debe ser con calidad y asumen esta tarea y debe ser con calidad y profesionalidad.profesionalidad.

INDICACIONESINDICACIONES

El diseño se ejecuta a partir de la El diseño se ejecuta a partir de la Tabla de Tabla de Especificaciones del Contenido.Especificaciones del Contenido.

Cada Cada temario temario deberá contar como mínimo con deberá contar como mínimo con 5 5 temáticastemáticas y no mas de 10, a fin de garantizar y no mas de 10, a fin de garantizar validez de contenido y confiabilidad del examen.validez de contenido y confiabilidad del examen.

El contenido de cada temática objeto de examen El contenido de cada temática objeto de examen se verificara mediante una cantidad de se verificara mediante una cantidad de preguntas que oscila entre preguntas que oscila entre 55 y y 1010. .

Tabla deTabla de Especificaciones del ContenidoEspecificaciones del Contenido..

La etapa de planeamiento de un examen culmina La etapa de planeamiento de un examen culmina

con la elaboración esta tabla, se resumen los con la elaboración esta tabla, se resumen los elementos más importantes que integran un elementos más importantes que integran un examen. La misma se elabora teniendo en examen. La misma se elabora teniendo en cuenta las temáticas objeto de evaluación, los cuenta las temáticas objeto de evaluación, los contenidos y habilidades que se quieren contenidos y habilidades que se quieren explorar y los tipos de preguntas que se explorar y los tipos de preguntas que se utilizarán.utilizarán.

Tipos de preguntas a emplear.Tipos de preguntas a emplear.

Selección múltiple, complemento simple.Selección múltiple, complemento simple.

Selección múltiple, complemento agrupado.Selección múltiple, complemento agrupado.

Pareamiento.Pareamiento.

Verdadero-falso.Verdadero-falso.

Ensayo de respuesta cortas.Ensayo de respuesta cortas.

Selección múltiple, complemento Selección múltiple, complemento simplesimple

Debe constituir el 30% del total preguntas.Debe constituir el 30% del total preguntas.Cada pregunta debe tener de 4 a 5 alternativas, siendo Cada pregunta debe tener de 4 a 5 alternativas, siendo cierta solo una de ellas.cierta solo una de ellas.No se permiten enunciados negativos , ni doblemente No se permiten enunciados negativos , ni doblemente negativos.negativos.Los distractores (enunciados falsos) deben ser Los distractores (enunciados falsos) deben ser indudablemente falsos pero trivialmente descartables, indudablemente falsos pero trivialmente descartables, siendo necesario dominar el contenido para el análisis siendo necesario dominar el contenido para el análisis critico.critico.Si se emplean ítems de nombres, enfermedades, etc. Si se emplean ítems de nombres, enfermedades, etc. deben ser dispuestos en orden alfabético. deben ser dispuestos en orden alfabético. Si se usan cifras deben colocarse en orden ascendente Si se usan cifras deben colocarse en orden ascendente o descendenteo descendente..

Selección múltiple, complemento Selección múltiple, complemento agrupadoagrupado..

Debe agrupar el 10% de las preguntas.Debe agrupar el 10% de las preguntas.

No se permiten enunciados negativos , ni No se permiten enunciados negativos , ni doblemente negativos.doblemente negativos.

Cada pregunta debe tener de 4 a 5 alternativas, Cada pregunta debe tener de 4 a 5 alternativas, siendo cierta solo una de ellas.siendo cierta solo una de ellas.

Evitar la regularidad del item de respuesta.Evitar la regularidad del item de respuesta.

Las agrupaciones que constituyen alternativas Las agrupaciones que constituyen alternativas deben tener todas la misma cantidad de deben tener todas la misma cantidad de enunciados.enunciados.

Enlace o pareamientoEnlace o pareamiento

Debe constituir el 20% de las preguntas.Debe constituir el 20% de las preguntas.

Cada columna debe tener un encabezamiento que Cada columna debe tener un encabezamiento que describa adecuadamente el contenido de la misma.describa adecuadamente el contenido de la misma.

La cantidad de enunciados de cada columna debe La cantidad de enunciados de cada columna debe ser diferente.ser diferente.

La cantidad de enunciados de la columna izquierda La cantidad de enunciados de la columna izquierda debe oscilar entre 3 y 5.debe oscilar entre 3 y 5.

La cantidad de enunciados de la columna derecha La cantidad de enunciados de la columna derecha debe debe

oscilar entre 5 y 10oscilar entre 5 y 10

Ensayo de respuesta cortaEnsayo de respuesta corta

Constituye el 30% del total de preguntas.Constituye el 30% del total de preguntas.

Para cada pregunta se deben exigir entre tres y Para cada pregunta se deben exigir entre tres y cinco respuestas.cinco respuestas.

Si el problema requiere de una respuesta Si el problema requiere de una respuesta numérico, hay que señalar las unidades en que numérico, hay que señalar las unidades en que deberá expresarse.deberá expresarse.

Verdadero o falsoVerdadero o falso

Es 10% del total de preguntasEs 10% del total de preguntasCada pregunta debe tener 5 o 10 items de respuestas.Cada pregunta debe tener 5 o 10 items de respuestas.Cada enunciado debe tener una sola idea.Cada enunciado debe tener una sola idea.No utilizar los adverbios (todo, siempre,No utilizar los adverbios (todo, siempre, ¨ninguno¨, ¨ nunca) así como tampoco(¨ a veces ¨, con ¨ninguno¨, ¨ nunca) así como tampoco(¨ a veces ¨, con frecuencia, alguna vez,) que expresan generalizaciones frecuencia, alguna vez,) que expresan generalizaciones tan absolutas o tan vagas que fácilmente son tan absolutas o tan vagas que fácilmente son adivinables como totalmente falsas o verdaderas.adivinables como totalmente falsas o verdaderas.Todos los enunciados no pueden ser verdaderos ni Todos los enunciados no pueden ser verdaderos ni tampoco falsos.tampoco falsos. Evitar la regularidad de la alternativa.Evitar la regularidad de la alternativa.

Clave de calificaciónClave de calificación Para cada pregunta del examen se precisara laPara cada pregunta del examen se precisara la

respuesta correcta la cual será única y cerrada, respuesta correcta la cual será única y cerrada, exenta de ambigüedades y sin otras exenta de ambigüedades y sin otras

consideraciones, ni variantes posibles, para lo consideraciones, ni variantes posibles, para lo cual se establecerá un patrón de respuestas,asícual se establecerá un patrón de respuestas,así

como una tabla de decisiones para la calificación como una tabla de decisiones para la calificación final del examen, las que siempre se debenfinal del examen, las que siempre se deben cumplir sin excepciones.cumplir sin excepciones.

Todas las preguntas de examen tienen la misma Todas las preguntas de examen tienen la misma puntuación, no importa el numero de preguntas puntuación, no importa el numero de preguntas de que conste. de que conste.

Análisis de la calidad del examenAnálisis de la calidad del examenErrores de cubrimientoErrores de cubrimiento..

Cuando conocimientos o habilidades de gran relevancia Cuando conocimientos o habilidades de gran relevancia que pertenecen a una de las temáticas seleccionadas no que pertenecen a una de las temáticas seleccionadas no están incluidas en el examen. También se determinan la están incluidas en el examen. También se determinan la existencia de ítems o preguntas que no se corresponden existencia de ítems o preguntas que no se corresponden con los conocimientos y habilidades que se quieren con los conocimientos y habilidades que se quieren medir.medir.

Errores en los niveles de asimilación de las Errores en los niveles de asimilación de las preguntas del examen: preguntas del examen:

Hay que determinar hasta que punto el nivel de los Hay que determinar hasta que punto el nivel de los conocimientos y habilidades que se planificaron en la tabla conocimientos y habilidades que se planificaron en la tabla de especificaciones se corresponden con lo que se de especificaciones se corresponden con lo que se pretende explorar en el examen.pretende explorar en el examen.

EEjercicio cruzado entre los profesores (12 jercicio cruzado entre los profesores (12 categorizados como asistentes y auxiliares)categorizados como asistentes y auxiliares)

Previamente se indica elaborar a partir de Previamente se indica elaborar a partir de un tema un modelo de pregunta de un tema un modelo de pregunta de examen y posteriormente se cruzan para examen y posteriormente se cruzan para ser evaluados entre si.ser evaluados entre si.

Deben elaborar la clave de estas Deben elaborar la clave de estas preguntas y aplicar los criterios de validez.preguntas y aplicar los criterios de validez.

ConclusionesConclusiones

En escenarios aplicados este sistema se comprueba En escenarios aplicados este sistema se comprueba que a pesar de que se utiliza en profesores que han que a pesar de que se utiliza en profesores que han tenido participación en la elaboración de este tipo de tenido participación en la elaboración de este tipo de exámenes, con frecuencia a cometen errores en la exámenes, con frecuencia a cometen errores en la elaboración de las preguntas, porque o no se elaboración de las preguntas, porque o no se conocen los detalles de la metodología o conocen los detalles de la metodología o simplemente se elaboran por repetición de la simplemente se elaboran por repetición de la actividad.actividad.Esto nos dio la experiencia que después de aplicarle Esto nos dio la experiencia que después de aplicarle el ejercicio a un grupo de profesores que deberían el ejercicio a un grupo de profesores que deberían participar en la confección de este tipo de exámenes participar en la confección de este tipo de exámenes se motivaran a su preparación previa y a la aplicación se motivaran a su preparación previa y a la aplicación de este recurso que para ellos fue de valor didáctico.de este recurso que para ellos fue de valor didáctico.

Referencia BibliográficaReferencia Bibliográfica

Anteproyecto para la confección de exámenes Anteproyecto para la confección de exámenes de competencia y desempeño Minsap de competencia y desempeño Minsap Cuba.2001Cuba.2001

Estudio prospectivo del colectivo de Estudio prospectivo del colectivo de profesores de la Vicerrectoría de postgrado profesores de la Vicerrectoría de postgrado ISCMH. Cuba.2006ISCMH. Cuba.2006