instituto colombiano para la evaluacion … · icfes manual para la construcciÓn de Ítems tipo...

MANUAL PARA LA CONSTRUCCIÓN DE ÍTEMS TIPO SELECCIÓN DE RESPUESTA

Código: C1.1.M01 Versión: 1 Página 1 de 28

Este es un documento controlado; una vez se descargue o se imprima, se considerará NO CONTROLADO

INSTITUTO COLOMBIANO PARA LA EVALUACION DE LA EDUCACIÓN SUPERIOR -

ICFES


BOGOTÁ, 2009

http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22




PRESENTACIÓN Con el fin de garantizar alta calidad en los ítems y por ende de las pruebas, el ICFES considera necesario disponer de un manual técnico dirigido a todas aquellas personas (docentes, investigadores, asesores, revisores, profesionales del ICFES responsables de pruebas, etc.) que participan de alguna manera en el proceso de construcción de pruebas, a fin de orientar de una forma estandarizada la construcción de ítems. Sin embargo, teniendo en cuenta que en el ICFES se desarrollan numerosos programas de evaluación en los diferentes niveles de educación formal (básica, media y superior), y que se participa en estudios internacionales y en el acompañamiento y asesoría a entidades del orden nacional, regional y local para la selección de personal, se plantea este manual como base a tener en cuenta si se requiere construir un manual especifico en algún caso. Es un requisito para quienes construyen ítems que dominen los planteamientos del marco de fundamentación conceptual establecido y vigente, así como las especificaciones técnicas del instrumento, a fin de que cada pregunta aporte su máximo potencial evaluativo al propósito de evaluación planteado. En este manual se privilegia el ítem de selección múltiple con única respuesta (Tipo I) por ser uno de los más utilizados universalmente para formular ítems en las evaluaciones educativas externas (pruebas objetivas), de carácter masivo, especialmente por la facilidad de su aplicación y calificación. Sin embargo, esta característica de facilidad no existe en la formulación de los mismos; formular buenos ítems de selección múltiple con única respuesta es una labor que exige mucho compromiso y práctica, además, por supuesto, de un profundo conocimiento del objeto de evaluación, combinado con una rigurosa aplicación de las reglas técnicas que se han desarrollado para procurar su calidad. El manual contiene información puntual y concreta sobre las pruebas objetivas, la caracterización de ítems en pruebas objetivas, el enfoque de evaluación por competencias, la estructura de prueba y las reglas técnicas fundamentales a tener en cuenta en el diseño y construcción de ítems, lo cual facilitará la comprensión del contenido del mismo.





CARACTERÍSTICAS DE UNA PRUEBA OBJETIVA • Se determina previamente una estructura de prueba, en la cual se resumen las

características importantes de la misma: el objeto de evaluación, la dimensión disciplinar (los contenidos que abordará, organizados en áreas o componentes); las dimensiones cognitivas (competencias, aptitudes, conocimientos, etc.) que evaluará y el tipo de preguntas que utilizará.

• Miden el grado en el cual una persona posee una determinada cualidad o

tributo a través de un número. Tal medición no depende de factores subjetivos de la persona que califica la prueba (estado de ánimo, relación con los evaluados, criterios del evaluador, etc.) (ICFES, 1998). Esto se logra gracias a que los criterios de calificación están establecidos previamente, sobre los cuales ha habido acuerdo desde el momento mismo de la construcción de la prueba.

• Los ítems se acompañan de un número reducido y limitado de opciones de

respuesta, entre las cuales el examinado debe escoger aquella que mejor responda al ítem. En las pruebas cualitativas, en cambio, los ítems son abiertos y buscan que el mismo estudiante construya la respuesta.

• Todos los examinados son sometidos al mismo instrumento de evaluación,

aplicado bajo condiciones estandarizadas (de espacio, tiempo, etc.), es decir las mismas pruebas y los mismos ítems para todos. Las instrucciones y opciones de respuesta son iguales para todos los evaluados y están estructuradas con antelación a la aplicación (ICFES, 1988).

• Posibilitan evaluar grandes grupos de personas de forma masiva y simultánea

debido a la facilidad de ser calificadas por medio de máquinas y sistemas computacionales.

• Cabe reiterar que con las pruebas objetivas se tiene la intención que sean

además un instrumento pedagógico, esto es que enseñe a quien lo responde y enriquezca a quienes lo construyen; es un punto de partida y no de llegada, que debe suscitar reflexiones de la comunidad académica, por lo cual de ninguna manera puede ratificar el modelo de aprendizaje memorístico, pasivo y acrítico ya superado o en vía de superación.





CARACTERÍSTICAS O ATRIBUTOS DE UNA PRUEBA OBJETIVA PARA QUE CUMPLA CON UNOS DETERMINADOS FINES Para que las pruebas objetivas cumplan con los fines para los cuales se diseñan, deben tener fundamentalmente tres características: confiabilidad, validez y equilibrio (ICFES, 1988; CENEVAL, 2000). CONFIABILIDAD La medición de la característica o cualidad en aplicaciones sucesivas de la prueba debe ser similar. Es decir, si aplicamos la prueba en diferentes momentos, se deben obtener los mismos resultados bajo condiciones idénticas. VALIDEZ Una prueba es válida si mide lo que se pretende medir. El grado de validez de una prueba se refiere a la exactitud con la cual se mide la cualidad o atributo que se quiere medir con la prueba. Es el grado en el cual las interpretaciones sobre el objeto de evaluación (competencias, conocimientos, etc.) de una persona o un grupo de personas, son correctas, a partir de su o sus respuestas a una pregunta. El cumplimiento de las reglas que se plantean en este manual, contribuyen a garantizar la validez de las preguntas elaboradas. Los siguientes tres factores afectan negativamente la validez, por lo cual se deben eliminar en el proceso de construcción de ítems: • La tarea a la cual se enfoca el ítem no es relevante para la evaluación del

objeto definido en el marco de fundamentación. • En el ítem se incluye información que facilita o dificulta su interpretación y por

ende su resolución. • Adicionalmente, la validez del proceso evaluativo sería inexistente si las

preguntas son conocidas por todos o algunos miembros de la población objetivo antes de su aplicación. Por lo anterior, la confidencialidad en el proceso de elaboración de preguntas es un compromiso esencial de quienes participan en la construcción de las pruebas1. Los anexos Nos. 2 y 3 muestran,

1 Cada participante en el proceso de construcción de preguntas es responsable de la confidencialidad del texto de sus propias preguntas, las cuales no puede utilizar en prueba alguna. Ningún participante que elabore preguntas o asista a los talleres para la revisión puede comentar acerca del contenido de las preguntas debatidas en él, por el compromiso de confidencialidad adquirido personal e institucionalmente, para ello deberán diligenciar el formato de Acta de Compromiso de Confidencialidad contenido en el Anexo No. 3 de este Manual.





respectivamente, algunas sugerencias para garantizar la confidencialidad de los ítems durante el proceso de construcción y el modelo de acta de compromiso que deben suscribir quienes construyen ítems.

EQUILIBRIO Para poder hacer una adecuada discriminación del desempeño en el grupo a evaluar, que tengan la posibilidad de exhibir sus habilidades de desempeño, es necesario mantener un adecuado equilibrio en la cantidad de las preguntas por dimensión disciplinar (componentes), dimensión cognitiva (competencias, aptitudes, etc.) y complejidad (baja, media y alta)

CONSTRUCCIÓN O ELABORACIÓN DE PREGUNTAS

Aquí se hace necesario enfatizar, que un instrumento de evaluación es un conjunto intencionalmente articulado de ítems a través de cuya aplicación se infiere el desempeño de quienes son evaluados en relación con el objeto de evaluación. Una prueba es más que la simple suma de ítems que la conforman, aunque su poder evaluativo se deriva de la potencia para evaluar que tengan todos y cado una de ellos. Se espera que un instrumento de evaluación sea una unidad evaluativa completa, armónica, que responda efectivamente a los propósitos planteados en su marco de referencia y a las características definidas en las especificaciones de prueba. Siendo así, la construcción de ítems una actividad crucial en la cual se materializan los propósitos y características establecidos. Producir esa unidad evaluativa integral que es la prueba demanda planeación, organización y permanente revisión y cualificación del producto. No se logra a partir de la agregación, a posteriori, de ítems aislados, aunque aparentemente éstos tengan relación con el objeto de evaluación. Cada ítem debe ser construido con la intención clara de evaluar una tarea que hace parte integral del objeto de evaluación y debe, por tanto ser único, aportar efectivamente al propósito evaluativo, complementar a los demás ítems del instrumento; es decir, cada ítem debe constituirse en pieza esencial del instrumento. Hacer buenos ítems implica también conocer y aplicar aspectos técnicos en su formulación: las características de los distintos tipos de preguntas susceptibles de utilización, las reglas existentes para su correcta elaboración y los factores que pueden alterar su validez. Quizás, por todo esto, la tarea más difícil en el proceso





evaluativo es construir ítems que se ajusten a las especificaciones de prueba y que, efectivamente, respondan al propósito de la evaluación2. En resumen, para llevar a cabo esta actividad es indispensable conocer con profundidad las consideraciones del marco de fundamentación conceptual, las intenciones evaluativas subyacentes en la estructura de prueba y las especificaciones psicométricas del instrumento que se pretende desarrollar. Así mismo, es fundamental reconocer que el propósito es producir un instrumento de evaluación y no un agregado de ítems. Este supuesto es básico porque asegura que el equipo desarrollador de los ítems se compromete alrededor de un propósito común y adelante un trabajo articulado, armónico, que asegure que cada ítem sea un aporte verdadero a la intención evaluativa, previamente definida, que se tiene con el instrumento. Una vez se asegura este compromiso, puede decirse que se cuenta con el clima propicio para proceder a la fase de construcción de ítems. Es pertinente plantear que el proceso de construcción de ítems exige dinámicas de reflexión y discusión entre pares y el apoyo de expertos que garanticen la calidad y pertinencia de cada ítem. Después de elaborados los ítems, el instrumento se ensambla de acuerdo con las especificaciones psicométricas y se somete a revisiones por parte de expertos en los aspectos conceptuales o disciplinares, en técnicas de construcción, de estilo, etc., que sirven al propósito doble de controlar la calidad evaluativa y verificar que se disponga de las adecuadas condiciones editoriales del instrumento. TIPOS DE PREGUNTAS Corresponde a la forma en la cual se estructuran las preguntas. La siguiente gráfica muestra una clasificación de los tipos de preguntas, establecida a partir de la acción que el evaluado realiza para producir una respuesta cuando se enfrenta a cada tipo de pregunta:

2 Hambleton, R. y Zaal, J. (1994). Advances in educational psychological testing. Boston: Kluwer Academic Publishers.





TIPOS DE PREGUNTAS

SELECCIÓN DE RESPUESTA PRODUCCIÓN DE RESPUESTA

Selección Múltiple

Apareamiento

Selección Alterna

Falso - Verdadero

Dependientes de Contextos

Completar Respuestas

Ensayo Corto

Ensayo Largo

Ensayo Oral

Ejecución

Productos No Escritos

En el ICFES se utilizan cinco (5) tipos de preguntas de selección de respuesta, codificadas así:

TIPO DE PREGUNTA CÓDIGO Selección Múltiple con Única Respuesta – S.M.U.R. I Selección Múltiple con Múltiple Respuesta – S.M.M.R. IV Selección Múltiple con Información Suficiente – S.M.I.S.

VI

Análisis de Postulados – A.P. VII Análisis de Relación – A.R. VIII Para cada tipo de pregunta que se utiliza en un instrumento de evaluación, deben especificarse las instrucciones correspondientes (Anexo No. 4). Las instrucciones son el conjunto de recomendaciones o pasos que guían y dan información acerca de cómo proceder para responder la pregunta. Las instrucciones deben presentarse de manera clara y en lenguaje adecuado al nivel de los examinados, en algunos casos resulta recomendable mostrar un ejemplo sencillo antes de empezar el examen propiamente, sobre todo si no se ha elaborado instructivo para los examinados. Aunque las instrucciones generalmente no se presentan para cada ítem, sino que son comunes para grupos de ellos, se han considerado como un elemento importante del ítem puesto que la respuesta





del examinado puede verse seriamente alterada por la forma cómo se entiendan las instrucciones. En este manual se enfatiza sobre las características de las preguntas de selección múltiple con única respuesta y las reglas para su construcción, teniendo en cuenta que es el tipo de pregunta más utilizado universalmente; y que de cualquier manera, algunas de esas características, así como muchas de las reglas de construcción son pertinentes también para otros tipos de preguntas. ESTRUCTURA DE UNA PREGUNTA DE SELECCIÓN MÚLTIPLE CON ÚNICA RESPUESTA – S.M.U.R. CONTEXTO Es la información necesaria para la resolución de una problemática. En algunas ocasiones el contexto no se explicita porque corresponde al marco de referencia del objeto de evaluación. En otras ocasiones el contexto puede ser un texto –por ejemplo, en ítems de comprensión de lectura-, una gráfica, un dibujo, una tabla o cualquier otra forma de presentación de la información a partir de la cual se deriva el enunciado.

El esquema muestra la vegetación existente en diferentes elevaciones de una montaña Andina. De este esquema se puede concluir que

A. La altitud depende de las características de la vegetación

B. Las características de la vegetación son independientes de las condiciones climáticas

C. Al variar las condiciones climáticas y la altitud, varían las características de la vegetación

D. La altitud y la vegetación no están relacionadas

Opciones de

Respuesta

Enunciado





ENUNCIADO Es el planteamiento de la problemática que se espera sea resuelta por el evaluado3. En el enunciado se expone la tarea de evaluación elegida para dar cuenta del objeto evaluado y por tanto dirige el esfuerzo del evaluado para generar o seleccionar una respuesta. En algunos ítems el enunciado está contenido dentro del contexto y en otros el enunciado hace referencia a información que aparece –como contexto- de manera independiente en el instrumento. Este debe proveer una idea completa y clara de la tarea de evaluación, que contenga la información necesaria y suficiente para contestar el ítem.

OPCIONES DE RESPUESTA Son posibles respuestas a la problemática planteada en el enunciado. Para el tipo de pregunta de selección múltiple con única respuesta sólo una de ellas es válida (conocida como Clave); las demás no responden en forma completa o pertinente a la problemática formulada (opciones de respuesta No Validas), pero resultan plausibles para los evaluados que no dominan la tarea de evaluación. La opción que responde correctamente (Clave) a la tarea debe diferenciarse de las demás opciones por su contenido y no por sutilezas del lenguaje. Una opción no válida puede ser un error común, una afirmación verdadera pero que no contesta completamente a la pregunta o no satisface las exigencias del problema. REGLAS PARA LA CONSTRUCCIÓN DE ÍTEMS DE SELECCIÓN DE RESPUESTA La experiencia en la construcción de ítems, así como algunos estudios adelantados4 5 6 7 8.sobre las técnicas que conducirían a desarrollar ítems de alta calidad, permiten contar en la actualidad con un conjunto de reglas para la construcción y administración de los ítems. A continuación se enuncia un compendio de dichas reglas, derivadas de los estudios citados, así como de la

3 AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA. 4 Haladyna y Downing. (1989). A taxonomy of multiple choice ítem writing rules. En Apply Measurement in Education. Vol. 1. 5 Haladyna, T. (1994). Development and validatin multiple choice test ítems. New Jersey: Lawrence Earlbaum Associates. 6 Cheung, D. Y Bucat, R. (2002). How can we construct good multiple choice ítems?. Hong Kong: Sciens an Technlogy Education conference. 7 ICFES. (2004). Estándares para la construcción de pruebas. Bogotá: ICFES. 8 Cohen, A. y Woollack, J. (2004). Helpful tips for creating reliable and valid classroom test. En Handbook on Test Development. U. Wisconsin.





experiencia del ICFES9 en la elaboración de instrumentos de evaluación educativa. Reglas que involucran tanto a los administradores, como a los constructores de ítems (Anexo No. 1). REGLAS SOBRE ASPECTOS GENERALES DE LA CONSTRUCCIÓN DE ÍTEMS • Planear la construcción de ítems contemplando el tiempo suficiente para la

edición y las revisiones establecidas. • Verificar que en todo el instrumento (portada, textos, instrucciones, ítems, etc.)

no existan errores gramaticales, de puntuación, de ortografía o de abreviaturas. • Utilizar un lenguaje claro, preciso y directo, que permita reducir al mínimo el

tiempo que el evaluado debe emplear para leer cada ítem y la prueba en general.

• Balancear la dificultad de los ítems para que el instrumento cubra los niveles de

habilidad de la población objetivo, es decir, la prueba debe incluir preguntas de dificultad alta, media y baja.

REGLAS SOBRE LA CONSTRUCCIÓN DEL CONTENIDO DE LOS ÍTEMS

• Evitar la elaboración de ítems que confundan al evaluado. Algunos estudios han

encontrado situaciones en las cuales los evaluados perciben que los ítems son confusos10, por algunas de las situaciones que se mencionan a continuación:

• Tener un contenido trivial. • La presencia de información irrelevante. • Información ambigua en las opciones de respuesta. • La discriminación muy fina entre las opciones de respuesta. • La presencia de información o principios presentados en formas distintas a

como han sido aprendidos por la población evaluada, en el proceso educativo.

9 De más de 40 años (1968), construyendo pruebas educativas para todos los niveles de formación (Básica, media y superior) y para la selección de docentes y de funcionarios públicos. Como también en la participación de estudios internacionales. 10 Roberts, D. (1993). An empirical studying on the nature of trick questions. Journal of educational measurement. Vol 30.





• Verificar que cada ítem corresponda a una tarea de evaluación definida en la estructura de prueba.

• Evitar la evaluación del mismo aspecto específico con varios ítems. • Plantear una sola problemática en cada ítem. • Evitar ítems que incluyan posiciones ideológicas o prejuicios. • Utilizar un vocabulario adecuado para la población objetivo. • Verificar que cada ítem sea independiente y no provea información para

responder otros ítems. • No utilizar ítems que aparezcan en Internet, libros, revistas u otros documentos,

como base para sus ítems, es decir construir ítems originales. • Evitar ítems sobre conocimientos muy específicos. • Evitar ítems en los cuales se indague por la opinión del evaluado. • Evitar ítems cuya respuesta válida se determine según la opinión de quien lo

construyó. REGLAS SOBRE LA CONSTRUCCIÓN DEL ENUNCIADO DE LOS ÍTEMS • Evitar la utilización de nombres y apellidos para referirse a personas.

Igualmente la denominación de empresas o negocios, municipios, ciudades, departamentos. Por ejemplo María Martínez, Pedro Pérez, el Hospital San Juan de Dios, el Almacén El Bodegazo Textil, el municipio de Luruaco, el departamento del Choco, en su lugar una paciente ….., un paciente …., un Hospital Universitario ….., un almacén de telas y ropa …., un municipio.., un departamento… etc.

• Verificar que las directrices planteadas en el enunciado son claras y que se

pueda reconocer claramente lo que se está preguntando (la tarea propuesta). • Evitar textos excesivos. • Redactar el enunciado en forma positiva, es decir, evitar al máximo las

negaciones. De ser necesaria la negación (NO, EXCEPTO, etc.) debe registrarse en mayúsculas y negrita.





REGLAS SOBRE LA CONSTRUCCIÓN DE LAS OPCIONES DE RESPUESTA

• El número de opciones de respuesta es de cuatro (4). Diversos estudios han

analizado la cantidad de opciones útiles para los propósitos de la evaluación11 12 que debe contener una pregunta; el ICFES ha establecido que cuatro es el número apropiado.

• Verificar que cada opción tenga concordancia gramatical con la proposición del

enunciado. • Evitar opciones fácilmente descartables, por ser obvias o de otros ordenes

gramaticales o semánticos. • Organizar las opciones de respuesta numéricas, de menor a mayor o de mayor

a menor, de manera que sea consistente en todo el instrumento de evaluación. • Verificar que las opciones sean independientes entre sí. No deben solaparse o

intersectarse y no deben ser sinónimas. • Tener en cuenta que todas las opciones se refieran al mismo contenido. • Verificar que las opciones tengan una longitud similar, por lo menos por pares

de opciones. • Nunca utilizar como opción de respuesta:

• Todos(as) los(as) anteriores. • Ninguno(a) de los(as) anteriores. • A y B son correctas (o cualquier combinación de opciones)

• Redactar las opciones en forma positiva, es decir, evitar las negaciones. • No repetir en las opciones frases o palabras significativas contenidas en el

enunciado. • En general evitar en las opciones el uso de adverbios como:

• Siempre • Nunca • Totalmente

11 Haladyna, T. y Downing, S. (1995). How many options is enough for a multiple choice test ítem. New Jersey: LEA. 12 Pardo, C. (1994). Número útil de opciones de respuesta en las pruebas Saber. Documento de Trabajo. Bogotá: Icfes.





• Absolutamente • Completamente

• Equilibrar la posición de las opciones válidas o claves de los diferentes ítems

del instrumento. Es recomendable que aparezcan las claves proporcionalmente en cada posición posible (A, B, C y D).

• Evitar que la opción válida pueda ser identificada fácilmente por contraste con

las demás opciones, por alguna de las siguientes situaciones: • Tener la mayor o menor longitud. • Ser la proposición de mayor precisión o imprecisión. • Estar redactada en un tipo lenguaje diferente (técnico o común). • Tener el mayor nivel de generalización o de particularización. • Tener las mismas palabras que el enunciado.

• Justificar adecuada y suficientemente cada una de las opciones (Valida o Clave

y No validas) para garantizar que sólo hay una opción válida y que las demás son plausibles para quienes no dominan completamente la tarea de evaluación, pero que ellas no son la respuesta válida.

NOTA: Teniendo en cuenta las especificidades y diferencias de los programas de evaluación del ICFES, se cuenta con fichas especificas para compilar la información básica sobre cada ítem construido.

CARACTERIZACIÓN DE LOS ÍTEMS POR CONSTRUIR

La caracterización de cada ítem esta determinada por el Marco de Fundamentación Conceptual y las especificaciones de prueba, lo cual permite determinar el objeto de evaluación, su alcance temático en términos de la dimensión disciplinar o conceptual (contenido organizado por componentes o bloques temáticos); la profundidad y la dificultad con la cual se hará la evaluación de ellos y lo que se espera del evaluado en términos de la dimensión cognitiva que se evalúe (competencias, conocimientos, aptitudes, etc.), información que guía tanto a los actores que participan en el proceso (constructores, revisores de preguntas, profesionales del ICFES responsables de pruebas, etc.), como a los evaluados que van a presentar la respectiva prueba. Una caracterización adecuada facilitará la elaboración de una prueba balanceada que incluya ítems con alta, media y baja dificultad, donde los niveles deben estar bien definidos, dado que la prueba está orientada a evaluar a todos los estudiantes y no solamente a los de mejor desempeño.





COMPONENTES Grupos o conjuntos de preguntas que organizan sistemáticamente el contenido disciplinar a evaluar. Se conforman tanto para la construcción de los instrumentos de evaluación, como para la presentación de los resultados de la evaluación. Cada componente debe tener un mínimo de ítems que permitan caracterizar suficientemente el componente, desde el punto de vista cualitativo (contenido disciplinar) y cuantitativo (estadístico). COMPETENCIAS El término competencias es muy antiguo y su origen proviene del verbo latino competere que significa “ir una cosa al encuentro de otra”, encontrarse, coincidir (Corominas, 1987). A partir del siglo XV competer adquiere también el significado de pugnar con, rivalizar con, contender con, dando lugar a los sustantivos competición, competencia, competidor, competitividad, así como al adjetivo competitivo (Corominas, 1987; Corripio, 1984). Aunque todavía hay muchos vacíos en la definición de las competencias (Soto, 2002), recientemente se han propuesto algunas definiciones que tienen características comunes: • Las competencias son una “actuación idónea que emerge en una tarea

concreta, en un contexto con sentido, donde hay un conocimiento asimilado con propiedad y el cual actúa para ser aplicado en una situación determinada, de manera suficientemente flexible como para proporcionar soluciones variadas y pertinentes” (Bogoya, 2000, p. 11).

• Posee competencia profesional quien dispone de los conocimientos, destrezas y actitudes necesarias para ejercer su propia actividad laboral, resuelve los problemas de forma autónoma y creativa, y está capacitado para actuar en su entorno laboral y en la organización del trabajo (Bunk, 1994).

• “Una competencia es una capacidad para el desempeño de tareas relativamente nuevas, en el sentido de que son distintas a las tareas de rutina que se hicieron en clase o que se plantean en contextos distintos de aquellos en los que se enseñaron” (Vasco, 2003, p. 37).

• "Un saber hacer y saber actuar entendiendo lo que se hace, comprendiendo cómo se actúa, asumiendo de manera responsable las implicaciones y consecuencias de las acciones realizadas y transformando los contextos a favor del bienestar humano" (Montenegro, 2003).

• Son procesos complejos que articulan el saber ser y el saber conocer con el saber hacer dentro del marco de la realización de actividades y resolución de





problemas, asumiendo las consecuencias de los actos, con creatividad, responsabilidad por el trabajo bien hecho y trabajando en equipo (Tobón, 2004).

De acuerdo con lo anteriormente descrito, puede afirmarse, que las competencias son actuaciones o desempeños manifiestos, que se ponen en acción ante la realización de tareas y la resolución de problemas (son un saber hacer en contexto), e implican idoneidad en lo que se hace, siendo algo de sí para los demás (Gallego, 1999). La competencia se define como “un saber hacer en contexto” o un “saber situado”, el cual le permite al evaluado llevar a cabo acciones con su saber en el contexto de una disciplina del conocimiento. De esta manera, una evaluación por competencias privilegia lo que el evaluado hace con su conocimiento cuando éste se encuentra en interacción con contextos disciplinares y socioculturales específicos. De modo que, dicha interacción en diferentes contextos exige de quien tiene los conocimientos algo más allá de repetir fórmulas o articulados: demostrar qué acciones puede hacer, vale decir, utilizarlos. De esta forma, una evaluación por competencias antes que reclamar del estudiante datos, privilegia la comprensión, el análisis y la crítica de los conocimientos. Privilegia la coherencia que debe tener el saber en unos contextos determinados. Es decir, la competencia es la utilización adecuada y pertinente de un conocimiento en un contexto específico. Lo que la prueba trata de determinar no es todo el universo posible de información que recibió el evaluado a lo largo de su formación, sino aquello de lo que se apropió y que puede demostrar en acciones que se consideran típicas tanto de su proceso de formación (básica, media, superior), como de su aplicación. De acuerdo con lo anterior, en el ICFES se trabaja en algunas de sus pruebas como por ejemplo, ECAES, con tres dimensiones de competencia, así: Interpretar Hace referencia a las acciones que realiza una persona, con el propósito de comprender una situación en un “contexto” específico. La interpretación implica dar cuenta del sentido de un texto, de una proposición, de un problema, de un evento o de una gráfica, mapa, esquema o simbología propia de la disciplina objeto de evaluación, e involucra acciones tales como: • Identificar las variables involucradas en una situación problema y sus

relaciones. • Describir el estado, las interacciones o dinámica de un sistema, en términos

gráficos o simbólicos.





• Traducir información de un sistema de representación a otro (identificar el esquema ilustrativo correspondiente a una situación dada o, identificar la descripción más apropiada para determinada gráfica).

• Plantear conclusiones válidas a partir de un conjunto de datos o eventos. Argumentar Hace referencia a las acciones que realiza una persona con el propósito de fundamentar o sustentar un planteamiento, una hipótesis, un diseño, el uso de un procedimiento, la solución a un problema o a una decisión. Al evaluado no se le solicita que exponga un discurso argumentativo personal, se le pide que se apropie de los sentidos que articulan un texto o discurso breve o un enunciado y encuentre los fundamentos que los explican. Esta competencia exige explicitar los por qué de lo que se hace, e involucra acciones tales como: • Fundamentar la ocurrencia de determinados fenómenos con base en

planteamientos teóricos. • Sustentar conclusiones para diferentes eventos o fenómenos, mediante el

establecimiento de cadenas de relaciones entre conceptos, postulados o principios teóricos.

• Sustentar conclusiones a partir de datos o procedimientos experimentales. • Argumentar cuál es la información relevante para la resolución de un problema. Proponer Hace referencia a las acciones que realiza una persona, con el propósito de plantear alternativas de decisión o de acción; establecer lo que puede ocurrir en un sistema o situación cuando cambian las condiciones y dilucidar relaciones o vínculos no evidentes entre eventos o conceptos. Esta competencia implica una actuación argumentada, crítica y creativa para seleccionar entre opciones o alternativas encaminadas a la solución de un problema, en un contexto determinado. Esta competencia involucra acciones tales como: • Predecir el comportamiento de un sistema o situación si se realizan cambios en

las interacciones o en sus condiciones iniciales • Conjeturar, a partir de un estado final, las condiciones o estados precedentes

que lo hicieron posible. • Plantear el diseño experimental o la estrategia más adecuada y pertinente para

realizar un determinado estudio o contrastar una hipótesis. • Establecer regularidades válidas para un conjunto de situaciones

aparentemente desconectadas. • Plantear hipótesis.





LA DIFICULTAD EN LOS ÍTEMS

El objetivo de un instrumento de evaluación educativa no es el de identificar a los mejores estudiantes (para lo cual una prueba con un alto nivel de dificultad sería lo apropiado), sino el de evaluar a todos los estudiantes, poderlos caracterizar y por este medio evaluar indirectamente el programa académico. Es por esto que la prueba debe incluir ítems con niveles de dificultad baja, media y alta. Con respecto a variables relacionadas con el contenido de los ítems, se plantean tres niveles de dificultad: baja, media y alta, así: BAJA: En este nivel se clasificarán todos aquellos ítems que tengan una o varias de las siguientes características: • El problema implica considerar solamente una variable. • El problema solamente tiene en cuenta una disciplina. • El problema es altamente común en el quehacer profesional. Se estima que este tipo de ítems lo responderían acertadamente entre el 70% y el 100% de los evaluados. MEDIA: En este nivel se clasificarán todos aquellos ítems que tengan una o varias de las siguientes características: • El problema implica considerar dos variables • El problema implica un análisis multidisciplinario o interdisciplinario. • El problema corresponde a asuntos específicos del quehacer profesional Se estima que este tipo de ítems lo responderían acertadamente entre el 30% y el

70% de los evaluados. ALTA: En este nivel se clasificarán todos aquellos ítems que tengan una o varias de las siguientes características. • El problema requiere considerar el análisis de más de dos variables al mismo

tiempo. • El problema requiere para su solución un análisis transdisciplinario. • El problema se encuentra con poca frecuencia en el quehacer profesional.

Se estima que este tipo de ítems lo responderían acertadamente entre el 10% y el 30% de los evaluados. Además se debe tener en cuenta el tiempo de duración de la prueba, a fin de que los evaluados cuenten con el tiempo requerido, aspecto importante en la





construcción de los ítems. Situación a tener en cuenta en especial en aquellos ítems con un nivel de dificultad alta, por restricciones de tiempo no se puede demandar del estudiante desarrollos matemáticos o de cualquier otro tipo en el que el procedimiento sea muy demorado. REVISIÓN SISTEMÁTICA EN LA CONSTRUCCIÓN DE LOS ÍTEMS Aun cuando una prueba no es simplemente un conjunto de ítems, desde la aproximación que se maneja en este documento, su eficacia, confiabilidad y validez están primordialmente determinadas por la bondad de los ítems que la componen. La literatura especializada resalta cinco (5) aspectos que deben revisarse de cada pregunta previo ensamblaje y aplicación de la prueba ((Wesman; 1971), (Mehrens & Lehman, 1982)), (Dirección Nacional de Administración Judicial, 1991) y (Thorndike, 1995), entre muchos otros). Algunos de ellos resultan de mayor o menor interés dependiendo del tipo y objetivo de la prueba. Estos son: 1. Aspectos Formales: Como la redacción, la precisión de las instrucciones, la

claridad en la presentación de la tarea, adecuación del lenguaje al nivel de la población y otros dependiendo del tipo de prueba.

2. Pertinencia: Entendida como la relación del ítem con lo que la prueba pretende

medir, se considera que un ítem es pertinente si está en armonía con el plan general de la prueba. Evaluar la pertinencia de un ítem es establecer si pertenece o no al dominio definido o si, de acuerdo con la teoría, es o no una manifestación del atributo que mide la prueba.

3. Importancia o Relevancia: Hace referencia al contenido específico de la

pregunta en relación con la estructura de prueba; se asimila a significancia en contraste con detalles superficiales, observaciones incidentales o comentarios tangenciales de acuerdo con la definición del dominio o atributo. La estructura de prueba indica los aspectos generales que se consideran importantes dentro de la misma pero es el constructor de los ítems quien tiene la responsabilidad de seleccionar aquellos aspectos específicos que considere importantes, de acuerdo con el dominio o atributo que se pretenda medir.

4. Dificultad: Entendida como una apreciación subjetiva y a priori del nivel de

maestría o magnitud del atributo necesario para responder el ítem, obviamente esta apreciación de dificultad está en estrecha relación con las características de la población a la que va dirigida la prueba. Aunque existen procedimientos estadísticos para hacer estimaciones de la dificultad después de aplicado el instrumento, esta apreciación subjetiva puede resultar útil sobre todo si se tiene





en cuenta que quienes construyen los ítems son expertos en los contenidos de la prueba.

5. Probable Poder Discriminativo: La discriminación de un ítem es el grado en

que, como unidad, permite diferenciar algunos grupos de interés, por ejemplo, quienes tiene alta maestría en el dominio de quienes no, o quienes poseen mayor magnitud del atributo de quienes poseen menos; en general las preguntas que poseen poder discriminativo contribuyen a la efectividad de la prueba. En el momento de la construcción del ítem, se trata también de una apreciación subjetiva que se puede verificar una vez aplicada la prueba.

NOTA: El ICFES dispone de una guía de revisión, que facilita y promueve unidad de criterios en la revisión de los ítems construidos, por parte de los diferentes actores del proceso.





BIBLIOGRAFÍA Bogoya, D. (2000). Una prueba de evaluación de competencias académicas como proyecto. En: D. Bogoya et al. (Eds.), Competencias y proyecto pedagógico. Bogotá: Universidad Nacional de Colombia. Bunk, G.P. (1994). La transmisión de las competencias y la formación y perfeccionamiento profesionales de la RFA. Revista Europea de Formación Profesional, 1, 8-14. Corominas, J. (1987). Breve diccionario etimológico de la lengua castellana. Madrid: Gredos. Corripio, F. (1984). Diccionario etimológico general de la lengua castellana. Barcelona: Brugüera. Gallego, R. (1999). Competencias cognoscitivas. Un enfoque epistemológico, pedagógico y didáctico. Santafé de Bogotá: Cooperativa Editorial Magisterio. Hernández, C.A., Rocha, A., y Verano, L. (1998). Exámenes de Estado: Una propuesta de evaluación por competencias. Bogotá: ICFES. ICFES (1988). Manual sobre elaboración y análisis de pruebas objetivas de conocimientos para el aula escolar. Bogotá: ICFES. ICFES (2004). Estándares para el desarrollo de marcos de fundamentación conceptual y especificaciones de prueba. Bogotá: ICFES. Jurado, F. (2001). La evaluación censal de competencias básicas en Bogotá. En: Educación y Cultura, No. 56. Bogotá: FECODE. MEN (2003b). Resolución 2772 de 2003, Por medio de la cual se definen las características específicas de calidad para los programas de pregrado en Ciencias de la Salud. Bogotá: MEN. MEN (2003c). Ley 841 de 2003, Por la cual se reglamenta el ejercicio de la profesión de bacteriología, se dicta el código de bioética y otras disposiciones. Bogotá: MEN. Montenegro, I. (2003). ¿Son las competencias el nuevo enfoque que la educación requiere? Magisterio, Educación y Pedagogía, 1, 17-23. Tobón, Sergio (2004). Formación basada en competencias: Pensamiento complejo, diseño curricular y didáctica. Bogotá: ECOE. Vasco, C.E. (2003). Objetivos específicos, indicadores de logros y competencias ¿y ahora estándares? Educación y Cultura, 62, 33-41.





ANEXO No. 1

CARACTERÍSTICAS QUE DEBE TENER UN CONSTRUCTOR DE ÍTEMS La habilidad para escribir ítems depende, además de la creatividad, del juicio discriminativo en el uso de la misma y en la adquisición de tales habilidades juega un papel muy importante la experiencia. Los manuales como el presente y las reglas existentes proporcionan guías y sugerencias útiles, pero no hay un proceso automático de construcción de ítems. En la práctica, la construcción de ítems de una prueba es responsabilidad de un equipo generalmente conformado por expertos en el área que se evalúa y técnicos en la construcción de ítems. Este procedimiento es muy útil, sin embargo su efectividad depende en gran medida del grado en que cada miembro del grupo tenga una formación general en la especialidad de sus compañeros. En general, algunas características deseables en un equipo de constructores de ítemspara pruebas objetivas son:

• Conocer las variables psicológicas y educativas relevantes de la población

a la cual va dirigida la prueba. Esta información es importante para ajustar la dificultad de los ítems, construir opciones no válidas adecuadas, evitar ambigüedades, señalar la respuesta correcta (clave) y no evaluar contenidos diferentes a los objetivos y propósitos de la prueba.

• Ser experto en el campo o área que se va a evaluar. Esto es, tener un alto

grado de experticia en el domino que se pretende medir y conocer las falacias o errores comunes si se trata de medición de experticia en un dominio o; conocer a fondo no sólo las definiciones o principios generales sobre el atributo sino también las diferentes aproximaciones teóricas, las discusiones, posturas filosóficas, etc.

• Poseer valores e intereses pedagógicos que orienten todos sus esfuerzos

en la construcción de los ítems, de modo que no se enfatice en lo superficial e intrascendente a costa de lo esencial.

• Manejar adecuadamente la comunicación verbal; además de conocer los

significados precisos de las palabras, debe poseer la habilidad para comunicar lo que se desea, de manera tan simple como sea posible. Debe tener además, un conocimiento crítico de los posibles significados e interpretaciones que el examinado puede darle a una frase o palabra.





• Ser hábil en el manejo de los tipos de preguntas que se emplearán y en las técnicas especiales para construir ese tipo de preguntas; conocer los alcances y limitaciones de los diferentes tipos de preguntas y los errores comunes en su escritura.

• Poseer imaginación e ingenio en la invención de situaciones que requieran

exactamente el conocimiento que se desea evaluar. Ser creativo y usar su imaginación con sentido crítico.

• Poseer habilidades para trabajar en equipo de manera que se sienta

cómodo al someter su trabajo a juicio de sus compañeros y pueda a su vez, revisar con sentido crítico y constructivo el de los demás. Para cada pregunta, los miembros del equipo deben revisar, además de las cinco características mencionadas antes, la adecuación de la respuesta correcta.

• Mantener el compromiso de no divulgar la información confidencial o de

reserva, relativa a la conformación de los ítems y el material de prueba a que tenga acceso, obtenida durante el proceso de construcción.





ANEXO No. 2

SUGERENCIAS SOBRE ACCIONES PARA GARANTIZAR LA CONFIDENCIALIDAD DEL MATERIAL DE PRUEBA

Estas acciones deben aplicarse siempre, con el mismo rigor, en todo el proceso de construcción, independiente del nivel de participación: institucional, local, regional, nacional, etc.

• Verificar que los computadores que se utilicen para la construcción, revisión y

ajuste de los ítems, no tengan conexión a red e internet. • Ninguna persona que construya ítems podrá guardar o copiar los ítems

construidos por otros, ni de los elaborados por ella misma. • Si se utilizan acetatos o archivos para visualización en un proyector, los

asistentes al taller ajustarán de común acuerdo los ítems. Una vez terminada la sesión de discusión, el coordinador del taller guardará los acetatos o archivos.

• Una vez se haga la revisión y aprobación de los ítems a nivel nacional o

regional o local, no se deben devolver los mismos a niveles anteriores, es decir a nivel regional, local, institucional o al constructor.

• Durante los talleres de revisión y ajuste de los ítems se deberán aplicar los

mecanismos de seguridad establecidos, para evitar que los ítems sean conocidos por personas ajenas al grupo responsable de la construcción.

• Los expertos, asesores y revisores tendrán acceso a los ítems únicamente

durante la actividad en la que participan y accederán a ellos a través de impresiones, archivos o acetatos; sin embargo habrán de devolver todo el material de prueba que les haya sido entregado al finalizar la sesión, junto con los formatos de revisión de cada ítem.

• Garantizar que no queden en circulación colectiva las versiones impresas o

magnéticas, de los ítems generados durante el proceso de construcción, de revisión y ajuste de los mismos. Finalizado este proceso, las versiones de los ítems que no vayan a ser incluidos en la prueba deben ser destruidos, y borrados de los discos duros de los computadores, memorias USB, CDs, etc., verificando que se eliminen de la papelera. Los ítems aprobados deberán ser entregados por los constructores al profesional responsable de cada prueba y en el momento pertinente éste hará su ingreso oficial al Banco de Ítems.





• Si los ítems se encuentran en archivos magnéticos, éstos deberán tener una

clave o password para lectura y para modificación. Dicha clave sólo podrá ser conocida por el responsable de la seguridad de las preguntas.

• El envío de archivos de ítems podrá hacerse a través de programas como FTP,

manteniendo la seguridad de acceso.. Este procedimiento no deberá efectuarse para las revisiones nacionales, ni para el juicio de expertos.

• Restringir el acceso a toda la prueba o a partes de ella y a la armada de la

misma, limitado a un grupo pequeño de personas que garanticen la confidencialidad del proceso. Mientras se está desarrollando el proceso de construcción, la seguridad del material estará a cargo del Profesional del ICFES y del contratista. Una vez los ítems son aprobados se entregan al Banco de Ítems en donde se garantizará la custodia de los mismos.





• ANEXO No. 3

ACTA DE COMPROMISO DE CONFIDENCIALIDAD (Modelo)

PROGRAMA DE EVALUACIÓN ______________________________________ PRUEBA _________________________________________________________ INSTITUCIÓN _____________________________________________________ CIUDAD __________________________________________________________ Yo,___________________________________________________, identificado(a) con cédula de ciudadanía número ____________________ de _______________ me comprometo a cumplir con las labores asignadas en el proceso de construcción de pruebas de evaluación educativa, con los más altos estándares de competencia ética e integridad profesional, teniendo debida consideración a la naturaleza y propósito del trabajo desarrollado. También me comprometo a no revelar directa o indirectamente a ninguna persona, durante la vigencia de este trabajo, ni después de su terminación, ninguna información que hubiera obtenido durante el mismo y que no sea de dominio público. ___________________________ _____________________________ Firma Fecha CC. No.





ANEXO No. 4

INSTRUCTIVOS Los siguientes instructivos corresponden a cada tipo de pregunta que se decida utilizar.

PREGUNTAS DE SELECCIÓN MÚLTIPLE CON ÚNICA RESPUESTA TIPO I

Las preguntas que encontrará a continuación son del tipo I, de selección múltiple con única respuesta. Este tipo de preguntas constan de un enunciado y cuatro opciones de respuesta (A, B, C y D). Sólo una de estas opciones responde correctamente a la pregunta. Usted debe seleccionar la respuesta correcta y marcarla en su hoja de respuestas, rellenando el óvalo correspondiente a la letra que identifica la opción elegida.

PREGUNTAS DE SELECCIÓN MÚLTIPLE CON MÚLTIPLE RESPUESTA

TIPO IV Las preguntas que encontrará a continuación son del tipo IV, de selección múltiple con múltiple respuesta. Este tipo de preguntas constan de un enunciado, un problema o un contexto, a partir del cual se plantean cuatro opciones numeradas del 1 al 4. Usted debe seleccionar la combinación de dos opciones que mejor responda a la pregunta y marcarla en la hoja de respuestas, de acuerdo con la siguiente información:

NOTA: Actualmente algunas pruebas utilizan este instructivo con la siguiente modificación: Si 4 y 2 son correctas, rellene el óvalo D.





PREGUNTAS DE SELECCIÓN MÚLTIPLE CON INFORMACIÓN SUFICIENTE TIPO VI

Las preguntas que encontrará a continuación son del tipo VI, de selección múltiple con información suficiente. Este tipo de preguntas se basan en un problema y dos conjuntos de información denominados I y II. No se requiere que se solucione el problema, sino que se decida que información es suficiente y necesaria para resolverlo.

PREGUNTAS DE ANÁLISIS DE POSTULADOS TIPO VII





PREGUNTAS DE ANÁLISIS DE RELACIÓN TIPO VIII

Este tipo de preguntas constan de dos proposiciones, así: una afirmación y una razón, unidas por la palabra PORQUE. Usted debe examinar la veracidad de cada proposición y la relación teórica que las une y señalar en su hoja de respuestas, la opción elegida de acuerdo con el siguiente cuadro: Revisión y ajuste por HODR C.1.1 MO1.doc_ajustado_09 Actualizado: 16.02.09


instituto colombiano para la evaluacion … · icfes manual para la construcciÓn de Ítems tipo...

Documents