CONSTRUCCION DE PRUEBAS OBJETIVAS

CONSTRUCCION DE PRUEBAS OBJETIVAS LUCILA CARDENAS NIO

PRUEBAS DE HABILIDADES

Prueba Objetiva. define

Procedimientos sistemticos para medir una propiedad

Preguntas cerradasPreguntas estructuradasCaractersticas de las pruebas objetivasLa calificacin depende de las respuestas del examinado.

Condicin similar para todos los examinados

Proceso dispendioso, demorado y de trabajo en equipoVENTAJAS DE LAS PRUEBAS OBJETIVAS

Igualdad de condiciones

Evaluacin simultnea de grupos grandes

Facilidad en la aplicacin, calificacin y obtencin de resultados; permite incluir un nmero grandes de tems.Construccin de una prueba objetiva.

Aspectos a tener en cuenta: Es un trabajo en equipo

Incluye personas expertas en la teora psicomtrica y especialistas en los temas relacionados con el objeto de medida

Es un proceso : - Planeacin de la prueba - Construccin de los tems - Anlisis del instrumento - Estandarizacin de las calificacionesPLANEACION DE LA PRUEBA

Proceso de toma de decisiones

Caractersticas de la prueba

Objetivos

Formas

Especificaciones Objeto de medida iniciales Caractersticas de la Poblacin Objetivo de la prueba

Marco Terico Delimitacin del dominio Identificacin del cuerpo terico

Estructura de la Contenidos de la prueba prueba Formato de los tems y prueba

Especificaciones Exigencias mnimas de los tems y pruebas Psicomtricas Procedimiento recoleccin de informacin Anlisis y Estandarizacin Material Manual para el usuario Complementario Instructivo para el examinado Material de Apoyo

Especificaciones InicialesQu se va a medir? Dominio a evaluar

Identificacin de la Poblacin edad escolaridad contexto Restricciones Tiempo

Definicin del objetivo de la prueba

Uso de los resultados Decisiones

Marco TericoSustento conceptual de la prueba

Operacionalizacin de la prueba

Interpretacin de los resultados

Elaboracin de la Estructura de la PruebaEsqueleto de la Prueba

Operacionalizacin del objetivo de la prueba

Constituye la base para la redaccin de tems

Se resume en una tabla de varias entradasMATRIZ TEMASEstadstica Descriptiva

Estadstica InferencialTOTAL Subtemas

Dificultad

Competencia TipoDispersin

A M BMed. Tend. Central

A M B

Variabilidad

A M B

Correlacin

A M B

Interpretativa nica RTAMltiple RTA3 4 3 2 4 4 3 4 3 4 4 240Argumentativa

nica RTAMltiple RTA

Propositivanica RTAMltiple RTA

TOTALESConstruccin de tems

CARACTERISTICAS DE LOS ITEMSLos enunciados deben ser, preferiblemente, afirmativos, por tanto, se recomienda evitar los enunciados negativos. En caso de ser necesarios, se debe resaltar el NO o el NUNCA o el NADIE para llamar la atencin hacia la formulacin negativa. La doble negacin afecta la comprensin de los evaluados (No es cierto que no procedan los recursos). No se deben repetir palabras o expresiones en todas las opciones de respuesta, si stas se pueden incluir en el enunciado general de la pregunta.

Deben evitarse en las opciones las expresiones todas o ninguna de las anteriores. En su lugar es necesario construir alternativas de respuesta que aunque incorrectas, sean plausibles y atractivas para las personas que no tengan la competencia o dominio conceptual que exige la pregunta.Evitar expresiones o palabras rebuscadas que puedan confundir al evaluado. Se recomienda emplear un lenguaje directo, preciso, sencillo y comprensible, para evitar preguntas que sean confusas o incoherentes. El vocabulario debe ser adecuado a las caractersticas del grupo que presentar la prueba y al rea que se pretende evaluar. 15Las opciones de una pregunta no deben dar indicaciones sobre la clave por ofrecer un cierto contraste evidente:

De longitudDe precisin/imprecisinDe uso comn/tcnicoDe generalizacin/particularizacin, etc.Todos los tems de una prueba deben ser independientes entre s. La informacin de un tem no debe servir de pauta para contestar otra, ni la respuesta a un tem debe depender de haber encontrado primero la de otra anterior. Pero s se pueden construir varios tems con un enunciado o situacin comn.

Evitar enunciados demasiado extensos y poco atractivos ya que desmotivan la lectura, disminuyen el tiempo de respuesta y fatigan al estudiante. Es necesario calibrar adecuadamente su extensin y precisar la informacin que es imprescindible que contengan. Evitar los tems que pueden contestarse por mera lgica o sentido comn y aquellos cuya respuesta dependa nicamente de recordar un trmino, un smbolo, un dato o la fecha en que ocurri un evento.

Verificar que la pregunta corresponda con la estructura de la prueba y con los propsitos de la evaluacin. No conducir a juicios de valor. Cada pregunta debe poseer una base terminolgica, conceptual y disciplinar que no permita caer en afirmaciones imprecisas o ambiguas, las cuales frecuentemente llevan a establecer juicios de valor por parte del examinado. La ubicacin de las claves en la prueba no debe seguir ninguna secuencia. Deben colocarse al azar.

No debe utilizarse en las opciones las mismas palabras significativas que se utilizaron en el enunciado. Repetir la misma palabra del enunciado en cualquiera de las opciones lleva a elegirla como respuesta, sin serlo necesariamente.El nmero de opciones debe ser constante para toda la seccin o parte de la prueba.Adicional a la coherencia entre lo que mida la prueba y el nivel de dificultad de sus tems, la eficacia, confiabilidad y validez de una prueba estn primordialmente determinados por la excelencia estructural y tcnica de los tems que la componen.NIVEL DE COMPLEJIDADEl nivel de complejidad est dado por el nivel de habilidad requerido por el participante para responder acertadamente a un tem. El nivel de habilidad requerido determinar el nivel de complejidad del tem; es decir que a mayor habilidad mayor dificultad del tem; en este sentido se podran establecer tres niveles de complejidad nivel de dificultad alto, dificultad media y dificultad baja.

Nivel de Dificultad Bajo, implica una aplicacin sencilla de las competencias comunicativas y funcionales en la respuesta a la pregunta.

Medio, implica una aplicacin intermedia de las competencias comunicativas y funcionales en la respuesta a la pregunta.

Alto, implica una aplicacin compleja de las competencias comunicativas y funcionales en la respuesta a la pregunta.

Cmo cumplir con los objetivos de la PruebaEvaluar un solo tema en un tem

Ser una unidad independiente

Informacin necesaria para responder

tems claros

Nivel de dificultad acorde con los objetivos de la prueba

Evitar las ambigedades a travs de cscaras o trampas

SntesisUsar un lenguaje adecuado, libre y directo

Evitar seales que conduzcan a la respuesta correcta. Ejemplo: Repeticin de palabras en el enunciado y clave Uso de lenguaje tcnico en la clave Uso del lenguaje no tcnico en los distractores Longitud de la clave diferente a los distractores Distractores absurdos No correspondencia entre el enunciado y distractores

Evitar implicaciones partidistas, religiosas, sexuales que vicien la respuesta con connotaciones emocionales

Evitar el uso de negaciones que afecten la estructura y eleven la dificultad

Caractersticas del constructor de temsConocer el dominio objeto de estudio

Ser experto en el rea que se va a evaluar

Poseer valores e intereses pedaggicos

Manejo de la comunicacin verbal. Conocimiento crtico de los posibles significados

Manejo de los formatos de tems

Imaginacin, ingenio, creatividad

Habilidad trabajo en equipo

TIPOS DE PREGUNTASLas Pruebas objetivas estn compuestas en su totalidad por preguntas Tipo I, ms conocidas como Preguntas de Seleccin Mltiple con nica Respuesta. Es el tipo de pregunta ms conocido y usado en los cuestionarios. Estn conformadas por un enunciado y cuatro (4) opciones de respuesta; el enunciado puede contener una frase incompleta, una interrogacin, un texto o una grfica; las opciones de respuesta aparecen identificadas con las letras A, B, C, D. Una sola de las opciones completa o responde correctamente el enunciado.

Las instrucciones que se presentan para este tipo de preguntas son: A continuacin encontrar preguntas que constan de un enunciado y cuatro (4) opciones de respuesta (A, B, C, D,). Slo una de estas opciones responde correctamente la pregunta. Seale en la hoja de respuesta la opcin que considere correcta.

Una prueba est constituida por preguntas o tems; cada tem se considera una unidad indivisible e independiente.

INSTRUCCIONES

Las instrucciones son el conjunto de recomendaciones o pasos que guan y dan informacin acerca de cmo proceder para responder la pregunta.

Las instrucciones deben presentarse de manera clara y en lenguaje adecuado al nivel de los evaluados. Aunque las instrucciones generalmente no se presentan con cada tem sino que son comunes para grupos de ellos, se han considerado un elemento del tem puesto que la respuesta del evaluado puede verse seriamente alterada por la forma cmo se entiendan las instrucciones. El enunciado es la parte inicial en la que se expone la tarea; puede ser una situacin, una informacin o una instruccin. Debe ser una expresin clara que contenga la informacin necesaria y suficiente para contestar la pregunta. El enunciado tiene dos componentes:El contexto de la pregunta que describe una situacin problemtica, un problema, un caso, una grfica, una tabla, una imagen, una tesis, una hiptesis bajo las cuales se debe interpretar la pregunta; el contexto define las variables del entorno en las que se presenta un problema y que deben ser consideradas especficamente para la solucin del mismo. Es importante anotar que una o ms preguntas pueden hacerse a partir de un mismo contexto.ENUNCIADOConector es un dispositivo que liga la definicin del contexto con las opciones de respuesta e indica la accin de interpretar, argumentar y proponer segn el caso, que orienta la accin que debe realizar el evaluado frente al contexto.OPCIONES DE RESPUESTA

Son las frases, datos o informaciones que pueden contestar a la pregunta y que se presentan al examinado para que haga su eleccin. Se conoce como clave a la opcin que responde correctamente a la pregunta y debe diferenciarse de las dems opciones por su contenido y no por sutilezas del lenguaje. En el tipo de pruebas que trata este documento, la clave debe ser nica para cada pregunta. Los distractores son las opciones que no satisfacen las exigencias del enunciado, aunque son respuestas incorrectas deben ser atractivas, no obviamente descartables. Un distractor puede ser un error comn, una afirmacin verdadera pero que no contesta completamente la pregunta o no satisface las exigencias del problema, una opcin opuesta a la clave o que pueda parecer correcta para quien no tenga las habilidades o competencias.ELECCION MULTIPLE CON MULTIPLE RESPUESTAConsta de un enunciado y cuatro opciones de respuesta identificadas con los nmeros 1,2,3 y 4. Una o varias de estas opciones pueden completar correctamente el enunciado.

CaractersticasUna situacin en la que es necesario considerar varias consecuencias posiblesUna situacin en la que es necesario especificar una o mas condiciones para definirla adecuadamenteDos situaciones semejantes o dismiles con respecto a uno o mas puntos de comparacinUn principio que puede aplicarse a mas de una situacinVarias consideraciones que pueden conducir al mismo resultado.

A continuacin encontrar preguntas que constan de un enunciado y cuatro opciones de rta. Una o varias opciones pueden completar correctamente el enunciado. Usted debe marcar su hoja de respuestas segn el cuadro siguiente:

Marque A si las opciones 1,2 3 son correctasMarque B si las opciones 1 y 3 son correctasMarque C si las opciones 2 y 4 son correctasMarque D si slo la opcin 4 es correctaMarque E si todas las opciones son correctas

No debe incluir distractores mutuamente excluyentes, no incluir TODAS LAS ANTERIORES O NINGUNA DE LAS ANTERIORES.

EjemploLa investigacin emprica ha encontrado que:

Las personas toman menos tiempo en el aprendizaje de un concepto cuando hay muchos atributos irrelevantesEn el aprendizaje de un concepto son mejores los ejemplos negativos que los positivos

En el aprendizaje de un concepto la velocidad de aprendizaje es una funcin directa del nmero de atributosLas personas toman mas tiempo en el aprendizaje de un concepto cuando hay muchos atributos relevantes

TAXONOMIA DE BLOOM

Modelo

Cognoscitivo Afectivo Psicomotor

Memoria Evocacin de los conocimientos Desarrollo de habilidades y capacidades

Recuerdo Comprensin Aplicacin Anlisis Sntesis Evaluacin

RECUERDOCapacidad del sujeto para evocar datos, ideas, hechos de situaciones pasadas o de un rea determinada como principios, generalizaciones, teoras y estructuras.EjemploEn el rea de las ciencias fsicas, cual de las siguientes definiciones describe el trmino "polarizacin"?

a. La separacin de cargas elctricas por friccinb. La ionizacin de tomos por temperaturas elevadasc. La vibracin de ondas transversales en un solo plano. d. La interferencia de ondas de sonido en una cmara cerradae. La estimulacin de electrones usando luz de alta frecuencia

http://edtk.co/H7h7k

COMPRENSIN Capacidad para expresar un concepto o mensaje conocido en palabra diferente o un sistema simblico a otro

Interpretacin o reordenamiento de ideas en una nueva configuracin

Hacer explcitas algunas conclusiones, consecuencias o efectos de una comunicacin.

Ejemplo:

En el 2010 el nmero de acciones de tutela en contra de una entidad de Salud se acercaba al nmero de peticiones que los usuarios presentaron a la entidad, una razn de lo anterior es que

a. la accin de tutela es idnea para reclamar la proteccin del derecho de peticin

b. la peticiones no se tramitaron dentro de los 15 das establecidos como termino para dar respuesta

c. la accin de tutela es un mecanismo que se interpone para que sea fallado en un trmino no mayor a 10 das como mecanismo rpido y transitorio.

d. los funcionarios en la entidad no son suficientes para atender el nmero de reclamaciones

APLICACIONCapacidad para aplicar principios y generalizaciones a nuevos problemas y situaciones.

Identifica los principios para resolver un problema o reformularloEspecifica los lmites dentro de los cuales un principio es verdadero o relevante y reconoce las excepciones y razones para ello.Explica nuevos fenmenos a partir de principios conocidos o los prediceDetermina o justifica una decisin o accin a una situacin EjemploEn un acto protocolario de la DIAN con una mesa principal de cinco personas, el director nacional de la entidad ocupa la segunda posicin cuando el acto es presidido por el a.Director Departamentalb.Gobernador Departamentalc.Presidente de la Repblicad.Ministro del Gobierno NacionalANALISISHabilidad para fraccionar una comunicacin en sus elementos, de manera que aparezcan explcitas la jerarqua de las ideas y las relaciones existentes entre ellas.

Anlisis de elementos como supuestos no explcitos, hechos e hiptesis.Anlisis de relacionesAnlisis de principios de organizacin.EjemploLa premisa bsica del pragmatismo es que con frecuencia las preguntas planteadas por las proposiciones metafsicas especulativas se pueden responder determinando cules son las consecuencias prcticas, en esta vida, de aceptar una proposicin metafsica particular. Las consecuencias prcticas se toman como el criterio para evaluar la relevancia de todos los enunciados o ideas sobre verdad, norma y esperanza." a. la palabra "aceptacin" se debe sustituir por "rechazo"b. la palabra "con frecuencia" se debe sustituir por "nicamente"c. la palabra "especulativa" se debe sustituir por "hipottica"d. la palabra "criterio" se debe sustituir por "medida"

http://edtk.co/H7h7k

SINTESISCapacidad para reunir diferentes elementos o partes para formar un todo.Produccin de una comunicacinProduccin de un planDerivacin de un conjunto de relaciones, explicaciones o hiptesis para dar cuenta de un fenmeno dado.

EVALUACINCapacidad para emitir juicios sobre ideas, obras, mtodos, materiales o soluciones, con algn propsito.

Formulacin de juicios: Razonamientos, relaciones entre supuestos, evidencias, conclusiones

EjemploA un estudiante se le plante la siguiente pregunta: "Haga una lista breve y explique las diversas etapas del proceso creativo." Como respuesta, el estudiante escribi lo siguiente:"Se cree que el proceso creativo tiene lugar en cinco etapas, que van en el siguiente orden: ORIENTACIN, cuando el problema se debe identificar y definir; PREPARACIN, cuando se recopila toda la informacin posible sobre el problema; INCUBACIN, cuando hay un periodo en el que ninguna solucin aparece a la vista y con frecuencia la persona se ocupa de otras tareas; ILUMINACIN, cuando la persona visualiza una idea general sobre la manera de solucionar el problema; y finalmente, VERIFICACIN, cuando la persona establece si esa solucin es la solucin correcta del problema."Cmo juzgara Ud., las respuestas del estudiante?

a. EXCELENTE. (Todas las etapas son correctas, estn en el orden correcto y tienen explicaciones claras y correctas).b. BUENO. (todas las etapas son correctas, estn en el orden correcto, pero las explicaciones no son tan claras como deberan ser)c. MEDIOCRE. (Faltan una o dos etapas, O, las etapas no se encuentran en el orden correcto, O, las explicaciones no son claras, O las explicaciones son irrelevantes.)d. INACEPTABLES. (Faltan ms de dos etapas, Y el orden es incorrecto, Y las explicaciones no son claras Y/O son irrelevantes). http://edtk.co/H7h7k

Articulacin Procesos Cognitivos y CompetenciasInterpretativa Recuerdo Comprensin Aplicacin

Argumentativa Anlisis Sntesis

Propositiva Evaluacin COMPETENCIASEvala el saber hacer, que implica la capacidad o habilidad del sujeto para interpretar, argumentar y proponer dependiendo de la situacin o problema que se le presente.

InterpretativaArgumentativaPropositiva

INTERPRETATIVAHace referencia al fenmeno de la comprensin del sentido de un texto, una proposicin, un problema, una grfica, un mapa, o un esquema, los argumentos en pro o en contra de una teora o una propuesta, entre otras. Se funda en la reconstruccin local y global de un texto, y el reconocimiento de situaciones problemticas relacionadas o implicadas en los diversos sentidos que circulan en distintos contextos.

Las preguntas que hacen referencia a esta competencia se caracterizan por contener conectores del tipo: de lo anterior se infiere, permite inferir que, el autor quiso decir, el texto quiere decir, se puede deducir que, lo anterior significa que.

El evaluado debe realizar las siguientes acciones:

Comprender el mensaje global de un texto.Entender el sentido de un enunciado dentro de un contexto.Identificar un problema o situacin.Reconocer los diferentes elementos de un problema.Establecer relaciones entre procesos, conceptos o situacionesEstablecer informacin relevante para resolver un problema.Clasificar en grupos o clases las cosas o fenmenos estudiados.Inducir aplicacin de lo observado a situaciones anlogas no observadas.Derivar de lo particular a lo generalSustituir un objeto de estudio por smbolosEntender secuencias a partir de datos o proposiciones iniciales.

ARGUMENTATIVAEsta competencia tiene como finalidad defender con razones o argumentos una tesis, es decir, una idea que se quiere probar o sustentar una hiptesis; es organizar juicios para persuadir o disuadir.Tres momentos o etapas fundamentales: Introduccin de la idea que se pretende defenderDesarrollo o argumentacin global Conclusin, en la que se confirma la tesis.

Las preguntas que hacen referencia a esta competencia se caracterizan por contener conectores del tipo: una razn de lo anterior, una diferencia frente a lo anterior, una consecuencia de lo anterior, en consecuencia, porque, esto se justifica por, argumentando que, entre otras.

Las opciones de respuesta pueden ser justificaciones de lo planteado en el enunciado, para que el aspirante identifique el argumento que ms se ajuste con el planteamiento.En el desarrollo de una prueba de competencias funcionales el evaluado o aspirante debe de ejecutar las siguientes acciones: Sustentar una idea.Razonar analgicamente basado en la comparacin.Razonar de manera deductiva sacando conclusiones particulares de hechos o situaciones globales.Razonar de manera inductiva desde los hechos concretos hasta constituir situaciones generales.Organizar las razones a favor o en contra del problema o tesis que se defiende.

Explicar unos conocimientos por medio de otros.Comprobar racionalmente con fundamento en afirmaciones o negaciones, falseadas o verificadas. Proceder a travs de operaciones que den a conocer si son determinadas cualidades del objeto del estudio.Emitir juicios de valor sobre algo.Cuestionar dos o ms conceptos, mostrando sus diferencias.Ratificar algo dndose por cierto con juicios validados

PROPOSITIVAAcciones de generacin de hiptesis, de resolucin de problemas, de establecimiento de regularidades y generalizaciones, de elaboracin de alternativas de explicacin a un evento, a un conjunto de eventos, o a una confrontacin de perspectivas presentadas en un texto, entre otras.

La caracterstica esencial de la competencia propositiva es la generacin o produccin de un sentido nuevo que no es evidente en el texto sino que es producto de la confrontacin, la argumentacin y la interpretacin y de las alternativas planteadas para la resolucin del problema en cuestin o a una confrontacin de perspectivas presentadas en un texto, entre otras.

Las preguntas de este tipo de competencia contiene conectores del tipo: una alternativa frente a lo anterior es, una solucin es, una propuesta a lo anterior, una alternativa para solucionar esta situacin es, la mejor opcin, la mejor alternativa, un primer mecanismo puede ser.

Para evidenciar esta competencia se requiere desarrollar las siguientes acciones por parte del concursante cuando presente la prueba:Plantear procedimientos para resolver problemas y hallar la solucin ms adecuada de acuerdo con el contexto.Establecer regularidades y generalizaciones.Evaluar la relacin CAUSA EFECTO en un determinado problema.Establecer cul es la hiptesis ms pertinente para resolver un problema.ASPECTOS QUE SE DEBEN TENER EN CUENTA ANTES DEL ENSAMBLE

ASPECTOS FORMALES como redaccin, precisin de las instrucciones, claridad en la presentacin de la tarea, adecuacin del lenguaje al nivel de la poblacin y otros dependiendo del tipo de prueba.

Posteriormente se presentan algunas recomendaciones para controlar los aspectos formales del tem cuando se trata de pruebas objetivas de conocimientos.

CLARIDAD: entendida como la calidad de los elementos semnticos y sintcticos de la pregunta, adecuacin del lenguaje al nivel de la poblacin, precisin en las instrucciones

PERTINENCIA, entendida como la relacin del tem con lo que la prueba pretende medir, se considera que un tem es pertinente si est en armona con el plan general de la prueba. Evaluar la pertinencia de un tems es establecer si pertenece o no al dominio definido o si, de acuerdo con la teora, es o no una manifestacin del atributo que mide la prueba.

RELEVANCIA hace referencia al contenido especfico de la pregunta en relacin con la estructura de prueba; se asimila a significancia en contraste con detalles superficiales, observaciones incidentales o comentarios tangenciales de acuerdo con la definicin del dominio o atributo. La estructura de prueba indica los aspectos generales que se consideran importantes dentro de la misma pero es el constructor de los tems quien tiene la responsabilidad de seleccionar aquellos aspectos especficos que considere importantes, de acuerdo con el dominio o atributo que se pretenda medir.

PODER DISCRIMINATIVO. La discriminacin de un tem es el grado en que, como unidad, permite diferenciar algunos grupos de inters, de quienes tiene alta maestra en el dominio de quienes no, o quienes poseen mayor magnitud del atributo de quienes poseen menos; en general las preguntas que poseen poder discriminativo contribuyen a la efectividad de la prueba. En el momento de la construccin del tem, se trata tambin de una apreciacin subjetiva que se puede verificar una vez aplicada la prueba. GRACIAS