formación por competencias laborales para diseñadores de ... · una guía de observación se...

AÑO 2013

Formación por competencias laborales para Diseñadores de

Instrumentos de Evaluación

DIRIGIDO A: Funcionarios de la Red de IFPs de Centroamérica,

Panamá y República Dominicana

F E C H A D E E L A B O R A C I Ó N

MODALIDAD VIRTUAL: MÓDULO 2

MÓDULO 2:

ELABORAR INSTRUMENTOS DE

EVALUACIÓN BASADOS EN

NORMAS TÉCNICAS DE

COMPETENCIA LABORAL

Red de Institutos de

formación profesional de

Centroamérica, Panamá y

República Dominicana.

ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2

2

Este segundo módulo del curso para diseñadores de instrumentos de evaluación basados en

Normas Técnicas de Competencia Laboral- NTCL, tiene como objetivo principal que el profesional

interesado en certificar dicha competencia obtenga la base teórica fundamental para seleccionar

los distintos instrumentos a seleccionar basado en criterios sólidos definidos por el tipo de

evidencia que se evaluará, elabore los ítems respectivos y que tenga bien claro el procedimiento

estandarizado para realizar las pruebas de validez y de confiabilidad requeridos para liberar los

instrumentos diseñados y que los mismo sean empleados para certificar las competencias a los

cuales pertenecen.

Es recomendable que la lectura de esta información sea acompañada de otras fuentes para

complementar la presente. De igual manera, la tutoría asignada deberá dar seguimiento al

aprendizaje del participante y proponer todos los ejercicios prácticos que sean necesarios para

lograr comprobar los principios inmersos en esta base teórica.

Los instrumentos señalados en este módulo, se acompañan de son archivos anexos a este curso de

capacitación por lo que será muy importante realizar las consultas que sean necesarias para

interiorizar los aprendizajes.

EL método que aquí se emplea en la presente formación es el transductivo, por lo que se incluyen

ejemplos prácticos en los formularios recomendados, los que guiados por el tutor/a, o por

iniciativa personal, los participantes pueden elaborar otros similares para consolidar los

aprendizajes.

El presente módulo se complementa con la información, actividades y evaluaciones que estarán

disponibles en la plataforma, que se usará para ejecutar la formación a distancia.

INTRODUCCIÓN PARA EL MÓDULO 2

ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL

MODULO 1

RECONOCEREVALUACIÓNTÉCNICAS DE

MODULO 2

ELABORAR INSTRUMENTOSBASADOS ENCOMPETENCIA

MODULO 3

COMPILAR ELPARA LOGRARESPECIALISTAINSTRUMENTOSEN NORMASLABORAL

MODULOS


3

LOS CONCEPTOS BÁSICOS DE LAEVALUACIÓN BASADOS EN NORMAS

DE COMPETENCIA LABORAL

INSTRUMENTOS DE EVALUACIÓNEN NORMAS TÉCNICAS DE

COMPETENCIA LABORAL

EL PORTAFOLIO DE EVIDENCIASLOGRAR LA CERTIFICACIÓN COMO

ESPECIALISTA EN EL DISEÑO DEINSTRUMENTOS DE EVALUACIÓN BASADOS

NORMAS TÉCNICAS DE COMPETENCIA

MODULOS QUE FORMAN LA CAPACITACIÓN


LANORMAS

EVALUACIÓNDE

USTED SE

ENCUENTRA AQUI

QUE FORMAN LA CAPACITACIÓN


4

1. El participante de este curso debe seleccionar la Norma Técnica de Competencia Laboral a

la que le elaborará los instrumentos de evaluación previamente al comenzar su formación.

2. Si el participante no tiene dominio en la competencia a la que le diseñará los instrumentos

de evaluación es indispensable contar con el apoyo de uno o dos expertos con dominio en

la competencia para que apoye en la elaboración de los instrumentos.

3. De preferencia se debe de elaborar los instrumentos de evaluación donde demuestre

todas las evidencias solicitadas en la NTCL, salvo que el responsable de la capacitación diga

lo contrario.

4. Para completar este módulo deberá realizar los ejercicios prácticos y los teóricos

solicitados, los cuales deben de pasar los estándares solicitados.

5. Solo asistirán al evento presencial, donde se desarrollará el módulo 3, quienes aprueben

todas las evaluaciones propuestas en el presente módulo y que las mismas cumplan con

los estándares solicitados.

RECOMENDACIONES PARA EMPLEAR EL MÓDULO 2


5

Contenido 1.- CLASIFICAR LOS INSTRUMENTOS DE EVALUACIÓN .................................................................... 6

1.1.- TÉCNICAS RECOMENDADAS ............................................................................................... 6

1.2.- INSTRUMENTOS RECOMENDADOS ..................................................................................... 6

1.6.- EJERCICIO PRÁCTICO ....................................................................................................... 16

1.7.- EVALUACIÓN DE LA PRIMERA UNIDAD DIDÁCTICA MÓDULO 2 ......................................... 16

2.- ELABORAR ITEMS PARA DISTINTOS TIPOS DE INSTRUMENTOS DE EVALUACIÓN ..................... 17

2.1.-ELABORAR ÍTEMS PARA EVIDENCIAS DE DESEMPEÑO ....................................................... 18

2.-2.- ELABORAR ÍTEMS PARA EVIDENCIAS DE PRODUCTOS ...................................................... 19

2.3.- ELABORAR ÍTEMS PARA EVIDENCIAS DE CONOCIMIENTOS ............................................... 19

2.4.- CALIDAD ESPERADA EN LOS INSTRUMENTOS DE EVALUACIÓN DISEÑADOS ...................... 20

2.5.- EJEMPLOS ....................................................................................................................... 21

2.6.- EJERCICIO PRÁCTICO ....................................................................................................... 22

2.7.- EVALUACIÓN DE LA SEGUNDA UNIDAD DIDÁCTICA DEL MÓDULO 2 ................................ 23

3.- RECONOCER LOS TIPOS DE PRUEBAS APLICADAS A LOS INSTRUMENTOS DE EVALUACIÓN

DISEÑADOS .................................................................................................................................. 23

3.1.- LA PRUEBA DE VALIDEZ DE LOS INSTRUMENTOS DISEÑADOS ........................................... 25

3.2.- LA PRUEBA DE CONFIABILIDAD DE LOS INSTRUMENTOS DISEÑADOS ............................... 27

3.3.- COMPILACIÓN DE LOS INSTRUMENTOS ............................................................................ 30

3.4.- EJEMPLOS DE PRUEBA DE VALIDEZ Y CONFIABILIDAD ....................................................... 31

3.5.- EJERCICIO PRÁCTICO ........................................................................................................ 31

3.6.- EVALUACIÓN DE LA TERCERA UNIDAD DIDÁCTICA DEL MÓDULO 2 ................................... 31


6

1.- CLASIFICAR LOS INSTRUMENTOS DE EVALUACIÓN Definir los tipos de instrumentos a emplear para realizar una evaluación de la competencia laboral

es vital para la recopilación de la evidencia respectiva las cuales se deben de definir a partir del

análisis previo que debe de realizarse a la Norma Técnica de Competencia Laboral;

específicamente esta vinculación está ligada al tipo de técnica que se empleará de acuerdo a las

respetivas evidencias de producto o de desempeño o en casos menores a evidencias de

conocimiento.

Normalmente para determinar las evidencias de actitud se asocian a las evidencias de producto o

desempeño, y por lo tanto, no requieren de algún instrumento en especial.

1.1.- TÉCNICAS RECOMENDADAS La técnica la entendemos como un marco concreto o enfoque que permite estructurar acciones

para obtener información útil en la solución de problemas. En el caso de la evaluación por

competencias laborales representa un marco a partir del cual se construye una estrategia y se

determina el tipo de instrumento de evaluación que será utilizado. Consideraremos para nuestro

interés dos técnicas principales:

La técnica documental Se refiere a la estrategia donde se privilegia la utilización de instrumentos de evaluación que no

requieren de una observación directa del desempeño pero que plantea situaciones de evaluación

en las que es necesario la aplicación de conocimientos a la solución de situaciones problemáticas.

Técnica de campo Se refiere a la estrategia en donde se privilegia la utilización de instrumentos de evaluación que

requieren de una observación directa del desempeño o de los productos generados a partir de él.

1.2.- INSTRUMENTOS RECOMENDADOS Los instrumentos de evaluación constituyen la herramienta fundamental para el desarrollo de la

evaluación de los candidatos interesados en certificar sus competencias. Su propósito principal es

producir evidencias y recopilarla. Entre los instrumentos más empleados tenemos la guía de

observación, listas de cotejo, los cuestionarios, ejercicios prácticos, planteamiento de problemas,

estudio de casos y entrevistas entre otros.

Fuentes de evidencias. Las fuentes de evidencias es una situación de donde obtenemos la evidencia que solicita la Norma

Técnica de Competencia Laboral (NTCL) y existen cuatro posibles fuentes de evidencias:

o El desempeño del individuo en el sitio de trabajo o en condiciones simuladas (lo más

parecido posible).

o Los conocimientos que se tienen respecto a la función laboral desempeñada.

o El aprendizaje previo en relación con la competencia.

o Los informes de otras personas.


7

Las técnicas de evaluación pueden clasificarse en dos grandes categorías: documental y de campo.

Estas técnicas tienen asociadas diferentes tipos de instrumentos de recopilación de evidencias que

pueden aplicarse en un centro de formación, en el lugar de trabajo o en un sitio que simule las

condiciones de este último. Antes de seleccionar la técnica y los instrumentos de evaluación, el

evaluador deberá asegurarse que tanto la técnica como los instrumentos son validos, es decir, que

con base en ellos se recopila la evidencia determinada en la unidad o calificación evaluada.

En la tabla siguiente se relacionan las técnicas con los instrumentos de evaluación más usados

(guía de observación, lista de cotejo, cuestionario). Los que están marcados en color gris, son los

más recomendados por su practicidad, economía y pertinencia.

Tabla 1 Relación entre técnicas e instrumentos.

Instrumentos de evaluación

Técnicas de evaluación

Documental De campo

Lista de cotejo X

Guía de observación X

Ejercicio práctico X

Estudio de caso X

Cuestionario X

Entrevistas personales X

Planteamientos de problemas X

Juego de roles X

Bitácora o diario X

Pruebas orales X

A continuación se amplían las características de cada uno de los instrumentos propuestos para

evaluar a los candidatos.

Lista de cotejo Es un instrumento que permite al evaluador comparar los aspectos esperados y marcados por la

NTCL contra las evidencias que muestra el participante. Sus ítems están formados por enunciados

breves y sencillos, que describen las características deseables o positivas que debe presentar lo

que se está evaluando. Para aplicar una lista de cotejo se debe registrar si la evidencia cumple o no


con los aspectos que marca cada uno de los

que se observa o del produc

utilizar como herramientas de evaluación documental o de campo: En una lista de cotejo, los

aspectos por evaluar se establecen de manera puntual, el registro es más concreto que en el

de las guías de observación.

completo en el archivo denominado

plataforma virtual).


8

con los aspectos que marca cada uno de los ítems. El registro se realiza a partir del desempeño

que se observa o del producto que se revisa. Dada su flexibilidad, las listas de cotejo, se pueden


aspectos por evaluar se establecen de manera puntual, el registro es más concreto que en el

. Ver el formato recomendado para la lista de cotejo

archivo denominado INSTRUMENTO 1 – LISTA DE COTEJO. (Archivo disponible en la


. El registro se realiza a partir del desempeño

to que se revisa. Dada su flexibilidad, las listas de cotejo, se pueden


aspectos por evaluar se establecen de manera puntual, el registro es más concreto que en el caso

lista de cotejo con un ejemplo

(Archivo disponible en la


Guía de observación

Una guía de observación se puede utilizar solamente para evaluar evidencias por desempeño. En

este tipo de instrumento se establecen categorías de observación amplias que permiten al

evaluador mirar las actividades del

presenciar algún evento o actividad y registrar los detalles observados. Se recomienda el uso de

las guías de observación para evaluadores que cuentan con más experiencia en estos procesos y

dominan de manera ágil la NTCL de referencia.

observación con un ejemplo completo en el

OBSERVACIÓN. (Archivo disponible en la plataforma virtual).


9

observación se puede utilizar solamente para evaluar evidencias por desempeño. En


mirar las actividades del participante de manera más global. Su aplicación



dominan de manera ágil la NTCL de referencia. Ver el formato recomendado para la guía de

un ejemplo completo en el archivo denominado INSTRUM

(Archivo disponible en la plataforma virtual).


observación se puede utilizar solamente para evaluar evidencias por desempeño. En


de manera más global. Su aplicación consiste en



formato recomendado para la guía de

INSTRUMENTO 2 – GUÍA DE


10

Ejercicios prácticos Un ejercicio práctico es cualquier actividad que permite a las personas que se evalúa demostrar

directamente su desempeño en condiciones lo más parecidas posibles al trabajo real. La

característica principal de un ejercicio práctico es que se diseña y ejecuta para una situación

simulada. Un ejercicio práctico propicia de antemano las condiciones físicas, de material y de

condiciones en las que se desenvolverá la persona que se evalúa. La evaluación mediante ejercicio

puede realizarse sobre:

o El resultado final de la actividad (el producto).

o Durante la actividad (el desempeño) o

o Una combinación de ambas.

Es importante señalar que, junto con el escenario de acción que plantea el ejercicio, se deben

considerar formatos complementarios que permitan al evaluador registrar los resultados del

candidato. Estos formatos pueden tener el perfil de una lista de cotejo o una guía de observación.

Los ejercicios prácticos se utilizan cuando las evidencias por recopilar no son fáciles de obtener en

el trabajo real, dado lo esporádico de su ocurrencia, los riesgos para otras personas o los costos

económicos que generaría.

Estudio de caso. Un estudio de caso es la descripción de una situación real o ficticia que el candidato debe analizar

con base en criterios predeterminados. Tiene como propósito evaluar la comprensión de

concepciones, enfoque o conceptos, también sirve para identificar el dominio del candidato sobre

las variantes en el trabajo ante circunstancias diferenciadas o la posible reacción ante

contingencias. Para aplicar un estudio de casos, el evaluador debe contar, además con un formato

de registro para evaluar todos los aspectos que el participante respondió, este formato puede ser

una lista de cotejo.

Cuestionario. Un cuestionario es un interrogatorio oral o escrito, constituido por un conjunto de preguntas

agrupadas por áreas temáticas y con una estructura tipo que debe contestar el candidato. Un

cuestionario puede conformarse con preguntas de diversos tipos, entre ellas: afirmación / razón

(si-no-por qué), respuestas cortas, opciones múltiples, respuestas múltiples, respuesta amplia,

complementación, etc. Los cuestionarios se usan fundamentalmente para evaluar evidencias de

conocimiento y solo en el caso que las situaciones en la recopilación de evidencias por otros

medios no es suficiente: En cuanto a los de tipo oral, generalmente se utilizan como

complementos de evaluación, posterior a la observación de un desempeño en el lugar de trabajo,

en este caso el instrumento corresponda a una técnica de campo. Los cuestionarios escritos, no

requieren de la presencia del evaluador para que el evaluado los conteste, por lo tanto, en esta

situación el instrumento corresponde a una técnica documental.


Además del conjunto de preguntas que conforma el cuestionario, el evaluador deberá contar con

una guía que contenga las respuestas o aspectos esperados del cuestionario, esto lo orienta pa

decidir si los resultados del participante

formato recomendado para

INSTRUMENTO 3 – CUESTIONARIO.


11


una guía que contenga las respuestas o aspectos esperados del cuestionario, esto lo orienta pa

participante cumplen o no con los requerimientos de la NTCL.

formato recomendado para el cuestionario con un ejemplo completo en el

CUESTIONARIO. (Archivo disponible en la plataforma virtual).



una guía que contenga las respuestas o aspectos esperados del cuestionario, esto lo orienta para

cumplen o no con los requerimientos de la NTCL. Ver el

un ejemplo completo en el archivo denominado


12

Entrevistas personales .

Una entrevista también es un interrogatorio, sin embargo, difiere de los cuestionarios en que

siempre se efectúa en forma de conversación, es más abierta, flexible y el evaluado tiene la

oportunidad de cuestionar al evaluador. Usadas con propósitos de evaluación, la entrevista

personal debe estar sustentada por una guía temática, en la que el evaluador se apoya para

realizar preguntas o dirigir el discurso de la plática hacia los tópicos que interesa evidenciar. Es

importante que en la guía de entrevista se incluyan también los aspectos por obtener de la

respuesta de la persona evaluada con el fin de identificar si los aspectos de la NTCL se cubren o no.

Planteamiento de problemas Este instrumento está basado en ejercicios escritos que plantean situaciones de trabajo necesarias

para resolver un dilema, una disyuntiva, tomar una decisión o contestar una incógnita. Tienen un

formato parecido al de los cuestionarios, sin embargo, los ítems son mucho más extensos y se

ubican en un contexto específico. Los problemas como instrumentos de evaluación, deben estar

acompañados por una hoja de respuestas o aspectos esperados, así el evaluador puede decidir si

los resultados del evaluado cumplen con lo especificado en la NTCL.

Juegos de roles En el juego de roles se presenta una situación problemática para la cual debe tener una respuesta

o solución. El aspecto distinto de los juegos de roles, es que la persona evaluada debe representar

un papel y actuar como si estuviera en condiciones de trabajo reales. Una evaluación basada en

juego de roles es más abierta y centrada en la persona, es muy útil para evaluar la interacción con

otras personas o en situaciones de contingencia (atención al cliente, coordinación de equipos de

trabajo, conducción de equipos, reacción ante situaciones de emergencia, entre otros). Además

de la situación a representar, el evaluador debe contar con un formato de registro para evaluar los

comportamientos o respuestas del evaluado durante la escenificación, este formato debe ser una

lista de cotejo o una guía de observación

Bitácora o diario Una bitácora o diario puede proporcionar medios útiles para evaluar el desempeño y/o los

conocimientos de una persona. Consiste en un registro donde la persona evaluado reseña,

describe y documenta todas las actividades de trabajo que realiza durante un período

determinado. La utilización de un diario requiere un trabajo de orientación fuerte por parte del

evaluador, ya que el evaluado debe contar con elementos claros sobre cómo recopilar y registrar

la información. El uso de este tipo de instrumentos se recomienda para participantes que ya han

pasado por procesos de evaluación de competencias previos, es decir: cuentan con experiencia en

la integración de portafolios de evidencias. También puede ser útil como herramienta de apoyo

para la evaluación de evidencias históricas.

Pruebas orales Proporciona la oportunidad de evaluar la habilidad de para escuchar, interpretar, comunicar ideas

y sostener una conversación.


1.3.- DOCUMENTOS FUENTES PARA LA ELABORACIÓN DE INSTRUMENTOS DE EVALUACIÓN

Fundamentalmente el documento fuente para la elaboración de los instrumentos de evaluación es

la NTCL que recopila los desempeños y evid

certificar su competencia. El diseñador de

importante documento. En el curso de evaluadores se logra integrar en forma pr

competencia; derivado de este principal documento se encuentra la matriz de evidencia que se

construye al momento de elaborar la NTCL (si no se cuenta con este documento se puede

reconstruir a partir de la NTCL) y la tabla de contenidos que rep

se emplea para elaborar los ítems de manera

sistematizada.

La Norma Técnica de Competencia Laboral La Norma Técnica de Competencia Laboral NTCL

(Ver en la plataforma, el formato recomendado

para la NTCL con un ejemplo

archivo denominado INSTRUM

expresión de las especificaciones que sirven de

patrón de referencia para el desempeño de una

función productiva, considerando las posibles

situaciones de contingencia en el puesto de

trabajo.

Resume las prácticas exitosas de los expertos

trabajadores. Se integra por un conjunto de

conocimientos, habilidades y actitudes que son


13

UENTES PARA LA ELABORACIÓN DE INSTRUMENTOS


recopila los desempeños y evidencias que debe de demostrar la

certificar su competencia. El diseñador de instrumentos de evaluación debe de poder analizar este

importante documento. En el curso de evaluadores se logra integrar en forma pr



reconstruir a partir de la NTCL) y la tabla de contenidos que representa la herramienta gráfica que

se emplea para elaborar los ítems de manera

La Norma Técnica de Competencia

La Norma Técnica de Competencia Laboral NTCL

el formato recomendado

un ejemplo completo en el

INSTRUMENTO 4 – NTCL) es la

expresión de las especificaciones que sirven de

patrón de referencia para el desempeño de una

función productiva, considerando las posibles

situaciones de contingencia en el puesto de

Resume las prácticas exitosas de los expertos

trabajadores. Se integra por un conjunto de

conocimientos, habilidades y actitudes que son

aplicados al desempeño de una función y que al

ser verificados en las situaciones de trabajo,

permiten determinar si la persona ha alcanzado el

tipo, nivel y calidad de desempeño esperado por

el sector productivo. En este sentido, una NTCL

describe:

o Lo que una persona es capaz de hacer;

o La forma en que puede juzgarse si lo que

hizo esta bien hecho;

o Las condiciones en que el individuo debe

mostrar su actitud.


UENTES PARA LA ELABORACIÓN DE INSTRUMENTOS


encias que debe de demostrar la persona que desea

debe de poder analizar este

importante documento. En el curso de evaluadores se logra integrar en forma práctica esta



resenta la herramienta gráfica que

aplicados al desempeño de una función y que al

ser verificados en las situaciones de trabajo,

la persona ha alcanzado el

tipo, nivel y calidad de desempeño esperado por

el sector productivo. En este sentido, una NTCL

Lo que una persona es capaz de hacer;

La forma en que puede juzgarse si lo que

ue el individuo debe


La Matriz de Evid enciasLa matriz de evidencias se deberá elaborar como parte del desarrollo del elemento de

competencia; se trata de una matriz de doble entrada en la cual una corresponde a los criterios de

desempeño y la otra al campo de aplicación; los cruces entre estos dos componentes

corresponden a las evidencias por desempeño o por producto.

la Matriz de Evidencia con un ejemplo completo en el

DE EVIDENCIA. (Archivo disponible en la plataforma virtual).

confirmación de la relación existente entre las evidencias, los criterios de desempeño y el campo

de aplicación para un elemento de competencia

matriz de evidencia son:

o No se deben repetir evidencias para los criterios de desempeño.

o Solo deberá haber una evidencia en cada casilla.

Modelo de la matriz de evidenciaLa matriz de evidencia se configura en dos partes, una se refiere a las evidencias por desempeño y

por producto en su relación con los criterios de desempeño y con el campo de aplicación y otra

que se refiere a las evidencias de conocimiento relacionadas con el element

general.

Para la elaboración de las Normas Técnica de Competencia Laboral se emplea la matriz de

evidencia como un formato especial para recolectar la información que los expertos trabajadores

proporcionan en los talleres para la elabor


14

encias La matriz de evidencias se deberá elaborar como parte del desarrollo del elemento de



corresponden a las evidencias por desempeño o por producto. Ver el formato recomendado para

un ejemplo completo en el archivo denominado INSTRUM

(Archivo disponible en la plataforma virtual). Su utilización da sustento a la


de aplicación para un elemento de competencia determinado. Los principios que se aplican a la

No se deben repetir evidencias para los criterios de desempeño.

Solo deberá haber una evidencia en cada casilla.

Modelo de la matriz de evidencia . evidencia se configura en dos partes, una se refiere a las evidencias por desempeño y


que se refiere a las evidencias de conocimiento relacionadas con el element



proporcionan en los talleres para la elaboración.


La matriz de evidencias se deberá elaborar como parte del desarrollo del elemento de



Ver el formato recomendado para

INSTRUMENTO 5 – MATRIZ

Su utilización da sustento a la


Los principios que se aplican a la

evidencia se configura en dos partes, una se refiere a las evidencias por desempeño y


que se refiere a las evidencias de conocimiento relacionadas con el elemento de competencia en




Nomenclatura: La matriz de evidencias es un documento de trabajo en el cual se vacía la

expertos trabajadores proporcionan en los talleres correspondientes. Se emplea por comodidad

cierta nomenclatura relacionada a las evidenci

descarta emplear para las de actitud. A continuación se despliegan las relaciones.

• ED: Evidencia de desempeño.

• EP: Evidencia de producto.

• EC: Evidencias de Conocimiento.

• EA: Evidencia de actitud.

Todas las evidencias llevan un número correlativo entre

EC.2; EA.1 y EA.2. El número representa el correlativo del criterio de desempeño de interés.

La Tabla de Contenidos


15

La matriz de evidencias es un documento de trabajo en el cual se vacía la


cierta nomenclatura relacionada a las evidencias por desempeño, producto y conocimiento y no se


ED: Evidencia de desempeño.

EP: Evidencia de producto.

EC: Evidencias de Conocimiento.

EA: Evidencia de actitud.

Todas las evidencias llevan un número correlativo entre sí, ejemplo: ED.1. ED.2; EP.1, EP.2;

l número representa el correlativo del criterio de desempeño de interés.

a Tabla de Contenidos

La tabla de contenidos es una

herramienta gráfica que permite

visualizar rápidamente

que se tienen entre las técnicas e

instrumentos de evaluación con las

evidencias y los criterios definidos en

la NTCL. Ver el formato recomendado

para la Tabla de Contenidos

ejemplo completo en el

denominado INSTRUM

CONTENIDOS. (Archivo disponible en la



La matriz de evidencias es un documento de trabajo en el cual se vacía la información que los


as por desempeño, producto y conocimiento y no se


, ejemplo: ED.1. ED.2; EP.1, EP.2; EC.1,

l número representa el correlativo del criterio de desempeño de interés.

La tabla de contenidos es una

enta gráfica que permite

rápidamente las relaciones

que se tienen entre las técnicas e

instrumentos de evaluación con las

evidencias y los criterios definidos en

Ver el formato recomendado

Tabla de Contenidos con un

leto en el archivo

INSTRUMENTO 6 – TABLA DE

(Archivo disponible en la



16

1.4.- EJEMPLOS DE INSTRUMENTOS DE EVALUACIÓN Ver los ejemplos prácticos señalados en los instrumentos 1, 2 y 3.

1.5.- EJEMPLO DE DOCUMENTOS FUENTES Ver los ejemplos prácticos en los instrumentos 4, 5 y 6.

1.6.- EJERCICIO PRÁCTICO De la NTCL que le señale su tutor/a elabore:

1. La matriz de evidencia.

2. Los instrumentos para evaluar la competencia en forma parcial a total de acuerdo a las

indicaciones de su tutor/a.

3. Deberá dejar la evidencia de elaboración de los ítems en la tabla de contenidos respectiva.

Nota: si no tiene dominio de la competencia respectiva deberá apoyarse uno o dos expertos que la

dominen para elaborar los instrumentos de evaluación.

1.7.- EVALUACIÓN DE LA PRIMERA UNIDAD DIDÁCTICA MÓDULO 2 Ingrese a la plataforma y conteste el cuestionario m201


17

2.- ELABORAR ITEMS PARA DISTINTOS TIPOS DE INSTRUMENTOS DE EVALUACIÓN Un ítems se refiere a un enunciado, una pregunta por contestar, afirmación a valorar, problema

por resolver o indicaciones a seguir. Los ítems están siempre contenidos en un instrumento de

evaluación específico, tienen la intención de provocar o identificar la manifestación de algún

comportamiento, respuesta o cualidad. Los ítems seleccionan la información relevante para la

evaluación de una situación o evento en general. En el caso de la evaluación por competencias

laborales, los ítems de un instrumento organizan la recopilación de evidencias de acuerdo con los

diferentes criterios de desempeño o al tipo de conocimiento. Un ítems por sí mismo no tiene

sentido, debe estar integrado a un conjunto que estructura la información de manera

complementaria y da cuenta de la suficiencia, eficiencia o eficacia de la evidencia en sus diferentes

requerimientos. El formato y especificaciones de un ítem varían de un tipo de instrumento a otro.

Para la elaboración de los ítems es conveniente consultar constantemente el formato de

contenidos con toda su información correspondiente.

Tabla 2: El qué y el cómo para completar la tabla de contenido para de criterio de desempeño y las

evidencias solicitadas.

TABLA DE CONTENIDOS

EL QUÉ EL CÓMO

ED: comportamientos, conductas, acciones, pasos, subrutinas entre otras.

Características particulares de modo o forma de desarrollo.

EP: productos totales, parciales o subproductos.

Características que deben de cumplir en cada etapa.

EC: conceptos, principios, normas entre otras.

Nivel de profundidad y aplicabilidad.

Proceso para elaborar los ítems.

En la elaboración de los ítems para criterios de desempeños, productos o conocimientos es

necesario contar con la participación de los expertos trabajadores que vayan señalando el

producto y sus características, qué se hace y cómo, el saber y el nivel de conocimientos necesarios;

para recolectar está información. Se recomienda el empleo alojado en el archivo denominado

INSTRUMENTO 7 – TABLA DE CONTENIDOS AMPLIADA. (Archivo disponible en la plataforma virtual).


El instrumento 7 es una ampliación de la tabla de contenidos diseñado para abrir las posibilidades

de los criterios propuestos y asegurarnos que en la evaluación se consideren todas las

posibilidades.

Para completar la tabla anterior, es necesario considerar el tipo de cri

desempeño, de producto o de conocimiento, y definido

correspondiente con el fin de efectuar las preguntas para cada caso.

2.1.-ELABORAR ÍTEMS

Para el caso de los criterios de desempeño

pero con la ayuda de los expertos de trabajadores se definen las posibles subrutinas que se

necesitan, y esto se logra efectuando las preguntas: ¿qué debe de hacer? y ¿cómo debe hacerl

Con estas sencillas preguntas vamos llenando las casillas correspondientes, y conseguimos en el

¿cómo debe hacerlo?, los potenciales

se incluye la tabla siguiente.


18

una ampliación de la tabla de contenidos diseñado para abrir las posibilidades


Para completar la tabla anterior, es necesario considerar el tipo de criterio

producto o de conocimiento, y definido esto ubicarlos en la casilla

correspondiente con el fin de efectuar las preguntas para cada caso.

ÍTEMS PARA EVIDENCIAS DE DESEMPEÑO

erios de desempeño, la actividad central es la evidencia de desempeño,


necesitan, y esto se logra efectuando las preguntas: ¿qué debe de hacer? y ¿cómo debe hacerl


¿cómo debe hacerlo?, los potenciales ítems. Para una mejor comprensión de este procedimiento


una ampliación de la tabla de contenidos diseñado para abrir las posibilidades


terio por analizar, si es de

ubicarlos en la casilla

la actividad central es la evidencia de desempeño,


necesitan, y esto se logra efectuando las preguntas: ¿qué debe de hacer? y ¿cómo debe hacerlo?


. Para una mejor comprensión de este procedimiento


19

Tabla 3: Cuestionamientos que se deben hacer para elaborar los ítems vinculados a evidencias de

desempeños.

TABLA DE CONTENIDOS

ED: ACTIVIDAD CENTRAL

SUBRUTINAS

1º QUÉ DEBE HACER

1º CÓMO DEBE DE HACERLO

2do QUÉ DEBE HACER

2do CÓMO DEBE DE HACERLO

3er QUÉ DEBE HACER

3er CÓMO DEBE DE HACERLO

2.-2.- ELABORAR ÍTEMS PARA EVIDENCIAS DE PRODUCTOS Para el caso de los criterios de desempeño por producto, la evidencia por producto (producto

final) es el referente, y a partir de él se pueden obtener subproductos y esto se logra con las

preguntas: ¿qué debe producir? y ¿atributos del producto? ¿Qué se obtiene? y las características.

Ver la tabla 4.


atributo del producto (características), los potenciales ítems.

Tabla 4: Preguntas que se deben hacer para elaborar los ítems vinculados a evidencias de

productos.

TABLA DE CONTENIDOS

EP: PRODUCTO FINAL

PRODUCTOS

1º QUÉ DEBE PRODUCIR

1º ATRIBUTO DEL PRODUCTO

2do QUÉ DEBE PRODUCIR

2do ATRIBUTO DEL PRODUCTO

3er QUÉ DEBE PRODUCIR

3er ATRIBUTO DEL PRODUCTO

2.3.- ELABORAR ÍTEMS PARA EVIDENCIAS DE CONOCIMIENTOS Para determinar los posibles ítems para las evidencias de conocimiento se parte de la evidencias

de conocimiento general y se deben efectuar las preguntas ¿qué se debe saber? y con qué nivel de

profundidad; el nivel de profundidad considera los conocimientos específicos, de comprensión y

de aplicación.


20

Con estas sencillas preguntas vamos llenando las casillas correspondientes, y conseguimos lo que

debemos saber, los potenciales ítems. Para una mejor comprensión de este procedimiento se

incluye en la tabla siguiente.

Tabla 5: Preguntas que se deben hacer para elaborar los ítems vinculados a evidencias de

conocimiento.

TABLA DE CONTENIDOS

EC: CONOCIMIENTO GENERAL

COMPONENTES

1º QUÉ DEBO DE HACER

1º NIVEL DE PROFUNDIDAD

2do QUÉ DEBO DE HACER

2do NIVEL DE PROFUNDIDAD

3er QUÉ DEBO DE HACER

3er NIVEL DE PROFUNDIDAD

2.4.- CALIDAD ESPERADA EN LOS INSTRUMENTOS DE EVALUACIÓN DISEÑADOS Lineamientos generales para la construcción de ítem s.

1. Los ítems deben estar redactados en enunciados breves y afirmativos.

2. Deben estar redactados en el lenguaje propio del sector productivo a que se dirigen.

3. Deben ser precisos, no considerar interpretaciones de parte del evaluador.

4. Sólo deben tener una respuesta (expresión y demostración) posible y valida.

5. Cada criterio de desempeño debe estar cubierto al menos por un ítem.

6. Cada ítems debe cubrir solamente un criterio de desempeño, aunque varios ítems evalúen

un mismo criterio.

7. Elabore los ítems necesarios para cada una de las características, formas de hacer o nivel

de conocimiento de la tabla de contenidos. Pueden considerarse uno, dos o más ítems.

8. Los ítems que integran un instrumento deben ser los suficientes y necesarios para

recopilar la evidencia requerida. Una cantidad de 60 ítems dan seguridad en el dictamen

de competencia.

9. Los ítems relativos a desempeño deben estar organizados en los instrumentos con base en

la secuencia operativa de la función por evaluar: paso 1, ítem 1; paso 2, ítem 2.


21

Formas de redactar los ítems para evidencias de des empeño – (comúnmente el instrumento empleado es una guía de observación)

1. Se inicia con un verbo en 3ª persona y presente. Debe ser activo y observable.

2. Se indican las características o secuencias de la acción.

3. Descripción del escenario o campo de aplicación en el que se verificará el desempeño.

4. Puede incluir el número de veces que debe realizarlo.

2.5.- EJEMPLOS

1. Determina el número de circuitos para toma corriente, identificándolo directamente del

proyecto o tomando en cuenta la demanda de carga según necesidades del cliente.

2. Define la cantidad de material considerando el número de circuitos.

3. Contempla la cantidad de material considerando las distancias reales o las señaladas en el

plano.

4. Determina la cantidad de conductores por circuito, basándose en el número de contactos

por toma corriente.

5. Determina el diámetro de los ductos considerando la cantidad, calibre y tipo de

conductores y/o auxiliándose de la tabla de conductores por tubería.

6. Selecciona las herramientas de acuerdo con las tareas a realizar, para instalaciones

empotradas y superficiales.

7. Utiliza las herramientas de acuerdo con la función para la cual fueron diseñadas,

instalaciones empotradas y superficiales.

8. Alambra el circuito utilizando una guía de alambre galvanizado o guía acerada.

9. Hace el amarre del conductor con la guía y lo encinta cubriendo totalmente la unión.

10. Ordena los conductores jalándolos a través del ducto y los hace llegar hasta el punto

indicado.

Para evidencias de productos (comúnmente el instrum ento empleado es una lista de cotejo)

1. Se inicia enunciando la evidencia o el objeto a revisar.

2. Se continúa con un verbo en 3ª persona presente o en su caso pasivo.

3. Se concluye con las características, condiciones, especificaciones, campos de aplicación,

número de veces o atributos a revisar.

EJEMPLOS

1. El presupuesto contiene especificaciones del material, costos unitarios, cantidades de

material, valor de mano de obra, tiempo de ejecución, costo total, imprevistos y

condiciones.

2. El ducto instalado en instalaciones empotradas no presenta dobleces, quebraduras ni

perforaciones.


22

3. El ducto instalado en instalaciones empotradas presenta curvas con ángulos iguales o

mayores a 90 grados.

4. El ducto instalado en instalaciones empotradas presenta dos o menos curvas en su

trayectoria.

5. El ducto colocado en instalaciones empotradas está libre de humedad.

6. El ducto puesto en instalaciones empotradas está libre de obstrucciones.

7. El ducto ubicado en instalaciones superficiales no presenta dobleces, quebraduras ni

perforaciones.

8. El ducto colocado en instalaciones superficiales presenta curvas con ángulos iguales o

mayores a 90 grados.

9. El ducto puesto en instalaciones superficiales presenta dos o menos curvas en su

trayectoria.

10. El ducto en instalaciones superficiales está libre de humedad.

11. El ducto en instalaciones superficiales está libre de obstrucciones.

Para evidencias de conocimiento (comúnmente el inst rumento empleado es el cuestionario).

1. La indagación del conocimiento deberá considerar por lo menos tres niveles de

complejidad:

o Conocimientos específicos.

o Comprensión.

o Aplicación.

2. La redacción de ítems podrá ser variada dependiendo de las circunstancias propias del

proceso y del candidato.

EJEMPLO

1. ¿Cuál es el calibre del conductor utilizado para la salida del tablero a la primera caja de

derivación?

2. ¿Cuáles son los tipos de luminarias existentes?

3. ¿Cuáles son los tipos de caja existentes?

4. ¿Cuáles son los tipos de interruptores para el control de las luminarias?

5. ¿Cuál es la diferencia entre un circuito general, combinado y uno especial?

2.6.- EJERCICIO PRÁCTICO De la NTCL que le señale su tutor/a elabore:

1. Los instrumentos de evaluación de desempeño, producto y conocimientos que permite

evaluar las competencias indicadas en la NTCL.

Nota: Si no tiene dominio de la competencia respectiva, deberá apoyarse uno o dos expertos que

la dominen para elaborar los instrumentos de evaluación.


2.7.- EVALUACIÓN DE LA Ingrese a la plataforma y conteste el cuestionario

3.- RECONOCER LOS TIPOS DE PRUEBAS APLICADAS A LOS INSTRUMENTOS DE EVALUACIÓN DISEÑADOS

Los instrumentos de evaluación basados y elaborados en NTCL, deben pasar por dos pruebas

fundamentales para asegurarnos de su buen diseño:

1. Las pruebas de validez donde

expertos en las competencias que se

desean evaluar leen los

contestan verificando que sean

entendibles y en cantidad suficientes

para recolectar las evidencias en los

participantes que deseen evaluarse.


23

EVALUACIÓN DE LA SEGUNDA UNIDAD DIDÁCTICA DEL Ingrese a la plataforma y conteste el cuestionario m202.

RECONOCER LOS TIPOS DE PRUEBAS APLICADAS A LOS INSTRUMENTOS DE EVALUACIÓN DISEÑADOS


fundamentales para asegurarnos de su buen diseño:

Las pruebas de validez donde

expertos en las competencias que se

desean evaluar leen los ítems y los

contestan verificando que sean

entendibles y en cantidad suficientes

para recolectar las evidencias en los

que deseen evaluarse.


DEL MÓDULO 2

RECONOCER LOS TIPOS DE PRUEBAS APLICADAS A LOS



Si existen discrepancias en cualquiera de las pruebas se efectúan los ajustes correspondientes o se

toman decisiones sobre los datos obtenidos y la factibilidad de dar como validados los

instrumentos.

Esquema 1: Pruebas que se realizan a los instrumentos

Instrumento

Validez

Confiabilidad

Validación del InstrumentoPRUEBAS DEL INSTRUMENTO


24

2. Las pruebas de confiabilidad

que consiste en qué varios

evaluadores someten a un mismo

candidato a las evaluaciones

correspondientes en los distintos

escenarios que solicita la NTCL y

obtienen los mismos resultados.

cualquiera de las pruebas se efectúan los ajustes correspondientes o se


ruebas que se realizan a los instrumentos de evaluación

Instrumento

AjusteValidez

Confiabilidad

Validación del Instrumento

PRUEBAS DEL INSTRUMENTO


Las pruebas de confiabilidad

que consiste en qué varios

evaluadores someten a un mismo

candidato a las evaluaciones

correspondientes en los distintos

escenarios que solicita la NTCL y

obtienen los mismos resultados.

cualquiera de las pruebas se efectúan los ajustes correspondientes o se


de evaluación diseñados.

Ajuste

Validación del InstrumentoPRUEBAS DEL INSTRUMENTO


25

3.1.- LA PRUEBA DE VALIDEZ DE LOS INSTRUMENTOS DISEÑADOS Procedimiento práctico para determinar la validez de los instrumentos elaborados con base en

NTCL.

PASO DESCRIPCIÓN

1.

Identifique los escenarios posibles de validación. Seleccione al menos tres, aquellos en

que existe mayor factibilidad de contar con la colaboración de un experto. Los

escenarios son los lugares donde se desarrolla la función laboral que refiere el

instrumento y accesibles para el centro de evaluación. Estos pueden ser empresas e

instituciones.

2.

Seleccione a los expertos, considere los siguientes criterios:

1. Que sean expertos en la función laboral.

2. Que conozcan la Unidad de Competencia Laboral UCL de referencia.

3. Se recomienda considerar la participación de tres a cinco expertos, uno por

cada escenario.

3.

Desarrolle un formato para demostrar la validez de los instrumentos que contega:

1. Lugar donde se realizará la demostración.

2. Fecha y periodo en que se realizará.

3. Criterios para la selección de expertos a consultar para la demostración.

4. Criterios de análisis de ítems a seguir durante la demostración.

Se recomienda emplear el formato de validez mostrados en el archivo denominado:

INSTRUMENTO 8 – VALIDACIÓN DE INSTRUMENTOS. (Archivo disponible en la plataforma

virtual).

4.

Programe una reunión de apertura con los jueces expertos y explique en qué consiste la

validación, cómo debe revisar los instrumentos, los criterios por considerar para la

revisión y los formatos que debe llenar.

5.

Entregue toda la documentación requerida a los expertos para la revisión:

1. Diseño de demostración de validez.

2. Unidad de Competencia Laboral UCL de referencia.

3. Instrumentos a revisar.

4. Formato de análisis de instrumentos e ítems (tabla de contenidos)

5. Acuerde con ellos la fecha de entrega de los resultados de la revisión y la

documentación correspondiente.


26

PASO DESCRIPCIÓN

6.

Someta a revisión de los expertos, los instrumentos que diseñó. Los expertos deben

identificar los siguientes criterios:

1. Los ítems recopilan información correspondiente con el criterio de desempeño

al que pertenecen.

2. Los ítems son pertinentes para el tipo de evidencias que se obtiene con el

instrumento de evaluación.

3. Las evidencias que recopilan los instrumentos, cualitativamente son las

requeridas en la Unidad de Competencia Laboral UCL.

4. Las evidencias que recopilan los instrumentos, cuantitativamente son las

requeridas en la Unidad de Competencia laboral UCL.

7.

Solicite a los expertos, una vez hayan revisado los instrumentos, establezcan el

dictamen de validez. Este dictamen puede ser de dos tipos:

1. Instrumentos validados.

2. Instrumentos todavía no validados.

En caso que los instrumentos sean considerados todavía no validados, los expertos

deben registrar los aspectos de mejoras identificados en el instrumento

correspondiente.

8.

Realice una sesión de asesoría, una vez transcurrido el periodo acordado con los

expertos para la revisión de los instrumentos.

Si al menos dos terceras partes del número total de jueces, emitieron un dictamen de

validez favorable, usted puede considerar sus instrumentos validados.

Si una porción menor de las dos terceras partes del número total de expertos emitieron

un dictamen de validez favorable, establezca las modificaciones que son necesarias

efectuar a los instrumentos de acuerdo con la revisión efectuada.

1. Eliminar ítems.

2. Crear nuevos ítems.

3. Cambiar redacción de items.

4. Replantear el significado de los ítems.

5. Esta información la puede obtener del formato de análisis de instrumentos e

ítems.

9. Realice los cambios en los ítems e instrumentos de evaluación de acuerdo con las


27

PASO DESCRIPCIÓN

recomendaciones de los expertos.

10.

Someta a consideración de los expertos los instrumentos ajustados. De existir acuerdo

con el instrumento se considerará como válido, de no ser así, realice nuevamente los

cambios pertinentes. Una vez validados los instrumentos recabe la firma de dictamen

de validez de los expertos.

11. Concentre la documentación y resultados de la demostración de validez con el fin de

integrarlos al reporte final.

Programa de Validación

1. Determinar de tres a cinco escenarios (empresas e instituciones educativas donde se

desarrolla la función) y que cuenten con expertos en la función por evaluar.

2. Los expertos deberán ser distintos a quienes participaron en la creación de la Norma

Técnica de Competencia Laboral – NTCL y/o instrumentos.

3. Explicar a los expertos la finalidad de crear Norma Técnica de Competencia Laboral – NTCL

e instrumentos de evaluación.

4. Explique en qué consistirá su función como experto de los instrumentos.

5. Entregue la Norma Técnica de Competencia Laboral – NTCL, los instrumentos y el formato

para validar instrumentos de evaluación.

6. Acuerde fecha para recoger los resultados.

7. Si el 75% de los expertos están de acuerdo con la validez del instrumento, Ud. puede

validarlo; si es inferior el porcentaje entonces realice los cambios pertinentes y vuelva a

solicitar la validación de los expertos. Máximo tres validaciones.

8. Genere reporte.

3.2.- LA PRUEBA DE CONFIABILIDAD DE LOS INSTRUMENTOS DISEÑADOS Procedimiento práctico para determinar la confiabilidad de los instrumentos elaborados con base

en NTCL.

PASO DESCRIPCIÓN

1.

Seleccione un equipo de expertos en la función laboral que refiere los instrumentos.

Éstos fungirán como evaluadores aplicadores de los instrumentos en el piloteo con las

consideraciones siguientes:

1. De los escenarios que determinó en el procedimiento práctico para la validación


28

PASO DESCRIPCIÓN

de los instrumentos, seleccione expertos en la función laboral, dos por cada

escenario. Estos expertos fungirán como evaluadores en el piloteo.

2. Considere los criterios para seleccionar al experto: que desarrolle la función por

evaluar, que conozca la función de evaluar competencias laborales y que no sea

de las mismas personas que participaron en el diseño de los instrumentos.

2.

Seleccione la muestra de trabajadores por evaluar con las consideraciones siguientes:

1. De los escenarios definidos en el paso 1 del procedimiento de validación

seleccione trabajadores a evaluar, dos por cada escenario.

2. Los criterios a tener en cuenta para seleccionar la muestra de piloteo son: que

los trabajadores seleccionados desarrollen la función laboral, que no sean las

mismas personas que fungen como evaluadores, no hayan participado en el

diseño de los instrumentos y seleccionar los trabajadores al azar.

3.

Desarrolle un formato para recolectar los datos de la prueba de confiabilidad que

contenga:

1. Fecha y período en que se realizará la demostración.

2. Escenarios donde se realizará el piloteo de los instrumentos.

3. Criterios para la selección de los evaluadores que aplicarán los instrumentos en

el piloteo.

4. Criterios para la selección de personas que conformarán la muestra del piloteo.

5. Evaluadores seleccionados para la demostración.

6. Criterios de análisis a seguir para la demostración.

Se recomienda emplear el archivo denominado: INSTRUMENTO 9 – CONFIABILIDAD DE

INSTRUMENTOS. (Archivo disponible en la plataforma virtual).

4.

Reúnase con los aplicadores de instrumentos seleccionados y realice las siguientes

actividades:

1. Presente los instrumentos e imparta la capacitación necesaria para la aplicación

de los mismos.

2. Exponga la estrategia de aplicación contenida en el diseño de la demostración.

3. Entregue toda la documentación requerida a los evaluadores para aplicar los

instrumentos, concentrar la información y los resultados obtenidos.

5. Aplique en binas de manera independiente, en la fecha señalada en el diseño de

demostración de confiabilidad, los instrumentos, es decir, dos evaluadores aplicarán


29

PASO DESCRIPCIÓN

simultáneamente los instrumentos para un mismo trabajador. Cada pareja de

evaluadores debe aplicar los instrumentos al menos dos veces, de preferencia en

escenarios diferentes. El diseñador de instrumentos debe estar presente durante la

aplicación de los instrumentos con la finalidad de asegurar la homogeneidad del

proceso y coordinar las actividades.

6.

Solicite, después de la aplicación, a los evaluadores registrar la experiencia de aplicación

de acuerdo con los siguientes criterios:

1. Dificultades enfrentadas para la aplicación de los instrumentos.

2. Dificultades enfrentadas para registrar la información.

3. Dificultades enfrentadas por los sujetos de prueba para comprender algún

ítems.

4. Dificultades enfrentadas por los sujetos de prueba para contestar o emitir

respuestas a los ítems.

7. Solicite a cada pareja de evaluadores que concentren los resultados de la aplicación por

separado y emitan su juicio de competencia.

8.

Establezca la confiabilidad de los instrumentos de acuerdo con los criterios siguientes:

1. Si las opinión de los evaluadores que participaron en la misma aplicación sobre

un mismo evaluado coincide, entonces el instrumento puede considerarse

confiable.

2. Si no es así, es necesario discutir con los evaluadores y establecer el tipo de

cambios que requieren los instrumentos.

9.

Con base en los resultados del piloteo, determine los aspectos por cambiar en los

instrumentos:

1. Cambiar redacción de los ítems.

2. Eliminar ítems.

3. Incorporar nuevos ítems.

4. Modificar el orden de los ítems.

5. Cambiar formato de algún instrumento.

6. Cambiar las indicaciones de aplicación o llenado de algún instrumento.

10.

Desarrolle un reporte de la demostración que justifique la confiabilidad de los

instrumentos de evaluación. El reporte debe contener:

1. Diseño para la demostración de confiabilidad.

2. Resumen del proceso de confiabilidad.

3. Resultados de la demostración de confiabilidad.


30

PASO DESCRIPCIÓN

4. Cambios efectuados a los instrumentos.

11. No olvide ajustar el formato de contenidos con los resultados derivados de la

demostración de validez y confiabilidad.

Programa de Confiabilidad

1. Seleccione una muestra de tres a cinco participantes para aplicar piloteo de instrumentos

de evaluación.

2. Determine cuatro evaluadores para cada participante a evaluar.

3. Explique a cada participante los procedimientos de evaluación.

4. Cada evaluador aplicará un juego de instrumentos de evaluación al participante al mismo

tiempo y bajo las mismas circunstancias.

5. Cada evaluador emitirá un resultado de competencia.

6. Determinar confiabilidad de cada ítem bajo el criterio de 75% o más de coincidencia.

7. Determinar confiabilidad del instrumento bajo el criterio de 75% o más de coincidencia en

el resultado de competencia.

3.3.- COMPILACIÓN DE LOS INSTRUMENTOS Procedimiento práctico para compilar los instrumentos de evaluación.

PASO DESCRIPCIÓN

1. Recupere el formato de contenidos y elija el instrumento que se aplicará en primer

lugar, según la secuencia operativa.

2. Ordene y enumere los ítems. Con la ayuda de un experto en la función laboral, de

acuerdo con la secuencia operativa especifica. Es necesario organizar los ítems

considerando la probable sucesión de las demostraciones o respuestas que solicitan, en

concordancia con el proceso de trabajo y con las etapas de la evaluación.

3. Incorpore, una vez ordenados y numerados los ítems, las indicaciones al instrumento,

éstas deben:

1. Ser redactadas en un lenguaje preciso y claro.

2. Utilizar un tipo y tamaño de letra resaltada.

3. Explicar cuándo, cómo y dónde se deben registrar los resultados.

4. Describir la situación de evaluación especifica por aplicar.

5. Señalar qué lugar ocupa en el orden de aplicación de todos los instrumentos de


31

PASO DESCRIPCIÓN

evaluación diseñados.

4. Proceda a darle formato al instrumento:

1. Identifique al instrumento con un código, número o clave.

2. Establezca un nombre distintivo para el instrumento.

3. Identifique claramente los espacios para registrar la información que solicita

cada ítem.

4. Establezca un espacio para colocar el nombre del evaluador y del evaluado.

5. Si lo considera necesario, registre el elemento de competencia al que

corresponde, el instrumento y los criterios de desempeño.

5. Desarrolle este mismo procedimiento por cada instrumento de evaluación seleccionado

para la Unidad de Competencia Laboral UCL de referencia.

6. Complete el formato de contenidos añadiendo, modificando o confirmando el número

asignado a los instrumentos e ítems.

3.4.- EJEMPLOS DE PRUEBA DE VALIDEZ Y CONFIABILIDAD Ver los formatos en los instrumentos 8 y 9 del módulo 3.

3.5.- EJERCICIO PRÁCTICO Realice las pruebas de validez y confiabilidad de los instrumentos que ha diseñado en la unidad 2

siguiendo las indicaciones que su tutor/a le den. Estas pruebas podrán ser totales o parciales

según indicaciones.

3.6.- EVALUACIÓN DE LA TERCERA UNIDAD DIDÁCTICA DEL MÓDULO 2 Resuelva el cuestionario m203.

formación por competencias laborales para diseñadores de ... · una guía de observación se...

Documents