gestión de evaluaciones ©2006 konocimiento s.a.. mapa de ruta para hoy quienes somos y qué vamos...

Gestión de evaluaciones

©2006 KONOCIMIENTO S.A.

Mapa de ruta para hoy

Quienes somos y qué vamos a hacer:Presentación Consultores y participantesObjetivos a lograrOrganización del taller, aspectos

administrativos.Sesión #1: IntroducciónResumen conclusiones y preguntas

Sesión #1

Introducción

Evaluaciones y encuestas: Qué

MEDICIÓNConocimientosHabilidadesActitudesOpiniones

Resultados

Decisiones / Acciones

Las “evaluaciones”, son herramientas de medición que permiten mejorarla toma de decisiones según el objetivo que persiga.

•Cuando existe una respuesta objetivamente correcta, hablamos de evaluación.•Cuando no existe una única respuesta, objetivamente correcta, hablamos de encuesta.

AnálisisPronóstico

Razones específicas para evaluar (desde la perspectiva del Depto. De Capacitación)

Justificar las inversiones en capacitación. Una evaluación efectiva puede probar que la capacitación no es un gasto neto, sino

al contrario, un fuerte contribuyente a los beneficios. Mejorar la toma de decisiones en Capacitación.

Una efectiva evaluación puede ayudar a determinar qué cursos comprar o construir internamente, qué medios utilizar, qué proveedores seleccionar, etc.

Medición de los participantes del proceso. Una evaluación puede revelar si el Departamento de Capacitación, los

desarrolladores, instructores, facilitadores y proveedores entregaron los resultados que prometieron.

Demostrar responsabilidad financiera. Una evaluación correcta e integral puede demostrar a ejecutivos, accionistas y

empleados que el Depto. De Capacitación es financieramente disciplinado y claramente enfocado en las metas de negocios de la organización.

Mejorar la calidad de la Capacitación. Una buena evaluación puede medir la calidad y efectividad de varios aspectos de la

Capacitación, tales como; materiales, instructores, salas e infraestructura, técnicas de presentación, etc.

William Horton

Evaluaciones dentro de un Curso:¿Por qué queremos evaluar?

Malas razones para efectuar una evaluación Cumplir con expectativas… “Es un curso, por tanto debe tener

evaluación”. Dar al instructor “poder” sobre el estudiante…”Ponga atención

o si no….” Torturar al estudiante. Si la capacitación se supone que sea

tortuosa, las evaluaciones pueden asegurar que efectivamente lo sean.

Demostrar a la Dirección o Clientes que el curso efectivamente funciona (Probar el éxito de un curso no es malo, pero usar las evaluaciones de un curso para ello, sí lo es).

William Horton

Evaluaciones dentro de un Curso:¿Por qué queremos evaluar?

Buenas razones para efectuar una evaluación Permitir que la persona tenga un indicador de progreso hacia

su meta de aprendizaje. Enfatizar aquello que es importante y motivar al estudiante a

enfocarse en ello. Permitir aplicar lo aprendido y de esa forma profundizar /

reforzar el proceso. Monitorear el éxito de partes de un curso o de un curso

completo de forma que instructores y diseñadores puedan mejorarlo.

Certificar que los estudiantes han adquirido el dominio (“Mastery”) de ciertos conocimientos o habilidades para efectos legales, laborales o personales.

Características de un buen proceso de evaluación

Un buen proceso de evaluación debe ser: Flexible y adaptable

Factible de utilizar en diversas circunstancias o adaptar con facilidad.

Simple y fácil de implantar Confiable

Mide o predice con exactitud Económico

Cuando se diseña un plan de evaluaciones de cualquier tipo, es buenoConsiderar las siguientes características:

Perspectivas de las evaluaciones

El espectro de perspectivas

PerspectivaMicro

PerspectivaMacro

Para un componenteDe un curso

Para un curso Para un conjunto deCursos (Currículum)

Para unaempresa

Para unaindustria

A nivel de laSociedad

¿Estamos interesados en un curso o en los efectos del aprendizajeA nivel de la Sociedad?

En la perspectiva micro, estamos interesados en resultados concretos relacionados con losObjetivos de aprendizaje de un curso. Desde una visión macro, nos puede preocupar unamplio rango de resultados con objetivos organizacionales o políticos.

Temporalidad de las evaluacionesPerspectiva Curso

Una evaluación puede efectuarse en tres puntos principales:

1. Previo a la ejecución de un curso,

2. Durante su desarrollo,

3. Después de concluido el curso.

Estos tres puntos utilizan las mismas técnicas básicas de evaluación,Pero de formas diferentes.

Temporalidad de las evaluacionesPerspectiva Curso

Planes

- Predice el éxitoDel Proyecto / curso.- Mide Stock Competencias

Producto de Capacitación

(o Curso)

- Califica el productoDe Capacitación.- Mide aprendizaje

- Mide el éxitoDel Proyecto / Curso.- Mide desempeño

Antes Durante Después

Punto de vista económico / de mercado.

Punto de vista aprendizaje / Desempeño.

Evaluación interna Vs. externa

Una evaluación interna ayuda a mejorar los procesos de desarrollo y administración con el objetivo de hacer las funciones más eficientes.

Una evaluación externa busca mejorar los resultados del proceso (Producto) como percibido o experimentado por Clientes o usuarios (Internos o externos).

EvaluaciónInterna

Procesos

EvaluaciónExterna

Resultados

¡Los procesos internos existen para producir resultados externos!

Planificación del proceso de evaluación

Antes de comenzar a escribir una prueba, examen o encuesta: Documente el POR QUÉ: Razonar respecto a los objetivos

que buscamos lograr… ¡ Escriba estos objetivos!. Documente el QUÉ: Conocimientos, habilidades, opiniones,

actitudes. Defina la estrategia de Calificaciones (¿Nos sirven las

notas… para qué?)


Otros aspectos relevantes para planificar: ¿Cómo se va a “calificar” la evaluación?:

Respuestas evaluadas por una máquina (Perception),

Respuestas evaluadas por una persona (Perception),

Cada estudiante se auto – califica, explicando el por qué.

Cada estudiante es calificado por sus compañeros de clases.

Los estudiantes son evaluados por un tutor designado (Compañero de trabajo con mayores Conocimientos, experiencia, etc.).


Otros aspectos relevantes para planificar: ¿Cuándo se entregará el feedback?

Después de cada pregunta. Después de finalizar la evaluación.

¿Cuánto tiempo debería durar la evaluación? ¿Será factible volver a rendir la evaluación (es decir,

permitir más de un intento)?. ¿Preguntas fáciles o difíciles? ¿Cuántos formatos o tipos de pregunta diferentes

emplearemos? Si es una encuesta…¿Será ramificada? ¿Qué pasa si hay problemas técnicos? (Procedimiento) Instrucciones y “reglas” de las evaluaciones (Ver Job

Aid).

Niveles de evaluaciónEl Modelo Kirkpatrick

Es uno de los modelos de evaluación más robustos.

Fue creado en 1959 por Donald Kirkpatrick.

Comenzando desde el Nivel 1, cada nivel mide consecuencias del aprendizaje a más largo / amplio alcance.

Nivel 1Respuesta o Reacción

Mide la reacción inmediata a la Capacitación: ¿Les gustó? ¿Completaron el curso? ¿Los materiales eran adecuados? ¿La sala y equipos? ¿El instructor dominaba la materia? ¿El instructor se comunicaba clara y

correctamente? Etc.

Nivel 2Aprendizaje

Intenta medir cuánto aprendieron realmente los estudiantes.

¿Qué competencias adquirieron al finalizar la actividad de Capacitación?. Habilidades específicas desarrolladas, Conocimientos, Actitudes, Creencias

Nivel 3Desempeño

Trata de medir el grado en el cual los estudiantes aplican lo aprendido en sus trabajos (o vida privada).

Transferencia de aprendizaje. ¿Podemos usar post test para esta

medición?. ¿Cómo mediría Ud. Si tuviera recursos ilimitados?.

Nivel 4Resultados

Intenta medir el logro de las metas de negocios como resultado de la actividad de Capacitación.

¿Se cumplieron las metas de negocios? ¿Fue la Capacitación una inversión valiosa

de recursos organizacionales?

Análisis de niveles y características

Nivel 1Nivel 2Nivel 3Nivel 4

Utilización

Valor delresultado

Baja

Bajo

Alta

Alto

Raramente usada

Dificultad dedesarrollarla

Frecuente

Nivel 1Evaluaciones de respuesta

La evaluación de Nivel 1 mide la respuesta del estudiante a la actividad de Capacitación.

¿Qué nos dice?: ¿Cumplió el curso con las expectativas del

participante? ¿La experiencia fue emocional e intelectualmente

satisfactoria? ¿Creen los estudiantes que se beneficiaron del

curso? ¿El estilo de presentación fue adecuado? (Relator,

materiales, actividades).

Nivel 1Evaluaciones de respuesta

Razones para realizar una evaluación Nivel 1: Mejorar el curso a futuro Comparar con otros cursos / proveedores /

relatores / medios. Identificar estudiantes poco motivados (y a malos

proveedores / relatores). Reconocer problemas de percepción y

frustraciones de los estudiantes para eventuales acciones correctivas.

Intento (no muy potente) de predecir el logro de los objetivos (Niveles 2, 3, 4).

Nivel 1Técnicas para medir respuesta

Técnicas: Control de acceso y navegación si curso es

e-Learning. Asistencia y participación si es tradicional.

Uso de encuesta al finalizar el curso incluyendo una sección de retro alimentación y sugerencias.

Grupo de enfoque con participantes del curso (después de efectuado).

Foro de discusión electrónico (Intranet).

Nivel 1Ejemplo

¿Errores o mejoras?....

Nivel 3Desempeño

Intenta medir el desempeño en el trabajo. Se denomina también “Aplicación”.

Se hace poco, entre otras cosas porque demanda una gran cantidad de recursos (horas hombre y/o $$).

¿En qué grado los estudiantes aplican lo aprendido en el contexto de sus propios trabajos?.

¿Cuánto mejor se desempeñan en sus trabajos como resultado de la Capacitación?.

¿Aplican lo aprendido oportuna y apropiadamente?

Nivel 3Desempeño

Razones para realizar una evaluación Nivel 3: Cuando la brecha entre conocer y hacer es crítica

para el éxito del negocio. Cuando la Capacitación está directamente

orientada a mejorar el desempeño en el puesto de trabajo (Contenidos técnicos, duros).

Si la aplicación al trabajo ha sido un problema detectado y no resuelto en el pasado.

Para aislar factores que ocasionan que no se produzca la transferencia hacia el trabajo.

Nivel 3Desempeño

Identificación de factores de bloqueo por medio de una evaluación nivel 3: Motivación. Creencia errónea respecto a aplicabilidad en el

ambiente de trabajo (“esto no sirve…”). Eventos que podrían “gatillar” la aplicación al

trabajo. ¿Recuerdan procedimientos específicos, hechos o

principios en el contexto del ambiente de trabajo?.

Nivel 3Técnicas para medir respuesta

Observación directa del comportamiento en el trabajo. Recolectar opiniones de aquellos que están en posición de

observar. Análisis de datos “duros”:

Registro de ventas, Registros de calidad, Registros de reclamos, Registros de seguridad, Etc…(dependiendo de la materia que se trate).

Utilizar grupo de control (Sin capacitación) y comparar registros de desempeño (si es posible).

Análisis de tendencias de desempeño (¡Uff!). Estructurar planes de acción y monitorearlos. Uso de simuladores (ej. Vuelo, Cajeros Banco, Centrales

telefónicas).

Nivel 3Algunas conclusiones

Recuerde que: A menos que la Capacitación mejore el desempeño en el

trabajo, es de cuestionable valor.

Muchas empresas miden regularmente el desempeño como parte de sus esfuerzos por mejorar la calidad y productividad.

Las evaluaciones regulares (¿anuales?) del desempeño son una buena base para análisis y decisión respecto de las actividades de capacitación a efectuar.

Conectar evaluación de desempeño con Capacitación a la hora de definir la oferta de cursos o actividad es un buen primer paso, no obstante, puede que sirva poco, si no hay monitoreo de lo que sucede con el desempeño después de finalizado un curso.

Nivel 4Resultados

A los alumnos les encantó su curso, aprendieron todo lo que se les enseño y además lo aplicaron perfectamente bien en el trabajo….pero….

Nivel 4Resultados

No habrá fondos para efectuar nuevamente el programa, pues las utilidades de la empresa han disminuido….

Resumen

Las “evaluaciones”, son herramientas de medición que permiten mejorar la toma de decisiones según el objetivo que persiga.

Se requiere planificación y objetivos claros para asegurar óptimos resultados de un proceso de evaluación.

Nunca está demás preguntarse por qué se evalúa algo. Si la respuesta es: “Siempre se ha hecho así”… Preocúpese.

Un buen proceso de evaluación debe ser Flexible y adaptable, fácil de implantar, confiable, y económico.

Perspectiva, temporalidad y tipo (Interna/ externa) son atributos claves de una evaluación.

Recuerde los aspectos importantes a planificar y organice con ellos una agenda de trabajo.

El modelo de Kirkpatrick especifica 4 niveles para las evaluaciones en capacitación:

Reacción, Aprendizaje, Desempeño, y Resultados.

….What’s next…

En la próxima sesión revisaremos en profundidad el Nivel 2: Evaluaciones de aprendizaje….

Sesión #2

Evaluaciones Nivel 2: Aprendizaje

Evaluaciones Nivel 2Aprendizaje

Intentan medir lo que el estudiante aprendió: ¿Se cumplieron los objetivos de aprendizaje del curso?.

Ayudan a identificar hechos específicos, conceptos, habilidades, actitudes y creencias que los estudiantes aprendieron en el curso.

Pueden ayudar también a identificar en qué medida el contenido del curso, presentación y estructura fueron adecuados para un óptimo proceso de aprendizaje.

Evaluaciones Nivel 2Aprendizaje – Cómo medir

Una evaluación nivel 2 efectiva debe examinar el contenido correcto en el momento oportuno.

El aprendizaje, medido sólo al final del proceso de Capacitación, si bien es común, no es la mejor forma de asegurar buenos resultados.

Mediciones tanto al comienzo como en diversas instancias durante el desarrollo del curso, generarán suficiente retroalimentación e incentivará a los alumnos a realizar los esfuerzos necesarios en los contenidos que específicamente se requieren.

Evaluaciones Nivel 2Aprendizaje – Cómo medir

Baddeley (1990) y otros han encontrado que sin reforzamiento, los niveles de conocimiento caen dramáticamente una vez concluida la Capacitación (80%-90% en 6 semanas).

El aprendizaje realmente adquirido (que las personas sí podrán utilizar en su trabajo), debe ser medido entre 6 y 9 semanas “Post tests diferidos) después de haber concluido la Capacitación.

Evaluaciones Nivel 2Técnicas para medir aprendizaje

Evaluaciones (antes, durante, después), Actividades y ejercicios “en clases”, tareas

(“fuera de clases”). Proyectos de desarrollo con culminación en

ambiente de trabajo (aplicación “real). Simulaciones del ambiente de trabajo. Juegos de aprendizaje.

Las evaluaciones son una de entre variasalternativas para medir aprendizaje

Evaluaciones Nivel 2Un método general de evaluación

Recuerde que son los objetivos los que determinan los contenidos, y que Ud. Medirá el logro de los objetivos, por medio de los contenidos.

Objetivo general

Objetivo Específico 1

MapaObjetivos - Contenidos

Estructura delcurso





“TERMINAL” “HABILITANTES”


Ejemplo de estructura de un curso:-Módulos-Lecciones-Tópicos

En este esquemaSe requiere medicionesA 3 niveles (a lo menos).


Tópico: Tiene un objetivo específico y medible asociado. Es muy concreto. Se le llama también “Objeto de aprendizaje”.

Lección: Acumula varios tópicos que agregan aprendizaje hacia un objetivo más general.

Módulo: Acumula lecciones. Curso: Conjunto estructurado de módulos. Tiene

objetivos del nivel más general.

¿Quién sabe escribir objetivos?

Derivando Objetivos

Comportamientos medibles y observables

Cuando describa una acción observable, debe enfocarse en utilizar verbos precisos.

Escribir la fórmula para la ley de OhmResolver un problema de flujo de trabajoCompletar el formulario para un cliente nuevo.

Conocer la ley de OhmPensar críticamenteEstar familiarizado con el servicio a clientes

Observable No - observable

Derivando objetivos

Consolidando tareas

¿Dónde comenzar?

Comience consolidando tareasy organizándolas en Objetivos Terminales (Curso) y Objetivos Habilitantes(Módulo, lección, tópico).

ObjetivoTerminal

ObjetivosHabilitantes

Derivando objetivos

Criterios para objetivos

Los objetivos deben estar relacionados en varias formas.

Los objetivos deben ser completos: Cada sub-tarea necesaria para la meta final debería ser representada.

Sólo deben formalizarse los objetivos necesarios para lograr la meta final.

Objetivos redactados de forma distinta, pero que básicamente son redundantes, deberían ser eliminados.

Derivando objetivos

Criterios para objetivos

Objetivos triviales, tales como aquellos que identifican habilidades pre requisitos, especialmente las muy básicas, no deben ser incluidos.

El lenguaje utilizado debe ser claro, fluído, y NO ambiguo.

Deben incluirse los principales componentes de un objetivo de comportamiento: Condición, Comportamiento y Criterio.

Escribiendo objetivos - Formatos

Formato de Mager

Utilizando Microsoft Word, sin manuales, el estudiante formateará una hoja de

estilo correctamente, de acuerdo con los estándares establecidos en el

documento de evaluación.


Sugerencias: Para este esquema, efectúe evaluaciones con calificación (y

sin retroalimentación), sólo a nivel de módulos. Lecciones y tópicos deben incluir auto evaluaciones con

retroalimentación. Desarrolle (complementariamente) un examen final para el

curso completo. Compare resultados con respecto a las evaluaciones de

módulos. Lleve a cabo un post test diferido 6 – 9 semanas después de

concluido el curso. Compare resultados con los de módulos y curso.

Planifique acciones de refuerzo de acuerdo a los resultados que obtenga.

Construcción de la evaluación

Cuando se diseña una evaluación a un nivel más general (Lección, módulo, curso), nos encontramos con más objetivos específicos a ser medidos, que van conformando el objetivo más general.

Es una buena práctica asignar ponderadores (importancia relativa) a cada uno de estos objetivos de forma de tenerlos muy en cuenta para la construcción de la evaluación….

Objetivo Importancia(Ponderación)

1 33%

2 33%

3 34%

Total = 100%


Objetivo Importancia V/F(1) Alt.(2) Mult.(4) CO (3)

1 33% 3 4 3 2

2 33% 3 4 3 2

3 34% 3 4 3 2

Total = 100% 9 12 9 6

Para cada tipo de pregunta diferente, abarque todos los objetivos de acuerdo a su importancia.

Determine el número de preguntas de cada tipo que mejor se acomode a la importancia de los objetivos (recuerde que cada tipo tiene usos diferentes).

Tenga presente que selección múltiple es más difícil (para usted y los alumnos). Defina los puntajes individuales para cada tipo de pregunta (mismo tipo, mismo puntaje). Construya las preguntas tipo por tipo utilizando su mapa de Objetivos – Contenidos (otros

prefieren objetivo a objetivo). Debe haber cierto grado de consistencia entre la importancia de los objetivos y el número de

preguntas relacionadas con cada uno, o entre la importancia de los objetivos y el puntaje asignado a las preguntas orientadas a cada uno.


Para producir una evaluación consistente y bien estructurada: Puede tomar el número de preguntas como base para

respetar la importancia de los objetivos (objetivo más importante, incluyo más preguntas que apunten a él), o

Puede tomar el puntaje de la pregunta como base para respetar la importancia de cada objetivo, en cuyo caso es mejor tener el mismo número de preguntas por cada objetivo.

Es importante tener una estructura lógica, y ser consistente con ella (respetarla) a lo menos a nivel del mismo curso o programa.

No hay una única forma “óptima” de construcción de una evaluación.

Diseño efectivo de preguntasTipos más comunes

Verdadero / falso (Sí / No), Selección de 1 opción entre varias

(alternativa), Selección de más de 1 opción de entre varias

(Selección múltiple), Completación de oraciones, Ensayo, Pareos, Marcar lugar correcto (imágenes)

Ver Job Aid #2

Diseño efectivo de preguntasVerdadero / Falso

Requieren que los estudiantes decidan entre dos alternativas, mutuamente excluyentes.

Sea cuidadoso en su uso, pues pueden alentar la especulación. Diséñelas de forma que requieran más raciocinio que especulación. Diseñe varias para el mismo contenido, de forma de minimizar la probabilidad de

acierto al azar. Cada frase que diseñe sobre el mismo sujeto, estructúrela de manera diferente,

de modo que algunas veces la respuesta correcta sea Verdadero y otras veces Falso.

Escriba la sentencia en términos neutrales, de forma que no implique una respuesta.

Nunca haga preguntas del tipo sí/no llamándolas verdadero/falso.

¿El rango de frecuencias en UHFComienza donde termina el de VHF?

Verdadero Falso

¿El rango de frecuencias en UHFComienza donde termina el de VHF?

Sí No


No requiere siempre usar sí/no o Verdadero/falso, cualquier binario opuesto funciona:

Un positrón es:

Materia Anti materia


¡Estadísticas al rescate!: Penalice la especulación:

Respuesta correcta = 1 puntos Sin respuesta = 0 punto Respuesta incorrecta = -1 punto.

Requiera puntajes más altos: La probabilidad de tener “buenas” 5 de 10 especulando =

50%. La probabilidad de tener un 80% correcto es sólo 5%.

Incluya más preguntas de este tipo que de otro. Si incluye 20 preguntas de este tipo, la probabilidad de

obtener 80% o más es menor a 1%.

Diseño efectivo de preguntasMúltiples opciones

Las preguntas de tipo Múltiples opciones muestran una lista de respuestas para que los estudiantes seleccionen.

Son fáciles de construir y de entender, pero “tientan” a algunos estudiantes a adivinar más que a pensar.

Existen dos tipos principales: Selección de una alternativa (Alternativas) Selección de múltiples alternativas (Selección

múltiple).


Alternativas (sólo 1): Requiere escoger sólo una alternativa de entre

varias disponibles (y sólo una es correcta). Se utiliza para preguntas con una sola respuesta

correcta: Reconocer miembros de clases específicas, Reconocer una de entre varias causas de un problema, Orden / Superlativos de un grupo: Peor, más grande, más

alto o más bajo.


Selección múltiple (Varias): Permite que el estudiante escoja varias respuestas de entre

una lista de opciones disponibles. Se utiliza cuando hay más de una respuesta correcta. Las evaluaciones de tipo selección múltiple son más

complejas (destreza intelectual) que las de tipo verdadero/falso o alternativas.

Requieren hacer una serie de juicios relacionados: Determinar elementos que reúnen un mismo criterio, Decidir si una regla aplica, Hacer una serie rápida de decisiones sí/no, Determinar ejemplos o contra ejemplo de un principio o teoría.

Diseño efectivo de preguntasEnsayo / Ingreso de texto corto

Texto corto:Requieren que el estudiante digite la

respuesta a la pregunta.Las respuestas deberían ser cortas, breves,

para preguntas muy específicas.Se utiliza para recordación de:

Términos técnicos o de negocio,Números de partes,Abreviaciones,Vocabulario (lenguaje extranjero)

Diseño efectivo de preguntasEnsayo / Ingreso de texto corto

Ensayo:Respuesta más amplia, intenta evaluar

comprensión global, estructuración de ideas respecto al sujeto de que se trate.

Sólo cuando el evaluador es humano.

Retroalimentación de una evaluación

Recuerde que puede decidir entregar retroalimentación a nivel de cada pregunta o a nivel de la evaluación completa.

Para retroalimentación negativa use términos neutrales (como “incorrecto”). Puede utilizar también “Lo siento” o “No se preocupe” y alentar al alumno a continuar.

Miremos el siguiente ejemplo....

Resultados evaluación final Módulo “Z”

Retroalimentación de su desempeño en el examen del Módulo Z:

UstedUsted

ReprobóEl examen.

Obtuvo 6 respuestas correctas de 10. Esto NO es aceptable.Requiere a lo menos 7 de 10.Quizás usted no puso atención mientras estudiaba la lección o no Tiene los conocimientos pre requisitos necesarios para este curso.En cualquier caso, debe repetir este examen y lograr un resultadoAceptable o será definitivamente REPROBADO.

Evitando las trampasPolíticas y procedimientos

Siempre habrá alguien (o varios) que harán trampa. Aún profesionales de alto nivel. Algunas veces incluso, quienes conocen las respuestas.

Hacer trampa impide al estudiante tener la oportunidad de comprobar qué tan bien domina el contenido del proceso de aprendizaje


Sólo si conocemos los verdaderas razones por las cuales un estudiante / adulto / en ambiente de trabajo hace trampa, podemos tomar acciones para desincentivarlo a ello…

¿Por qué hace trampa? El resultado de un examen afecta sus oportunidades de

desarrollo profesional, Vergüenza de obtener un bajo resultado, Pérdida percibida de status

¿Evaluarme a mí?, Enojo con la empresa, el curso o el instructor, Sienten que hacer trampa es más desafiante y divertido, a la

vez que se demuestra mayor inteligencia que la del enemigo…Instructor…


¿Cómo hacen trampa? Otros (que dominan la materia) contestan la

evaluación, Utilización de recursos no permitidos (Libros,

“papelitos”, calculadoras, etc.), Preguntar a otros que están tomando la misma

evaluación, Culpar al computador, problema de conexión u otro

de tipo técnico, de forma de tener más tiempo y preguntar a quienes ya rindieron la evaluación.

Evitando las trampasPolíticas y procedimientos – Reduciendo el problema

Probablemente nunca se pueda eliminar completamente este problema, pero puede intentarse reducirlo a un mínimo razonable.

Existen 3 estrategias principales al respecto:Método de confianza,Método de barreras,Método de amenazas.

Evitando las trampasReduciendo el problema – Método de la confianza

En este enfoque, se eliminan los incentivos no necesarios para hacer trampa y luego, se confía en los estudiantes.

La base de este enfoque descansa en recordar a los estudiantes que ellos son los responsables de su propio aprendizaje y que en realidad sólo pueden hacerse trampa a sí mismos.

Se declara públicamente la confianza en el estudiante.


DECLARACIÓN DE CONFIANZA “Confiamos en que seguirá todas las reglas e indicaciones consideradas

como necesarias de cumplir para este curso. Los métodos de enseñanza – aprendizaje y evaluaciones han considerado que todos somos adultos y responsables de nuestro propio aprendizaje. Entregamos las evaluaciones a distancia en formato electrónico con el objetivo primario de que le sirvan como indicador de progreso.”

Si siente que las evaluaciones son poco claras o injustas, le solicitamos nos lo haga saber, ciertamente consideraremos sus comentarios.

Registraremos los resultados de las evaluaciones, pero no intentaremos detectar si ha habido trampa de algún tipo.


Con posterioridad a un recordatorio de este tipo, deben tomarse acciones para reducir el incentivo a hacer trampa: Disminuir la dificultad de las evaluaciones (agregar preguntas

muy fáciles de modo que nadie obtenga 0 punto.). Reducir la importancia de las calificaciones. Disminuir la participación de las evaluaciones sobre el

resultado total de un curso (Considere participación en discusiones, actividades de equipo, proyectos y otras evidencias de desempeño).

Permita que en las evaluaciones se puedan consultar diversos recursos (Internet, apuntes, etc…).

Evitando las trampasReduciendo el problema – Método de barreras

En este enfoque, la idea es lograr que sea imposible (o casi) hacer trampa.

Se construyen barreras entre comportamiento apropiado e inapropiado,

Puede no ser totalmente exitoso, pero a lo menos disminuirá el tamaño del problema.

Evitando las trampasReduciendo el problema – Método de barreras

Acciones:Cada nueva evaluación incluye nuevas

preguntas,Selección aleatoria de preguntas,Orden aleatorio de las opciones de

respuesta,Utilice “supervisores” para evaluaciones de

alta importancia.No deje evidencia de las respuestas dentro

del código de la página Web.

Evitando las trampasReduciendo el problema – Método de amenazas

Se castiga a quien es sorprendido haciendo trampa. Requiere de autoridad sobre el estudiante. Se tangibiliza por medio de una política fuerte y clara

que establece que cualquier tipo de trampa no será tolerada, sino más bien castigada (democión, suspensión, despido).

¿En qué situaciones / empresas será esto factible?

Evitando las trampasReduciendo el problema – Autenticación

El método más común es la utilización de un “Proctor” o Supervisor (en Chileno…cuidador de prueba).

Otro método es incluir al comienzo preguntas tipo ensayo que denoten que la persona “correcta” está contestando la evaluación.

Evitando las trampasConclusiones

Utilice más que sólo evaluaciones formales con nota: Evaluaciones formales con calificación, Evaluaciones tipo “libro abierto”, Evaluaciones sin nota, Actividades, Juegos, Puzzles, Proyectos de investigación, Evaluaciones tomadas por equipos en vez de individuos.

Probablemente el método de la confianza con algo del método de barreras sea la solución más plausible en Capacitación laboral.

Resumen

Gran parte de las evaluaciones que diseñamos, corresponden al Nivel 2 (Aprendizaje).

Las evaluaciones de aprendizaje intentan medir lo que el estudiante realmente aprendió (Piense en hacer evaluaciones 2 meses después de terminado un curso y compare con los resultados del curso).

Para un mejor resultado del proceso de aprendizaje, es recomendable aplicar evaluaciones en diferentes partes del curso, más que sólo al final.

Objetivos Contenidos Evaluaciones... Recuerde el método básico para construir preguntas efectivas.

La confianza debe unirse a robustos procedimientos y mecanismos que desincentiven el hacer trampas en las evaluaciones.

What’s Next…

En la siguiente sesión comenzaremos el aprendizaje de la herramienta Perception.

gestión de evaluaciones ©2006 konocimiento s.a.. mapa de ruta para hoy quienes somos y qué vamos...

Documents