medición y construcción de instrumentos

Taller de Diseño y Análisis de Pruebas ObjetivasMedición y construcción de instrumentos

Alberto Torreblanca V.

El proceso de evaluación

Elegir una escala y un instrumento de medición acorde con la escala

Comparar a los miembros de una población conrespecto a la escala

Ordenar y ubicar a los elementos de la población

Emitir juicios valorativos de la población y de sus elementos

Emitir juicios valorativos respecto de la escalaElegida y al instrumento

Forma parte de un proceso mayor

“Para una selección justa todos tendrán que tomar el mismo examen. Por favor trepen el árbol”

Conceptos preliminares

“Las pruebas son instrumentos deMedición. Por lo tanto deben deSatisfacer los mismos requisitos que otros instrumentos.”

Conceptos preliminares

“La medición debe de ser completa para el propósito que se desea, debe Conocerse su objetivo y alcance”

Conceptos preliminares

● Calibración● Precisión● Error

Conceptos preliminares

Ya que no existen un análogo al sistema a nivel continente.Para el desarrollo de instrumentos de medición se siguen y establecen estándares.

Requisitos de un instrumento de medición

VALIDEZ

CONFIABILIDAD

OBJETIVIDAD

Validez

● El instrumento mide lo que se pretende medir.● Se cuenta con evidencias que justifiquen las

decisiones que se tomen con el instrumento.

Objetividad

● El instrumento debe ser independiente del objeto a medir.

● No debe haber diferencias de apreciación entre dos evaluadores o entre el evaluador y el evaluado.

Confiabilidad

● El instrumento debe permitir medidas dentro del orden de error considerado en el diseño.

● Las medidas deben ser suficientemente precisas, de acuerdo con el diseño.

● El instrumento permite obtener medidas repetitivas, cuyos resultados sean similares, dentro del orden de error considerado.

Interrogantes y premisas a tener en cuenta

¿Para que evaluamos?

• Diagnosticar, tener evidencia de la situación actual.

• Monitorear, acompañar el desarrollo del objeto de estudio.

• Corregir, retroalimentar.

¿Qué evaluamos?

● Aprendizajes de los alumnos● Desempeño de docentes● Gestión de los directores● Eficacia de la capacitación

¿Qué necesitamos?

● Instrumento● Referencias● Emitir juicios

Fundamentos de la medición

● La idea de medición comienza con la idea de una variable o línea en la que los objetos pueden ubicarse.

● Los objetos de las mediciones que realizamos son algunas dimensiones de las personas, alumnos (individuos).

● La construcción de la variables requiere de una relación sistemática y reproducible entre el instrumentos y los individuos.

Requerimientos básicos para la medición

● La reducción de la dimensión a medir a una abstracción unidimensional.

● La idea de magnitud lineal inherente a la posición de los objetos en la línea.

● Determinar unidades que pueden ser repetidas sin modificaciones a través del rango de la variable definida.

● Es decir, hacer posible la comparación cuantitativa (más o menos de la dimensión).

¿Qué vamos a medir?

Desempeño en lectura

Ítem Ítem Ítem Ítem

Medición Ideal

Juan Pedro José

Habilidad MatemáticaHabilidad MatemáticaMenorhabilidad

Mayorhabilidad

¿ Cómo realizamos nuestras evaluaciones ?

Evaluación objetiva tradicional

Selección de objetivos

Selección de objetivos

Especificacionesde la

evaluación

Especificacionesde la

evaluación

Construcción depreguntas

Construcción depreguntas

Selección depreguntas

Instrumento

Selección depreguntas

Instrumento

Validación porexpertos

Validación porexpertos

Aplicación delos instrumentos

Aplicación delos instrumentos

Resultados eInformes

Resultados eInformes

VALIDEZ

✔Determinación de objetivos

✔Tablas de validez de contenido

✗ Validez predictiva - retrospectiva

✗ Validez concurrente

✗ Validez de constructo

VALIDEZ

✔Determinación de objetivos

✔Tablas de validez de contenido

✗ Validez predictiva - retrospectiva

✗ Validez concurrente

✗ Validez de constructo

OBJETIVIDAD✔Uso de ítemes objetivos

✔Guías de calificación

✗ Establecer escalas

✗ Instrumentos equivalentes

✗ Establecimiento de cortes

CONFIABILIDAD

✔Análisis de ítemes

✔Consistencia interna (Alfa)

✔Error experimental

✗ Piloto de preguntas

✗ Error de diseño

✗ Bancos de ítemes

Comparando dos pruebas

1 2 3 5 7

4 6

9 10 11

12

13

8

1

2

3 4 5

6

7

9 11

1210

8 13

15

14

14

15

PRUEBA 2011

PRUEBA 2012

Ejecución de pruebas piloto

Banco de preguntas

Banco de Preguntas

Variable - Constructo

✔Determinación de objetivos

✔Tablas de validez de contenido

✔Validez predictiva - retrospectiva

✔Validez concurrente

✔Validez de constructo

VALIDEZ

Banco de Preguntas

C C CC C

Variable - Constructo

B B BB

A A CA A C CC C

OBJETIVIDAD✔Uso de ítemes objetivos

✔Guías de calificación

✔Establecer escalas

✔ Instrumentos equivalentes

✔Establecimiento de cortes

Banco de Preguntas

C CC C CC C

Definición de la escala

B B BB B BB

A AA A AA A

500100 300 700 900

CORTE

CONFIABILIDAD

✔Análisis de ítemes

✔Consistencia interna (Alfa)

✔Error experimental

✔Piloto de preguntas

✔Error de diseño

✔Bancos de ítemes

Banco de Preguntas

Error de diseño

B B BB B BB B

5020 35 65 80

Número mínimo de ítems

6 9 16 23 51 76 99

Error en % 20 15 10 8 5 4 3.5

Diseño

Revisión

Validación

Operativo piloto - aprobación

Banco de ítems

Proceso de elaboración de ítemsProceso de elaboración de ítems

Objetivos / TVC

Diseño

Selección de ítems

Validación de instrumento

Proceso de elaboración de pruebasProceso de elaboración de pruebas

Proceso de elaboración de pruebasProceso de elaboración de pruebas

AplicaciónAplicación

AnálisisAnálisis

Informes y reportesInformes y reportes

Alberto Torreblanca Villavicencioalberto@e-ducate.pe

Gracias

Elaborado especialmente para los Talleres Regionales – DGDD – MINEDU 2012