Algunos aspectos técnicos de las evaluaciones externas

http://www.mecd.gob.es/inee

ALGUNOS ASPECTOS TÉCNICOS DE LAS EVALUACIONES EXTERNAS: DISEÑO DEL MUESTREO, CONSTRUCCIÓN DE PRUEBAS

Y ASIGNACIÓN DE PUNTUACIONES

PALMA DE MALLORCA, 5 DE JULIO DE 2013

RUTH MARTÍN ESCANILLA

@rumaes7ruth

Algunos aspectos técnicos de las evaluaciones externas

Finalidad de las evaluaciones educativas

Evaluaciones externas en las que participa España

Rasgos comunes de las evaluaciones a gran escala

I. Selección de la muestra

II. Construcción de las pruebas

III. Asignación de puntuaciones

Algunos aspectos técnicos de las evaluaciones externas

Conocera través de la valoración de

los aprendizajes de los estudiantes

Rendir cuentas

Innovar y mejorar el sistema educativo

Aumento de transparencia del sistema educativo

Evaluaciones ¿para qué?

Finalidad de las evaluaciones educativas3

Algunos aspectos técnicos de las evaluaciones externas

Evaluaciones

Internacionales

OCDE (Organización para

la Cooperación y

Desarrollo

Económicos)

PISAPrograma para la evaluación internacional de estudiantes

Programme for International Student Assessment

Alumnos que

cumplen 16

años en el año

de realización

3 años 2012

TALISEstudio internacional de enseñanza y aprendizaje

Teaching and Learning International Survey

Profesores y

directores5 años 2013

PIAACPrograma para la evaluación internacional

de las competencias de adultosProgramme for International Assessment of Adult Competences

Población

adulta

(16 a 64 años)

10 años 2012

Evaluaciones internacionales

IEA(International

Association for the Evaluation of Educational

Achievement)

TIMSSEstudio International de Matemáticas y Ciencias

Trends in International Mathematics and Science Study4º EP 4 años 2011

TEDS-MEstudio internacional sobre la formación inicial

del profesorado de Matemáticas Teacher Education and Development Study in Mathematics

Futuros profesores de Primaria

y Secundaria

Primera vez en 2008

Evaluaciones de matemáticas en las que participa EspañaDestinatarios Periodicidad Última

Evaluaciones Nacionales

MECD y

Administración

Educativa

Evaluación General de Diagnóstico4º EP (2009)

2º ESO (2010)-

2009

2010

Evaluaciones de Diagnóstico4º EP (2009)

2º ESO (2010)Anual 2013

4

Algunos aspectos técnicos de las evaluaciones externas

Evaluaciones cíclicas, a gran escala

Cuadernillo de prueba + cuestionarios de contexto

Rigor metodológico: • Marco teórico: qué evaluar, elaboración de ítems,

distribución de ítems y cuadernillos…

• Definición exhaustiva de la población objetivo

• Selección de la muestra/censo

• Traducción de materiales, aplicación, corrección, limpieza de datos…

• Análisis TRI de las respuestas Dificultad de los ítems y puntuación lograda por los alumnos

Informes internacionales comparativos

Rasgos comunes de los estudios de evaluación a gran escala5

Algunos aspectos técnicos de las evaluaciones externas

I-Selección de la muestra

Algunos aspectos técnicos de las evaluaciones externas

I-Selección de la muestra-Características generales

1.Selección de

centros (PrimarySampling

Unit)

• Muestreo proporcional al tamaño

• TEDS-M muestreo con probabilidades iguales

• PISA: 35 alumnos al azar

• TIMSS: uno o dos grupos al azar

• TEDS-M: 30 alumnos elegidos al azar

2.Selección de

alumnos dentro del

centro (SecondarySampling

Unit)

Los diseños de muestreo son complejos y deben tenerse en cuenta en el cálculo de los estimadores (variables de ponderación)

Muestra representativa. Procedimiento probabilístico para evitar sesgos

Muestreo en varias etapas (centros y alumnos dentro del centro), por conglomerados

Muestreo estratificado

Estratificación explícita: la selección tiene lugar en diferentes subpoblaciones o estratos definidos por una variable de estratificación (CC.AA., titularidad de los centros, etc.)

Estratificación implícita: asociada a un muestreo sistemático. Se ordenan las unidades de muestreo según un cierto criterio para que la muestra reproduzca la distribución de los porcentajes de la población.

Selección sistemática de centros dentro de cada estrato

Muestreo en dos etapas

7

Algunos aspectos técnicos de las evaluaciones externas

I-Selección de la muestraTamaño de la muestra

•Precisión de los estimadores

•Tamaño de la muestra

•Tiempo•Presupuesto

•Sencillez del diseño del muestreo y del trabajo de

campo

8

Algunos aspectos técnicos de las evaluaciones externas

I-Selección de la muestraIndividuos frente a centros

Selecciónsistemática de

centros

Muestreo por individuos (alumnos)

Muestreo por conglomerados

(centros educativos)

9

Algunos aspectos técnicos de las evaluaciones externas

I-Selección de la muestraExclusiones y ampliaciones de la muestra

Ampliación de muestras

(por algún aspecto de especial interés)

¡Cuidado con las exclusiones!¡Algunas pueden ser importantes!

10

15 alumnos

30 alumnos

45 alumnos

Probabilidad

del centro

Probabilidad

del alumno en

el centro

Probabilidad

final

del alumno

Peso

base

del

alumno

POBLACIÓN. N =180 MUESTRA n= 9 Elegir 3 centros /3 alumnos por centro

La suma de pesos de los alumnos es el tamaño de la población

Ejemplo 11

Algunos aspectos técnicos de las evaluaciones externas

II-Construcción de pruebas

Algunos aspectos técnicos de las evaluaciones externas

¿Qué evaluar?

Currículo-Conocimientosqué se espera que los estudiantes hayan aprendido

TIMSS/TEDS-M

Competenciascon qué éxito los estudiantes pueden extrapolar lo que han aprendido y aplicar sus conocimientos y

habilidades en nuevos contextos

PISA, EGD, ED, PIAAC

Contexto

Todos los estudios y TALIS

13

Algunos aspectos técnicos de las evaluaciones externas

Una prueba ideal consta de múltiples ítems para poder todas las dimensiones descritas en el marco muestral

No todos los alumnos responden a todas las preguntas

El análisis de resultados debe hacerse teniendo en cuenta el diseño empleado

Reparto de los cuadernillos según un diseño matricial por bloques

14

II-Construcción de pruebas

Distribución por bloques de la prueba PISA 2009

Algunos aspectos técnicos de las evaluaciones externas

15

II-Construcción de pruebas. Ejemplos de ítems

Algunos aspectos técnicos de las evaluaciones externas

III-Asignación de puntuaciones

Algunos aspectos técnicos de las evaluaciones externas

Se utiliza la Teoría de la Respuesta al Ítem

17

III-Asignación de puntuaciones

La dificultad de un ítem se define en relación con la probabilidad de respuesta correcta, dada la “habilidad” del individuo

La “habilidad” del individuo se define en relación con la verosimilitud de dar una respuesta correcta dada la dificultad del ítem

La respuesta a una pregunta depende de la interacción entre la “habilidad” de alumno y las características de la pregunta. No se obtienen puntuaciones ligadas a una población en particular o a un grupo de individuos concretos, sino sobre la relación entre la “habilidad” del individuo y la dificultad de la tarea

Curva característica del ítem (modelo de un parámetro)

habilidad del individuo ()

Probabilidad de respuestacorrecta

Algunos aspectos técnicos de las evaluaciones externas

Estimación de la dificultad de los ítems de una prueba y habilidad de los alumnos

18

III-Asignación de puntuaciones

La TRI permite evaluar distintos niveles de habilidad y obtener puntuaciones para individuos que no realizan el mismo subconjunto de ítems

La TRI permite establecer medidas sobre las “tendencias” a lo largo del tiempo

La TRI se combina con procedimientos basados en imputaciones múltiples, como los valores plausibles

Algunos aspectos técnicos de las evaluaciones externas

No tener en cuenta el diseño del muestreo y de las pruebas a la

hora de analizar e interpretar los resultados puede conducir a

conclusiones incorrectas

19

Algunos aspectos técnicos de las evaluaciones externas

http://www.mecd.gob.es/inee

20

Más información…

Algunos aspectos técnicos de las evaluaciones externas

Gracias

Algunos aspectos técnicos de las evaluaciones externas

Mapa de evaluaciones del sistema educativo españolno universitario

22