secretarÍa de estado de educaciÓn, formaciÓn profesional y universidades direcciÓn general de...

SECRETARÍA DE ESTADO DE EDUCACIÓN, FORMACIÓN PROFESIONAL Y UNIVERSIDADES

DIRECCIÓN GENERAL DE EVALUACIÓN Y COOPERACIÓN TERRITORIAL

http://www.mecd.gob.es/inee

David CerveraConsejero Técnico del Área Internacional del INEE@dcerverao

Evaluaciones internacionales (PIRLS, TIMSS, TALIS,..).

JORNADA DE DIFUSIÓN Y PRESENTACIÓNDE EVALUACIONES INTERNACIONALES

Zaragoza 3 nov.


EVALUACIONES EXTERNAS

INTERNACIONALES

MAPA DE EVALUACIONES

INTERNACIONALESEvaluación Externa Internacional Competencias Destinatarios Periodicidad Última

realizada

OCDE

PISA Programa para la Evaluación Internacional de Estudiantes

Programme for International Student Assessment

LectoraMatemáticaCientífica

Alumnos que cumplen 16

años en el año de realización

3 años2012

Siguiente 2015

TALIS

Estudio Internacional de Enseñanza y Aprendizaje Teaching and Learning International Survey

Encuesta al profesorado

Profesores y directores de

Educación Secundaria

5 años 2013

IEA

PIRLS

Estudio Internacional de Progreso en Comprensión Lectora

Progress in International Reading Literacy StudyLectora 4º EP 5 años

2011Siguiente

2016

TIMSS

Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study

MatemáticaCientífica

4º EP 4 años2011

Siguiente 2015

LO DESEABLE DE UN SISTEMA EDUCATIVO

Currículum

Competencias y habilidades para la vida

Evaluación

LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN EXTERNA

Currículum

Competencias yhabilidades para la vida

Evaluación

¿Has visto que prueba han hecho?¿A quién se le habrá

ocurrido?

Mira este ítem.¡Qué barbaridad!

http://pisa-sq.acer.edu.au/showQuestion.php?testId=2295&questionId=5http://www.youtube.com/watch?v=QHzpPflDiMY

PONGÁMONOS A PRUEBA

http://pisa-sq.acer.edu.au/showQuestion.php?testId=2295&questionId=5

http://www.youtube.com/watch?v=QHzpPflDiMY

PONGÁMONOS A PRUEBA

Ítems liberados de TIMSS y PIRLS

CRITERIOS DE CORRECCIÓN PREGUNTA A


CRITERIOS DE CORRECCIÓN PREGUNTA B


CRITERIOS DE CORRECCIÓN PREGUNTA C


CRITERIOS DE CORRECCIÓN PREGUNTA D


Evaluaciones muestrales, cíclicas, a gran escala Cuadernillo de prueba + cuestionarios de contexto Rigor metodológico:

• Marco teórico: Qué evaluar, elaboración de ítems, distribución de ítems y cuadernillos…

• Selección de la muestra• Traducción de materiales, aplicación, corrección,

limpieza de datos…• Análisis TRI de las respuestas Dificultad de los

ítems y puntuación lograda por los alumnos Informes internacionales comparativos

RASGOS COMUNES DE LOS ESTUDIOS DE EVALUACIÓN

EJEMPLO DE CONSTRUCCIÓN DE

PRUEBAS

DESCRIPTOR

BLOQUES DE CONTENIDOS• Números• Álgebra• Geometría• Funciones y Gráficas• Estadística y Probabilidad• Contenidos comunes

Ejemplo: Contenidos y Procesos para Matemáticas 2º ESO

EJEMPLO DE

CONSTRUCCIÓN DE PRUEBAS

ítems

Prepilotaje

Pilotaje

Estudio principal

Análisis de resultados

Elaboración de una prueba

Respuesta de elección múltiple

Respuesta cerrada

Respuesta abierta construida

Respuestas abiertas

Matriz de especificaciones

¿ ¿ ¿ ¿ Pruebas por ordenador ? ? ? ?¿ ¿ ¿ ¿ Azar ? ? ? ?

EJEMPLO DE


estímulo

UN

IDAD

NIVEL 1

NIVEL 2

NIVEL 3

NIVEL 4

NIVEL 5

NIVEL 6

May

or d

ificu

ltad

dent

ro d

el p

roce

so


Marcos Teóricos

Evaluaciones internacionales¿Qué es un marco teórico?

• Explica lo que trata de medir la evaluación• Objetivos del marco teórico:

Servir de guía para la elaboración de unidades y preguntasCompartir un lenguaje sobre el que los implicados puedan

discutir el temaAsegurar una continuidad en un estudio a largo plazoEstablecer y hacer públicas las características del programa

de evaluación

OBJETIVO DE LOS ESTUDIOS PIRLS Y TIMSS

2011Evaluar la comprensión lectora (PIRLS) y el rendimiento en matemáticas y ciencias (TIMSS) tras cuatro años de escolarización obligatoria (4º de Educación Primaria en España)

¿Qué evaluar? Contenidos curriculares comunes en todos los países participantes en la evaluación

Obtener información comparada entre los distintos países participantes y medir las tendencias entre ciclos.

Proporcionar información sobre:El contexto de aprendizaje: alumno, familia y centro

escolar.Las actitudes de los alumnos hacia la lectura, las

matemáticas y las ciencias. El uso que hacen los alumnos del tiempo libre. Factores que favorecen el entorno de aprendizaje y la

eficacia de la escuela (recursos, métodos, clima, etc.)

CARACTERÍSTICAS DE LOS ESTUDIOS TIMSS Y PIRLS

2011

Evaluación de la comprensión lectoraAlumnos de 4º grado internacional (en España 4º de Educación Primaria)Participantes:

45 países y sistemas educativos 3 participantes en pre-PIRLS

España Internacional

Alumnos 8.580 254.914

Centros 312 9.300

Profesores 403 13.223

España Internacional

Alumnos 4.183 261.339

Centros 151 9.198

Profesores 200 12.952

PIRLS 2011

TIMSS 2011Evaluación de matemáticas y cienciasAlumnos de 4º grado internacional(en España 4º de Educación Primaria)Participantes:

50 países y sistemas educativos

MARCO TEÓRICO DEL ESTUDIO PIRLS

La nociónde lecturaen PIRLS

Habilidad para comprender y

utilizar las formas

lingüísticas

Habilidad para construir

significados a partir de

distintos textos

Con el fin de aprender,

participar y disfrutar

LECTURA: Habilidad para comprender y utilizar las formas lingüísticas requeridas por la sociedad y/o valoradas por el individuo. Leer para aprender, para participar en la comunidad de lectores del ámbito escolar y de la vida cotidiana, y para disfrute personal

Evalúa tres aspectos en la comprensión lectora

PROPÓSITOS DE LECTURA

• Leer para informarse y aprender (50%)

• Leer para disfrutar (50%)

PROCESOS COGNITIVOS•Obtener información (10%+10%)•Hacer inferencias (15%+15%)•Interpretar e integrar (15%+15%) •Analizar y evaluar(10%+10%)

ACTITUD Y HÁBITOS DE LECTURA

CUESTIONARIOS DE CONTEXTO

•Alumnos•Padres o tutores legales•Profesores•Directores de centro

CUADERNILLOS DE LA PRUEBA• Textos literarios

(50%)• Textos

informativos (50%)

Preguntas o ítems para evaluar los procesos

cognitivos


DOMINIOS DE CIENCIAS

DOMINIOS DE MATEMÁTICAS

DOMINIOS COGNITIVOS

COMUNES• Conocer (40%)• Aplicar (40%)• Razonar (20%)

DOMINIOS DE CONTENIDO

• Números (50%)• Formas y mediciones

geométricas (35%)• Representación de

datos (15%)

ÁREAS TEMÁTICAS

CAPACIDADES EVALUABLES

HABILIDADES Y DESTREZAS

DOMINIOS DE CONTENIDO• Ciencias de la vida (40%)• Ciencias físicas (40%)• Ciencias de la Tierra (20%)

ÁREAS TEMÁTICAS

CAPACIDADES EVALUABLES

MARCO TEÓRICO DEL ESTUDIO TIMSS

Dominios de contenidoÁreas temáticas

Se desglosan en capacidades evaluables

Dominios cognitivos

NÚMEROS 50%

• Números naturales• Fracciones y decimales• Expresiones numéricas con

números naturales• Modelos y relaciones

CONOCER 40%Hechos, procedimientos,

conceptos

APLICAR 40%Resolución de problemas

habituales y rutinarios

RAZONAR 20%Resolución de problemas

desconocidos, en contextos complejos, con

varios pasos

FORMAS Y MEDICIONES GEOMÉTRICAS

35%

• Puntos, líneas y ángulos• Formas bidimensionales y

tridimensionales

REPRESENTACIÓN DE DATOS

15%• Números naturales• Organización y representación

MATEMÁTICAS


Dominios de contenido

Áreas temáticas Se desglosan en capacidades evaluables

Dominios cognitivos

CIENCIAS DE LA VIDA 45%

•Características y procesos de la vida en los seres vivos

•Ciclos de la vida, reproducción y herencia•Interacción con el medio ambiente•Ecosistemas•Salud humana

CONOCER 40%Hechos, procedimientos,

conceptos

APLICAR 40%Resolución de problemas

habituales y rutinarios

RAZONAR 20%Resolución de problemas

desconocidos, en contextos complejos, con

varios pasos

CIENCIAS FÍSICAS

35%

• Clasificación y propiedades de la materia•Fuentes y efectos de la energía•Fuerzas y movimiento

CIENCIAS DE LA TIERRA

15%

•La estructura de la Tierra, sus características físicas y sus recursos.

•Los procesos, los ciclos y la historia de la Tierra,

•La Tierra en el Sistema Solar

CIENCIAS


DISEÑO Y APLICACIÓN DE LAS PRUEBAS

La obtención de resultados representativos y fiables, y la distribución por niveles requiere gran número de ítems

Distribución de cuadernillos por bloques (Balanced Incomplete Block - BIB)

L1 L2

Cuadernillo 1

L2 L3

Cuadernillo 2

L3 L4

Cuadernillo 3

L4 I1

Cuadernillo 4

I1 I2

Cuadernillo 5

I2 I3

Cuadernillo 6

I3 I4

Cuadernillo 7

I4 L1

Cuadernillo 8

L1 I1

Cuadernillo 9

I2 L2

Cuadernillo 10

L3 I3

Cuadernillo 11

I4 L4

Cuadernillo 12

L5 I5

CuadernilloLECTURAS

L5 I5

CuadernilloPREGUNTAS

PIRLS

• Textos literarios: L1 a L5• Textos informativos: I1 a I5• Cuadernillo “Lecturas”: triple frecuencia• Seis textos (3+3) de anclaje para medir tendencias

MO1MO2

Cuadernillo 1

CO1CO2

Cuadernillo 2

CO2CO3

MO2MO3

Cuadernillo 3

MO3MO4

CO3CO4

Cuadernillo 4

CO4CO5

MO4MO5

Cuadernillo 5

MO5MO6

CO5CO6

Cuadernillo 6

CO6CO7

MO6MO7

Cuadernillo 7

MO7MO8

CO7CO8

Cuadernillo 8

CO8CO9

MO8MO9

Cuadernillo 9

MO9M10

CO9C10

Cuadernillo 10

C10C11

M10M11

Cuadernillo 11

M11M12

C11C12

Cuadernillo 12

C12C13

M12M13

Cuadernillo 13

M13M14

C13C14

Cuadernillo 14

C14C01

M14M01

TIMSS• Cada bloque tiene entre 10 y 14 preguntas de dominios de contenido y cognitivos en proporción del marco teórico• 175 ítems de matemáticas• 172 ítems de ciencias• 8 bloques de cada materia son de anclaje

MÉTODO DE CORRECCIÓNEECL

Comparación de las producciones de los alumnos con pruebas de referencia (exemplars, copies-étalon). Comparación en relación a dos criterios: comunicación y lenguaje.Ventaja de este método: Neutraliza en gran medida la subjetividad del corrector (severidad-benevolencia) ya que los juicios son comparativos y no absolutos.

Corrección de las tareas de nivel B1-B2 Corrección de las tareas de nivel A1-A2

Producción escrita

Contexto personal, social, escolarSexo, fecha de nacimiento, lengua hablada en casa, número de libros en casa, recursos en

casa y frecuencia de uso, interés de los padres en las tareas escolares, opinión sobre el colegio y bienestar en el mismo.

Hábitos de lectura (PIRLS)Lectura fuera del colegio: tiempo de lectura, motivación para leer, tipos de lectura y

frecuencia de lectura de cada una, frecuencia de asistencia a bibliotecas, frecuencia de préstamos de bibliotecas, etc.

Lectura en clase: frecuencia, hábitos en clase, métodos del profesorado, gusto por la lectura, interés por los temas leídos, autoconcepto en lectura, autoevaluación de su propia lectura, interés de sus padres, etc.

Aprendizaje de las matemáticas y de las ciencias (TIMSS)Gusto por las matemáticas y las ciencias, autoconcepto, percepción de su utilidad,

percepción de la clase de matemáticas y ciencias y de la metodología del profesorado, etc.


Contexto personal, antecedentes, satisfacción generalEdad, años de experiencia como docente, sexo, nivel de estudios, especialidad en educación,

matemáticas, ciencias o lengua, entorno del centro, satisfacción general, recursos, uso de ordenadores, participación y colaboración con el profesorado, formación continua, trabajo en equipo, etc.

Trabajo general con la clase PIRLS/TIMSSNúmero de alumnos (y en 4º primaria), alumnos con dificultades en lengua evaluada, materia

que enseña, hábitos de trabajo, distribución del tiempo de clase, dificultades que entorpecen su tarea docente (alumnos con sueño, ACNEE, problemáticos, sin interés, etc.), frecuencia en la relación con los padres.

Trabajo con la clase PIRLS/TIMSS en lectura, matemáticas y cienciasMateriales, hábitos, distribución de los tiempos, alumnos que necesitan refuerzo de la materia,

tipos de lectura, tiempo dedicado a corrección, felicitación, tipo de deberes para casa, importancia concedida a los distintos aspectos del currículo, modo de evaluación, recursos (biblioteca, ordenadores, calculadoras, etc.)


Características generales del centroNúmero total de alumnos y en cuarto de primaria, entorno socioeconómico, tipo de

población, lengua materna de los alumnos, horario lectivo y de apertura del centro, número de ordenadores disponibles para los alumnos, existencia de biblioteca y su dotación, laboratorio de ciencias, recursos generales del centro y en particular para la enseñanza de la lectura las matemáticas y las ciencias, etc.

Funcionamiento del centroTipo y frecuencia de la relación con los padres, ambiente general del centro (disciplina,

puntualidad, respeto, interés del alumnado, expectativas del profesorado, instrumentos de evaluación del profesorado, distribución del tiempo de actividades de la dirección etc.

¿Qué saben los alumnos antes de entrar al colegio?Actividades relacionadas con lectura, matemáticas y ciencias

Preparación de los alumnos al entrar en el colegio, curso en que se incide en diferentes hábitos y estrategias lectoras, atención dedicada a la lectura y escritura, medidas para alumnos con otra lengua materna, etc.


El Estudio PISA: Marco Teórico

Tipos de textoContinuoLa información se presenta en frases y párrafos

– Argumentativo– Descriptivo– Expositivo– Narrativo

Mixto

DiscontinuoLa información se presenta en otros formatos

- Tablas - Gráficos- Diagramas- Mapas

Elaboración de preguntas para un estudio a gran escala

Redacción preliminar de

preguntas

Revisión de preguntas

Laboratorios cognitivos (Cog Labs)

Revisiones de preguntas

Revisión externa (países) Pregunta aceptada o rechazada (después

de Cog Labs))

Estudio PilotoAnálisis

psicométrico y revisión

Elaboración del marco teórico

Pregunta para el Estudio Principal

MATEMÁTICAS

MARCO TEÓRICO DEL ESTUDIO PISA

Cambio y relaciones

25 %

Espacio y forma25%

Cantidad25%

Incertidumbre y datos25%

Formulación 25% 6,25% 6,25% 6,25% 6,25%Empleo 50% 12,5% 12,5% 12,5% 12,5%Interpretación 25% 6,25% 6,25% 6,25% 6,25%

CIE

NC

IAS

MARCO TEÓRICO DEL ESTUDIO PISA

PIAAC on line

Personas activasHombres / mujeres

Personas desempleadasHombres / mujeres

TotalEdad 16-30 31-45 46-65 16-30 31-45 46-65

Secundaria o estudios inferiores

67 67 67 33 33 33 300

Con estudios superiores a Secundaria

67 67 67 33 33 33 300

Estudios universitarios

finalizados

67 67 67 33 33 33 300

TOTAL 200 200 200 100 100 100 900

Diseño general para PIAAC on line en España, E&S on line (Education and Skills on line)

E&S on line

Numeracy itemLevel = 3

Ejemplos de ítems - Matemáticas

Ítem de MatemáticasNivel 3

Versión on line de PIAAC, Education and Skills on line, modelo de prueba por medios informáticos.http://www.starttest.com/templates/StartTest/esol/demo-launch.htm

http://www.starttest.com/templates/StartTest/esol/demo-launch.htm

http://www.starttest.com/templates/StartTest/esol/demo-launch.htm

Ejemplos de ítems - Lectura

Ítem de lecturaNivel 4 bajo

Un estudio internacional que examina diversos aspectos de la enseñanza y el aprendizaje a través de encuestas a los profesores y a los directores de centros educativos.

Principales características del estudio TALIS

Etapa educativo:

Participación:

Núcleo principal: Educación Secundaria Obligatoria (opción de España)En algunos países también han participado profesores y directores de Educación Primaria (6 países) y de Educación Secundaria Superior (10 países)

Instrumentos: Cuestionarios de profesores y directores de 45-60 minutos de duración, en formato lápiz y papel o formato electrónico.

33 países en total, 24 de ellos miembros de la OCDE 106.000 profesores representando a más de 4 millones de docentesEn España 3 339 profesores y 192 directores de centros educativos

¿Qué es TALIS?

Temporalización: TALIS es un estudio cíclico que se aplicó por primera vez en 2007-2008. En 2013 ha tenido lugar la segunda edición del estudio.

TALIS es un cuestionario de opinión y por lo tanto sus resultados reflejan la percepción de profesores y directores sobre las

cuestiones planteadas.

TALIS

Un estudio internacional que examina diversos aspectos de la enseñanza y el aprendizaje a través de encuestas a los profesores y a los directores de centros educativos.

Principales características del estudio TALIS

Etapa educativo:

Participación:

Núcleo principal: Educación Secundaria Obligatoria (opción de España)En algunos países también han participado profesores y directores de Educación Primaria (6 países) y de Educación Secundaria Superior (10 países)

Instrumentos: Cuestionarios de profesores y directores de 45-60 minutos de duración, en formato lápiz y papel o formato electrónico.

33 países en total, 24 de ellos miembros de la OCDE 106.000 profesores representando a más de 4 millones de docentesEn España 3 339 profesores y 192 directores de centros educativos

¿Qué es TALIS?

Temporalización: TALIS es un estudio cíclico que se aplicó por primera vez en 2007-2008. En 2013 ha tenido lugar la segunda edición del estudio.

TALIS

Perfil de los profesores

España OCDE

Sexo 59% mujeres41% hombres

67% mujeres33% hombres

Edad 46 años 43 años

Nivel educativo 94% estudios universitarios

91% estudios universitarios

TALIS

Formación específica

Menos de la mitad de los profesores españoles han recibido formación pedagógica y prácticas de clase en todas las asignaturas que imparten.

Percepción del grado de preparación del profesorado

En España, 9 de cada 10 profesores se sienten bien preparados para el trabajo docente.

Perfil de los profesores: formación y preparación

Fuente: Cuestionario de profesores TALIS

Contenido Pedagogía Práctica0

20406080

10065

44 4470 67 64

Profesores de ESO que declaran haber recibido formación específica en todas

las asignaturas

España Promedio OCDE

Contenido Pedagogía Práctica0

20406080

10099 91 93

92 87 86

Porcentaje de profesores de ESO que se sienten preparados en los siguientes aspec-

tos de su docencia

España Promedio OCDE

TALIS

En España los profesores tienen una experiencia laboral media de 18,3 años,

Estonia

Italia

Portugal

España

Eslovaquia

República Checa

Japón

Polonia

Francia

Australia

Promedio OCDE

Suecia

Corea

Dinamarca

Israel

México

Países Bajos

Finlandia

Noruega

Flandes (Bélgica)

Chile

Estados Unidos

Alberta (Canadá)

Inglaterra (Reino Unido)

15 10 5 0 5 10 15 20 25

Profesor en el centro actual Otros empleos Profesor en total

Perfil de los profesores: experiencia laboral

Fuente: Cuestionario de profesores TALIS

TALIS

Perfil de los directores

España OCDE

Sexo 45% mujeres55% hombres

44% mujeres56% hombres

Edad 49 52

Nivel educativo 98% estudios universitarios

96% estudios universitarios

Las mujeres son mayoría en la profesión, pero minoría en el cargo de director

TALIS

Corea

Japón

Portugal

Suecia

Estados Unidos

Flandes (Bélgica)

Francia

Inglaterra (Reino Unido)

España

Alberta (Canadá)

Australia

Noruega

Promedio OCDE

República Checa

Israel

Países Bajos

Islandia

Italia

México

Eslovaquia

Polonia

Finlandia

Chile

Estonia

Dinamarca

15 10 5 0 5 10 15 20 25 30

Tiempo medio de experiencia laboral de los directores

Años trabajando como director (en total)

Años trabajando como profesor (en total)

Años trabajando en otros puestos de gestión de centro (excluyendo los de director)

Los directores de los centros de educación secundaria obligatoria han adquirido la mayor parte de su experiencia trabajando como profesores.

Perfil de los directores: experiencia laboral

Fuente: Cuestionario de directores TALIS

TALIS

En España 7 de cada 10 directores también tienen responsabilidades docentes.

Perfil de los directores: tareas docentes

Fuente: Cuestionario de directores TALIS

República Checa

Eslovaquia

Israel

Polonia

España

Finlandia

Alberta (C

anadá)

Inglaterra (R

eino Unido)OCDE

Dinamarca

Estonia

Chile

México

Australia

Noruega

Francia

Países B

ajos

Portugal

Suecia Italia

Estados U

nidos†Japón

Corea

Flandes (Bélgica

)0

10

20

30

40

50

60

70

80

90

100 9891

75 71 71 71

50

35 34 3325

21 21 21 17 15 13 10 7 4 4 2 2 1

Proporción de directores con tareas docentes

TALIS

Del 3 de noviembre al 15 de diciembre de 2014

https://mooc.educalab.es

Unidad 1: Finalidad de las pruebas externas.

Unidad 5: De la pregunta al informe: Datos.

Unidad 4: Corrección de pruebas externas.

Unidad 3: Recursos para todos. Los ítems liberados.

Unidad 2: Las pruebas externas en los medios.Unidad 2: Las pruebas externas en los medios.

Unidad 3: Recursos para todos. Los ítems liberados.

Unidad 4: Corrección de pruebas externas.

Unidad 5: De la pregunta al informe: Datos.

https://mooc.educalab.es/

https://mooc.educalab.es/

Conocer las evaluaciones externas. Crear comunidad educativa.

+ de 4700 participantes

https://www.google.com/maps/d/edit?mid=zqS1qvD6h5Eo.kL8981Eu7tSc




WEB INEE

http://www.mecd.gob.es/ministerio-mecd/organizacion/organigrama/ministro/secretaria-estado-educacion.html

BOLETINES DE EDUCACIÓN

Síguenos en Twitter:@educaINEE@dcerverao

En nuestro blog:http://blog.educalab.es/inee/

Y en slideshare:http://www.slideshare.net/INEE_MECD

http://www.mecd.gob.es/inee/

GRACIAS

http://blog.educalab.es/inee/

http://www.slideshare.net/INEE_MECD

http://www.slideshare.net/INEE_MECD

secretarÍa de estado de educaciÓn, formaciÓn profesional y universidades direcciÓn general de...

Documents