Evaluaciones Nacionales del Rendimiento Académico

Lima, 6 de abril de 2008

Unidad de Medición dela Calidad Educativa

SECRETARÍA DE PLANIFICACIÓN ESTRATÉGICA

Una definición

La evaluación educativa, puede ser entendida

como un proceso mediante el cual se recoge,

organiza, analiza y sistematiza información de

un sistema educativo, según objetivos

previamente determinados, de modo que

permita tomar decisiones fundamentadas sobre

el proceso educativo.

Funciones de la Evaluación

Toma de decisiones: sobre la intervención pedagógica

Retroinformación: sobre logros

Refuerzo: reconocer esfuerzo y rendimiento

Autoconsciencia: procesos de aprendizaje, puntos fuertes y débiles

Reátegui, Arakaki y Flores, 2001

Evaluaciones de Sistema

Existe consenso en que el logro de aprendizajes de los estudiantes es uno de los principales indicadores de la calidad del sistema educativo.

Busca generar información sobre dichos logros y sobre un conjunto de factores escolares y extraescolares que inciden en los rendimientos de los estudiantes para poder explicarlos desde una perspectiva de equidad.

Evaluaciones de Sistema

Cobran una gran importancia en latinoamericana y se desarrollan junto con el diseño e implementación de las reformas educativas de los años 80 y 90.

Responden a la necesidad de contar con información sobre el sistema educativo y sus componentes, con la finalidad de colocar la calidad de la educación como tema central y prioritario de la agenda pública.

ELABORACIÓN

DEL MARCO DE

EVALUACION

ELABORACIÓN

DE

INSTRUMENTOS

APLICACIÓN DEFINITIVA

DEFINICIÓN DE

NIVELES DE

DESEMPEÑO

ELABORACIÓN DE

REPORTES

APLICACIONES

PILOTO

DIFUSIÓN

Proceso de las Evaluaciones Nacionales

ANALISIS DE

RESULTADOSCODIFICACIÓN DE

RESPUESTAS

ARMADO DE

BASES DE DATOS

ANÁLISIS

PSICOMÉTRICO

ANÁLISIS

PEDAGÓGICO

Elaboración del Marco de Evaluación

¿Qué es un marco de evaluación?

Integra los conceptos sobre los cuales se

fundamentará una evaluación, plasmándolos

en un documento.

Disciplinares

Contextuales

Metodológicos

El marco de evaluación

ASPECTOS

1. Propósito de la evaluación

2. Objeto de evaluación

3. Características de la población a evaluar

4. Usuarios de la evaluación

Aspectos contextuales:

Aspectos Disciplinares

1. Enfoque del área

2. Dimensiones a ser evaluadas

3. Estructura de las pruebas

Aspectos Metodológicos:

1. Número de ítems de la prueba

2. Formatos de ítems a emplear

3. Distribución de los ítems en la prueba

4. Duración de la prueba

Las Áreas a Evaluar

Es posible evaluar diversas áreas a nivel de sistema.

El primer paso es establecer un enfoque de área y adoptar una definición.

Comprensión de Textos

Proceso en el que el lector utiliza

sus conocimientos previos

(conocimiento del mundo y del

lenguaje,y pautas culturales) para

interactuar con el texto y

reconstruir su sentido.

Modelo de evaluación

PREGUNTA

TIPOS DE TEXTOS

USOS DE LA LECTURA

CAPACIDAD

Consideraciones generales

Es posible plantear una serie de capacidades generales, necesarias en todas las áreas del saber, y también una serie de capacidades específicas, propias de cada disciplina y de cada contexto.

Las capacidades específicas pueden caracterizarse a través de una serie de destrezas o habilidades que, a su vez, suponen poner en juego una serie de recursos.

Selección de Capacidades

Es necesario determinar qué capacidades

generales y específicas se evaluarán, qué

habilidades y qué recursos exigen poner en juego

y en qué medida.

Además hay que establecer la proporción de capacidades según el enfoque del área, que prioriza ciertos aspectos de la misma.

Debe considerarse el nivel, ciclo o grado a evaluar , por la importancia que se concede a cada una de las capacidades según dichos aspectos.

Criterios para la selección de las capacidades a evaluar

Relevancia:Relevancia: para que el estudiante pueda afrontar exitosamente situaciones de la vida cotidiana en contextos escolares, familiares y comunales. Por ello se privilegian capacidades que desarrollen aspectos pragmáticos de la vida académica y laboral antes que otros aspectos.

Importancia:Importancia: para la continuación de estudios.

Concordancia:Concordancia: con la naturaleza de los instrumentos de evaluación (pruebas escritas con ítemes de opción múltiple y de respuesta abierta).

PosibilidadPosibilidad que las capacidades evaluadas sean acordes con las exigencias técnicas, administrativas, logísticas y temporales de una evaluación de sistema.

Capacidades: Se refieren a las habilidades que el lector pondrá en juego al realizar las áreas que se le proponen y que pretenden simular los tipos de tareas que los estudiantes enfrentan en situaciones auténticas.

Comprensión de Textos

Capacidad 1 Obtención de información

Elaboración de inferencias

Reflexión acerca del texto

Capacidad 2

Capacidad 3

Un desempeño es la actuación del estudiante ante una tarea determinada y que permite indagar por lo que sabe y puede hacer.

Selección de Desempeños

1. Identifica ideas específicas expresadas en una, dos o más proposiciones.

2. Identifica secuencias.

Capacidad1. Obtiene información explícita del texto.

Desempeño

Comprensión de Textos

1. Reconoce relaciones semánticas expresadas entre dos o más proposiciones sucesivas o distantes.

2. Identifica referentes de distinto tipo.

3. Reconoce el significado de palabras o expresiones a partir de lo leído.

4. Reconoce el tema central y las ideas principales del texto.

5. Deduce el propósito del texto.

6. Deduce el receptor implícito al que se dirige el texto.

Capacidad2. Hace inferencias

Desempeños

Comprensión de Textos

1. Evalúa el contenido del texto.

2. Identifica y evalúa recursos formales del texto.

Capacidad3. Reflexiona y evalúa.

Desempeños

Comprensión de Textos

Tipos de Textos

Un texto es el entramado de ideas relacionadas que forman una unidad global de significado y de sentido. Puede estar organizada en uno o más párrafos (cuentos, noticias, ensayos, etc.) así como estar organizada con una estructura gráfica notoriamente distinta de la prosa estándar (cuadros, avisos, afiches publicitarios, infografías, etc.).

Tipos de Textos

Texto narrativo: es aquel que representa una secuencia de hechos en una historia temporalmente ordenada (linealmente, de fin a principio, etc.). En este tipo de texto se relatan hechos vividos por personajes reales o imaginarios en un periodo de tiempo.

Texto descriptivo: es aquel que ofrece información concreta acerca de cómo es o ha sido una persona, animal, experiencia, objeto. Este tipo de texto presenta características y circunstancias ordenadas en el espacio.

Tipos de Textos

Texto expositivo: o también llamado explicativo, es aquel que explica cualquier tema o materia e informa acerca de algo.

Texto argumentativo: es aquel que apoya o discrepa de una afirmación cuya validez es cuestionable o discutible. Todo texto argumentativo tiene como meta persuadir o convencer a la audiencia a la que se dirige acerca del valor de la tesis para la cual busca aprobación.

Usos de la Lectura

Lectura para uso recreativo: generalmente es un tipo de lectura privada que busca recrear mundos ficcionales. Los textos narrativos se encuentran en este tipo de lectura.

Lectura para uso público: se usa esta lectura para conocer las actividades políticas, sociales, culturales, económicas de la sociedad. Incluye el uso de documentos oficiales y de información acerca de acontecimientos públicos como las noticias, comunicados oficiales, certificados, etc.

Lectura para uso educacional: se utiliza esta lectura con un propósito instructivo relacionado con la adquisición de información como parte de una tarea de aprendizaje más amplia.

Formación Matemática

Dominio de habilidades y conocimientos

matemáticos útiles para desempeñarse

eficazmente ante situaciones

problemáticas novedosas o rutinarias, cuya

solución requiera la puesta en práctica de

dichas habilidades y conocimientos.

Modelo de evaluación

PREGUNTA

CONTENIDO

CONTEXTO

CAPACIDAD

Formación Matemática

Capacidad 1 Resolución de problemas

Comunicación matemática

Aplicación de algoritmos

Capacidad 2

Capacidad 3

Capacidades: Se refieren a las habilidades matemáticas complejas que el estudiante pondrá en juego al realizar las áreas que se le proponen y que pretenden simular los tipos de tareas que los estudiantes enfrentan en situaciones auténticas.

1. Resuelve situaciones problemáticas referidas a los números y la numeración, en los números naturales hasta diez mil y en las fracciones más usuales.

2. Resuelve situaciones problemáticas que demanden el uso de operaciones básicas en el conjunto de los números naturales menores que diez mil, decimales hasta las centésimas y fracciones más usuales.

3. Resuelve situaciones problemáticas referidas a la proporcionalidad directa y porcentaje en el conjunto de los números naturales menores que diez mil, decimales hasta las centésimas y fracciones más usuales.

Capacidad1. Resolución de problemas

Desempeños

Formación Matemática

4. Resuelve situaciones problemáticas referidas a la noción de medida, al uso y a la conversión de unidades de las magnitudes fundamentales (masa, longitud y tiempo), en el conjunto de los números naturales menores que diez mil, decimales hasta las centésimas y fracciones más usuales.

5. Resuelve situaciones problemáticas referidas a nociones de ángulos y al cálculo de perímetro y área de polígonos de hasta seis lados, figuras circulares, sólidos geométricos (cilindro, cubo, esfera, cono) y a posiciones relativas de dos rectas.

6. Resuelve situaciones problemáticas referidas a la elaboración e interpretación de diversos diagramas estadísticos y a la media aritmética de un conjunto de datos.

Capacidad1. Resolución de problemas

Desempeños

Formación Matemática

1. Utiliza y representa números naturales hasta la unidad de millón,

números decimales hasta las centésimas y fracciones de uso

cotidiano.

2. Interpreta, identifica y justifica proposiciones verbales o simbólicas

referidas al manejo de los números y las operaciones en el conjunto

de los números racionales positivos.

3. Identifica, interpreta y compara cantidades expresadas en distintas

unidades para cada una de las magnitudes fundamentales.

4. Identifica, grafica y compara figuras y cuerpos geométricos.

5. Identifica, interpreta, grafica, compara y justifica información

estadística.

Capacidad2. Comunicación Matemática

Desempeños

Formación Matemática

1. Calcula el resultado de operaciones básicas en el conjunto de los números racionales positivos.

2. Calcula el resultado de operaciones combinadas en el conjunto de los números racionales positivos.

3. Calcula el resultado de operaciones básicas de cantidades referidas a alguna de las magnitudes fundamentales, expresadas en distintas unidades.

Capacidad3. Aplicación de Algoritmos

Desempeños

Formación Matemática

Contenidos

Número y Cantidad: se refiere a los diferentes conjuntos numéricos en todas sus representaciones (enteros, fracciones, decimales); sus propiedades (tales como la divisibilidad); las operaciones aritméticas, la proporcionalidad y sus aplicaciones (regla de tres, porcentaje).

Contenidos

Algebra y funciones: El álgebra implica descubrir leyes o patrones que rigen la relación entre diversas variables, independientemente de los valores involucrados. Permite transformar expresiones matemáticas complejas en otras equivalentes y más sencillas. La noción de función constituye una idea unificadora de gran importancia en la matemática. Las funciones son correspondencias especiales entre los elementos de dos conjuntos.

Contenidos

Espacio y forma: El manejo del espacio y de la forma provee a las personas de herramientas, tanto para realizar, representar, organizar y estructurar sus actividades y movimientos, como para organizar su pensamiento y su razonamiento. El logro de esta estructuración será posible si el sujeto es capaz de comprender las propiedades, posiciones, representaciones y transformaciones de los objetos y las relaciones entre los mismos, lo cual implica comprender las relaciones entre las formas y representaciones visuales.

Contenidos

Estadística y probabilidad: La estadística permite organizar, representar y realizar el análisis e interpretación de datos para elaborar conclusiones y tomar decisiones sobre una base más científica. También posibilita la predicción de los comportamientos de determinados fenómenos.

Contextos

Intramatemático: trata de las tareas específicamente del universo matemático, utiliza sus propios símbolos y presentan objetos matemáticos sin referirlos o inscribirlos en el mundo real.

ExtramatemáticoExtramatemático: ubica los objetos matemáticos en relación con los objetos de la vida del individuo. Los contextos extramatemáticos pueden clasificarse de acuerdo al nivel de uso o de familiaridad que tengan para el individuo.

Elaboración de las Pruebas

Tabla de especificaciones

Es un instrumento para la elaboración de las pruebas.

Consigna en forma esquemática los conocimientos, contenidos, objetivos, competencias, que serán objeto de evaluación

Indica cuantos ítemes o tareas de la prueba corresponden a cada contenido, objetivo, aspecto, capacidad, etc.

Tabla de especificaciones

Permite apreciar qué es lo que se pretendía evaluar con cada ítem de la prueba.

Permite garantizar que se encuentren todos los aspectos relevantes de la competencia.

Permite apreciar el peso en cantidad de ítemes que tiene cada aspecto o capacidad.

Tabla de especificaciones

Capacidad

Contenido

Resolución de

Problemas

Comunicación Matemática

Aplicación de

Algoritmos

TOTAL

Número y cantidad

Espacio y Forma

Algebra y funciones

Estadística y probabilidad

TOTAL

Tabla de especificaciones

Capacidad

Texto

Obtiene Informació

n

Hace inferencias

Reflexiona y evalúa

TOTAL

Narrativo

Descriptivo

Expositivo

Argumentativo

TOTAL

Representatividad de los ítems

Los ítemes son seleccionados para ser representativos aunque de forma imperfecta, del saber básico que se puede esperar de un alumno .

Es importante muestrear la gama completa del contenido enseñado e incluir suficientes ítems para que la medición sea válida y confiable.

Se podrá dar cuenta de cuáles son las áreas que presentan fortalezas y debilidades.

Número de Ítems

El número de itemes con el que se propone evaluar cada una de las áreas es bastante elevado

Necesidad de distribuir las preguntas en varios cuadernillos o formas

Los estudiantes se enfrentan a un número razonable de ítemes que sirven para medir su desempeño de manera adecuada.

Diseño de bloques rotados o de matrices incompletas:

cada forma tiene preguntas únicas y preguntas comunes a las otras formas

en conjunto se administra un número amplio de preguntas para cubrir un área

Formato de ítems

Respuesta cerrada

Selección de respuesta

Respuesta abierta

Producción de Respuesta

Emparejamiento

Opción Múltiple

Verdadero / Falso (matemática)

Respuesta corta

Respuesta extendida

Tabla de representación (matemática)

Construcción de los ítems

Se han ensayado talleres de construcción de ítems.

Son construidos por los especialistas en las áreas curriculares, considerando la tabla de especificaciones y anticipando la dificultad de los mismos.

Construcción de los ítems

Luego son revisados por otros especialistas, sometiéndose a:

Análisis de sus aspectos formales

Análisis de su representatividad (evidencias de validez referidas al contenido).

Aplicación Piloto

Características

Tiene como objetivo fundamental estudiar el funcionamiento de los ítems.

Las muestras son intencionales: se busca tener un buen número de personas que se enfrenten a cada ítem (200 mínimo), considerando factores como la accesibilidad y variabilidad en rendimientos.

Proceso

Hay que realizar los procesos de:

Selección de aplicadores

Capacitación de aplicadores.

Operativo de campo (recolección de datos).

Supervisión en campo.

Codificación de respuestas

Objetivos

Los estudiantes realizan sus respuestas directamente en los cuadernillos proporcionados por la UMC.

Por ello es necesario:

Transferir las respuestas de los estudiantes.

Calificar las respuestas de los estudiantes.

Sistema de codificación

Las respuestas eran calificadas en diversas escalas, tanto de naturaleza dicotómica como politómica, que tenían una naturaleza cuantitativa.

Por otro lado, acompañaba a la calificación un segundo código, que tenía una naturaleza más cualitativa (evidenciaba tipos de errores o estrategias de solución).

Aspectos logísticosSe requiere un gran grupo de correctores, pues en la EN2004 hubieron cerca de 14 000 estudiantes evaluados por grado, para cada una de las áreas.

Al trabajarse con las valoraciones realizadas por los jueces, se encuentra siempre implicado algún grado de subjetividad, que trata de reducirse mediante la capacitación a los evaluadores y la creación de manuales con criterios de calificación, que buscan homogenizar las evaluaciones realizadas por los jueces.

Aspectos logísticosLos especialistas de la UMC se encargaron de efectuar el diseño de capacitación y de elaborar el respectivo manual de codificación.

Los correctores se encontraban agrupados por área y grado, bajo la supervisión de un coordinador y los especialistas de la UMC.

El proceso de corrección estaba organizado según los bloques que constituían las pruebas aplicadas en la EN 2004.

Aspectos logísticosSe efectuó un diseño de análisis del proceso de corrección aplicando la corrección múltiple en tres momentos distintos: al inicio, a la mitad y al final del mismo.

El objetivo de estos tres momentos era poder retroalimentar sobre las discrepancias y deficiencias encontradas en las calificaciones y poder corregirlas durante el proceso de corrección, a fin de lograr cada vez una mayor homogeneidad y entendimiento en el uso de los criterios de calificación.

Aspectos logísticosLos análisis emplearon los aportes de la Teoría Clásica de los Tests y el modelo Rasch de Facetas Múltiples.

Los resultados se presentaban en un informe:

Descripción del ajuste y consistencia global en el uso de los códigos.

Índices de confiabilidad inter-evaluadores para cada uno de los items, pudiendo así identificarse cuales presentaban algún tipo de dificultades.

Identificación de correctores que estaban presentando alguna dificultad en el uso de los códigos.

Armado de bases de datos

Análisis Psicométrico

Medición del Rendimiento

La medición del rendimiento académico puede ser entendida, como una cantidad que estima lo que una persona ha aprendido como consecuencia de un proceso de instrucción o formación; es la capacidad del alumno para responder al proceso educativo en función a objetivos o competencias

Pizarro, Clark y Allen (1987)

Modelos Rasch

Establece la probabilidad de respuesta de una persona ante un ítem en términos de la diferencia entre la medida de rasgo de la persona y la medida del ítem utilizado.

La medida de personas e ítems están en la misma escala de intervalo.

Propiedades Psicométricas

Área de Matemática Confiabilidad% Varianza

(medida)

Segundo grado de primaria 0,86 80,9 %

Sexto grado de primaria 0,85 74,6 %

Tercer grado de secundaria 0,81 75,7 %

Quinto grado de secundaria 0,80 95,5 %

Aplicación Definitiva

Logística

Requiere una logística similar a las de un aplicación piloto, pero a mayor escala.

Si la población a evaluar es grande será necesario contar con un operador logístico.

Definición de Niveles de Desempeño

Niveles de desempeño

Se necesitan puntos de corte en las pruebas, que reflejen lo que un estudiante sabe y hace dentro de dicho nivel.

Si un estudiante supera dicho punto de corte, se considera que posee los conocimientos y habilidades necesarias para desempeñarse en relación a ciertos estándares académicos.

Se establecieron en talleres de consulta con el procedimiento Bookmark.

Procedimento Bookmark

Diseñado por un grupo de expertos en CTB-McGraw-Hill a mediados de 1990.

A posteriori: usa datos reales de la evaluación, mapas de ítems (TRI).

Maneja ítemes dicotómicos y de crédito parcial.

Se realiza en tres etapas.

Insumos básicos para el Bookmark

Cuadernillos de ítems ordenados

Según dificultad

Considerar créditos parciales

Descripciones generales de los niveles de desempeño

Panel de jueces

Usualmente 15 a 21

Expertos

No expertos (menos)

Primera etapa

Cada juez recibe un cuadernillo, estudia y/o resuelve los ítemes.

Preguntarse: ¿Qué hace a un ítem más difícil que el anterior?

Se familiariza con las descripciones generales de los niveles de desempeño.

Establece las “marcas” para cada nivel

Segunda etapa

Trabajo en grupos pequeños (4 – 5 jueces)

Los jueces exponen las razones por las cuales eligieron sus puntos de corte

No se trata de “convencer”, sólo de exponer

Se finaliza la ronda con unos nuevos puntos de corte y el porcentaje de acuerdo respecto a en qué nivel se ubica un ítem en particular

Tercera etapa

Los resultados de la ronda dos son presentados a todo el grupo y se debaten los ítemes en los cuales no hay un 100% de acuerdo.

Se presenta además el “impacto de los puntos de corte”.

Los jueces vuelven a dar sus puntos de corte.

Se suele trabajar con valores inferiores al 100% de acuerdo. Si no se logran, se suele tomar la mediana.

Un paso final

Los jueces construyen el significado, en función a los ítemes, de lo que sabe y puede hacer un alumno en cada uno de los niveles de desempeño.

Algunos prefieren dejar esta etapa para otro grupo de expertos. Esto se hizo con los niveles de la EN 2004.

Niveles de Desempeño

Suficiente

Básico

Previo

< Previo

Los estudiantes de este nivel demuestran un dominio suficiente y necesario en los desempeños evaluados para el grado.

Los estudiantes de este nivel demuestran un dominio incipiente o un manejo elemental de los desempeños desarrollados en el grado evaluado.Los estudiantes de este nivel demuestran un manejo de los desempeños desarrollados en grados anteriores.

Los estudiantes de este grupo solo pueden resolver algunas de las tareas del nivel Previo.

LOGRALOGRA

NO LOGRANO LOGRA

Análisis de Resultados

NacionalNacional

Niveles de DesempeñoNiveles de Desempeño

24.1%

35.7%

28.1%

12.1%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

24,1%Debajo del previo

Previo 35,7%

Básico 28,1%

Suficiente 12,1%

Sexto grado de primaria COMPRENSIÓN DE TEXTOS

Sexto grado de primaria COMPRENSIÓN DE TEXTOS

Niveles de desempeño según gestiónNiveles de desempeño según gestión

NacionalNacional

Comunicación Integral sexto de primaria - NacionalComparación de promedios por departamento

0

50

100

150

200

250

300

350

400

TACNALI

MA

AREQUIPA

MOQUEGUA

CALLAO

ICA

LA L

IBERTAD

LAM

BAYEQUE

MADRE D

E DIO

S

ANCASH

PIURA

TUMBES

JUNIN

PASCO

SAN MARTIN

HUANUCO

AMAZOM

AS

CAJAM

ARCA

PUNO

UCAYALI

HUANCAVELICA

AYACUCHO

CUSCO

LORETO

APURIMAC

NACIONAL

Sexto grado de primaria COMPRENSIÓN DE TEXTOS

Comparación de promedios según regiónComparación de promedios según región

Reportes y Difusión