MEDICIÓN DEL DESARROLLO DE CAPACIDADES

Róger Saavedra Salas 2008

EVALUACIÓN DE LOS APRENDIZAJES

Proceso pedagógico, mediante el cual se observa, recoge y analiza información relevante, con la finalidad de reflexionar, emitir juicios de valor y tomar decisiones oportunas y pertinentes para mejorar los procesos de aprendizaje de los estudiantes.

EVALUACIÓN DEL DESARROLLO DE

CAPACIDADES

Proceso pedagógico, mediante el cual se observa, recoge y analiza información relevante, con la finalidad de reflexionar, emitir juicios de valor y tomar decisiones oportunas y pertinentes para el desarrollo de las capacidades de los estudiantes.

MEDICIÓN DEL DESARROLLO DE CAPACIDADES

Proceso pedagógico, mediante el cual se recoge y analiza información relevante asignando números o símbolos a las capacidades desarrolladas de acuerdo a criterios, con la finalidad de reflexionar, emitir juicios de valor y tomar decisiones oportunas y pertinentes para el desarrollo de las capacidades de los estudiantes.

Evaluación y Medición del Desarrollo de Capacidades

EVALUACIÓN

MEDICIÓN

MEDICIÓN EVALUACIÓNEs asignar un número a los niveles de desarrollo de las capacidades de acuerdo a criterios.

Compara datos con unos resultados previstos y requiere de procesos de seguimiento.

Equivale a un proceder estático.

Equivale a un proceder dinámico.

Está subsumida en la evaluación.

Subsume a la medición, teniendo más extensión.

Constituye sólo un medio para valorar.

La evaluación es la misma valoración.

La medición no implica evaluación.

Evaluar implica; entre otras cosas, medir.

Es en un solo momento. Entre otras cosas, mide en uno o varios momentos.

CAPACIDAD

Las capacidades son potencialidades inherentes a la persona y que éstas pueden desarrollarse a lo largo de toda su vida. Ellas se cimentan en la interrelación de los procesos cognitivos, socioafectivos y motores.

MODELO DE MEDICIÓNMétodo para convertir las observaciones en la ejecución de pruebas en mediciones de la capacidad.

Construir un prueba que defina una línea. Convertir el resultado de un estudiante en la prueba en una ubicación en esa línea.

Medida

Capacidad

ELABORACIÓN DE PRUEBAS PARA LA MEDICIÓN DEL DESARROLLO DE

CAPACIDADES

Tener idea clara de la variable que queremos medir.Se debe construir ítems que sean realizaciones claras de esta idea.Se debe tener evidencia que la variable se realiza a través de los ítems de la prueba.El patrón de respuestas debe ser consistente con nuestras intenciones.

CONSTRUCCIÓN DE ÍTEMS QUE DEFINEN LA VARIABLE

δ2δ1 δ3 δ4

β

Medición del estudiante

PuntajeEsperado

3

PuntajeEsperado

3

Calibración de los ítems

Ítem

Más fácil

Ítem

Más difícil

Baja

Capacidad

Alta

Capacidad

1

βMedición estimada del estudiante

Calibración de ítems

Ítems difíciles

Baja

Capacidad

Alta

Capacidad

δ1 δ2 δ3 δ5 δ6 δ7 δ8 δ9 δ10δ4

Ítems fáciles

1 1 1 1 1 0 0 0 0Patrón A:

Puntaje=6Puntaje=6

VALIDANDO LOS PATRONES DE RESPUESTAVALIDANDO LOS PATRONES DE RESPUESTA

Medición estimada del estudiante

Calibración de ítems

Ítems difíciles

Baja

Capacidad

Alta

Capacidad

δ1 δ2 δ3 δ5 δ6 δ7 δ8 δ9 δ10δ4

Ítems fáciles

0 0 0 0 1 1 1 1 1Patrón B:

Puntaje=6Puntaje=61

1=Respuesta correcta0=Respuesta incorrectaδ= Ítems de la PruebaPuntaje= Suma de respuestasCorrectas.

1=Respuesta correcta0=Respuesta incorrectaδ= Ítems de la PruebaPuntaje= Suma de respuestasCorrectas.

¿Aquí? ¿Aquí? ¿Aquí?

ÍTEM DE PREDICCIÓNÍTEM DE PREDICCIÓN

1. En el punto de ebullición del agua, la presión atmosférica es igual a la presión de vapor: Patm.=Pvap.

La presión atmosférica (Patm.) está determinada por el número de colisiones de las moléculas de aire de la atmósfera a la superficie de la tierra (superficie del agua en el vaso) por unidad de área.

La presión de vapor del agua (Pvap.) está determinada por el número de colisiones de las moléculas del vapor de agua cuando sale del recipiente, por unidad de área. El calentamiento aumenta el número de

colisiones de las moléculas

El agua hierve en Lima a 100ºC y en Huancayo a 90ºC porque:

A) La presión de vapor en Lima es igual a la presión de vapor en Huancayo.

B) La presión atmosférica en Lima es mayor que la presión atmosférica en Huancayo.

C) La presión atmosférica en Lima es menor que la presión atmosférica en Huancayo.

D) La temperatura en Lima es mayor que la temperatura en Huancayo.

CLASIFICACIÓN DE FORMATOS

VelocidadVelocidad

ProyectivasProyectivas

EstructuradasEstructuradas

Aplicación individualAplicación individual

Aplicación colectivaAplicación colectiva

EjecuciónEjecución

Lápiz y papelLápiz y papel

Ejecución típicaEjecución típica

Ejecución máximaEjecución máxima

PoderPoder

Respuesta libreRespuesta libre

Respuesta AlternativaRespuesta Alternativa

PRUEBA DE:PRUEBA DE:

Tipo de respuestaTipo de respuesta

Calificación Calificación

Presencia o Ausencia de Intervención

Presencia o Ausencia de Intervención

Forma de Aplicación

Forma de Aplicación

Claridad de estímulosy tareas

Claridad de estímulosy tareas

Presentación y forma de respuesta

Presentación y forma de respuesta

4° FORMATO4° FORMATO

POR:POR:

DEFINICIÓN DE LA VARIABLE A SER EVALUADA

Variable: Capacidad EvaluadaComprensión Lectora: Capacidad que se manifiesta mediante la activación de procesos cognitivos para la comprensión de textos escritos en los niveles literal, inferencial y reflexivo1.

Comprensión Lectora

La medida

1. El nivel reflexivo de la capacidad no será evaluada por el formato del instrumento

NIVELES DE COMPRENSIÓN LECTORA

Nivel Literal.- El lector obtiene información que se encuentra de manera literal en el texto.

Nivel Inferencial.- El lector obtiene información más allá de la superficie del texto y llena los “vacíos” de significado.

Nivel Reflexivo.- El lector examina las ideas propuestas en el texto o los recursos utilizados por el autor para transmitir para transmitir ese significado, y juzgar sin son adecuados o no.

CAPACIDADES Y NIVEL LITERAL DE COMPRENSIÓN LECTORA

Identifica datos y hechos específicos expresados en una, dos o más proposiciones: el estudiante identifica datos, hechos relevantes en diversos tipos de textos.

Identifica ideas específicas en diversos tipos de textos: el estudiante localiza ideas específicas expresadas en una, dos o más proposiciones en diversos tipos de textos.

CAPACIDADES Y NIVEL INFERENCIAL DE COMPRENSIÓN LECTORA

Reconoce relaciones semánticas implícitas entre dos o más proposiciones . Identifica referentes de distinto tipo.Reconoce el significado de palabras o expresiones a partir de lo leído.Reconoce el tema central y las ideas principales del texto.Deduce el propósito del texto.Deduce el receptor implícito del texto.

CAPACIDADES Y NIVEL REFLEXIVO DE COMPRENSIÓN LECTORA

Evalúa el contenido del texto: el estudiante interpreta afirmaciones del texto y evalúa su contenido. Los estudiantes contrapesan su comprensión del texto con su conocimiento del mundo con la finalidad de rechazar, aceptar o permanecer neutrales frente a las ideas que se plantean en el texto. Identifica y evalúa recursos formales: El estudiante reflexiona y evalúa los recursos formales que usa el autor para transmitir el significado de su texto y para tratar de influir en el receptor (tales como el estilo y el uso de signos gráficos) .

MATRIZ PARA LA ELABORACIÓN DE LA PRUEBA

CAPACIDADES INDICADORESITEMS POR INDICADOR

1. Obtiene información explícita. 1.1. Identifica ideas específicas expresadas en una, dos o más

proposiciones.12

2. Hace inferencias

2.1. Reconoce relaciones semánticas implícitas entre dos o más proposiciones. 7

2.2. Identifica referentes de distinto tipo. 3

2.3.Reconoce el significado de palabras o expresiones a partir de lo leído.

4

2.4. Reconoce el tema central y las ideas principales del texto. 3

2.5. Deduce el propósito del texto 5

2.6. Deduce el receptor implícito del texto 1

3. Reflexiona y evalúa.

3.1. Evalúa el contenido del texto 0

3.2. Identifica y evalúa recursos formales 1

MODELO DE EVALUACIÓN

La peregrinación comienza con la visita a la mezquita del profeta Mahoma, en la ciudad de Medina, donde se encuentra su tumba. Desde ahí, los devotos se dirigen a la Mina y luego hacia la efímera ciudad de Arafat, situada a 20 kilómetros de la Meca. Sus dos millones y medio de habitantes -todos fieles peregrinos- solo viven en ella un día y la abandonan antes de que llegue la noche. Tras la puesta del Sol, la multitud regresa a la Mina, donde se preparan para la fiesta del Sacrificio.

Texto 1: Lee y observa el siguiente texto con mucha atención.

NIVEL LITERAL DE COMPRENSIÓN LECTORA

Capacidad: Obtiene información explícita del texto.Indicador: Identifica ideas específicas en una o más proposiciones:Ítem:

¿Dónde se realizan los rituales de la Kaaba y del Sai? a) En la ciudad de la Mina.b) En la ciudad de Arafat.c) En la ciudad de la Meca.d) En la ciudad de Medina.

NIVEL INFERENCIAL DE COMPRENSIÓN LECTORA

Capacidad:Hace inferencias.Indicador: Deduce el significado de palabras o expresiones a partir de lo leido.Ítem:

¿Qué significa la expresión “la efímera ciudad de arafat” del texto? a) Que sus dos millones y medio de habitantes son todos fieles peregrinos.b) Que sus dos millones y medio de habitantes viven en

ella solo un día.c) Que es una ciudad situada sólo a 20 kilómetros de la

ciudad de la Meca.d) Que es una ciudad muy pobrey sus habitantes no permanecen en ella.

METODOLOGÍAS DE MEDICIÓN

Considera sólo las puntuaciones obtenidas por los estudiantes evaluados en cada ítem y en toda la prueba.Las puntuaciones de los estudiantes obtenidas en la prueba y la capacidad evaluada se relacionan en forma lineal.

Los parámetros obtenidos para describir los ítems dependen de la muestra de estudiantes para los cuales fueron calculados.

La ejecución de un estudiante en una prueba puede predecirse, explicarse por un conjunto de factores llamados habilidades.La relación entre la ejecución del estudiante y las habilidades que la sustentan por una función monotónicamente creciente llamada “curva característica del ítem” (CCI).Unidimensionalidad: Se asume que cuando se diseña una prueba, esta deberá medir, preferiblemente, una dimensión, una habilidad.Independencia local: Un estudiante responde a un ítem en particular sin recurrir a la información de otros ítmes para hacerlo correctamente.

TEORÍA CLÁSICA DE LOS TESTTEORÍA CLÁSICA DE LOS TEST TEORÍA DE RESPUESTA AL ÍTEMTEORÍA DE RESPUESTA AL ÍTEM

RELACIÓN ENTRE LAS PUNTUACIONES DE LOS ESTUDIANTES Y LA CAPACIDAD

TEORIA CLASICA DE LOS TEST

0

5

10

15

20

25

0 5 10 15 20 25

RESGO LATENTE

PU

NT

UA

CIO

NE

S D

IRE

CT

AS

1. DIFICULTAD DEL ÍTEM

La dificultad del ítem ( P ) se define como la probabilidad de acierto o la probabilidad de que el estudiante responda correctamente el ìtem.

aP

= n0 ≤ P ≤ 1

a - número de aciertos al ítem

n – número de estudiantes que respondieron al ítem

P – índice de dificultad del ítem.

Donde:

β

δ1 δ8

DEPENDENCIA DE LOS PUNTAJES DEL NIVEL Y DISTRIBUCIÓN DE DIFICULTAES DE LOS ÍTEMSDEPENDENCIA DE LOS PUNTAJES DEL NIVEL Y DISTRIBUCIÓN DE DIFICULTAES DE LOS ÍTEMS

Prueba muy fácil

PuntajeEsperado

8

βEstudiante

Prueba muy

difícil PuntajeEsperado

0

βEstudiante

δ1 δ8

βPrueba difícil

estrecho

PuntajeEsperado

1

Estudiante

δ1 δ8

Estudiante βPrueba

fácil estrech

oPuntaje

Esperado7

δ1 δ8

Prueba fácil

amplio PuntajeEsperado

5

Estudiante

δ1 δ2 δ3δ4 δ7 δ8

2. ÍNDICE DEDISCRIMINACIÓN DEL ÍTEM

Si la prueba y un ítem miden la misma habilidad o capacidad, podemos esperar que, quien tuvo una puntuación alta en todo el test, deberá tener altas probabilidades de contestar correctamente el ítem.

Di =GAaciertos - GBaciertos

Ngrupomayor

GAaciertos : Número de aciertos al ítem “i” del 27 % de estudiantes con las puntuaciones más altas de la prueba.

GBaciertos : Número de aciertos al ítem “i” del 27 % de estudiantes con las puntuaciones más bajas de la prueba.

Ngrupomayor : Número de estudiantes en el grupo más numeroso.

CRITERIOS DE SELECCIÓN DE ÍTEMS  

iD Criterios de selección de Ítems por Discriminación

Calidad Recomendaciones

Mayor a 0.39 Excelente Conservar

De 0.30 a 0.39 Buena Posibilidades de mejorar

De 0.20 a 0.29 Regular Necesidad de revisar

De 0 a 0.20 Pobre Descartar o necesidad de revisar

Menor a -0.01 Pésima Descartar definitivamente

iD

3. COEFICIENTE DE DISCRIMINACIÓN

El coeficiente de discriminación se define a través de la correlación biseral puntual (ρ). La correlación biseral puntual es el grado de asociación entre la puntuación dei ítem y la puntuación total de la prueba. Se calcula por la fórmula:

fallosdeoporciónq

aciertosdeoporciónp

pruebadeestándarDesviación

pruebaladeMedia

ítemelacierquelosdeMedia

q

p

x

x

p

x

xp

Pr

Pr

tan

Si la correlación biseral puntual (ρ) es mayor que 0.2, concluimos que la prueba discrimina adecuadamente.

3. CONFIABILIDAD DE LA PRUEBA

La confiabilidad de la prueba se determina a través del alfa de Crombach( ). Con este indicador se determina qué tan confiables son las puntuaciones obtenidas por los estudiantes. Se calcula por la fórmula:

Para que las puntuaciones obtenidas por los estudianes sean confiables desde la perspectiva de la TCT, lo recomendable es que el ( ) de Crombach sea duperior a 0.6 y que se aproxime a 1.

totalespuntajeslosdeianza

iítemdelianza

ítemsdenúmerok

donde

k

k

x

i

x

k

ii

var

var

:

11

2

2

21

2

δ8

δ1 δ6δ3

δ5δ2 δ7

δ8

LA NO LINEARIDAD DE LOS PUNTAJESLA NO LINEARIDAD DE LOS PUNTAJES

Prueba I δ3δ4 δ8δ1 δ6 Diferencia de

puntajes:

8-0=8

PuntajeEsperado

0

βA

PuntajeEsperado

8

βB

Prueba V δ1 δ2 δ3 δ4 δ7δ5 δ6

Diferencia de puntajes:

6-4=2

PuntajeEsperado

4

βA

PuntajeEsperado

6

βB

Prueba IV δ1 δ2 δ3 δ4 δ5 δ6 δ7

Diferencia de puntajes:

4-4=0

PuntajeEsperado

4

βA

PuntajeEsperado

4

βB

Prueba II δ5δ2

δ4 δ7δ8 Diferencia de puntajes:

8-8=0

PuntajeEsperado

8

βA

PuntajeEsperado

8

βB

Prueba III Puntaje

Esperado0

βB

δ1 δ8δ2 δ3δ4 δ5 δ6 δ7

Diferencia de puntajes:

0-0=0

PuntajeEsperado

0

βA

NIVELES DE DESEMPEÑO

Nivel suficiente: Los estudiantes ubicados en este nivel demuestran el desarrollo adecuado de las capacidades evaluadas para el grado. No son estudiantes destacados los que predominan en este nivel, sino los estudiantes que han alcanzado lo establecido para el grado.

Nivel básico: Los estudiantes agrupados en este nivel demuestran un desarrollo incipiente o elemental de las capacidades esperadas para el grado. Esto quiere decir que han desarrollado parcialmente la capacidad.

Nivel previo: Los estudiantes de este nivel demuestran el desarrollo de las capacidades

esperadas para grados anteriores.Esto quiere decir, que a pesar de que se encuentran en el grado indicado, solo tienen las capacidades que ya han trabajado en grados anteriores.

SUFICIENTE

BÁSICO

PREVIO

NIVEL BÁSICO EN LA PRUEBA DE COMPRENSIÓN LECTORA

Obtienen información que se encuentra en partes evidentes del texto. Además, el texto no presenta contenidos en disputa que desvíen la atención del estudiante en la identificación y selección de la información.

Interpretan el significado de palabras o símbolos a partir del contexto de la lectura y de su conocimiento del mundo.Estos símbolos o palabras que son utilizados varias veces a lo largo del texto y/o son fundamentales para la comprensión del párrafo en el que aparecen o en todo el texto.

Identifican el tema general del texto entre varias alternativas y/o eligen un título que engloba el contenido general del texto.

Deducen a quien se dirige el texto aun cuando el receptor se encuentra implícito.

NIVEL INTERMEDIO EN LA PRUEBA DE COMPRENSIÓN LECTORA

Obtienen información explícita que se encuentra en partes no tan evidentes del texto y cuya recuperación requiere – en muchos casos- más de un solo paso, es decir, ubican el dato solicitado de manera indirecta. Además, el texto presenta una mayor extensión y cantidad de contenidos en disputa con la alternativa correcta lo que dificulta la tarea.

Interpretan el mensaje implícito del texto, para lo que deben inferir las ideas que no son manifiestas en la superficie del escrito.

Interpretan el significado de palabras del texto poco conocidas en su entorno escolar a partir del contexto de la lectura, lo que involucra comprender el texto en su conjunto y/o tener una mayor experiencia lectora.

Deducen el propósito de textos comunes en la vida cotidiana de los estudiantes y que presentan contenidos que le son familiares, como afiches o recibos. El estudiante necesita tomar cierta distancia del texto para evaluarlo de manera global y poder calcular, con qué intención fue producido, lo que implica cierto nivel de abstracción.

Interpretan las acciones de los personajes y el final de los textos narrativos literarios lo que implica hacer inferencias- a partir de los hechos del texto y con ayuda de sus conocimientos sobre el mundo- para llenar los vacíos de significado.

NIVEL SUFICIENTE EN LA PRUEBA DE COMPRENSIÓN LECTORA

Obtienen información explícita que se encuentra en partes incrustadas del texto y cuya recuperación requiere varios pasos, es decir, ubican el dato solicitado de manera indirecta. Además, el texto presenta muchos contenidos en disputa con la alternativa correcta lo que dificulta la tarea.

Deducen el propósito con el cual el autor escribió el texto. En este sentido los estudiantes deben calibrar la intención del emisor del mensaje, deben ser capaces de descentrarse y – desde el punto de vista del autor- comprender para qué fue escrito el texto, determinar qué quería lograr en el receptor del mensaje.

Hacen inferencias en las que se deben interpretar metáforas y diferenciar el discurso del narrador omnisciente del cuento de los hechos narrados por éste, lo que implica un mayor nivel de abstracción.

RESULTADOS POR NIVELES DE DESEMPEÑO

TEORÍA DE RESPUESTA AL ÍTEM

La ejecución de un estudiante en una prueba puede predecirse, explicarse por un conjunto de factores llamados habilidades.La relación entre la ejecución del estudiante y las habilidades que la sustentan por una función monotónicamente creciente llamada “curva característica del ítem” (CCI).Unidimensionalidad: Se asume que cuando se diseña una prueba, esta deberá medir, preferiblemente, una dimensión, una habilidad.Independencia local: Un estudiante responde a un ítem en particular sin recurrir a la información de otros ítmes para hacerlo correctamente.

CONDICIONES ESENCIALES QUE CAUSAN UNA RESPUESTACONDICIONES ESENCIALES QUE CAUSAN UNA RESPUESTA

Dificultad de Ítem

δt

Capacidad del

estudiante

βνχνt

Respuesta observada

Cuando la respuesta es “correcta”,

X=1

Cuando la respuesta es “incorrecta”,

X=0

EFECTOS DE LAS DIFERENCIAS ENTRE LA CAPACIDAD DEL ESTUDIANTE Y LA DIFICULTAD DEL ÌTEM EN LA PROBABILIDAD DE UNA RESPUESTA CORRECTA

EFECTOS DE LAS DIFERENCIAS ENTRE LA CAPACIDAD DEL ESTUDIANTE Y LA DIFICULTAD DEL ÌTEM EN LA PROBABILIDAD DE UNA RESPUESTA CORRECTA

βν

δt

(βν-δt)>0

y P{Xvt=1} >1/2

1. Cuando

βν > δt

βν

δt

(βν-δt) < 0

y P{Xvt=1} < 1/2

2. Cuando

βν < δt

βν

δt

(βν-δt)=0

y P{Xvt=1} = 1/2

3. Cuando

βν = δt

CURVA DE RESPUESTA AL ÍTEMCURVA DE RESPUESTA AL ÍTEM

0

P

βν < δt βν > δtβν = δt

(βν-δt)0.0

0.5

1.0

Posición relativa de

βν y δt sobre la variable.

P{Xvt=1| βν,δt} = ƒ(βν-δt)

P{Xvt=1} >1/2

P{Xvt=1}< 1/2

Posición relativa de

βν y δt sobre la variable.

MODELO RASCH PARA CALIBRAR Y MEDIRMODELO RASCH PARA CALIBRAR Y MEDIR

La respuesta Xvt=1 toma únicamente dos valores,

Xvt=0 cuando la respuesta es incorrecta y

Xvt=1 cuando la respuesta es correcta.

P{Xvt| βν,δt} = eXvt(βν-δt)

1+ e(βν-δt)

(1)

Sustituyendo los valores anteriores en la ecuación (1) se obtienen las ecuaciones:

P{Xvt=1| βν,δt}= e(βν-δt)

1+ e(βν-δt)

(2) P{Xvt=0|βν,δt}= 1+ e(βν-δt)

(3)1

Para una respuesta correcta Para una respuesta incorrecta

RELACIÓN ENTRE LAS PROBABILIDADES DE RESPUESTA Y LA CAPACIDAD

0.00

0.10

0.20

0.30

0.40

0.50

0.60

0.70

0.80

0.90

1.00

-5 -4 -3 -2 -1 0 1 2 3 4 5

Habilidad de la persona / Dificultad del item

Pro

bab

ilid

ad d

e re

spo

nd

er c

orr

ecta

men

te a

l it

em

CURVA CARACTERISTICA DEL ITEM (CCI)