Proyecto de Mejoramiento de la Evaluación en las Academias

ADUNI – CESAR VALLEJO

T e m a : Estadística aplicada al uso de PruebasEvaluación Criterial y Normativa

Responsable: Vilma I. Gamboa MedinaLic. en Investigación Operativa

TALLER DE CAPACITACIONSet - Oct – Nov

MODULO V

La interpretación es más compleja depende del grado de significado de la unidad de medición, se usa para formular juicios de valor que a su vez se utilizarán para la toma decisiones.

EVALUACION CRITERIAL Y NORMATIVA

Cuando Evaluamos

Obtenemos información objetiva

Lo interpretamos

¿Qué es la Evaluación Criterial?

En la evaluación por criterios, los resultados de la medición se comparan con un criterio absoluto, constituido por lo que debe “saber hacer” el estudiante.

Al este “saber hacer” se le conoce como dominio , que implica tanto la clase de tarea que ha de ejecutarse, como el contenido implicado en la ejecución.

Evaluación Criterial

Al realizar la evaluación?Los resultados se

comparan con:

El Dominio correspondiente

Esto a fin de determinar que es lo que puede hacer el estudiante y si su ejecución es superior o inferior al dominio independientemente si es superior o no a la de los demás estudiantes.

En la evaluación por Criterios, la fuente del significado es el dominio : mientras mejor se conozca el dominio y mas precisamente se defina mayor significado tendrá la evaluación.

¿Qué se necesita para realizar una Evaluación por C riterios?

Un ProfesorQue tenga clara

la meta a conseguir

La Evaluación Criterial se centra en el propio alumno y determina qué es capaz de hacer en cada momento y necesita partir de unos criterios fijados con antelación.

Este debe hacer una minuciosa descripción del dominio que el objetivo representa, pero debe procurarse realizar objetivos generalizados que impliquen otras conductas.

Influencia de la Evaluación por Criterios en la Ela boración de las Pruebas

Se evalúa el avance del alumno hacia el objetivo propuesto y la distancia que los separa de él.Esta distancia constituye las bases de la información a partir del cual se ha de tomar una decisión.

Es conveniente representarlo en un esquema de conductas y contenidos implicados en el mismo dominio, de forma tal que se pueda elaborar una sola pregunta para cada punto clave del dominio, logrando con esto que la prueba sea representativay con muy pocos reactivos.

Una prueba que hace referencia a un criterio es la que se emplea para averiguar la situación de un individuo con respecto a un campo de conducta bien definido. Se basa en:

1) La delimitación de un campo de conductas bien explicitado.2) La determinación de la actuación del individuo en relación con ese campo

Para desarrollar una Estructura correcta y

Valorar de este modo:

1° Hay que distinguir bien los objetivos de los Criteriosde Evaluación.

2° Transformar secuencialmente el objetivo en compor-tamientos observables y valorables.

De acuerdo con este concepto, la educación que se imparte dentro de la escuela tiene una función formativa. La obligación del educador consiste en hacer que los alumnos logren los objetivos y los dominios que éstos implican.

Todos los alumnos pueden aprenderlo todo; solo es cuestión de que se les proporcionen las experiencias y el tiempo necesarios.

Vínculo de la Evaluación por Criterios y la orienta ción de la Educación

Como ubicar al Alumno Respecto al Curso

ESTABLECER LA PUNTUACIÓN MÍNIMA ACEPTABLE

OBTENER LA PUNTUACIÓN DE CADA PRUEBA

¿QUEDA LA PUNTUACIÓN DENTRO DEL

LIMITE ACEPTABLE?

NO ACREDITACIÓN ACREDITACIÓN

SINO

Se debe comparar a cada alumno con un dominio determinado, por lo tanto se debe comenzar por representar el dominio para determinar cuales puntos ameritan la elaboración de un reactivo.

La evaluación por criterios requiere de una interpretación de naturaleza absoluta, de “todo o nada”: el alumno posee o no los objetivos; posee o no los requisitos. Este tipo de interpretación conduce a una decisión binaria, que en el caso de la evaluación diagnóstica debería implicar el ingreso o no ingreso al curso, acreditado/no, acreditado, promovido/no promovido.

Para aplicar el sistema binario de calificación se debe establecer previamente la mínima calificación aceptable (usualmente un 80% o 90% de la calificación máxima). Luego se califican las pruebas comparando la puntuación total con la puntuación mínima aceptable. Si la puntuación del alumno esta dentro del límite establecido, se promociona al siguiente curso; en caso contrario no promociona.

Calificación para la Evaluación por Criterios

Limitaciones del Sistema

Una de las limitaciones del sistema es que la organización no faculta al profesor a rechazar a un alumno que oficialmente ha sido admitido; sin embargo, es muy conveniente examinar el problema del diagnóstico con esta concepción, aunque solosea para informar al estudiante sobre los resultados, esperandoque sea el mismo quien tome la decisión pertinente.

Evaluación Normativa

Esta evaluación se basa en el uso de técnicasestadísticas. Sitúa al alumno dentro del grupo.

Evalúa en referencia a una distribución normal ycompara el resultado del individuo con los resultados de la población o grupo a los quepertenece el evaluado.

Esto exige el establecimiento de una norma dereferencia confeccionada después de estudios estadísticos de rendimiento, con el objetivo deobtener una calificación.

¿Cuándo se usa este tipo de evaluación?

Este tipo de evaluación se utiliza para ubicar a los alumnos en escalas de rendimiento ypuntaje, atribuir un lugar dentro de los grupos.

El modelo normal se usa en aquellos casos en que las calificaciones deben responder a la necesidad de ordenar a un determinado grupo de individuos “de mejor a peor”, para elegir de entre ellos a “los mejores”, sin que en esta elección exista referencia alguna a determinados objetivos de aprendizaje previamente señalados como metas que deberían estar cumplidas.

2

2

2

)(

2

1)( σ

πσ

µx

exf−−

=

U

+ 2U+U

+ 3U

-U

-2U

-3U

99.7%

Curva Normal

La curva representa una distribución de probabilidades, este modelo permite explicar el comportamiento de numerosas variables aleatorias.Este modelo tiene dos parámetros que determinan completamente al modelo:

Uno de Posición:Marca el lugar central de la curvaY corresponde al valor esperado

La Dispersión:Determina tanto el ancho y alto de la

Curva y corresponde a la Varianza esperada

¿Influencia de la Evaluación por Normas en la Técni ca de Elaboración de Pruebas

Mala Buena

Mala BuenaRegular

Muy Mala BuenaRegular

Alumno x

Alumno x

Alumno x

La ejecución del grupo se representa en tres modalidades distintas, en la última situación adquiere mas significado el juicio, el rango de ejecución del grupo se amplió, el significado de la medición se precisa. Al ser más amplia la variación de la ejecución de un grupo los resultadosObtenidos son mas significativos. A esta variación se le llama dispersión.

Juicio evaluativo de un Estudiante X:

La forma que presenta el histograma y el polígono de frecuencias correspondiente nos puede indicar de manera práctica si las calificaciones se distribuyen normalmente o aproximadamente, o si son sesgadas.

1

2

3

4

5

30 34 39 44 49 54 59 64 69 74 79 84 89 94

PUNTUACIONES DEL TEST

FRECUENCIA

HISTOGRAMA

Formas de distribución

Mala Muy Buena

Atendiendo a su Forma

FORMA SIMETRICA O DE CAMPANA

Las observaciones equidistan del Máximo central, tienen la mismafrecuencia.Ejem. Rendimiento Académico

Sesgada a la Derecha (Sesgo +)

Sesgada a la Izquierda (Sesgo -)

TIPO DE SESGO POSITIVO O NEGATIVOEsta forma se presenta cuando el centro de gravedad fluctúa de un lado a otro. Generalmente se presenta cuando el límite Inferior ó superior se controla teóricamente por un valor de especificación.

AL COMPARAR VARIAS DISTRIBUCIONES

A

B

C

Variabilidad

AB C

Asimetria

A

B

C

Curtosis

Notas de clase de un examen de Algebra

2,3,4,1,2,3,3,4,5,7,5,5,6,4,5,5,6,9,8,7

20Total

112253321

987654321

Frecuncia(fi)

Nota (x i)

Una distribución de frecuencias es una representaciónde la relación entre un conjunto de medidas o clases

mutuamente Excluyentes y Exhaustivas y la Frecuencia de cada una de ella.

Mutuamenteexcluyentes

Exhaustivas

0

1

2

3

4

5

6

1 2 3 4 5 6 7 8 9

NOTAS

FRECUENCIA

Presentación ordenada de Datos

Un instrumento es la Distribución de Frecuencias, que debe ofrecer la informaciónNecesaria para hacer las representaciones gráficas y facilitar los cálculos del

cual se obtendrán los Estadísticos Muestrales

≥50%

10020TOTAL

510203055708595100

5510102515151005

112253321

987654321

PorcenAcumul

Porcen%

Frecuenciafi

Nota(xi)

Frecuencia Relativa

Frecuencia absoluta

Frecuencia Acumulada

¿Cuántos Alumnos del AulaObtuvieron menos de Nota 3?

¿Qué porcentaje de alumnosTiene de Nota 6 o más?

¿Qué Nota obtuvieron al menos el 50 % de losalumnos con nota inferioro igual ?

¿Qué % de alumnos tienede nota más de 5? = 30%

¿Qué % de alumnos tienede nota entre 4 y 6?

=Frec.alumnos obtuvieron 1+ frec.alumnos obtuvieron 2= 1 + 2 = 3 Alumnos

= 30 %

= 5

= 15%+25%+10%=50%

Tabla de Frecuencias

Es un instrumento que ofrece la información necesaria para hacer las representaciones gráficas y facilitar los cálculos del cual se obtendrán

los estadísticos muestrales

30Total

100.0093.3386.6783.3370.0053.3346.6736.6726.6720.0013.3310.006.67

% deFrec.Acum

302826252116141186432

2214523322112

90-9485-8980-8475-7970-7465-6960-6455-5950-5445-4940-4435-3930-34

Frec.Acum

.

Frec.

(fi)

Inter de clase(xi)

Test de los Hábitos de estudio de 30

alumnos

37,72,71,65,54,78,85,42,49,63,61,32,51,33,77,93,85,83,63,55,58,46,57,73,73,68,73,91,75,77

Reglas para agrupar las puntuaciones de las variables:

1° Aconsejable que los interv.de clase contengan 1,2,3,5,10 20 unidades de la escala

2° El Nro. de intervalos debe variar entre 10 y 20

1°Rango de la amplitud:93-32+1 = 62

2°Dividimos 62/10 y 62/20nos da 6,2 y 3,1El intervalo de clase debetener 5 de amplitud

3°Para el 1er. Intervalo debecontener el valor mínimoLuego 1er Interv. 30-34

4°Debemos recordar que losintervalos son cerrados

por la izqu. y abiertos por la derecha.

Distribución de Frecuencias con datos Acumulados

INTERVALO DE CLASE

1

2

3

4

5

30 34 39 44 49 54 59 64 69 74 79 84 89 94

PUNTUACIONES DEL TEST

FRECUENCIA

POLIGONO DE FRECUENCIA

2214523322112

92878277726762575247423732

89.5-94.584.5-89.579.5-84.574.5-79.569.5-74.564.5-69.559.5-64.554.5-59.549.5-54.544.5-49.539.5-44.534.5-39.529.5-34.5

90-9485-8980-8475-7970-7465-6960-6455-5950-5445-4940-4435-3930-34

Frec.fi

PuntoMedio

Límitesexactos

Interde

clase(xi)

1

2

3

4

5

30 34 39 44 49 54 59 64 69 74 79 84 89 94

PUNTUACIONES DEL TEST

FRECUENCIA

HISTOGRAMA

Las tablas de frecuencias y las representaciones

gráficas son dos maneras equivalentes de presentar la información. Las dos exponen ordenadamente la

información recogida en una muestra.

Gráfico de una distribución de Frecuencias

MEDIA

∑=

=n

iix

nX

1

1

Ejemplo: En el Examen de Algebra las notas obtenidas son:

Calculemos la Media:

2,3,4,1,2,3,3,4,5,7,5,5,6,4,5,5,6,9,8,7

94

9814122512941

Xi. fi

20Total

112253321

987654321

fiNota (x i)

_ x = (2+3+4+1+2+3+3+4+5+7+5+5+6+4+5+5+6+9+8+7) = 94 = 4.7

20 20

Si tenemos la tabla de frecuencias lo podemos calcular usando:

=X∑

=

K

iix

1

fi

∑=

K

i 1

fi

_ x = 94 = 4.7

20

Podemos decir que: 4.7 es el promedio del rendimiento de 20 alumnos en el examen de Historia.

La Media es un INDICADOR, que permite ver si los alumnos han logrado los objetivos operacionales.

0

1

2

3

4

5

6

1 2 3 4 5 6 7 8 9

NOTAS

FRECUENCIA

NOTAS

∑=

=n

iix

nX

1

1

Es el Centro o expectativa de los datos

Medida de Tendencia Central

VARIANZA2

1

)(1

1∑

=

−−

=n

ii xx

nS

524

81649872125482781

Xi2*fi

816449362516941

Xi2

94

9814122512941

Xi. fi

20Total

112253321

987654321

fiNota (x i)

Ejemplo: En el Examen de AlgebraCalculemos la Varianza (S):

Grado de concentración de los datos alrededor del Centro

fi2

1−= ix

nS n 2

=X 9420

= 4.7 fi2ix = 524

=S 524 - 20 (4.7) 19

2 =2.07

De la tabla tenemos:

Remplazando:

Podemos decir que: 2.07 es el grado de dispersión de los datos respecto de la media.

0

1

2

3

4

5

6

1 2 3 4 5 6 7 8 9

NOTAS

FRECUENCIA

NOTAS

Medidas de Variabilidad

2

2

2

)(

2

1)( σ

πσ

µx

exf−−

=

U

+ 2U+U

+ 3U

-U

-2U

-3U

99.7%

� Se utiliza en el tratamiento de Información de la Evaluación� Las características de los educandos se

distribuyen en forma normal, es decir los 2/3 de la población se agrupan entre una a ambos lados de la media.

� La frecuencia es mayor al centro y disminuye gradualmente a los costados.

�Para calcular una probabilidad en una D.Normal estandarizamos y luego usamos la tabla de la Distribución.

�Estandarizar es transformar una variable X a: Puntuación TípicaO estándar

Zi =_

Xi –XSx

Distribución Normal

� Tenemos entonces una Distribución Normal N(0,1)

+0.5

GrupoC

GrupoB

GrupoA

GrupoD

GrupoE

+1.5-0.5- 1.5

U +U

+ 2U

+ 3U-U

-2U

-3U

68.3%

95.4%

99.7%

Aplicaciones de la Evaluación Normativa

�Uva vez verificada la forma de la distribución, el

dominio de la densidad normal se divide en 4, 5, kpartes.

�El número de partes va a depender de la política

educativa adoptada por la institución.

Por ejemplo:

�Si se establece que el número de desaprobados no

debe superar el 25% de los examinados, entonces el

dominio de la densidad normal se debe particionaren 4 partes.

El establecimiento de la norma es factible y lícito

si asumimos que todas las variables que intervienenen la acción educativa confluyen e interactúen

correctamente.

�Esta evaluación ubica a los alumnos en escalas de rendimiento y puntaje, atribuyendo

un lugar dentro del grupo.

La Puntuación Z es una forma especial de la D. Normaly nos es indispensable para comparación de gruposque han sido evaluados con diferentes criterios yescalas.

La puntuación Z nos indica también que porcentaje de estudiantes puntúa por encima y por debajo de la media.

Ejemplos:

Zi =_

Xi –XSx

Las Puntuación obtenidas de cualquier test pueden convertir en Puntuación Z

12

1618. =−=ZPuntuación

Si la puntuación directa obtenida por un alumno es 18 en una Distribución cuya u = 16 y = 2 el valor de la puntuación Z será:

= 16U

= 2

= 16U

=

¿Qué esfuerzo intelectual hizo el alumno Luis Castillo con respecto al grupo, al obtener los siguientes Calificativos?

_TRIGONOMETRIA 14 Si x = 13 = 1.9

_ALGEBRA 14 Si x = 11.9 = 1.9

53.09.11314

. =−=ZPuntuación 58.19.1

9.1114. =−=ZPuntuación

El alumno Castillo con los puntajes obtenidos se ha ubicado en el nivel de rendimiento Normal o Grupo C con respecto al resto del grupo en el curso de Trigonometría.

Sin embargo en el curso de Algebra con el puntaje de 14 se ubica en el nivel Superior

Trigonometría Algebra

El alumno Isaac obtiene las siguientes calificaciones en tres asignaturas diferentes ¿En qué curso obtuvo mejor calificación?

151316Xi

HISTORIAGEOMETRIAALGEBRAALUMNO

Aparentemente podría ser la mejor calificación la de Algebra y la más baja la de Geometría.Sin embargo esta conclusión no es del todo cierta. Veámoslo en relación a la Media y a la Desviación estándar en cada conjunto de notas:

12-0.5

312

121117

151316Xi

HISTORIAGEOMETRIAALGEBRAALUMNO

X-

X-Xi -

Analizando los dos últimos estadígrafos vemos que:

La nota más baja en comparación con el grupo es Algebra Z = - 0.5

El calificativo de Geometría está ubicado dos veces por encima de la media pues Z=2

Podemos decir entonces que la mejor calificación de Isaac lo ha obtenido en Geometría.

17 1915 2113

11 1210 139

12 159 186

ALGEBRA

HISTORIA

GEOMETRIA

Vínculo de la Evaluación Normativa y la orientació n de la Educación

Los educadores, buscando en forma sencilla de aplicar la normal ha evaluado académicamenteHace años y encontraron que planteando 4 preguntas con la siguiente graduación:

1 PREGUNTA FACIL 2 PREGUNTAS NORMALES 1 PREGUNTA DIFICL

Cada una con 5 puntos, estaban situados frente aun tipo de evaluación aplicando la normal enescala vigesimal.

Si el número de desaprobados no debe superar el quinto inferior

El dominio de la densidad normal se divide en 5 partes

1 PREGUNTA FACIL

1 PREGUNTA FACIL CON ALGÚN GRADO DE DIFICULTAD

1 PREGUNTA NORMAL

1 PREGUNTA NORMAL CON ALGUN GRADO DE DIFICULTAD

1 PREGUNTA DIFICILCada una con 4 puntos

Limitaciones del Sistema

�Los tipos de tests que se construyen tienden a medir capacidades generales, como puede serla inteligencia más que el conocimiento o habilidades específicas de una materia.

�Los tests tienen un defecto en cuanto a la relevancia de las cuestiones que plantean. Están construidos para que los resultados presenten una distribución normal, por lo que tratan dediscriminar entre alumnos.

�Un item que es contestado por todos los alumno se desecha.

�La evaluación por normas no nos dice lo que el estudiante puede o no puede hacer, sino si puede hacer más o menos que los demás.

�La Evaluación por Normas, consiste en elaborar una prueba con un número tan grande de reactivos de la materia, que por azar muchos de ellos se encuentren dentro del dominio.

DIFERENCIAS ENTRE LA EVALUACION REFERIDA A NORMA Y LA REFERIDA A CRITERIO

Vilma Isabel Gamboa MedinaE-Mail: vilma_gamboa83@hotmail.com