analisis de ítem

ANALISIS DE ITEMS

Enrique Morosini

Universidad Nacional de AsunciónUniversidad Nacional de AsunciónFacultad de FilosofíaFacultad de Filosofía

Asunción, 2011Asunción, 2011

Análisis convencional de ítemsAnálisis convencional de ítemsAnálisis convencional de ítemsAnálisis convencional de ítems• Análisis descriptivo de reactivos

– Distribución de frecuencias de respuestas correctas y distractores– Representación gráfica de cada reactivo.– Medias de respuestas correctas.– Varianzas y desviaciones estándar.

• Correlación entre reactivos– Coeficiente de correlación de Pearson.– Coeficiente de correlación (fi).

• Correlación entre reactivo y total de la prueba– Coeficiente de correlación de Pearson.– Coefeciente de correlación biserial puntual (o punto biserial)– Coeficiente de correlación biserial.– Correlación parcial y múltiple.

• Análisis factorial de la matriz de intercorrelaciones de los reactivos.

Análisis convencional de ítemsAnálisis convencional de ítemsAnálisis convencional de ítemsAnálisis convencional de ítems• Análisis descriptivo de reactivosAnálisis descriptivo de reactivos

– Distribución de frecuencias de respuestas correctas y distractoresDistribución de frecuencias de respuestas correctas y distractores– Representación gráfica de cada reactivo.Representación gráfica de cada reactivo.– Medias de respuestas correctas.Medias de respuestas correctas.– Varianzas y desviaciones estándar.Varianzas y desviaciones estándar.

• Correlación entre reactivos– Coeficiente de correlación de Pearson.– Coeficiente de correlación (fi).

• Correlación entre reactivo y total de la prueba– Coeficiente de correlación de Pearson.– Coefeciente de correlación biserial puntual (o punto biserial)– Coeficiente de correlación biserial.– Correlación parcial y múltiple.

• Análisis factorial de la matriz de intercorrelaciones de los reactivos.

Análisis descriptivo de reactivosAnálisis descriptivo de reactivosAnálisis descriptivo de reactivosAnálisis descriptivo de reactivos

• Análisis de frecuencia de las respuestasPor lo general los reactivos de selección múltiple se componen

de una respuesta correcta y varios (3 o más) distractores. El análisis de la distribución de frecuencia de las respuestas permite valorar la calidad de los reactivos ya que se espera que la respuesta correcta sea elegida con mayor frecuencia y que los distractores sean elegidos en menor medida. En caso de que así no fuere, se podría cuestionar la redacción del ítem. Por lo mismo, los distractores que no fueran seleccionados deberían reformularse. A este efecto se deben construir tablas de distribución de frecuencia simple y relativa.

Sujetos Ít1 Ít2 Ít3 Ít4xxx_xx1 c c a dxxx_xx2 c d c dxxx_xx3 a d a dxxx_xx4 b a d bxxx_xx5 - - a axxx_xx6 c a a dxxx_xx7 c c b dxxx_xx8 c c c dxxx_xx9 c b - d

xxx_xx10 a a b dxxx_xx11 a c c axxx_xx12 b b a cxxx_xx13 c c a bxxx_xx14 b b a dxxx_xx15 c c a dxxx_xx16 b d b cxxx_xx17 c - b bxxx_xx18 a c c dxxx_xx19 d a - dxxx_xx20 c c a b

Sujetos Ít1 Ít2 Ít3 Ít4xxx_xx21 a d c bxxx_xx22 d c c axxx_xx23 c b a dxxx_xx24 d a a dxxx_xx25 c c a axxx_xx26 b c b dxxx_xx27 a - d axxx_xx28 c c a axxx_xx29 c a a dxxx_xx30 b c a dxxx_xx31 a c d dxxx_xx32 a b d dxxx_xx33 - b a axxx_xx34 b c b bxxx_xx35 b - b cxxx_xx36 b d a dxxx_xx37 c a d cxxx_xx38 a c c dxxx_xx39 c c d dxxx_xx40 c c b d

Frecuencia de respuestasFrecuencia de respuestasFrecuencia de respuestasFrecuencia de respuestas

Frecuencia de respuestasFrecuencia de respuestasFrecuencia de respuestasFrecuencia de respuestas

Frecuencia de respuestasFrecuencia de respuestasFrecuencia de respuestasFrecuencia de respuestas

Frecuencia de respuestasFrecuencia de respuestasFrecuencia de respuestasFrecuencia de respuestas

Análisis gráficoAnálisis gráficoAnálisis gráficoAnálisis gráfico

Análisis descriptivo de reactivosAnálisis descriptivo de reactivosAnálisis descriptivo de reactivosAnálisis descriptivo de reactivos

• Índice de dificultadEl índice de dificultad de un ítem se define como la frecuencia

relativa de respuestas incorrectas, es decir, como el cociente entre el número de respuestas incorrectas y el número total de respuestas. Por lo tanto, este índice es un número comprendido entre 0 y 1. Es una manera de medir el grado de dificultad: un índice cercano a 1 indica un ítem de gran dificultad, en tanto uno próximo a 0 señala uno fácil.

Índice de dificultadÍndice de dificultadÍndice de dificultadÍndice de dificultad1. Proporción de aciertos

2. Proporción de aciertos excluyendo omisiones

3. Proporción de aciertos excluyendo a los que no alcanzaron el ítem.

Ap

N

Ap

N Om

Ap

N NA

A

pN Om NA

Índices de dificultadÍndices de dificultadÍndices de dificultadÍndices de dificultad

Índice de dificultadÍndice de dificultadÍndice de dificultadÍndice de dificultad4. Proporción de aciertos penalizando errores

5. Proporción de aciertos penalizando errores excluyendo omitidos

1Er

AKpN

1Er

AKp

N Om

Índice de dificultadÍndice de dificultadÍndice de dificultadÍndice de dificultad6. Proporción de aciertos penalizando errores excluyendo no alcanzados

7. Proporción de aciertos penalizando errores excluyendo omitidos y no alc

1Er

AKp

N Om NA

1Er

AKp

N NA

Índice de dificultadÍndice de dificultadÍndice de dificultadÍndice de dificultad

Índices de dificultadÍndices de dificultadÍndices de dificultadÍndices de dificultad

Análisis descriptivo de reactivosAnálisis descriptivo de reactivosAnálisis descriptivo de reactivosAnálisis descriptivo de reactivos

• Varianza y desviación típicaUn estadístico muy útil para analizar las propiedades de un

reactivo es la variación de las respuestas. Para ello se utilizan la varianza y la desviación estándar. Para ítems dicotómicos la fórmula de cálculo se reduce a las siguientes fórmulas:

Varianza:

Desviación típica

2S p q

S p q

Varianza y desviación típicaVarianza y desviación típicaVarianza y desviación típicaVarianza y desviación típica

Análisis convencional de ítemsAnálisis convencional de ítemsAnálisis convencional de ítemsAnálisis convencional de ítems• Análisis descriptivo de reactivos

– Distribución de frecuencias de respuestas correctas y distractores– Representación gráfica de cada reactivo.– Medias de respuestas correctas.– Varianzas y desviaciones estándar.

• Correlación entre reactivosCorrelación entre reactivos– Coeficiente de correlación de Pearson.Coeficiente de correlación de Pearson.– Coeficiente de correlación Coeficiente de correlación (fi). (fi).

• Correlación entre reactivo y total de la prueba– Coeficiente de correlación de Pearson.– Coefeciente de correlación biserial puntual (o punto biserial)– Coeficiente de correlación biserial.– Correlación parcial y múltiple.

• Análisis factorial de la matriz de intercorrelaciones de los reactivos.

Correlación entre reactivosCorrelación entre reactivosCorrelación entre reactivosCorrelación entre reactivos

• Coeficiente de correlación de PearsonLa fuerza de la asociación entre variables se evalúa mediante

distintos procedimientos. El coeficiente de correlación producto-momento de Pearson es un procedimiento utilizado cuando las variables son numéricas y continuas, aunque en la mayoría de los procedimientos informáticos es el procedimiento por defecto. Se calcula aplicando la siguiente fórmula:

2 22 2XY

N

N N

XY X Yr

X X Y Y

Correlación entre reactivosCorrelación entre reactivosCorrelación entre reactivosCorrelación entre reactivos

• Coeficiente de correlación (fi).Una forma simplificada del coeficiente de correlación es el

coeficiente (fi), que se utiliza para correlacionar variables dicotómicas. En el ejemplo que ha sido analizado hasta ahora, los ítems son dicotómicos, por lo que se debe aplicar la siguiente fórmula:

Donde: pij es la proporción de aciertos conjuntos entre dos reactivos; pi la proporción de aciertos en el ítem i; pj la proporción de aciertos en el ítem j; qi la proporción de errores en el ítem i y qj los errores en el ítem j.

ij i j

i i j j

p p p

p pq q

Sujetos Ít1 Ít2 Ít3 Ít4xxx_xx21 a d c bxxx_xx22 d c c axxx_xx23 c b a dxxx_xx24 d a a dxxx_xx25 c c a axxx_xx26 b c b dxxx_xx27 a - d axxx_xx28 c c a axxx_xx29 c a a dxxx_xx30 b c a dxxx_xx31 a c d dxxx_xx32 a b d dxxx_xx33 - b a axxx_xx34 b c b bxxx_xx35 b - b cxxx_xx36 b d a dxxx_xx37 c a d cxxx_xx38 a c c dxxx_xx39 c c d dxxx_xx40 c c b d

Sujetos Ít1 Ít2 Ít3 Ít4xxx_xx1 c c a dxxx_xx2 c d c dxxx_xx3 a d a dxxx_xx4 b a d bxxx_xx5 - - a axxx_xx6 c a a dxxx_xx7 c c b dxxx_xx8 c c c dxxx_xx9 c b - d

xxx_xx10 a a b dxxx_xx11 a c c axxx_xx12 b b a cxxx_xx13 c c a bxxx_xx14 b b a dxxx_xx15 c c a dxxx_xx16 b d b cxxx_xx17 c - b bxxx_xx18 a c c dxxx_xx19 d a - dxxx_xx20 c c a b

Correlación de reactivosCorrelación de reactivosCorrelación de reactivosCorrelación de reactivos

Sujetos Ít1 Ít2 Ít3 Ít4xxx_xx1 0 1 1 1xxx_xx2 0 0 0 1xxx_xx3 0 0 0 1xxx_xx4 1 0 0 0xxx_xx5 0 0 1 0xxx_xx6 0 0 1 1xxx_xx7 0 1 0 1xxx_xx8 0 1 0 1xxx_xx9 0 0 0 1

xxx_xx10 0 0 0 1xxx_xx11 0 1 0 0xxx_xx12 1 0 1 0xxx_xx13 0 0 1 0xxx_xx14 1 0 1 1xxx_xx15 0 1 1 1xxx_xx16 1 0 0 0xxx_xx17 0 0 0 0xxx_xx18 0 1 0 1xxx_xx19 0 0 0 1xxx_xx20 0 1 1 0

Correlación de reactivosCorrelación de reactivosCorrelación de reactivosCorrelación de reactivosSujetos Ít1 Ít2 Ít3 Ít4

xxx_xx21 0 0 0 0xxx_xx22 0 1 0 0xxx_xx23 0 0 1 1xxx_xx24 0 0 1 1xxx_xx25 0 1 1 0xxx_xx26 1 1 0 1xxx_xx27 0 0 0 0xxx_xx28 0 1 1 0xxx_xx29 0 0 1 1xxx_xx30 1 1 1 1xxx_xx31 0 1 0 1xxx_xx32 0 0 0 1xxx_xx33 0 0 1 0xxx_xx34 1 1 0 0xxx_xx35 1 0 0 0xxx_xx36 1 0 1 1xxx_xx37 0 0 0 0xxx_xx38 0 1 0 1xxx_xx39 0 1 0 1xxx_xx40 0 1 0 1

Correlación entre reactivosCorrelación entre reactivosCorrelación entre reactivosCorrelación entre reactivos

El número de aciertos se traslada a una tabla de doble entrada. En la diagonal, donde cada reactivo se cruza consigo mismo se coloca el número de aciertos en el ítem.

Luego se dividen por la cantidad de evaluados (N) para obtener la proporción (p).

0,23 0,43 0,40 0,58

Para obtener el valor de los errores (q) se aplica la fórmula 1-p.

0,77 0,57 0,60 0,42

Correlación entre reactivosCorrelación entre reactivosCorrelación entre reactivosCorrelación entre reactivos

En la misma tabla se coloca el número de acierto conjunto en cada ítem.

Para obtener la proporción de aciertos conjuntos (pij) se divide por el número de participantes (N) y se coloca en la intersección en la parte inferior.

0,23 0,43 0,40 0,58

Finalmente, para obtener el coeficiente (fi), se aplica la fórmula anteriormente presentada:

0,77 0,57 0,60 0,42

ij i j

i i j j

p p p

p pq q

Correlación entre reactivosCorrelación entre reactivosCorrelación entre reactivosCorrelación entre reactivos

Correlación entre reactivosCorrelación entre reactivosCorrelación entre reactivosCorrelación entre reactivos

Correlación entre reactivosCorrelación entre reactivosCorrelación entre reactivosCorrelación entre reactivos

Correlación entre reactivosCorrelación entre reactivosCorrelación entre reactivosCorrelación entre reactivos

Correlación entre reactivosCorrelación entre reactivosCorrelación entre reactivosCorrelación entre reactivos

Correlación entre reactivosCorrelación entre reactivosCorrelación entre reactivosCorrelación entre reactivos

Comparación de coeficientesComparación de coeficientesComparación de coeficientesComparación de coeficientes

-1 = Coeficiente de correlación fi, con redondeo.

Pearson = Coeficiente de correlación de Pearson.

-2 = Coeficiente de correlación fi, sin redondeo.

-1 = Coeficiente de correlación fi, con redondeo.

Pearson = Coeficiente de correlación de Pearson.

-2 = Coeficiente de correlación fi, sin redondeo.