TEMA Nº 8 ANALISIS DE

LOS ITEMS

INTRODUCCION

El análisis de los ítems pretende obtener evidencias sobre su calidad con objeto de identificar los que se han de descartar, reformular los que puedan ser mejorados y conservar los que presenten buenas propiedades psicométricas (conociendo la calidad de cada uno de los ítems, podríamos deducir la calidad psicométrica del test)

En general, el análisis de los ítems de un test se puede llevar a cabo mediante dos procedimientos complementarios: análisis cuantitativos (se obtienen determinados estadísticos basados en la distribución de las respuestas de los sujetos a las distintas alternativas) y juicio de expertos (se cuestiona la calidad métrica del ítem en función de criterios conocidos). Un buen análisis de ítems debe incluir ambos procedimientos (cuantitativo y cualitativo)

Una vez analizada la calidad psicométrica de los ítems de un test se procede a estudiar la calidad global del test mediante la fiabilidad y la validez.

Los ítems pueden adoptar distintos formatos y evaluar variables cognitivas (aptitudes, rendimiento, etc.) en las que hay respuestas correctas e incorrectas y no cognitivas (actitudes, intereses, valores, etc.) en las que no hay respuestas correctas e incorrectas. Los procedimientos cuantitativos que se utilizan aluden a ítems aptitudinales o de rendimiento (existe una alternativa correcta y una o varias incorrectas)

Aspectos a evaluar

El análisis de la alternativa correcta permite obtener: el índice de dificultad (proporción de sujetos que responde al ítem correctamente), el índice de discriminación (capacidad del ítem para diferenciar a los sujetos con distinto nivel en el rasgo medido), la fiabilidad (cuantifica el grado en el que el ítem está midiendo con precisión el atributo de interés) y la validez del ítem (determina el poder predictivo de cada uno de los ítems respecto a un criterio externo de interés). Los índices de dificultad y discriminación están relacionados con la media y la varianza de las puntuaciones totales del test; la fiabilidad y la validez, con la desviación típica.El análisis de las respuestas incorrectas (distractores) aporta evidencias sobre la utilidad de cada alternativa y su contribución a la calidad métrica del ítem.El funcionamiento diferencial de los ítems (FDI): sujetos de distintos grupos de pertenencia, con un mismo nivel en el rasgo medido, tienen distintas probabilidades de éxito en el ítem.

DIFICULTAD DE LOS ITEMS

Para cuantificar la dificultad de los ítems dicotómicos o dicotomizados se utiliza la proporción de sujetos que han respondido correctamente al ítem (depende de la muestra utilizada): ID = A / N (Oscila entre 0 y 1) A = numero de sujetos que aciertan el ítem. N = numero de personas que intentan responder el ítem. Cero indica que ningún sujeto lo ha acertado (difícil) / Uno que todos lo ha acertado (fácil)

El Índice de dificultad está directamente relacionado con la media y la varianza del test: ID = Σ X / N ; X = Σ ID Siendo X (0 o 1aciertos / errores) el índice de dificultad es igual a la media de aciertos o errores. La media de las puntuaciones en el test = suma de los índices de dificultad de los ítems.

S2= p.q Varianza de los ítems dicotómicos (p = proporción de sujetos que responden correctamente al ítem (p = ID) y (q = 1 – p) Un ítem alcanza su máxima varianza cuando p = 0,5

Corrección de los aciertos por azar

En ítems de elección múltiple, se debe hacer una corrección en el cálculo de la dificultad del ítem que controle las respuestas al azar. A mayor número de distractores (alternativas incorrectas) menos probables son los aciertos por azar.

En general los ítems no deben tener dificultades por debajo de 0,20 ni por encima de 0,80 (la mayoría deben presentar niveles medios entre 0,30 y 070)

PROBLEMA EJEMPLO En la tabla aparecen las respuestas de 200 sujetos a 3 alternativas (A,

B, C), donde la opción B es la correcta. Por filas aparece la frecuencia de sujetos que han seleccionado cada alternativa y que han obtenido puntuaciones superiores e inferiores al 50% de su muestra.

PODER DISCRIMINATIVO DE LOS ITEMS

Lógica del concepto dado un ítem, los sujetos con buenas puntuaciones en el test han de acertarlo en mayor proporción que los que tienen bajas puntuaciones.

Discriminar diferenciar entre los sujetos en función de su nivel de competencia. En general, el cálculo del poder discriminativo de un ítem implica contrastar la proporción de aciertos entre dos grupos extremos de aptitud, uno bajo y otro alto (si el ítem discrimina adecuadamente, la proporción de aciertos sería mayor en el grupo de alta aptitud que en el de baja aptitud)

Formas de estudiar el poder discriminativo de los ítems:

Índice de discriminación basado en los grupos extremos

Índices de discriminación basados en la correlación

Ítems de actitudes:

Índice de Homogeneidad (IH); basado en la correlación

Índice de discriminación basado en la correlación corregida

Índice de discriminación basado en los grupos extremos.

Índice de discriminación basado en los

grupos extremos:

Problema ejemplo: Las respuestas de los sujetos de una muestra a un elemento de un test, se distribuyeron según la tabla adjunta. La respuesta correcta es la C y tanto las puntuaciones en el test como en el ítem se distribuyen normalmente. Averiguar el índice de discriminación del ítem.

Índices de discriminación basados en la

correlación La discriminación también se puede definir como la correlación entre

las puntuaciones de los sujetos en el ítem y sus puntuaciones en el test). La puntuación total de los sujetos en el test se calcula descontando la puntuación del ítem y el índice de correlación debe ser coherente con el tipo de puntuaciones del ítem y del test.

Problemas ejemplo Se ha construido un test que se corrige clasificando a los sujetos en

dos categorías: aptos y no aptos. Todos los elementos del test son dicotómicos. Se aplica el test a un grupo normativo y obtenemos la siguiente tabla:

Problemas ejemplo

A partir de los datos de la tabla calcular el poder discriminativo del ítem nº 2, utilizando la correlación biserial y la biserial puntual.

Ítems de Actitudes:

Como se ha visto, para los ítems de las actitudes no existen respuestas correctas o incorrectas (el sujeto se sitúa en un continuo en función del grado del atributo medido). El procedimiento para estimar la discriminación de los ítems de actitudes es calcular la correlación entre las puntuaciones del ítem y las del test (como los ítems no son dicotómicos correlación de Pearson)

Problema ejemplo La siguiente matriz de datos representa las respuestas dadas por ocho

sujetos a un test de elección múltiple de seis elementos, cada uno de ellos con cuatro alternativas de respuesta. Por simplicidad, en la matriz se ha indicado únicamente si el sujeto ha elegido la opción correcta (con un 1) o una opción incorrecta (con un 0). Calcular El índice de homogeneidad del elemento nº 4 y determinar el número de discriminaciones que puede hacer el ítem nº 5:

Índice de homogeneidad (IH)

Problema ejemplo

En la tabla se representan las puntuaciones dadas al ítem nº 9 por el 25% de los sujetos con puntuaciones más altas, y el 25% con puntuaciones más bajas en un test de actitudes formado por ítem de tipo Likert con 10 categorías de respuesta. Sabiendo que la varianza de ambos grupos (superior e inferior) es igual a 1,56, ¿podemos decir que el elemento nº 9 discrimina de manera estadísticamente significativa? (NC = 95% / Contraste bilateral)

Decisión (NC 95%; bilateral) t con n1 + n2 – 2 (3+3-2 = 4) grados de libertad t0,975 = 2,78 Como T = 4,9 > TC = 2,78 Rechazamos H0 (las medias son distintas y, por tanto, el ítem nº 9 tiene poder discriminativo)

Factores que afectan a la discriminación

(relacionados con la discriminación)

Variabilidad de los ítems (si no hay variabilidad en las respuestas el ítem no discrimina)

Dificultad del ítem (con dificultad media, p = 0,5, el ítem alcanza máximo poder discriminativo)

Dimensionalidad del test (el test debe medir un único concepto; unidimensional)

Fiabilidad del test (ítems con poco poder discriminativo se asocian a tests poco fiables)

INDICES DE FIABILIDAD Y VALIDEZ DE

LOS ITEMSÍndice de Fiabilidad de los ítems (criterio interno) se utiliza para cuantificar el grado que el ítem en cuestión está midiendo con precisión el atributo de interés.

Índice de Validez de los ítems (criterio externo) Implica correlacionar las puntuaciones obtenidas por una muestra de sujetos en el ítem con las puntuaciones obtenidas por los mismos sujetos en algún criterio externo de interés.

Problema ejemplo

En la tabla se presentan las puntuaciones de 5 sujetos en un test de tres ítems y los correspondientes Índices de validez:

Pasamos a calcular las correlaciones entre cada ítem (1, 2 y

3) y la puntuación total en el test (eliminando la

correspondiente al ítem implicado):

A partir de los índices de validez y fiabilidad de los ítems

calculamos el coeficiente de validez del test:

ANALISIS DE DISTRACTORES

Una vez realizado el análisis de las alternativas correctas, para mejorar la calidad de los ítems resulta igual de relevante analizar los distractores o respuestas incorrectas. Básicamente, este análisis pretende:Controlar que todas las acciones incorrectas sean equiprobables (igual de atractivas para los que no conocen la respuesta correcta) y elegidas por un mínimo de sujetos (10%)Que el rendimiento en el test de los sujetos que seleccionan las respuestas incorrectas sea menor al de los sujetos que han seleccionado las correctas (se espera que a más aptitud disminuya el número de sujetos que seleccionan las alternativas incorrectas y viceversa).

Equiprobabilidad de los distractores Los distractores son equiprobables si son seleccionados por un número mínimo de sujetos y son igualmente atractivos para los que no conocen la respuesta correcta. Se comprueba mediante la prueba Chi-Cuadrado de Independencia

Problema ejemplo

Se sospecha que las alternativas incorrectas de un ítem del último examen de Psicometría no son equiprobables. En la siguiente tabla se muestra la frecuencia de sujetos que seleccionaron cada una de las tres alternativas del ítem, donde la B es la correcta. Averiguar si las alternativas incorrectas son estadísticamente equiprobables a un nivel de confianza del 95%.

Poder discriminativo de los distractores (basado

en la correlación biserial puntual)

Si, normalmente, esperamos que la correlación entre el test y la opción correcta sea alta y positiva; en el caso de los distractores, lo esperable es que su correlación sea negativa (cuando aumenta la aptitud de los sujetos, disminuye la proporción de sujetos que elige la opción incorrecta). Para cuantificar el poder discriminativo de los distractores recurrimos a la correlación que será biserial, biserial puntual o de Pearson en función de las variables:

Problema ejemplo

En la siguiente tabla se muestran las respuestas de cinco sujetos a un ítem de tres alternativas, donde la opción correcta es la C, así como la opción incorrecta seleccionada y la puntuación total obtenida en el test. Calcular la discriminación del distractor A utilizando la correlación biserial puntual y comentar el resultado.

El resultado (rbp = 0,73), indica que el distractor esta confundiendo a los sujetos que obtienen mejores puntuaciones en el test; por tanto, no discrimina en sentido contrario a la alternativa correcta, tal como cabría esperar de un buen distractor.

FUNCIONAMIENTO DIFERENCIAL DE LOS

ITEMS (FDI)

De forma sistemática sujetos de distintos grupos de pertenencia, pero con el mismo nivel en el rasgo medido, tienen distintas probabilidades de éxito en el ítem de estudio.

Conceptos básicos:

Sesgo (sujetos igualmente hábiles no tienen la misma probabilidad de acertar el ítem por el hecho de pertenecer a subpoblaciones distintas). El sesgo está relacionado con la validez de constructo e indica que está actuando alguna variable extraña.

FDI (detecta que un ítem está funcionando de manera distinta en dos grupos con el mismo nivel de aptitud). Detectada la circunstancia, no apunta posibles causas.

Impacto (diferencias reales entre grupos que se deben a diferencias en el nivel de competencia de las subpoblaciones).Mientras que en el FDI las diferencias se deben a motivos distintos al nivel de competencia, en el impacto hay un grupo de sujetos más competente.

Para detectar FDI se utiliza el

metodo de Mantel-HaenszelPrimero, identificar una variable que sea la posible causante del FDI.

Estructurar dos grupos, uno de referencia (GR) que suele ser el grupo favorecido y otro focal (GF) que suele ser el perjudicado.

Se establecen distintos niveles de aptitud (a partir de la puntuación obtenida en el test)

Se cuentan las respuestas correctas e incorrectas para cada grupo y nivel de habilidad.

El procedimiento se traduce en los

siguientes criterios

Problema ejemplo Se quiere investigar si un test de razonamiento matemático presenta sesgo

en uno de sus ítems. Para ello se contabilizaron los aciertos y errores en un grupo de niños y otro de niñas en las categorías de alta y baja competencia. Analizar si existe FDI, tomando como referencia el grupo de los niños.