Manuel Miguel Ramos lvarez Programa Anlisis tems 1

Programa informtico para el anlisis de tems de pruebas dicotmicas

Manuel Miguel Ramos-lvarez junio de 2005

Universidad de Jan mramos@ujaen.es

Resumen:

Los elementos que componen una prueba objetiva, ya sea un test un examen o algn

instrumento de este tipo, frecuentemente se basan en un formato dicotmico, de manera que hay dos posibles respuestas que son de carcter excluyente. En este contexto, se pueden analizar una serie de parmetros estadsticos individuales para cada uno de los tems que constituyen el sustrato formal sobre el que se asientan las bases cientficas de cualquier instrumento o tcnica de medida. El programa Analitem.xls es muy sencillo de manejar y se implementa en Excel, todo lo que requiere es incorporar filas y/o columnas para ajustarse a la muestra del investigador. El programa proporciona ndices de Dificultad, Discriminacin, Homogeneidad, Fiabilidad y Validez; as como Alfa de Cronbach y Validez predictiva. Tambin se proporciona un resumen de los conceptos fundamentales en el material que figura a continuacin.

Para acceder al programa pulse aqu

ndice de contenidos

1. ANLISIS DE DIFICULTAD. .........................................................................................................2

1.1. RELACIN CON OTROS PARMETROS DEL TEST. ............................................................................2 2. ANLISIS DE DISCRIMINACIN (IDN). ....................................................................................2

2.1. CLCULO BASADO EN LA CORRELACIN TEM-TEST......................................................................3 2.2. RELACIN CON OTROS PARMETROS DEL TEST. ............................................................................3

3. ANLISIS DE FIABILIDAD Y VALIDEZ.....................................................................................4 3.1. ANLISIS DE LA VALIDEZ (IVJ RJY).............................................................................................4 3.2. ANLISIS DE LA FIABILIDAD (IFJ RJJ) .........................................................................................4 3.3. RELACIN CON OTROS PARMETROS DEL TEST. ............................................................................4

Manuel Miguel Ramos lvarez Programa Anlisis tems 2

111... AAANNNLLLIIISSSIIISSS DDDEEE DDDIIIFFFIIICCUUULLLTTTAAADDD... C La proporcin de examinados que responden correctamente a ese tem.

NAID j =d

Para elementos de eleccin mltiple:

N1k

EAID j

=d

Mejor llamarle ndice de facilidad.

111...111... RRReeelllaaaccciiinnn cccooonnn oootttrrrooosss pppaaarrrmmmeeetttrrrooosss dddeeelll ttteeesssttt... En relacin con el test global:

=j

jj

j IDX dp

Adems, se relaciona fundamentalmente con la varianza del del tem y del test.

Para tems (dicotmicos) se cumple:

)1(

);1(2

jjj

jjjjj

IDdIDdS

IDdIDdqpS

==

Para el test, se cumple: ( ) ( ) [ ] [ ] =

jjjj

jjXjX IDnIDdIDdRSS )1(

En concreto, la Varianza ser mxima para los valores intermedios de Pj; en otras palabras la Dificultad media maximiza la Varianza del tem. Luego, la mxima cantidad de informacin acerca de las diferencias entre los examinados se obtiene cuando las proporciones son intermedias (Pj = Qj = 0,5).

222... AAANNNLLLIIISSSIIISSS DDDEEE DDDIIISSSCCCRRRIIIMMMIIINNNAAACCCIIINNN (((IIIDDDNNN)))... Un tem tiene elevado poder discriminativo si contribuye a la distincin, discriminacin, de

los que puntan alto en el test de los que puntan bajo en el mismo. Es decir, si contribuye a diferenciar individuos que exhiben el constructo o rasgo de aquellos que no lo exhiben. Convencionalmente se suele denominar grupo de personas competentes a aquellas que puntan alto en la prueba e incompetentes a los que puntan bajo (nomenclatura un tanto desafortunada pero inevitable).

Este anlisis se puede efectuar de dos maneras, bien estimando la relacin del tem con el test o bien a travs de la divisin del grupo en dos subgrupos, los competentes y los incompetentes, y estimando la proporcin de aquellos que eligen el tem en cada uno de los subgrupos.

Manuel Miguel Ramos lvarez Programa Anlisis tems 3

222...111... CCClllcccuuulllooo bbbaaasssaaadddooo eeennn lllaaa cccoorrrrrreeelllaaaccciiinnn ttteeemmm---ttteeessttt... o s Como consecuencia de lo anterior podra definirse el ndice de discriminacin como la

correlacin entre las puntuaciones de los sujetos en el tem y sus puntuaciones en el test (puntuacin total).

La correlacin a utilizar depender de los formatos de tems y test y teniendo en cuenta que ha de descontarse la contribucin que hace el tem al test total ya que si no se estara elevando impropia y espuriamente la estimacin.

Veamos los 4 casos ms importantes:

1) Biserial-puntual. Item dicotmico y el test es cuantitativo continuo.

j

j

X

XAbpj q

pS

XX=RIDn

A se refiere a los Aciertos en el test. p es la proporcin de los sujetos que aciertan el tem y q la de los que lo fallan (q= 1-

p).

X se refiere al test; por tanto XX es la media del test y Sx su desviacin tpica. 2) Biserial. Item dicotomizado a partir de una variable continua normal y el test es cuantitativo continuo (i.e. tems que admiten gradacin de Resp. pero se dicotomizan).

rX X

SPyb

A X

X

j=

y expresa la ordenada que corresponde al valor de la puntuacin tpica en la Normal que deja por debajo un rea igual a "p".

No emplearlo si se sospecha una distribucin platicrtica o bimodal. 3) Coeficiente PHI. Item y test son casos dicotmicos. Es una mera aplicacin de Pearson, luego se puede estimar con dicha frmula. 4) Tetracrica. Si las 2 estn dicotomizadas a partir de variables continuas y segn un modelo de la Normal. Tambin es una aplicacin de Pearson y su clculo es complejo, luego se puede usar Pearson como aproximacin.

5) Basado en Pearson. Si tanto el tem como el total son variables contnuas. Las escalas tipo Likert (ordinales) requieren el ndice de Spearman que tambin se puede aproximar mediante Pearson.

222...222... RRReeelllaaaccciiinnn cccooonnn oootttrrrooosss pppaaarrrmmmeeetttrrrooosss dddeeelll ttteeesssttt... 1) Variabilidad.

La variabilidad de un test es una medida de la capacidad discriminativa del mismo ya que por ejemplo si la desviacin tpica valiese cero es porque no habra discriminacin alguna, pues todos los sujetos manifiestan la misma puntuacin (no

Manuel Miguel Ramos lvarez Programa Anlisis tems 4

se diferencian en absoluto). Adems, es fcil ver que la capacidad discriminativa del test (SX) est ntimamente relacionada con el IDn de los tems.

jjj

jjXjX )IDn()S(=RS=S

Nota: Descontar la influencia del tem en el test global:

rr S S

S S 2 r S Sj(x j)

jx x j

j2

x2

jx j x

=

+

333... AAANNNLLLIIISSSIIISSS DDDEEE FFFIIIAAABBBIIILLLIIIDDDAAADDD YYY VVVAAALLLIIIDDDEEEZZZ... Pretendemos medir cunto de fiable o vlido resulta cada tem respecto al test total, lo que

sera pertinente a la hora de detectar tems concretos que pudieran estar fallando cuando la fiabilidad/validez global fuera(n) baja(s).

333...111... AAAnnnllliiisssiiiss dddeee lllaaa vvvaaallliiidddeeezzz (((IIIVVVs

s

jjj RRRjjjYYY))) La validez del tem expresa la correlacin del tem con el criterio. Se calcula como el ndice

de discriminacin pero correlacionando el componente con el criterio global en lugar del test.

Ahora no existe el problema de tener que descontar el tem del total ya que se trata del criterio que incluye otros elementos distintos para medir el constructo-.

333...222... AAAnnnllliiisssiiiss dddeee lllaaa fffiiiaaabbbiiillliiidddaaaddd (((IIIFFFjjj RRRjjjjjj ))) Expresa la ponderacin del poder discirminativo en funcin de la dispersin del mismo.

Formalmente: IFj=Rjj=Sj RjX

333...333... RRReeelllaaaccciiinnn cccooonnn oootttrrrooosss pppaaarrrmmmeeetttrrrooosss dddeeelll ttteeesssttt...

1) Variabilidad del test y homogeneidad de los tems. Segn la formulacin que veamos ms arriba para relacionar variabilidad-discriminacin, quedar claro que sta tambin se relaciona con la fiabilidad.

=j

jj

jjj

jXjX IF)IDn()S(=RS=S

Tener en cuenta:

S P (1 P ) S P (1 P ) rj j j x j jj

= = jx Para tems dicotmicos. De aqu se desprende que la homogeneidad del tem y su discriminacin o fiabilidad

son conceptos diferentes aunque estrechamente relacionados. O de otra manera, que el poder de discriminacin del test, a travs de la variabilidad, depende de la dificultad y la discriminacin de los componentes y no slo de la discriminacin de los mismos.

Es decir que depende de la variabilidad de los tems y de su poder de discriminacin o alternativamente de su dificultad (recogido en Sj) y de su poder de discriminacin.

Manuel Miguel Ramos lvarez Programa Anlisis tems 5

Luego, para maximizar la variabilidad del test hay que considerar simultneamente la interaccin de los dos tipos de ndice.

2) Fiabilidad como consistencia

=

2

jjxj

j

2j

rS

S1

1nn

Segn esta reescritura del coeficiente alfa de Cronbach, alfa se relaciona ntimamente con la homogeneidad del tem y con su grado de discriminacin o de fiabilidad. Adems lo hace de manera directa si consideramos que lo que va en el denominador a su vez lo hace restando de la unidad.

Manuel Miguel Ramos lvarez Programa Anlisis tems 6

3) Validez del test.

RS r

S rxyj jy

j jx

=

R( ) r

( ) rxyjy

jx

=

P P

P P

j j

j j

1

1 Para tems dicotmicos

Aqu queda tambin clara la relacin de validez con todos los conceptos vistos. Tiene una relacin directa con los ndices de validez de los tems e inversa con los ndices de fiabilidad o de discriminacin de los mismos. Esto recoge una paradoja importante. Si optimizamos la fiabilidad al incrementar el poder de discriminacin (ecuacin de alfa), esto rebajara la validez (ecuacin que acabamos de ver). Luego, se debe buscar un punto de equilibrio.

ANLISIS DE DIFICULTAD.Relacin con otros parmetros del test.

ANLISIS DE DISCRIMINACIN (IDN).Clculo basado en la correlacin tem-test.Relacin con otros parmetros del test.

ANLISIS DE FIABILIDAD Y VALIDEZ.Anlisis de la validez (IVj RjY)Anlisis de la fiabilidad (IFj Rjj)Relacin con otros parmetros del test.