propiedades psicométricas de un test -...

Informes de Investigación de eCAT

Propiedades psicométricas de un Test Adaptativo de Listening

Francisco J. Abad ¹

Julio Olea ¹

Juan R. Barrada ²

Universidad Autónoma de Madrid ¹

Universidad Autónoma de Barcelona ²

Informe de investigación eCAT 10-01

mayo de 2010

Cátedra UAM – IIC “Modelos y

Aplicaciones Psicométricas”

http://www.iic.uam.es/catedras/map

Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________

2

Índice de contenidos

Resumen…………………………………………………………………….. 3

Abstract …………………………………………………………………….. 4

CONSTRUCCIÓN DEL BANCO DE ÍTEMS Y ANÁLISIS DE SUS

PROPIEDADES PSICOMÉTRICAS……………………………………. 5

Elaboración del banco y diseño de anclaje……………………………….. 5

Participantes, instrumentos y tiempo invertido………………………….. 6

Análisis psicométrico y estudio de unidimensionalidad…………………. 8

Ajuste, equiparación y estimación de parámetros………………………. 11

Error típico de medida basado en la función de información………….. 15

ALGORITMO ADAPTATIVO………………………………………….. 17

ESTUDIO DE LAS PROPIEDADES PSICOMÉTRICAS DEL TAI…. 19

ESTUDIOS DE VALIDEZ DE LAS PUNTUACIONES……………….. 23

PROPUESTA DE CONSIDERACIÓN DE LA PRECISIÓN

DE LOS NIVELES ESTIMADOS EN listening………………………….. 33

REFERENCIAS……………………………………………………………. 36

APÉNDICES……………………………………………………………….. 37

INTERPRETACIÓN NORMATIVA Y CRITERIAL………………….. 47


3

Resumen

En el presente informe de investigación se describen los principales estudios realizados

para la creación de un Test Adaptativo Informatizado de listening.

En primer lugar, se describe el procedimiento seguido para la generación y calibración

del banco de ítems. Se utilizó un diseño de anclaje en el que se aplicaron 102 ítems

repartidos en tres subtests (12 ítems comunes y 30 ítems específicos a cada forma)

aplicadas a distintas muestras (n1 = 592; n2 = 605; n3 = 379). Se estudió la dimensionalidad

de los ítems del banco mediante la técnica del análisis paralelo y se contrastó la

unidimensionalidad mediante análisis factorial confirmatorio. Finalmente, se calibraron

los ítems mediante el método bayesiano MML y se estudio el ajuste de los ítems al

modelo logístico de 3 parámetros. A partir de los análisis se descartaron 7 de los 102

ítems; por lo tanto el banco final se compone de 95 ítems.

En segundo lugar, se describe el funcionamiento del algoritmo adaptativo

implementado ya en un TAI previo, eCAT-grammar, y que básicamente consiste en

aplicar un procedimiento de estimación de máxima verosimilitud y un método de

selección de ítems basado en la máxima información con algunas restricciones. Con

objeto de establecer las condiciones más adecuadas para finalizar el test, se realizó un

estudio de simulación con una muestra de 50.000 sujetos. Los resultados muestran que

se puede obtener un balance adecuado de precisión y seguridad con un criterio de

parada de 20 ítems y una tasa máxima de exposición del 40%.

En tercer lugar, se describen varios estudios de validación de las puntuaciones en

listening, poniéndolas en relación con los niveles de gramática de los evaluados (eCAT-

grammar) y varias preguntas sobre formación en el idioma inglés (cuestionario de

formación). Se realizan regresiones lineales y probit sobre distintas variables criterio

(años de estancia, presencia del inglés en el hogar, años de formación en academias,

nivel autopercibido de inglés,…). En todos los casos, la puntuación estimada en

listening manifiesta una alta capacidad predictiva, aunque menor que la prueba eCAT-

grammar. La validez incremental de listening en comparación a eCAT-grammar es

mayor en relación a las variables criterio más directamente relacionadas con el nivel de

comprensión oral (p.e., nivel autopercibido de capacidad conversacional).

En cuarto lugar, se realiza una propuesta en relación a cómo tener en cuenta la

precisión de las estimaciones en la clasificación final en deciles que se realiza para la

interpretación individual del nivel alcanzado.

Finalmente, se incluye la información fundamental a transmitir a los evaluados

sobre su rendimiento, incluyendo información normativa y criterial referida al decil

donde se ubica.


4

Abstract

In this research report the main studies for the development of a computerized adaptive

testing of English listening are described.

Firstly, we describe the procedure employed for the generation and calibration of

the item bank. An anchor design was used, where 102 items were applied divided in

three subtests (12 common items and 30 specific items for each form) administered to

different samples (n1 = 592; n2 = 605; n3 = 379). The dimensionality of the bank was

studied by means of the parallel analysis and the unidimensionality was checked with a

confirmatory factor analysis. Finally, items were calibrated with the MML method and

the fit of the item to the three parameter logistic model was studied. Attending to the

results of these analysis, 7 out of 102 items were discarded, so the final bank is

comprises 95 items.

Secondly, the adaptive algorithm implemented in the CAT is described. This

algorithm is the same employed in a previous test, eCAT-grammar and basically

consists in a trait level estimation with maximum-likelihood and selection of items by

means of maximum information with some restrictions.

With the objective to establish the test length, a simulation study was carried out with a

sample of 50,000 subjects. The results show that it is possible to obtain a suitable trade-

off between accuracy and security with a stop criterion of 20 items and a maximum

exposure rate of 40%.

In a third place, several validation studies of the scores in listening are described,

relating this scores with the examinees’ level in grammar (eCAT-grammar) and various

questions about knowledge and education in English language. Linear and probit

regressions over several criteria variables were executed (time spent in an English

speaking country, presence of English at home, years studying English, self-description

of English level…). In all the cases, the estimated trait level shows a high predictive

capacity, although lower than eCAT-grammar. The incremental validity of the listening

test in comparison with eCAT-grammar is greater for criteria variables more directly

related with the level of oral understanding (i. e., self-perception of conversational

ability).

In a fourth place, a proposal is presented about how to take into account the

estimation accuracy in the final classification in deciles. This classification is done for

the individual interpretation of the level achieved.

Finally, basic information to offer to the examinees about their performance is

included, with normative information and criterial information related to the decile

where their score is located.


5

1. CONSTRUCCIÓN DEL BANCO DE ÍTEMS Y ANÁLISIS DE

SUS PROPIEDADES PSICOMÉTRICAS

1.1. Elaboración del banco y diseño de anclaje

Dos especialistas en filología inglesa, con la colaboración de tres profesores de psicometría,

elaboraron un banco inicial de 227 ítems de listening. Las expertas siguieron un marco teórico

funcional, desde el que propusieron contenidos verbales sobre situaciones cotidianas,

redactando ítems para 6 niveles de dificultad, siguiendo los criterios establecidos por el

Common European Framework of Reference for Languages –CEFR- (Council of Europe,

1999). En la elaboración de los ítems se tuvo en cuenta que fueran variados en relación al nivel

de destreza que implicaban (captar información específica, captar la idea global o realizar una

inferencia sobre las intenciones de los hablantes). Las filólogas redactaron los ítems, asignando

a cada uno un nivel de dificultad previsible, y realizaron recomendaciones concretas sobre el

proceso de grabación (ritmo de los diálogos, tipos de voz, género de los personajes, etc.).

Cada ítem consta de una entradilla de contextualización (p.e., “Listen to this short dialogue”),

seguida de un audio con el contenido del ítem (un dialogo interaccional, un dialogo

transaccional o un monólogo). Tras el audio, por escrito, se realiza una pregunta sobre lo

escuchado con tres opciones de respuesta, una de las cuales es la correcta. El evaluado dispone

de dos ítems de prueba, con objeto de habituarse al procedimiento de respuesta y de regular bien

el volumen de los altavoces de su ordenador, y de un máximo de 40 segundos para emitir su

respuesta con el ratón; si el sujeto no marca en ese tiempo ninguna opción, su respuesta se

codifica como una omisión al ítem.

El contenido de los ítems fue revisado por dos nativos del idioma que asignaron (de modo

independiente a las filólogas) los niveles de dificultad a los ítems; la correlación entre el nivel

de dificultad inicial previsto por las filólogas y la dificultad media estimada por los nativos fue

0.663.

El proceso de grabación de los ítems se llevó a cabo en un estudio profesional, por actores

nativos británicos y norteamericanos. Los ítems de los dos niveles iniciales de dificultad se leían

más despacio, mientras que los ítems de dificultad media o superior se leían con la velocidad

usual de los hablantes.

Pensando en la aplicación empírica del banco para su posterior calibración, se estableció un

diseño de anclaje donde se tuviera en consideración la dificultad previsible de los ítems que

establecieron las especialistas. Se decidió elaborar 3 subtests con parte del banco, cada uno

formado por 42 ítems, 12 de los cuales forman el test de anclaje (común para todos los subtests)

y 30 específicos de cada subtest. Tanto los ítems del test de anclaje como los propios de cada


6

subtest se eligieron de forma que representaran adecuadamente los 6 niveles de dificultad (2

ítems de cada nivel en el test de anclaje y 5 ítems de cada nivel en los ítems propios del subtest).

Se seleccionaron los ítems en que había más acuerdo entre los jueces en la asignación de la

dificultad. En este subconjunto de 102 ítems, la correlación entre el nivel de dificultad teórico

establecido por las filólogas y la dificultad media estimada por los nativos fue 0.864.

1.2. Participantes, instrumentos y tiempo invertido1

Se aplicaron los tres subtests vía web a una muestra total de 1576 personas (n1 = 592; n2 = 605;

n3 = 379), principalmente participantes en procesos de selección en los que se requería la

evaluación del inglés; una parte importante de la muestra estuvo compuesta por estudiantes

matriculados en Escuelas Oficiales de Idiomas (n1 = 190; n2 = 267; n3 = 187). El tiempo medio

para responder a cada ítem (sin incluir el tiempo del monólogo o la conversación) fue de 13

segundos (DT = 4.76). La distribución del tiempo medio de respuesta por ítem se muestra en la

Figura 1a. Se obtuvo una correlación negativa (r = -0,38) entre el tiempo medio para realizar el

test y el número de aciertos (ver Figura 1b).

1 Se llevo a cabo cierta depuración de los datos. La muestra original se compone de 1597 sujetos. Se eliminan sujetos:

1. Por respuestas a ítems teóricamente no aplicados 2 sujetos a los que se ha aplicado el ítem d181 en vez del d154 (el ítem d181 no pertenece a ningún subtest).

2. Por no tener aplicados algunos ítems de su subtest: 6 sujetos.

3. Sujetos atípicos: 12 sujetos con 15 o más omisiones (5 desviaciones típicas por encima de la media en la variable número de omisiones).

4. Por patrón casi constante de aciertos (39 de 42): 1 sujeto. De los restantes sujetos el que mayor frecuencia de respuestas

acumula en una categoría tiene 27 respuestas (pero no resulta atípico)

También se tuvo en cuenta la eliminación parcial de los datos de algunos sujetos:

1. Eliminación de datos en la variable eCAT para aquellos sujetos con un percentil mayor que 100 en esa variable. Parece

que pudo haber un error en la fusión por presencia de más de un sujeto con el mismo código pero, eso sólo afectaría a esa variable. Son 24 sujetos. Para estos sujetos, los datos en los ítems de listening y en el cuestionario se asumen correctos.

2. Reemplazo de los tiempos mayores de 40 segundos, por 40 segundos. Se asume que eso fue un error que el programa

cometía con los sujetos que respondían justo antes del tiempo máximo. Son 75 sujetos. Se asume que la sustitución es correcta y que el resto de los tiempos son correctos.

3. En el análisis de validez, se eliminaron los datos 6 sujetos ya que sus datos son imposibles (p.e., fuera del rango de la

variable) o muy atípicos (p.e., un sujeto bilingüe que habla y entiende tan bien el inglés como el español, pero es incapaz de escribir textos en inglés y no responde a la pregunta de lectura). En total 1368 personas responden al cuestionario. De

la muestra total, una submuestra de 640 personas son estudiantes de la EOI para las que se tiene información adicional

sobre su nivel educativo y su nivel en la EOI. 4. En el análisis de validez, los valores perdidos eran claramente reemplazables por ceros en algunos casos (p.e., años de

estancia).


7

Figura 1

Distribución del tiempo medio de respuesta por ítem (figura 1a, izquierda) y gráfico de dispersión entre

número de aciertos (Sumadr) y tiempo medio por ítem (figura 1b, derecha).

Figura 1a Figura 1b

Junto al correspondiente subtest, y con objeto de obtener datos sobre la validez de las

puntuaciones, se aplicó también eCAT-grammar y un cuestionario sobre formación en el

idioma. En dicho cuestionario informaban sobre a) el tipo de colegio donde estudiaron la

enseñanza media (bilingüe-inglés u otros), b) su nivel autopercibido en el idioma (en lectura,

escritura y conversación) y c) su formación en inglés (educación primaria y secundaria,

academias, familia, estancias en países anglosajones y otros). Adicionalmente, los estudiantes

de las EOI informaban del nivel actual en que estaban asignados (básico 1 ó 2, intermedio 1 ó 2,

avanzado 1 ó 2) y de su nivel educativo (sin estudios o estudios primarios, bachillerato, estudios

universitarios).

En la Tabla 1 se muestran los estadísticos descriptivos para el tiempo medio de respuesta en

función del decil obtenido en eCAT-grammar. Puede observarse que el tiempo medio se reduce

considerablemente a medida que aumenta el nivel de conocimiento gramatical del idioma.

Tabla 1 Estadísticos descriptivos para el tiempo medio de respuesta en función del decil en eCAT-grammar (para deciles con N > 50)

Decil N Mínimo Máximo Media Desv. típ.

4 90 5.48 33.67 15.62 5.79

5 236 5.95 36.02 15.82 5.31

6 307 4.67 28.17 13.78 4.16

7 264 5.00 33.86 13.10 4.58

8 274 1.001 30.00 11.52 4.00

9 144 3.14 29.17 10.49 3.75

10 98 4.02 23.83 10.34 3.51


8

1El valor de 1 resulta un valor atípico, aunque hemos optado por no eliminarlo de los análisis porque pertenece a un evaluado con alto nivel en eCAT listening.

El 78% de los evaluados respondió a todos los ítems antes de que se alcanzara el tiempo

máximo de respuesta (el 92.5% alcanzaron el tiempo máximo en 2 ítems o menos).

La Figura 2a muestra la distribución del número de ítems en el que se alcanza el máximo

tiempo de respuesta. Por otro lado, el 89 % de los participantes no omitió ningún ítem y la

proporción de ítems omitidos fue menor del 5% en el 97% de los casos (la Figura 2b muestra

la distribución del número de respuestas omitidas).

Figura 2

Distribución del número de ítems en los que se alcanza el máximo tiempo de aplicación (figura 2a) y del número de

respuestas omitidas (figura 2b).

Figura 2ª Figura 2b

1.3. Análisis psicométrico y estudio de unidimensionalidad

Se realizaron varios estudios sobre las propiedades psicométricas del test de anclaje y de los

diferentes subtests. En los tres subtests, cada uno con 42 ítems, el número medio de aciertos está

comprendido entre 27.37 y 28.89, y la desviación típica lo está entre 7.16 y 7.68. Las

diferencias entre las medias en los diferentes subtests fueron estadísticamente significativas

(p<0.01), lo que indica la necesidad de proceder a la equiparación de la métrica de los

parámetros de los ítems y de los sujetos, que por otra parte estaba ya prevista en el diseño de

anclaje establecido. Los coeficientes alfa de Cronbach para los tres subtests y para el test de

anclaje fueron respectivamente 0.889, 0.869, 0.862 y 0.638. Siguiendo los criterios clásicos se

deberían eliminar 3 ítems con correlación biserial puntual baja con el total de la prueba, rb < .10

(ítems codificados como d56, d142 y d210). Al eliminar estos ítems, los coeficientes alfa para

los tres subtests fueron 0.893, 0.873 y 0.865, lo que indica un elevado nivel de covariación

positiva entre los ítems de cada subtest. La proporción de aciertos varía entre 0.26 y 0.98 (media


9

= 0.69; DT = 0.17) y rb entre 0.14 y 0.8 (media = .51; DT = 0.14). Los resultados del análisis

clásico se muestran en las Tablas TCT.1, TCT.2, TCT.3 y TCT.4 (ver apéndice 1)2.

Respecto al estudio del supuesto de la unidimensionalidad, se realizaron diversos análisis

factoriales exploratorios sobre las correspondientes matrices de correlaciones entre ítems. Con

el programa FACTOR (Lorenzo y Ferrando, 2006) se aplicó el método de componentes

principales sobre la matriz de correlaciones de Pearson3. En los 3 subtests, el procedimiento de

Análisis Paralelo para la retención de factores revela la existencia de dos factores (ver Figura

3).

Aunque la solución del análisis exploratorio parece ser la de 2 factores, se contrastó el ajuste

para las soluciones de uno y dos factores. Para ello se utilizó el programa Mplus (Muthen y

Muthen, 2006), realizando un análisis factorial confirmatorio (AFC) sobre la matriz de

correlaciones tetracóricas con el método RWLS (recomendado para variables categóricas). En

cada caso se obtuvieron los índices de ajuste CFI, TLI, RMSEA y SRMR. Los resultados se

muestran en la Tabla 2. Puede observarse que la solución unidimensional muestra un buen

ajuste (CFI, TLI > 0.95; RMSEA < 0.05).

2 Con respecto al análisis clásico: en algunos ítems, un distractor es apreciablemente más elegido que la correcta (Anclaje: 1 (d14),

subtest 1: 40 (d204), subtest 2: 41 (d225)). Sin embargo, puesto que el funcionamiento es adecuado en otros aspectos se mantienen en el banco. 3 Se repetió el AP con las correlaciones tetracóricas con el programa Mplus. Los resultados fueron similares salvo para el primer

subtest, que se mostró unidimensional.


10

Figura 3 Resultados del análisis paralelo en cada subtest. Se representan los autovalores obtenidos para la muestra empírica y la media de los autovalores obtenidos en las muestras simuladas (arriba: subtest 1; centro: subtest 2; abajo: subtest 3).

0

1

2

3

4

5

6

7

8

9

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

Factor

Autovalor

Media en muestras aleatoriasau

tova

lor

0

1

2

3

4

5

6

7

8

9

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

Factor

Autovalor

Media en muestras aleatorias

auto

valo

r

0

1

2

3

4

5

6

7

8

9

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

Factor

Autovalor

Media en muestras aleatorias

auto

valo

r


11

Tabla 2 Índices de ajuste (CFI, TLI, RMSEA y SRMR) y porcentaje de varianza total explicado por los factores comunes para los modelos de 1 y 2 factores.

CFI TLI RMSEA SRMR % varianza total

explicado

Subtest 1 1 factor .982 .988 .021 .071 32.7 2 factores .991 .994 .015 .062 36.3



En los tres casos, es clara la presencia de un primer factor predominante (apenas se

incrementa el porcentaje de varianza explicado tras extraer un segundo factor); además si se

extraen dos factores, ambos están estrechamente correlacionados (subtest 1: 0.653; subtest 2:

0.524; subtest 3: 0.608). Por otro lado, la solución de 2 factores no era admisible para el

segundo subtest (un peso factorial del ítem 16 era mayor que 1 y su varianza residual era

negativa; ver Tabla AF.1 en el apéndice 2). Finalmente, al contrastar el modelo unidimensional

mediante un AFC todos los ítems (exceptuando los 3 peores ítems ya identificados a partir del

análisis clásico) pesaban de forma estadísticamente significativa en su factor (p < 0.05; los

pesos variaban entre 0.15 y 0.84, ver Tabla AF.1 en el apéndice 2) y no hubo ningún índice de

modificación alto (mayor de 3.84) en ninguno de los subtests. Los índices de ajuste para la

solución unidimensional en el test definitivo, después de eliminar los 3 ítems, eran

prácticamente idénticos a los mostrados en la Tabla 2.4

1.4. Ajuste, equiparación y estimación de parámetros

Para la aplicación del modelo de TRI se eliminaron los 3 ítems con relaciones bajas con los

demás (ítems con correlaciones biseriales bajas, que pesaban bajo en la solución de un factor).

Se calibraron los ítems según el modelo logístico de 3 parámetros (métrica normal). Para

calibrar en la misma métrica los ítems de todos los subtests se utilizó el diseño de calibración

4 Con respecto al análisis de la unidimensionalidad: en la tabla del apéndice AD.3 se muestran también los pesos para la solución de

dos factores en los 3 subtests. Se requeriría un análisis de contenido para deducir el significado de los dos factores. Los índices de

ajuste para la solución unidimensional en el test definitivo son:

CFI TLI RMSEA SRMR

Subtest 1 .981 .987 .022 .071 Subtest 2 .964 .973 .028 .087 Subtest 3 .945 .959 .032 .090

También puede mencionarse que entre los ítems 28 y 42 (subtest 2) y entre los ítems 8 y 16 (subtest 3) se encuentran residuales

estandarizados muy altos, lo que podría indicar problemas de dependencia local entre esos ítems.


12

concurrente, en el que las respuestas a ítems no aplicados a los sujetos se consideran como datos

perdidos (Hanson y Béguin, 2002). Los parámetros fueron estimados por el procedimiento

máximo-verosímil marginal bayesiano implementado en el programa MULTILOG 7.0 (Thissen,

Chen y Bock, 2003). Para la distribución del nivel de habilidad se asumió una distribución

normal (media= 0; desviación típica= 1). La distribución a priori inicial para los parámetros a

era normal (media= 1.00; desviación típica= 0.588; esta desviación típica equivale a asumir una

desviación típica de 1 para el parámetro a en métrica logística), para los parámetros b, normal

(media= 0; desviación típica= 2) y para el logit de c, una distribución normal (media = -0.69;

desviación típica = 0.5; la media -0.69 equivale aproximadamente a asumir una media de 0.33

para el parámetro c).

Para contrastar el ajuste de los ítems se utilizaron varias aproximaciones. En primer lugar, se

utilizó el programa MODFIT (Stark, 2001) para calcular los ratios x2/gl, que se toman como

heurísticos para tomar decisiones sobre el tamaño de las discrepancias entre las frecuencias

esperadas y observadas para los patrones de respuestas posibles a un ítem, a pares de ítems o a

tripletas de ítems. Valores para las ratio menores de 3 suelen tomarse como indicadores de buen

ajuste (Drasgow, Levine, Tsien, Williams y Mead, 1995). Esta aproximación es especialmente

sensible a la detección de problemas de dependencia local entre pares o tripletas de ítems. En

segundo lugar, se obtuvieron las CCI empíricas y teóricas obtenidas con el programa MODFIT.

Finalmente, se utilizó el programa Goodfit (Orlando y Thissen, 2003) mediante el que se

contrasta la significación de las discrepancias entre las probabilidades de acierto observadas y

esperadas condicionadas a la puntuación en el test. Esta aproximación es sensible al hecho de

que la forma de la CCI teórica, que en nuestro caso sigue el ML3P, sea suficientemente flexible

para modelar la CCI empírica.

Los resultados obtenidos con el programa MODFIT para los tres subtests se muestran en la

Tabla 3. Puede observarse que en todos los ítems y en todas las parejas y tripletas de ítems

contrastadas, las ratio son inferiores a 3.


13

Tabla 3 Distribución de frecuencias para la ratio x2/gl según el contraste (ítems, parejas de ítems, tripletas de ítems) y el subtest (anclaje, subtest 1, subtest 2, subtest 3)

Distribución de frecuencias para el x2/gl

<1 1<2 2<3 3<4 4<5 5<7 >7 Media DT

Test de anclaje (12 ítems)

Ítems 12 0 0 0 0 0 0 .204 .252

Parejas 11 1 0 0 0 0 0 .520 .303

Tripletas 4 0 0 0 0 0 0 .673 .231

Ítems específicos del Subtest 3 (29 ítems)

Ítems 29 0 0 0 0 0 0 .273 .235

Parejas 30 3 0 0 0 0 0 .503 .422

Tripletas 12 3 0 0 0 0 0 .709 .395


Ítems 24 5 0 0 0 0 0 .522 .447

Parejas 29 4 0 0 0 0 0 .597 .300

Tripletas 13 2 0 0 0 0 0 .639 .329


Ítems 23 5 1 0 0 0 0 .727 .439

Parejas 32 1 0 0 0 0 0 .580 .240

Tripletas 14 1 0 0 0 0 0 .606 .154

Los resultados para los índices de ajuste se muestran en la Tabla TRI.1 del apéndice 3. Un ítem

mostró un 2 estadísticamente significativo (p < 0.001; 4 con p < 0.01; 12 con p < 0.05). Para el

87% de los ítems se puede mantener que el modelo se ajusta a los datos (p > 0.05). Las CCI

empíricas y teóricas de los ítems desajustados (p < 0.01) se muestran en la Figura 4. Puede

observarse que incluso en el ítem con mayor desajuste estadístico, el desajuste es poco relevante

desde el punto de vista práctico. Las CCI empíricas y teóricas de todos los ítems se muestran en

el apéndice gráfico TRI.ap.1.


14

Figura 4 Ítems con desajuste: 48 (d51:subtest 2-7Modfit), 49 (d55: subtest 2-8Modfit), 55 (d111: subtest 2-14Modfit) y 82 (d84: subtest 3-12Modfit)

Aunque todos los ítems mostraban un buen ajuste al modelo, algunos ítems tenían parámetros

muy extremos (3 ítems excesivamente fáciles con b < -4 y un ítem con un parámetro c

excepcionalmente alto, c >.59), por lo que se decidió eliminar estos ítems del test (son los ítems

4 (d92), 50 (d61), 70 (d227) y 86 (d125). Por lo tanto, el banco final se compone de 95 ítems

(ver tabla TRI.2, en el apéndice 3). Los valores para los parámetros de discriminación a se

encontraron entre.36 y 2.09 (media= 1.09; desviación típica=.38; el 90% entre 0.47 y 1.75). Para

el parámetro de dificultad b, los valores son medio-bajos y se encuentran entre -2.75 y 1.16

(media= -0.31; desviación típica=.95; el 90% entre -2.17 y 0.95). Para el parámetro de pseudo-

azar c, la distribución se hallaba centrada en torno al valor.28 (media=.28; desviación

típica=.07) con la mayor parte de los valores entre.14 y.39; este valor refleja la calidad de las

opciones incorrectas, puesto que es inferior a 1/3 (recordemos que los ítems tienen 2 opciones

incorrectas). Se obtuvieron correlaciones significativas (p < .01) entre el parámetro b y los

parámetros c (-.379) y a (.294), lo que implica que los ítems más difíciles son los más

discriminativos5. Las distribuciones de los parámetros se muestran en la Figura 5 y los gráficos

de dispersión en la Figura 66.

5 La correlación negativa entre b y c, se produce porque para los ítems fáciles no hay información para estimar el parámetro c, por lo

que los valores estimados son próximos a la media fijada para la distribución previa, que es 0.33. 6 Debe tenerse en cuenta que dado el tamaño de la muestra no se ha podido realizar la validación cruzada por lo que puede haberse

producido cierto “sobreajuste”.

0.0

0.2

0.4

0.6

0.8

1.0

-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0

Pro

b. o

f P

osi

tive

Re

spo

nse

Theta

Fit Plot for Item 7

IRF7

EMP7

0.0

0.2

0.4

0.6

0.8

1.0

-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0

Pro

b. o

f P

osi

tive

Re

spo

nse

Theta

Fit Plot for Item 8

IRF8

EMP8

0.0

0.2

0.4

0.6

0.8

1.0

-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0

Pro

b. o

f P

osi

tive

Re

spo

nse

Theta

Fit Plot for Item 14

IRF14

EMP14

0.0

0.2

0.4

0.6

0.8

1.0

-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0

Pro

b. o

f P

osi

tive

Re

spo

nse

Theta

Fit Plot for Item 12

IRF12

EMP12


15

Figura 5 Distribución de frecuencias para los parámetros a, b y c.

Figura 6 Gráfico de dispersión de los parámetros a, b y c.

1.5. Error típico de medida basado en la función de información

El error típico de medida se obtiene desde la teoría de la respuesta al ítem como el inverso de la

raíz de la función de información y nos informa de la precisión de la estimación del nivel de

rasgo. El error típico de medida obtenido con el TAI no puede ser menor que el que se obtenga

con todo el banco de ítems. En la Figura 7 se muestra el error típico de medida para el banco

completo como función del nivel de rasgo


16

Figura 7 Error de medida como función del nivel de rasgo para el banco completo de 95 ítems

Para el rango de habilidad entre -1.3 y 1.7 el error típico de medida alcanzable si se aplicaran

los 95 ítems del banco es igual o inferior a 0.3, lo que equivale aproximadamente a un

coeficiente de fiabilidad de 0.91. El banco de ítems es más preciso para niveles de habilidad

medio-altos. Claramente, los niveles de habilidad por debajo de -2.2 o por encima de 2.4 no

pueden ser estimados con precisión (errores típicos mayores que 0.5). La distribución del nivel

de rasgo (utilizando la estimación de Modal a Posteriori) se muestra en la Figura 8.

Figura 8

Distribución del nivel de rasgo (MAP)

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

-3.0

-2.8

-2.6

-2.4

-2.2

-2.0

-1.8

-1.6

-1.4

-1.2

-1.0

-0.8

-0.6

-0.4

-0.2

0.0

0.2

0.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

2.0

2.2

2.4

2.6

2.8

3.0

Err

or

típ

ico

de

med

ida


17

2. ALGORITMO ADAPTATIVO

El banco final está por tanto formado por 95 ítems y sus correspondientes parámetros estimados

(a, b y c). El algoritmo adaptativo se encuentra descrito en Olea, Abad, Ponsoda y Ximénez

(2004) y tiene las siguientes características:

Procedimiento de arranque. Para comenzar la prueba, se elige un nivel de rasgo de una

distribución normal truncada entre -1 y +1, aplicando como primer ítem el que resulta más

informativo para dicho nivel. Es, por tanto, un procedimiento de arranque aleatorio entre niveles

medios de rasgo, algo usual cuando se piensa aplicar el test en contextos en los que no se tiene

información previa sobre el nivel de rasgo de los evaluados.

Estimación de los niveles de rasgo. En el algoritmo se incluye un procedimiento de estimación

de máxima verosimilitud, empleando el método de aproximación numérica de Newton-

Raphson. Como es conocido, mientras se produce un patrón constante de respuestas (todo

aciertos o todo errores) no es posible realizar esta estimación. Además al principio del test se

pueden producir importantes oscilaciones en la θ estimada. Por ello, al principio del test si la θ

estimada es demasiado extrema (mayor que 2 o menor que -2) o el patrón es constante, el

programa asigna una θ provisional obteniendo el punto medio entre el último nivel de rasgo

estimado y 2 (si se ha dado un acierto) o -2 (si se ha fallado el ítem). Este procedimiento es una

variante del propuesto por Dodd (1990). En el momento en que aparece variabilidad en las

respuestas comienza a aplicarse el método máximo-verosímil7. Para cada nivel de rasgo

estimado se obtiene el error típico asociado; es decir, el valor inverso de la raíz cuadrada de la

información que aportan para el último nivel de rasgo estimado los ítems presentados hasta ese

momento.

Selección de ítems. Tras la estimación (o asignación) de un valor θ provisional, el algoritmo

elige como siguiente ítem, entre los que no se han presentado todavía al sujeto, el que resulta

más informativo para dicho nivel de rasgo. En el algoritmo se aplica, por tanto, el método de

selección de ítems de máxima información. Para el control de la exposición de los ítems, se

establecen tres restricciones: a) en los 5 primeros ítems que se presentan no son aplicables ítems

con parámetros a mayores que 1 (44 ítems cumplen está condición), en línea con lo propuesto

por Chang y Ying (1999); b) también en los 5 primeros ítems que se presentan, se aplica el

método de McBride y Martin (1983), que consiste en seleccionar como primer ítem uno al azar

7 Después de 5 ítems, si el patrón sigue siendo constante se aplica el método de Herrando (1989).


18

entre los 5 más informativos; como segundo, otro al azar entre los 4 más informativos;., y así

hasta el 5º, a partir del cual se selecciona siempre el más informativo para el último nivel θ

estimado; c) para todos los ítems se establece una tasa máxima de exposición del 40%, de modo

que un ítem deja temporalmente de presentarse cuando ha sido aplicado a más del 40% de los

sujetos. Con las restricciones a) y b) vistas se intenta controlar la tasa de exposición de ítems

muy discriminativos en las fases iniciales del test, cuando los valores estimados de θ pueden

alejarse bastante del nivel verdadero del evaluado; sin esta primera restricción, podríamos

aplicar ineficazmente ítems muy informativos para niveles de rasgo alejados del que tiene

realmente el evaluado. Con la tercera restricción (establecida a partir de los resultados de un

estudio de simulación que mostraremos posteriormente) pretendemos limitar la tasa máxima de

exposición al 40% e incrementar, de paso, las tasas de los ítems no demasiado utilizados. En

algún TAI hasta el 80 % de los ítems del banco no se aplican nunca o casi nunca (Hornke,

2000), lo que puede afectar a la seguridad del banco.

Procedimiento de parada: se establece como criterio de parada un número prefijado de 20

ítems para todos los sujetos, con lo cual las diferentes estimaciones tendrán distinta precisión.

En el siguiente apartado del presente informe se justifica mediante simulación el

establecimiento de este criterio de parada.


19

3. ESTUDIO DE LAS PROPIEDADES PSICOMÉTRICAS DEL

TAI

Para estudiar las propiedades psicométricas del test, fundamentalmente para decidir con qué

criterio de parada aplicarlo, se realizó un estudio de simulación. Se simularon 50.000 sujetos de

una distribución normal N(0,1). Se estudiaron como variables independientes la longitud del test

(15, 20, 25 y 30 ítems) y la tasa máxima de exposición permitida para un ítem (25% y 40%)8.

En todos los casos se mantuvieron las restricciones a y b comentadas anteriormente, así como

todas las características del algoritmo adaptativo de selección de ítems y estimación de los

niveles de competencia. Como variables dependientes se tomaron9 el RMSE (), el sesgo (), la

proporción de examinados que finalizan el test con un error típico menor a 0.3 (p_error_0.3), la

proporción de examinados que finalizan el test con un error típico menor a 0.4 (p_error_0.4), la

correlación entre y estimada, la tasa de solapamiento (proporción media de ítems

compartidos entre dos evaluados) y la proporción de ítems infraexpuestos (que se presenten

menos del 1% de las veces).

Tabla 4

Valores de RMSE, sesgo, proporción de evaluados con error típico menor que 0.3 (o 0.4), correlación entre y estimada (rzz’), tasa de solapamiento (T) y porcentaje de ítems infraexpuestos (Texp < 0.01)

longitud Rmax sesgo RMSE p_error_0.3 p_error_0.4 rzz' T Texp < 0.01

15 0.25 0.05 0.49 0.11 0.64 0.91 0.22 11%

20 0.25 0.04 0.45 0.29 0.70 0.92 0.23 0%

15 0.40 0.05 0.46 0.20 0.74 0.92 0.31 24%

20 0.40 0.03 0.40 0.51 0.85 0.94 0.32 11%

25 0.40 0.03 0.37 0.61 0.89 0.94 0.34 0% 30 0.40 0.02 0.35 0.61 0.90 0.95 0.36 0%

En la Tabla 4 se puede observar que cuando el test es corto (15 ítems) o la tasa máxima de

exposición es baja (25%) aunque la correlación entre y estimada es bastante alta (r > 0.9),

se obtienen valores altos para el RMSE (iguales o superiores a 0.45) y para el sesgo (medias

iguales o superiores a 0.04). También puede observarse que si se fija la tasa máxima al 40% los

mayores incrementos en precisión se obtienen al pasar de 15 a 20 ítems con pocas perdidas en

relación a la tasa de solapamiento. Por tanto, parece que lo óptimo es plantear un TAI de 20

ítems combinado con una tasa máxima del 40%. Con ello minimizaremos el tiempo de

8 Las longitudes de 25 y 30 ítems no se combinaron con la tasa máxima del 25% puesto que 25 y 30 ítems suponen,

respectivamente, un 26% y un 42% del banco completo. 9 El RMSE indica la raíz del promedio de las diferencias al cuadrado entre y estimada. El sesgo indica el promedio de las

diferencias entre y estimada. La tasa de solapamiento es una estimación del promedio de la proporción de ítems que comparten

dos evaluados.


20

aplicación sin perder demasiada precisión (en relación con lo que sería un criterio de parada de

30 ítems, que es el que se establece en las aplicaciones de eCAT-grammar). Para el 85% de los

evaluados se obtendría un error típico menor de 0.410

. En promedio los evaluados compartirán

aproximadamente 6 ítems de los 20 (el 32%).

En las Figuras 9, 10 y 11 se muestran los resultados condicionados al nivel de rasgo y

permiten extraer la misma conclusión. En la figura 9 se observa un sesgo muy alto para los

evaluados en el decil más alto, lo que no resulta muy preocupante desde un punto de vista

aplicado porque, al ser el sesgo positivo, estos sujetos seguirían perteneciendo al mismo decil.

Figura 9

Sesgo condicionado al decil de en cada función, el primer número indica el criterio de parada y el segundo la tasa máxima de exposición permitida)

10 Si todos los evaluados tuvieran un error típico de 0.4, el coeficiente de fiabilidad equivalente sería 0.86 (=1 – 0.42/(1+0.42)).

-0.05

0.00

0.05

0.10

0.15

0.20

0.25

0.30

1 2 3 4 5 6 7 8 9 10

deciles de zeta

sesg

o

15_025 20_025 15_040 20_040 25_040 30_040


21

En las Figuras 10 y 11 se observa que los evaluados cuyos niveles de habilidad verdaderos se

encuentran entre los deciles 4 y 8 son clasificados con elevada precisión.

Figura 10

RMSE condicionado al decil de

Figura 11.

Proporción de casos con un SE inferior a 0.3 condicionado al decil de

En la Tabla 5 se muestran las tasas de exposición de los ítems para la condición de 20 ítems y

rmax de 0.40. Si la aplicación de los ítems fuera aleatoria, la tasa de exposición esperada sería del

21%. Puede observarse que aproximadamente el 32% de los ítems se aplican entre el 35 y el

40% de las veces.

0.00

0.10

0.20

0.30

0.40

0.50

0.60

0.70

0.80

0.90

1 2 3 4 5 6 7 8 9 10

deciles de zeta

RM

SE

15_025 20_025 15_040 20_040 25_040 30_040

0.00

0.10

0.20

0.30

0.40

0.50

0.60

0.70

0.80

0.90

1.00

1 2 3 4 5 6 7 8 9 10

deciles de zeta

RM

SE

15_025 20_025 15_040 20_040 25_040 30_040


22

Tabla 5 Distribución de las Tasas de exposición para la condición de 20 ítems y Tasa máxima de 0.40

Tasa Número de ítems %

0.00-0.05 26 27.4 0.05-0.10 7 7.4 0.10-0.15 5 5.3 0.15-0.20 6 6.3 0.20-0.25 9 9.5 0.25-0.30 8 8.4 0.30-0.35 4 4.2

0.35-0.40 30 31.6


23

4. ESTUDIOS DE VALIDEZ DE LAS PUNTUACIONES

Las pruebas de validez se obtuvieron poniendo en relación las estimaciones en listenig con el

rendimiento en el cuestionario de formación y en eCAT-grammar. Los estadísticos descriptivos

de las preguntas del cuestionario se muestran en la Tabla 6. Puede observarse que en varios

casos los niveles de asimetría y curtosis son bastante elevados (años de formación en academias,

posesión de un título, años en la EOI, presencia de inglés en el hogar y años de estancia en

países angloparlantes). En el caso de la variable “hogar”, esto se debe a que la gran mayoría de

la muestra no se ha criado en un entorno en el que el inglés sea el idioma familiar. En las

variables “años de estancia”, ocurre que la gran mayoría tiene poca formación o poco tiempo de

estancia, lo que no impide que en la muestra haya unos pocos casos con valores altos en esas

variables.

Tabla 6

Estadísticos descriptivos de las variables del cuestionario

N Mínimo Máximo Media Desv. típ. Asimetría Curtosis

Lectura 1366 1 5 3.49 .78 .20 .05

Escritura 1364 1 5 3.26 .84 -.04 -.28

Conversación 1367 1 5 3.15 .91 .07 -.45

Años en academia 1368 0 20 1.50 2.76 2.34 5.95

Titulo1 1368 0 1 .01 .09 10.55 109.41

Años en EOI2 642 0 10 1.65 1.71 .99 1.09

Inglés en el Hogar 1368 0 1 .02 .16 6.11 35.39

Años de estancia 1368 0 50 .70 2.70 9.10 119.02

Nivel en la EOI 640 1 6 3.50 1.35 .45 -.98

Nivel educativo 642 1 5 3.33 .72 -.54 -.30

1Título (sí o no). 2Esta pregunta se hizo a toda la muestra pero análisis posteriores muestran que la relación entre y está variable sólo se da en la muestra de la EOI, por lo que se muestran los resultados únicamente para ese subgrupo.

Se realizaronn distintos análisis estadísticos para establecer la relación entre estas variables y el

nivel de inglés estimado en listening (ANOVAS, pruebas t de Student y correlaciones), tomando

como variable dependiente el valor θ estimado para cada evaluado a partir de sus respuestas al

subtest correspondiente y como VI cada una de las variables anteriores. Los resultados se

muestran en la Tabla 7 y los estadísticos descriptivos en la Tabla 8.


24

Tabla 7 Pruebas de significación estadística para contrastar la relación entre el valor θ estimado en Listening y cada una de las variables criterio

ANOVAS, correlaciones o Pruebas t

Colegio F3,1362 = 1,211 (p = ,304)

Lectura r = .586 (p < .001)

Escritura r = .586 (p < .001)

Conversación r = .663 (p < .001) Años en Academia r = .182 (p < .001)

Título t1366 =-.450 (p=.653) Años en EOI r = .143 (p < .001)

Presencia de inglés en el hogar t1366= -6.108 (p < ,001) Años de estancia F3,1364 = 80,070 (p < ,001); r = .239 (p < .001) Nivel en la EOI F4,635 = 89.584 (p < .001); r = 0.588 (p < .001) Nivel Educativo F2,639 = 24,097 (p < ,001); r =0.261 (p < .001) eCATgrammar r = .822 (p < .001)

Tabla 8 Estadísticos descriptivos en el nivel de θ según variables relacionadas con el nivel de formación en el inglés

Media Desviación

típica % N

Colegio Público ,05 ,94 55,9 763 Privado no bilingüe ,15 ,80 31,5 430 Privado-bilingüe español-inglés ,17 1,06 6,5 89 Privado-bilingüe español-otro ,06 ,86 6,1 84

Presencia de inglés en el hogar

No .06 .90 97,5 1334

Sí 1.01 .69 2,5 34

Posesión de un título

No .09 .91 99,1 1356

Sí .20 .52 0.9 12

Nivel en la EOIa

Básico 1 y 2 -.84 .65 28,7 183

Intermedio 1 -.30 .66 29,7 190

Intermedio 2 -.18 .64 14,4 92

Avanzado 1 .35 .58 17,0 109

Avanzado 2 .52 .55 10,3 66

Nivel educativob

Sin estudios o estudios primarios -.66 .72 12,9 83

Bachillerato -.32 .76 41,7 268

Licenciatura o doctorado -.04 .77 45,3 291 aSólo 5 personas en el Básico 1. Comparaciones múltiples (Bonferroni) Todas estadísticamente significativas exceptuando las comparaciones 2-3 y 4-5 (p > 0,05); bSólo 3 personas sin ningún estudio y sólo 6 personas con doctorado.

El nivel de θ estimado en listening difiere según: 1) Años de formación (los años de academia,

años de estancia y años en la EOI en la muestra de Escuelas Oficiales de Idiomas correlacionan

.182, .239 y .143, respectivamente con p < .001); 2) Presencia de inglés en el hogar (t1366= -

6.108; p <.001), los niveles de rasgo medios fueron 1.01 (DT =.69 ) y .06 (DT = .90), según

estuviera presente o no respectivamente; 3) Nivel alcanzado en la EOI (F4,635 = 89.584;

p <.001), siendo los niveles medios -.84 (Básico), -.30 (Intermedio 1), -.18 (Intermedio 2), .35


25

(Avanzado 1) y .52 (Avanzado 2); 4) Nivel educativo alcanzado (F2,639 = 24,097; p < .001),

siendo los niveles medios -0,66 (ningún estudio o estudios primarios), -.32 (bachillerato) y -.04

(Licenciatura y doctorado). El nivel de θ no difiere según el colegio en el que se ha estudiado

(F3,1362 = 1,211; p = .304) o la posesión de un título obtenido en una EOI (t1366 =-.450; p=.653).

Cabe resaltar los resultados obtenidos en relación al nivel alcanzado en la EOI, ya que en estos

centros de formación establecen los niveles de asignación de los estudiantes siguiendo criterios

de dominio en el idioma establecidos por el Consejo de Europa (recomendaciones CEFR).

Se estudió la posibilidad de que la relación entre las variables “años” (estancias, EOI o

academias) y fuera no lineal u otro tipo de relación (parece lógico esperar que el nivel de

inglés no se incrementa linealmente en función del número de años). En la figura AV.1 (ver

apéndice 4) puede observarse que la relación no es lineal, especialmente para la variable años de

estancia. Además, 2 de estas variables tenían un alto nivel de asimetría y curtosis (ver Tabla 6)

lo que las hace inadecuadas para los análisis multivariados. Por ello, se crearon unas nuevas

variables ordinales que reflejaran mejor el nivel de formación en el inglés según los años

dedicados a la formación. Las variables se crearon considerando que: a.) Hubiera un suficiente

número de evaluados en cada nivel (al menos el 5%); b) Las categorías se diferenciaran por su

nivel de . Dos de las nuevas variables, “años de estancias” y “años de academia particular”,

tienen una distribución menos asimétrica (ver Tabla 9).

La relación con las variables recodificadas se incrementaron en todos los casos, pero

especialmente en el caso de años de estancia, lo que refleja la presencia de una relación no lineal

en este caso. Las correlaciones fueron .163 (con años de EOI), .194 (años de academia) y .377

(con años de estancia).


26

Tabla 9

Estadísticos descriptivos de las variables del cuestionario recodificadas11

Media Desviación

típica Asimetria Curtosis

Años en Academia particular .41 .86 2.03 2.81 Años en EOI .49 .87 1.74 1.96

Años de estancia .36 .83 2.25 3.82

A partir de los resultados iniciales univariados se decidió incluir en un modelo las variables

criterio (preguntas del cuestionario) que se relacionaban con el nivel de : Niveles de

comprensión autopercibido (Lectora, Escrito y conversacional), años de academia, años de

estancia y años en la EOI, nivel en la escuela oficial de idiomas, presencia de inglés en el hogar

y nivel educativo. Años y nivel en la EOI correlacionaban bastante alto (r = 0.505; p < 0.001).

Puesto que el nivel en la EOI es una variable que refleja directamente el rendimiento evaluado a

través de una EOI, se prescinde de años EOI en lo sucesivo.

Se realizó un análisis factorial exploratorio (AFE) de las variables criterio. Los resultados

del análisis paralelo y el gráfico de sedimentación (correlaciones de Pearson, Componentes

Principales) sugerían la presencia de un único factor (ver Figura 12). Posteriormente se realizó

un análisis confirmatorio (AFC) sobre la matriz de correlaciones policóricas para contrastar el

modelo unidimensional. Puesto que las variables años de academia y nivel educativo mostraban

pesos demasiado bajos en el factor (ver Tabla 10) se procedió a extraer una solución de un

factor sin considerar esas variables (modelo de un factor reducido). Los índices de ajuste para

ambos modelos se muestran en la Tabla 11. Se observó un residual alto para las variables

formación en el hogar y años de estancia, por lo que se modificó el modelo añadiendo una

correlación entre las partes específicas de esas variables. Los índices de ajuste del nuevo modelo

eran satisfactorios (CFI, TLI >.95; RMSEA <.08; SRMR <.08).

11 A continuación se muestran las tabla de frecuencias para las variables años de estancia, años de academia y años en la EOI recoficadas. En el caso de años en EOI y años de estancia parece que, en la muestra analizada, no hay diferencias en z en los niveles

más bajos de formación (entre 0 y 2 años). Para años de estancia, las diferencias mayores en el nivel de z ocurren entre no tener ninguna estancia y tener alguna, pero el efecto de los años de estancia en el nivel se atenúa o desaparece a partir de los 3 años.

Años de estancia (recodificada) % Años de escuela oficial (recodificada) % Años de asistencia a academias %

Nada (0) 80.7% Cero a dos años (0)2 70.7% Cero a dos años (0)2 78.6%

Hasta 1 año (1) 19.3% Hasta 3 años (1) 15.9% Tres a cuatro (1) 3 8.3%

Hasta 3 años (2)1 5.2% Hasta 4 años (2) 7.5% Cinco a siete (2) 4 7.2%

4 años o más (3) 6.0% Cinco o más (3) 5.9% Ocho o más (3) 6.0%

1Se comprobó que las diferencias en z eran pequeñas (menores de .05) y no significativas entre 2 y 3 años (p >.05). 2Diferencias pequeñas (menores de.05) y no significativas entre 0, 1 y 2 años (p >.05). 3Diferencias pequeñas (menores de.05) y no significativas entre 3 y 4 años (p >.05). 4 Diferencias pequeñas (menores de 0.05) y no significativas entre 6 y 7 años (p >.05).


27

Figura 12

Análisis paralelo para el AFE de las variables criterio

Tabla 10 Pesos para el modelo de un factor con todas las variables (modelo completo) y para el modelo reducido (con todas las variables excluyendo años de academia y nivel educativo)

Pesos en el Factor (modelo completo)

Pesos en el Factor (modelo reducido)

Lectura .78 .78

Escritura .80 .80

Conversación .84 .84

Años de estancia .57 .55

Años de academia .22

Formación en el hogar .51 .44

Nivel en la EOI .58 .56

Nivel educativo .18

Tabla 11 Índices de ajuste (CFI, TLI, RMSEA y SRMR) para el modelo de AFE exploratorio de 1 factor con todas las variables, un modelo reducido (con todas las variables excluyendo años de academia y nivel educativo) y un modelo reducido modificado (se añade una correlación entre los residuales de años de estancia y presencia de inglés en el hogar)

Chi (gl); p CFI TLI RMSEA SRMR

Modelo de 1 factor completo 58.049(11);.0000 .966 .963 .082 .082 Modelo de 1 factor reducido 30.116(6);.0000 .981 .981 .079 .089 Modelo de 1 factor reducido y modificado 27.759(6);.0000 .982 .982 .076 .061

0

1

2

3

4

5

6

7

8

1 2 3 4 5 6 7 8

Factor

Autovalor

Media en muestras aleatoriasau

tova

lor


28

Se puso a prueba mediante Mplus un modelo estructural para obtener la capacidad predictiva

de las estimaciones de rasgo en listening y en eCAT-grammar con relación a una variable

latente de nivel informado de inglés, donde tuvieran saturaciones positivas las 6 variables

evaluadas en el cuestionario que pesaban en ese factor (lectura, escritura, conversación, años de

estancia, formación en el hogar y nivel en la EOI). Se contrastaron dos modelos: uno tratando

las variables criterio como variables continuas y otro tratando las variables criterio como

variables de categorías ordenadas a las que subyace una variable continua (i.e., se establece un

modelo en el que el factor predice la probabilidad de pertenecer a una determinada categoría

ordenada). En ambos aproximaciones hubo que ajustar el modelo predictivo añadiendo una

covarianza entre la parte específica de nivel en la EOI y las variables predictoras incluidas en el

modelo. Tras esta modificación los índices de ajuste eran aceptables (RMSEA < .08; TLI, CFI

> 0.95). La proporción de varianza explicada utilizando -listening como predictor es el 37%

(40% si se tratan como categóricas; ver Tabla 12).

Al añadir el nivel en eCAT-grammar como predictor los porcentajes se incrementan a un

45% (76% si se tratan como categóricas). Por tanto, la prueba con mayor potencia predictiva es

el nivel en eCAT-grammar. Esa alta capacidad predictiva es consistente con la obtenida en un

estudio previo (Olea et al., 2004) en el que el nivel de en eCAT-grammar correlacionaba 0.81

con un factor latente de nivel de inglés. Por ello, puesto que existe una muy alta correlación

entre listening y eCAT-grammar, el incremento en R2 al añadir el listening al eCAT-grammar es

pequeño, 0.012 (o 0.121 si se tratan como variables categóricas).

Tabla 12 Proporción de varianza explicada del factor latente de nivel de inglés (N = 635)

Tratamiento de las variables criterio

Como categóricas Como continuas

Predictores listening .405 .365 eCAT-grammar .644 .438 Ambos .765 .450

La capacidad predictiva de listening frente a eCAT-grammar se contrastó también para cada

variable criterio por separado. Se aplicaron dos modelos estadísticos: el modelo de regresión

lineal, en el que se tratan las variables criterio como continuas, y un modelo de regresión probit

en el que se tiene en cuenta la naturaleza categórica de las variables criterio (las variables

predictoras predicen la probabilidad de pertenecer a cada categoría ordenada de respuesta en la

variable criterio).12

En la Tabla 13 se muestra la proporción de varianza del criterio que es

12 En el modelo de regresión probit, se establece el siguiente modelo de relación lineal entre x (la variable predictora) e y* (el nivel

latente en la variable criterio):


29

explicada por las puntuaciones estimadas en listening o en eCAT-grammar, aislada y

conjuntamente.

Tabla 13

R2 según los modelos de regresión probit y regresión líneal (N =1291; Media grammar = .42; DT grammar =.64)

Regresión Probit Regresión Lineal

Lectura Escritura Conversación Lectura Escritura Conversación

listening .405 .386 .482 .336 .342 .434 eCAT-grammar .468 .488 .499 .400 .432 .453 Ambos .479 .492 .538 .412 .439 .489

Puede observarse que con listening se llega a explicar casi el 45% (50% en la regresión probit)

del nivel autopercibido de comprensión oral y aproximadamente el 34% (40% en la regresión

probit) del nivel autopercibido de comprensión lectora y de escritura. Comparativamente, la

prueba de eCAT-grammar tiene mayor poder predictivo en todos los casos. Sin embargo, existe

un incremento en la proporción de varianza explicada del nivel de comprensión oral (un

incremento de 4%) al añadir las estimaciones en listening.

En relación al resto de variables criterio, el nivel predictivo de las pruebas es muy similar. El

patrón exacto de resultados depende de la aproximación tomada. Si se toma la regresión lineal,

eCAT-grammar resulta siempre la prueba más predictiva, aunque las diferencias en relación a la

proporción de varianza explicada son pequeñas (menores del 4%). Las puntuaciones en listening

predicen un 35% de la varianza del nivel en la EOI, un 14% de la variabilidad en los años de

estancia y un 2.7% de la variabilidad en la presencia del inglés en el hogar. Las proporciones de

varianza explicada al añadir eCAT-grammar pasan a ser, respectivamente, 42%, 18% y 3.2%.

Si se toma la regresión probit, las puntuaciones en listening resultan más predictivas de la

experiencia con el inglés (años de estancia, formación de inglés en el hogar), aunque las

diferencias en relación a la proporción de varianza explicada son pequeñas (menores del 5%).

La variable listening predice un 39% de la varianza del nivel en la EOI, un 35% de la

variabilidad en los años de estancia y un 27% de la variabilidad en la presencia del inglés en el

xy*

y* es la variable latente continua que subyace a la variable criterio y, que puede tomar valores discretos (k: 1, …, K). Se asume que

los valores de y*|x se distribuyen normalmente N(x, V()), donde V() = 1. Las probabilidades de elegir cada categoría de

respuesta se establecen como:

)(1)|(

)()()|(

)()|1(

1

1

xxKyP

xxxkyP

xxyP

K

kk

Donde )( es la función de distribución normal acumulada. En la Tabla 13 se muestra la proporción de varianza de y* que es

explicada por las puntuaciones estimada en eCAT listening o en eCAT grammar, aislada y conjuntamente.


30

hogar. Las proporciones de varianza explicada al añadir eCAT-grammar pasan a ser,

respectivamente, 46%, 38% y 28%.

Tabla 14

R2 según los modelos de regresión probit y regresión líneal (N =1291; Media grammar =.42; DT grammar =.64; N =

635; Media grammar =.24; DT grammar =.57).

Regresión Probit Regresión Lineal

Años de Estancia

(N = 1291)

F. Hogar

(N = 1291)

Nivel EOI

(N = 635)

Años de Estancia

(N = 1291)

F. Hogar

(N = 1291)

Nivel EOI

(N = 635)

eCAT listening .353 .273 .391 .141 .027 .347 eCAT grammar .339 .230 .416 .175 .031 .387 Ambos .380 .277 .462 .179 .032 .420

Una de las ventajas de la regresión probit es que permite obtener una figura con la probabilidad

esperada de acertar en función de la variable predictora, en este caso, las estimaciones en

listening. Los resultados se muestran en las Figuras 13, 14 y 15 (estos datos se muestran de

forma numérica en el Apéndice 4, Tablas AP.4.1). En todos los casos puede observarse

que las probabilidades empíricas y teóricas siguen un patrón bastante similar. Puede

observarse que para niveles autopercibidos altos de nivel de comprensión oral se requieren

niveles más alto de nivel de rasgo que para niveles autopercibidos altos de nivel de comprensión

escrita o lectora (Figura 13).


31

Figura 13 Nivel de comprensión lectora, escritora y conversacional (percibido) en función del decil (teórico, superior; observado, inferior).

Lectura Escritura Oral

1 Incapaz de entender textos en ingles Incapaz de escribir textos en ingles Incapaz de hablar en ingles

2 Entiende textos sencillos Escribe textos sencillos, con faltas y

errores

Puede comprender una conversación

sencilla (cosas básicas)

3 Entiende ideas generales de textos

diversos

Escribe textos sin errores pero con

mucho esfuerzo

Puede comprender y hacerse

entender en diversos contextos

sociales, con dificultades

4 Lee textos de distinto contenido Escribe textos de distinto contenido Habla y entiende bien el ingles

5 Bilingüe Bilingüe Bilingüe

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9

10decil

1

2

3

4

5

Pro

b. d

e el

egir

ken

lect

ura

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9

10

decil

1

2

3

4

5

Pro

b. d

e el

egir

ken

esc

ritu

ra

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9

10

decil

1

2

3

4

5

Pro

b. d

e el

egir

ken

ora

l

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9 10

decil

Pro

b. d

e el

egir

ken

lect

ura

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9 10

decil

Pro

b. d

e el

egir

ken

esc

ritu

ra

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9 10

decil

Pro

b. d

e el

egir

ken

ora

l


32

Figura 14 Nivel de la Escuela Oficial de Idiomas, presencia de inglés en el entorno familia y años de estancia en función del decil (teórico, superior; observado, inferior).

Figura 15 Probabilidad promedio (teórica) de encontrarse en un decil de eCAT grammar en función del decil en eCAT listening.

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9

10decil

Básico

Intermedio 1

Intermedio 2

Avanzado 1

Avanzado 2

Pro

b. d

e te

ner

un

niv

el e

n la

EO

I

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9

10

decil

Pro

b. d

e p

rese

nci

a d

el in

glé

s en

ho

gar

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9

10

decil

0

Hasta 1 año

Hasta 3 años

4 o más

Pro

b. d

e ca

teg

ori

a "A

ño

s d

e es

tan

cia"

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9 10

decil

Pro

b. d

e te

ner

un

niv

el e

n la

EO

I

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9 10

decil

Pro

b. d

e p

rese

nci

a d

el in

glé

s en

ho

gar

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

decil

Pro

b. d

e ca

teg

ori

a "A

ño

s d

e es

tan

cia"

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9

10

decil

1 2 3

4 5 6

7 8 9

Pro

b. d

e te

ner

el d

ecil

k en

el e

CA

T-G


33

5. PROPUESTA DE CONSIDERACIÓN DE LA PRECISIÓN

DE LOS NIVELES ESTIMADOS EN listening

En cualquier evaluación hay que tener en cuenta la precisión con la que se mide. En nuestro

caso, con un nivel estimado clasificamos a una persona en un decil específico, aunque debido

a la imprecisión de la estimación podría estar en otro decil adyacente. Una forma de considerar

la precisión de las estimaciones de listening en la clasificación por deciles es construir una tabla

en la que se muestre el intervalo de confianza en el decil -asumiendo una distribución normal

N(0,1) – según los distintos niveles de precisión. Los intervalos se calculan a partir del error

típico de . Por ejemplo, para la precisión.20-.25, con un nivel de confianza del 95%:

min= – (1.96)(.225)

max = – (1.96)(.225)

Li y Ls son los deciles asociados a min y max, según la distribución normal acumulada, FN(z).

Los resultados se muestran en la Tabla 15. Como es esperable los mayores errores de

clasificación se dan en los niveles intermedios (los deciles son más inestables en esos niveles).

Por ejemplo, incluso cuando el test es muy preciso, una persona de nivel medio (por ejemplo,

con = -0.1) puede ser clasificada con un nivel de confianza del 95% entre los deciles 3 y 7. En

la Tabla 15 se señala con un rectángulo dónde es más probable que se sitúe la precisión según

el decil. En la Tabla 16 se muestran los mismos resultados si se considera un nivel de confianza

del 68%.


34

Tabla 15:Límite inferior y superior para el decil en función del nivel de precisión del test (0.20-0.25,

0.25-0.30,…). Nivel de confianza del 95%

Muy Alto 0.20-0.25

Alto 0.25-0.30

Medio 0.30-0.35

Medio-bajo 0.35-0.40

Bajo 0.40-0.45

Muy bajo 0.45-0.50

z FN(z) Decil Li Ls Li Ls Li Ls Li Ls Li Ls Li Ls

<-2.3 .01 1 1 1 1 1 1 1 1 1 1 1 1 1

-2.2 .01 1 1 1 1 1 1 1 1 1 1 1 1 2

-2.1 .02 1 1 1 1 1 1 1 1 1 1 2 1 2

-2 .02 1 1 1 1 1 1 1 1 2 1 2 1 2

-1.9 .03 1 1 1 1 1 1 2 1 2 1 2 1 2

-1.8 .04 1 1 1 1 2 1 2 1 2 1 2 1 2

-1.7 .04 1 1 2 1 2 1 2 1 2 1 2 1 3

-1.6 .05 1 1 2 1 2 1 2 1 2 1 3 1 3

-1.5 .07 1 1 2 1 2 1 2 1 3 1 3 1 3

-1.4 .08 1 1 2 1 2 1 3 1 3 1 3 1 4

-1.3 .10 1 1 2 1 3 1 3 1 3 1 4 1 4

-1.2 .12 2 1 3 1 3 1 3 1 4 1 4 1 4

-1.1 .14 2 1 3 1 3 1 4 1 4 1 4 1 5

-1 .16 2 1 3 1 4 1 4 1 4 1 5 1 5

-0.9 .18 2 1 4 1 4 1 4 1 5 1 5 1 6

-0.8 .21 3 2 4 1 4 1 5 1 5 1 6 1 6

-0.7 .24 3 2 4 2 5 1 5 1 6 1 6 1 6

-0.6 .27 3 2 5 2 5 2 6 1 6 1 6 1 7

-0.5 .31 4 2 5 2 6 2 6 2 6 1 7 1 7

-0.4 .34 4 3 6 2 6 2 6 2 7 2 7 1 8

-0.3 .38 4 3 6 3 6 2 7 2 7 2 8 2 8

-0.2 .42 5 3 6 3 7 3 7 2 8 2 8 2 8

-0.1 .46 5 3 7 3 7 3 8 3 8 2 8 2 8

0 .50 6 4 7 3 8 3 8 3 8 3 8 2 9

0.1 .54 6 4 8 4 8 3 8 3 8 3 9 3 9

0.2 .58 6 5 8 4 8 4 8 3 9 3 9 3 9

0.3 .62 7 5 8 5 8 4 9 4 9 3 9 3 9

0.4 .66 7 5 8 5 9 5 9 4 9 4 9 3 10

0.5 .69 7 6 9 5 9 5 9 5 9 4 10 4 10

0.6 .73 8 6 9 6 9 5 9 5 10 5 10 4 10

0.7 .76 8 7 9 6 9 6 10 5 10 5 10 5 10

0.8 .79 8 7 9 7 10 6 10 6 10 5 10 5 10

0.9 .82 9 7 10 7 10 7 10 6 10 6 10 5 10

1 .84 9 8 10 7 10 7 10 7 10 6 10 6 10

1.1 .86 9 8 10 8 10 7 10 7 10 7 10 6 10

1.2 .88 9 8 10 8 10 8 10 7 10 7 10 7 10

1.3 .90 10 9 10 8 10 8 10 8 10 7 10 7 10

1.4 .92 10 9 10 9 10 8 10 8 10 8 10 7 10

1.5 .93 10 9 10 9 10 9 10 8 10 8 10 8 10

1.6 .95 10 9 10 9 10 9 10 9 10 8 10 8 10

1.7 .96 10 9 10 9 10 9 10 9 10 9 10 8 10

1.8 .96 10 10 10 9 10 9 10 9 10 9 10 9 10

1.9 .97 10 10 10 10 10 9 10 9 10 9 10 9 10

2 .98 10 10 10 10 10 10 10 9 10 9 10 9 10

2.1 .98 10 10 10 10 10 10 10 10 10 9 10 9 10

2.2 .99 10 10 10 10 10 10 10 10 10 10 10 9 10

>2.3 .99 10 10 10 10 10 10 10 10 10 10 10 10 10


35

Tabla 16: Límite inferior y superior para el decil en función del nivel de precisión del test (0.20-0.25,

0.25-0.30,…). Nivel de confianza del 68%.

Muy Alto .20-.25

Alto .25-.30

Medio .30-.35

Medio-bajo .35-.40

Bajo .40-.45

Muy bajo .45-.50

z FN(z) Decil Li Ls Li Ls Li Ls Li Ls Li Ls Li Ls

<-1.8 ..04 1 1 1 1 1 1 1 1 1 1 1 1 1

-1.7 ..04 1 1 1 1 1 1 1 1 1 1 2 1 2

-1.6 ..05 1 1 1 1 1 1 2 1 2 1 2 1 2

-1.5 ..07 1 1 2 1 2 1 2 1 2 1 2 1 2

-1.4 ..08 1 1 2 1 2 1 2 1 2 1 2 1 2

-1.3 ..10 1 1 2 1 2 1 2 1 2 1 2 1 3

-1.2 ..12 2 1 2 1 2 1 2 1 3 1 3 1 3

-1.1 ..14 2 1 2 1 3 1 3 1 3 1 3 1 3

-1 ..16 2 2 3 2 3 1 3 1 3 1 3 1 3

-.9 ..18 2 2 3 2 3 2 3 2 3 1 4 1 4

-.8 ..21 3 2 3 2 3 2 4 2 4 2 4 2 4

-.7 ..24 3 2 4 2 4 2 4 2 4 2 4 2 5

-.6 ..27 3 3 4 2 4 2 4 2 5 2 5 2 5

-.5 ..31 4 3 4 3 5 3 5 2 5 2 5 2 5

-.4 ..34 4 3 5 3 5 3 5 3 5 3 6 2 6

-.3 ..38 4 3 5 3 5 3 6 3 6 3 6 3 6

-.2 ..42 5 4 6 4 6 3 6 3 6 3 6 3 7

-.1 ..46 5 4 6 4 6 4 6 4 7 3 7 3 7

0 ..50 6 5 6 4 7 4 7 4 7 4 7 4 7

.1 ..54 6 5 7 5 7 5 7 4 7 4 8 4 8

.2 ..58 6 5 7 5 7 5 8 5 8 5 8 4 8

.3 ..62 7 6 8 6 8 5 8 5 8 5 8 5 8

.4 ..66 7 6 8 6 8 6 8 6 8 5 8 5 9

.5 ..69 7 7 8 6 8 6 8 6 9 6 9 6 9

.6 ..73 8 7 8 7 9 7 9 6 9 6 9 6 9

.7 ..76 8 7 9 7 9 7 9 7 9 7 9 6 9

.8 ..79 8 8 9 8 9 7 9 7 9 7 9 7 9

.9 ..82 9 8 9 8 9 8 9 8 9 7 10 7 10

1 ..84 9 8 9 8 9 8 10 8 10 8 10 8 10

1.1 ..86 9 9 10 8 10 8 10 8 10 8 10 8 10

1.2 ..88 9 9 10 9 10 9 10 8 10 8 10 8 10

1.3 ..90 10 9 10 9 10 9 10 9 10 9 10 8 10

1.4 ..92 10 9 10 9 10 9 10 9 10 9 10 9 10

1.5 ..93 10 9 10 9 10 9 10 9 10 9 10 9 10

1.6 ..95 10 10 10 10 10 9 10 9 10 9 10 9 10

1.7 ..96 10 10 10 10 10 10 10 10 10 9 10 9 10

>1.8 ..96 10 10 10 10 10 10 10 10 10 10 10 10 10


36

6. REFERENCIAS Council of Europe (1999). Relating Language Examinations to the Common European

Framework of Reference for Languages: Learning, Teaching, Assessment (CEFR).

Language Policy Division, Strasbourg.

Chang, H.H. y Ying, Z. (1999). a-stratified multistage computerized adaptive testing. Applied

Psychological Measurement, 20, 213-229.

Dodd, B.G. (1990). The effect of item selection procedures and stepsize on computerized

adaptive attitude measurement using the rating scale model. Applied Psychological

Measurement, 14, 355-366.

Drasgow F, Levine MV, Tsien S y Williams B (1995). Fitting polytomous item response theory

models to multiple-choice tests. Applied Psychological Measurement, 19, 143-165.

Hanson, B.A. y Beguin, A.A. (2002). Obtaining a common scale for IRT item parameters using

separate versus oncurrent estimation in the common-item equating design. Applied

Psychological Measurement, 26(1), 3-24.

Hornke, L.F. (2000). Item response times in computerized adaptive testing. Psicológica, 21 (1-

2), 175-189.

Lorenzo, U. y Ferrando, P.J. (2006). FACTOR: A computer program to fit the exploratory

factor analysis model. Behavior Research Methods, 38, 88-91.

McBride, J.R. y Martin, J.T. (1983). Reliability and validity of adaptive ability tests in a

military setting. En D. J. Weiss (Ed.). New Horizons in testing: Latent trait test theory

and computerized adaptive testing (pp 223-236). New York: Academic Press.

Muthen, B. y Muthen, L.K. (2006). Mplus. Los Angeles: Muthén and Muthén. .

Olea, J., Abad, F.J., Ponsoda, V. y Ximénez, M.C. (2004): Un test adaptativo informatizado

para evaluar el conocimiento del inglés escrito: Diseño y comprobaciones

psicométricas. Psicothema, 16, 519-525.

Orlando, M. y Thissen, D. (2003). Further invesigation of the performance of S-X2: An item fit

index for use with dichotomous item response theory models. Applied Psychological

Measurement, 27, 289-298

Stark, S. (2001). MODFIT: A computer program for model-data fit. Urbana-Champaign:

University of Illinois at Urbana-Champaign. Descargado de

http://work.psych.uiuc.edu/irt.

Thissen, D., Chen, W-H, y Bock, R.D. (2003). Multilog (version 7) [Computer sotware].

Lincolnwood, IL: Scientific Software International.

http://work.psych.uiuc.edu/irt


37

APÉNDICES

Apéndice 1

Análisis desde la Teoría Clásica de Tests

Tabla TCT.1. Proporción de aciertos y Correlación biserial corregida ítem-test (anclaje)

Subtest ÍtemTCT Ítem99 ID p rb p1 rb1 p2 rb2 p3 rb3 p4 rb4

Anclaje 1 1 d14 .38 .35 .10 -.44 .38 .35 .52 -.64 .01 -.39

Anclaje 2 2 d62 .64 .49 .64 .49 .33 -.81 .03 -.50 .01 -.56

Anclaje 3 3 d66 .52 .48 .32 -.71 .16 -.57 .52 .48 .00 -.34

Anclaje 4 4 d92 .79 .34 .79 .34 .13 -.65 .07 -.61 .00 -.33

Anclaje 5 5 d110 .92 .50 .92 .50 .01 -.79 .07 -.82 .00 -.11

Anclaje 6 6 d113 .74 .47 .13 -.74 .12 -.64 .74 .47 .01 -.59

Anclaje 7 7 d116 .75 .30 .75 .30 .21 -.60 .04 -.78 .00 -.58

Anclaje 8 8 d117 .54 .35 .31 -.66 .14 -.48 .54 .35 .00 -.67

Anclaje 9 9 d135 .81 .39 .81 .39 .02 -.70 .16 -.71 .00 -.63

Anclaje 10 10 d154 .55 .29 .55 .29 .07 -.58 .38 -.61 .00 -.50

Anclaje 11 11 d165 .69 .26 .07 -.51 .23 -.61 .69 .26 .01 -.45

Anclaje 12 12 d175 .49 .38 .31 -.62 .18 -.53 .49 .38 .01 -.47

Nota: En rojo, ítems con biserial corregida menor que 0,1; En cursiva-negrita, distractores con biseriales

positivas y elegidas más del 5% de las veces. En subrayado-negrita, distractores más elegidos que la

opción correcta.


38

Tabla TCT.2. Proporción de aciertos y correlación biserial corregida ítem-test (subtest 1)


1 1 1 d14 .39 .47 .10 -.27 .39 .47 .51 -.50 .01 -.10 1 2 2 d62 .65 .65 .65 .65 .32 -.71 .02 -.45 .00 -.58 1 3 3 d66 .54 .63 .31 -.59 .15 -.41 .54 .63 .00 -.60 1 4 4 d92 .80 .36 .80 .36 .13 -.40 .08 -.40 .00 -.28 1 5 5 d110 .92 .60 .92 .60 .01 -.63 .07 -.67 .00 -9.00 1 6 6 d113 .74 .62 .13 -.67 .13 -.47 .74 .62 .01 -.43 1 7 7 d116 .77 .42 .77 .42 .19 -.43 .04 -.68 .00 -.44 1 8 8 d117 .55 .36 .31 -.42 .13 -.23 .55 .36 .01 -.73 1 9 9 d135 .81 .55 .81 .55 .03 -.74 .16 -.55 .00 -.32 1 10 10 d154 .50 .33 .50 .33 .07 -.39 .43 -.37 .00 -9.00 1 11 11 d165 .70 .35 .07 -.36 .22 -.38 .70 .35 .01 -.72 1 12 12 d175 .51 .42 .31 -.41 .17 -.32 .51 .42 .01 -.63 1 13 13 d7 .51 .41 .29 -.32 .19 -.43 .51 .41 .01 -.44 1 14 14 d20 .83 .52 .08 -.59 .83 .52 .08 -.44 .01 -.61 1 15 15 d21 .40 .52 .24 -.50 .36 -.29 .40 .52 .01 -.64 1 16 16 d31 .89 .38 .04 -.67 .89 .38 .07 -.27 .00 -.60 1 17 17 d32 .75 .66 .13 -.59 .75 .66 .11 -.58 .01 -.63 1 18 18 d37 .77 .72 .10 -.70 .12 -.61 .77 .72 .01 -.59 1 19 19 d46 .93 .76 .93 .76 .04 -.73 .03 -.72 .01 -.85 1 20 20 d48 .94 .77 .04 -.77 .02 -.75 .94 .77 .00 -.85 1 21 21 d53 .92 .69 .01 -.57 .92 .69 .07 -.77 .00 -9.00 1 22 d56 .34 .01 .34 .01 .30 -.27 .35 .05 .01 -.49 1 23 22 d71 .62 .71 .12 -.47 .26 -.68 .62 .71 .01 -.46 1 24 23 d82 .81 .52 .07 -.63 .81 .52 .12 -.47 .00 -9.00 1 25 24 d96 .89 .60 .04 -.51 .89 .60 .07 -.66 .00 -.89 1 26 25 d119 .58 .52 .29 -.59 .12 -.29 .58 .52 .00 -.36 1 27 26 d131 .55 .80 .33 -.84 .11 -.27 .55 .80 .01 -.51 1 28 27 d132 .62 .50 .08 -.19 .62 .50 .30 -.62 .00 -.60 1 29 28 d143 .56 .55 .16 -.29 .56 .55 .27 -.61 .01 -.39 1 30 29 d145 .68 .57 .15 -.40 .17 -.64 .68 .57 .01 -.18 1 31 30 d146 .69 .58 .16 -.44 .15 -.63 .69 .58 .01 -.33 1 32 31 d148 .67 .45 .14 -.53 .18 -.32 .67 .45 .02 -.52 1 33 32 d160 .90 .45 .02 -.70 .08 -.46 .90 .45 .00 -.60 1 34 33 d169 .57 .56 .34 -.51 .07 -.45 .57 .56 .02 -.68 1 35 34 d170 .56 .57 .28 -.44 .56 .57 .16 -.55 .01 -.52 1 36 35 d180 .96 .45 .03 -.64 .01 -.24 .96 .45 .00 .17 1 37 36 d198 .86 .64 .86 .64 .06 -.57 .07 -.61 .01 -.82 1 38 37 d200 .79 .69 .11 -.67 .79 .69 .09 -.60 .01 -.56 1 39 38 d201 .45 .42 .20 -.31 .45 .42 .33 -.38 .02 -.44 1 40 39 d204 .42 .46 .05 -.39 .53 -.48 .42 .46 .01 -.75 1 41 40 d205 .76 .53 .14 -.47 .10 -.57 .76 .53 .01 -.50 1 42 41 d207 .81 .74 .11 -.78 .07 -.53 .81 .74 .00 -.92

Nota: En rojo, ítems con biserial corregida menor que .1; En cursiva y negrita, distractores con biseriales

positivas y elegidas más del 5% de las veces. En subrayado y negrita, distractores más elegidos que la

opción correcta.


39

Tabla TCT.3. Proporción de aciertos y correlación biserial corregida ítem-test (subtest 2)


2 1 .42 .49 .08 -.39 .42 .49 .50 -.49 .00 -.64 2 2 .67 .52 .67 .52 .31 -.64 .02 -.20 .01 -.45 2 3 .56 .62 .30 -.62 .13 -.42 .56 .62 .00 -.34 2 4 .78 .46 .78 .46 .15 -.45 .07 -.57 .01 -.31 2 5 .93 .49 .93 .49 .01 -.60 .07 -.58 .00 -.29 2 6 .78 .52 .12 -.62 .09 -.39 .78 .52 .01 -.58 2 7 .74 .30 .74 .30 .23 -.30 .04 -.74 .00 -.57 2 8 .52 .46 .33 -.47 .15 -.36 .52 .46 .00 -.64 2 9 .81 .44 .81 .44 .02 -.54 .17 -.53 .00 -9.00 2 10 .56 .29 .56 .29 .08 -.45 .36 -.31 .00 -.59 2 11 .70 .31 .07 -.40 .22 -.36 .70 .31 .01 -.23 2 12 .51 .45 .30 -.37 .18 -.43 .51 .45 .01 -.51 2 13 42 d5 .59 .51 .26 -.62 .14 -.26 .59 .51 .00 -.51 2 14 43 d17 .73 .54 .73 .54 .11 -.58 .15 -.46 .01 -.59 2 15 44 d29 .82 .70 .15 -.71 .82 .70 .03 -.75 .00 -.47 2 16 45 d33 .98 .65 .01 -.65 .01 -.73 .98 .65 .00 -.51 2 17 46 d41 .67 .65 .67 .65 .11 -.52 .22 -.63 .01 -.45 2 18 47 d42 .69 .55 .11 -.69 .69 .55 .21 -.42 .00 -.51 2 19 48 d51 .76 .64 .76 .64 .12 -.74 .12 -.47 .00 -.25 2 20 49 d55 .75 .64 .06 -.67 .18 -.60 .75 .64 .01 -.50 2 21 50 d61 .91 .15 .03 -.03 .91 .15 .06 -.37 .00 -.25 2 22 51 d80 .48 .58 .34 -.59 .18 -.29 .48 .58 .01 -.57 2 23 52 d87 .46 .46 .46 .46 .19 -.68 .35 -.17 .01 -.70 2 24 53 d100 .73 .69 .17 -.57 .73 .69 .10 -.71 .01 -.48 2 25 54 d104 .88 .60 .88 .60 .06 -.72 .06 -.52 .00 -.31 2 26 55 d111 .58 .61 .21 -.52 .58 .61 .20 -.54 .01 -.15 2 27 56 d114 .26 .56 .67 -.51 .06 -.39 .26 .56 .01 -.41 2 28 57 d120 .94 .68 .03 -.70 .03 -.71 .94 .68 .01 -.45 2 29 58 d128 .76 .60 .76 .60 .12 -.53 .12 -.62 .00 -.45 2 30 d142 .66 .04 .66 .04 .16 -.25 .17 -.09 .01 -.20 2 31 59 d151 .74 .69 .11 -.50 .74 .69 .14 -.74 .01 -.70 2 32 60 d179 .41 .38 .41 .38 .22 -.40 .36 -.27 .02 -.38 2 33 61 d190 .91 .57 .06 -.64 .03 -.54 .91 .57 .00 -.51 2 34 62 d191 .71 .37 .71 .37 .05 -.56 .25 -.41 .00 -9.00 2 35 63 d195 .67 .52 .14 -.31 .19 -.66 .67 .52 .00 -9.00 2 36 64 d211 .52 .45 .52 .45 .10 -.56 .36 -.36 .01 -.60 2 37 65 d215 .93 .35 .02 -.27 .05 -.50 .93 .35 .00 -.22 2 38 66 d217 .85 .26 .03 -.50 .85 .26 .12 -.32 .01 -.22 2 39 67 d220 .51 .25 .51 .25 .06 -.30 .40 -.31 .02 -.34 2 40 68 d221 .73 .38 .08 -.55 .16 -.27 .73 .38 .03 -.51 2 41 69 d225 .26 .52 .34 -.54 .39 -.13 .26 .52 .01 -.44 2 42 70 d227 .91 .44 .91 .44 .02 -.77 .08 -.45 .00 -9.00



opción correcta.


40

Tabla TCT.4. Proporción de aciertos y Correlación biserial corregida ítem-test (subtest 3)


3 1 .33 .27 .12 -.18 .33 .27 .54 -.34 .01 -.12 3 2 .59 .55 .59 .55 .36 -.62 .04 -.43 .01 -.17 3 3 .43 .56 .34 -.47 .22 -.43 .43 .56 .01 .13 3 4 .82 .38 .82 .38 .11 -.46 .07 -.39 .00 -9.00 3 5 .91 .76 .91 .76 .01 -.88 .08 -.82 .00 -.24 3 6 .70 .53 .16 -.58 .14 -.44 .70 .53 .00 -9.00 3 7 .74 .37 .74 .37 .23 -.40 .04 -.61 .00 -9.00 3 8 .54 .43 .30 -.47 .16 -.33 .54 .43 .00 -9.00 3 9 .81 .29 .81 .29 .02 -.40 .16 -.37 .01 -.51 3 10 .60 .32 .60 .32 .08 -.39 .32 -.37 .00 -.24 3 11 .67 .26 .07 -.12 .26 -.43 .67 .26 .00 -9.00 3 12 .44 .34 .33 -.35 .20 -.26 .44 .34 .02 -.30 3 13 71 d1 .91 .14 .09 -.27 .00 -.24 .91 .14 .00 -9.00 3 14 72 d10 .79 .61 .79 .61 .10 -.57 .11 -.62 .01 -.23 3 15 73 d19 .65 .52 .26 -.56 .65 .52 .09 -.40 .01 -.35 3 16 74 d24 .46 .41 .32 -.29 .21 -.47 .46 .41 .01 .02 3 17 75 d34 .61 .58 .61 .58 .19 -.39 .19 -.64 .01 -.30 3 18 76 d45 .57 .44 .28 -.34 .14 -.58 .57 .44 .01 .03 3 19 77 d58 .63 .42 .06 -.38 .31 -.48 .63 .42 .00 -.72 3 20 78 d59 .86 .57 .86 .57 .07 -.80 .07 -.34 .00 -.68 3 21 79 d69 .83 .49 .83 .49 .03 -.74 .14 -.50 .00 -.33 3 22 80 d78 .86 .59 .09 -.78 .86 .59 .05 -.33 .00 -9.00 3 23 81 d79 .39 .37 .39 .37 .37 -.32 .23 -.31 .02 -.23 3 24 82 d84 .77 .60 .16 -.51 .77 .60 .07 -.73 .00 -.77 3 25 83 d106 .76 .76 .14 -.66 .10 -.73 .76 .76 .01 -.23 3 26 84 d107 .85 .54 .85 .54 .07 -.67 .08 -.47 .00 -9.00 3 27 85 d121 .63 .54 .08 -.30 .27 -.61 .63 .54 .02 -.34 3 28 86 d125 .95 .16 .02 -.47 .03 -.14 .95 .16 .00 -9.00 3 29 87 d126 .65 .48 .05 -.59 .65 .48 .30 -.50 .00 -9.00 3 30 88 d129 .58 .52 .20 -.32 .21 -.58 .58 .52 .01 -.43 3 31 89 d139 .60 .46 .60 .46 .29 -.52 .10 -.34 .01 -.22 3 32 90 d141 .68 .44 .09 -.38 .68 .44 .22 -.51 .01 -.09 3 33 91 d167 .44 .54 .11 -.13 .43 -.61 .44 .54 .02 -.38 3 34 92 d172 .44 .29 .25 -.49 .44 .29 .27 -.03 .04 -.39 3 35 93 d188 .81 .67 .81 .67 .17 -.77 .02 -.44 .00 -.15 3 36 94 d189 .65 .44 .15 -.53 .18 -.32 .65 .44 .02 -.44 3 37 95 d199 .68 .41 .21 -.50 .10 -.31 .68 .41 .00 -.24 3 38 96 d203 .68 .56 .15 -.47 .68 .56 .16 -.55 .01 -.45 3 39 97 d209 .57 .26 .12 -.36 .29 -.24 .57 .26 .02 -.50 3 40 d210 .52 .09 .34 -.04 .13 -.43 .52 .09 .01 -.38 3 41 98 d218 .46 .47 .46 .47 .50 -.54 .05 -.37 .00 -9.00 3 42 99 d223 .52 .58 .14 -.39 .52 .58 .32 -.55 .02 -.35



opción correcta.


41

Apéndice 2

Análisis desde el Análisis factorial de ítems

Tabla AF.1.

Pesos de los ítems en su factor (solución unidimensional y solución bifactorial) para cada subtest (los 12

primeros ítems son los ítems de anclaje)

Subtest 1 Subtest 2 Subtest 3

Un factor

Dos factores1 Un factor

Dos factores1 Un factor

Dos factores1

Ítem99 Factor 1 Factor 2 Ítem99 Factor 1 Factor 2 Ítem99 Factor 1 Factor 2

1 .52 .265 .318 .53 .441 .29 .299

2 .68 .252 .490 .54 .255 .368 .59 .530

3 .67 .794 .66 .575 .60 .641

4 .37 .456 .47 .412 .39 .264

5 .58 .720 .49 .619 .79 .897

6 .64 .639 .56 .500 .56 .394

7 .44 .510 .33 .40 .389

8 .39 .310 .52 .393 .48 .435

9 .56 .459 .47 .464 .32 .514

10 .36 .32 .267 .36 .652

11 .37 .34 .380 .27 .511

12 .44 .378 .49 .505 .37 .389

13 .44 .415 42 .54 .309 .315 71 .15 .472 -.276

14 .53 .279 .314 43 .56 .589 72 .64 .320 .388

15 .57 .398 44 .71 .314 .496 73 .55 .393

16 .39 .476 45 .71 1.166 -.313 74 .44 .613

17 .68 .588 46 .68 .345 .440 75 .63 .325 .379

18 .73 .269 .526 47 .58 .254 .406 76 .47 .353

19 .74 .715 48 .65 .505 .269 77 .44 .381

20 .76 .636 49 .66 .293 .461 78 .60 .627

21 .67 .620 50 .17 .266 79 .51 .481

.01 51 .62 .659 80 .62 .569

22 .73 .676 52 .51 .311 .280 81 .40 .401

23 .55 .354 .263 53 .72 .274 .536 82 .63 .570

24 .61 .581 54 .61 .537 83 .79 .390 .490

25 .54 .385 55 .65 .704 84 .58 .647

26 .84 .886 56 .63 -.295 .912 85 .58 .677

27 .54 .582 57 .68 .537 .263 86 .16 .500 -.298

28 .59 .509 58 .62 .539 87 .53 .392

29 .58 .464 .06 88 .56 .541

30 .60 .495 59 .72 .414 .421 89 .49 .564

31 .47 .557 60 .41 .357 90 .46 .339

32 .45 .601 61 .58 .658 91 .61 .643

33 .60 .818 62 .40 .316 92 .30 .377

34 .61 .628 63 .55 .485 93 .68 .608

35 .46 .634 64 .49 .557 94 .45 .318

36 .63 .262 .428 65 .35 .415 95 .44 .274

37 .69 .309 .452 66 .28 .264 96 .60 .307 .361

38 .45 .447 67 .27 -.301 .541 97 .28 .504

39 .50 .414 68 .40 .363 .11

40 .55 .481 69 .58 .701 98 .50 .330

41 .73 .405 .409 70 .46 .290 99 .63 .611

1Suprimidos pesos menores de.25


42

Apéndice 3

Análisis desde el Análisis de Teoría de la Respuesta al Ítem Tabla TRI.1. Índices de ajuste de Orlando y Thissen

Ítem99

Código Apéndice

Gráficas

MODFIT

a b c chi gl p

1 1 .76 .95 .14 2.85 6 .8274 2 2 1.01 -.13 .22 15 7 .0360 3 3 1.29 .29 .17 6.94 7 .4352 4 4 1.06 .04 .59 9.77 8 .2815 5 5 .88 -1.91 .26 5.15 7 .6417 6 6 1.55 -.10 .43 1.6 7 .1570 7 7 .47 -.94 .26 17.7 8 .0236 8 8 .51 .21 .14 1.9 7 .1430 9 9 .61 -1.20 .28 2.09 8 .9781 10 10 .41 .40 .20 6.38 7 .4961 11 11 .43 -.34 .30 1.6 7 .1570 12 12 1.05 .75 .28 5.53 7 .5956 13 1 1.24 .77 .31 31 18 .0288 14 2 .90 -.83 .39 17.7 18 .4756 15 3 .98 .86 .16 16.8 17 .4680 16 4 .49 -2.16 .33 26.9 18 .0809 17 5 1.95 -.18 .39 17.4 17 .4276 18 6 1.45 -.57 .27 7.66 16 .9583 19 7 1.36 -1.65 .30 9.75 11 .5530 20 8 1.50 -1.66 .33 15.6 10 .1117 21 9 1.05 -1.70 .31 8.55 13 .8060 22 10 1.59 .01 .21 27.8 16 .0334 23 11 .77 -.98 .29 14.7 18 .6825 24 12 .91 -1.49 .29 3.6 16 .0151 25 13 .93 .28 .26 17.2 18 .5094 26 14 2.09 .11 .13 19.9 16 .2248 27 15 1.05 .19 .30 12.6 18 .8148 28 16 .92 .23 .20 15.6 18 .6204 29 17 1.22 .03 .33 28.2 18 .0591 30 18 .96 -.22 .26 16.4 18 .5647 31 19 1.05 .30 .41 14.9 19 .7289 32 20 .59 -2.07 .33 23.4 18 .1757 33 21 1.69 .40 .29 15.2 17 .5811 34 22 1.25 .34 .24 19.8 18 .3442 35 23 .67 -2.74 .35 8.32 13 .8221 36 24 1.43 -.70 .47 2.7 15 .1467 37 25 1.43 -.56 .34 12.2 17 .7879 38 26 .92 .89 .24 25.8 18 .1044 39 27 .92 .88 .18 19.5 17 .3006 40 28 .99 -.37 .36 13.6 18 .7548 41 29 1.35 -.76 .29 22.1 16 .1400 42 1 .80 .18 .23 17.3 17 .4342 43 2 1.63 .05 .44 1.1 16 .8614 44 3 1.63 -.60 .35 12.3 14 .5822 45 4 1.09 -2.72 .34 2.46 4 .6518 46 5 1.15 -0.20 .20 13.9 15 .5331 47 6 0.98 -0.17 .28 15.3 17 .5739 48 7 1.01 -0.58 .25 38.6 16 .0012 49 8 1.28 -0.38 .30 32.3 16 .0091

50 9 0.22 -4.90 .34 22.2 19 .2744 51 10 1.75 0.58 .22 12.7 16 0.6946 52 11 .73 .73 .17 9.94 16 .8697 53 12 1.52 -.30 .27 7.94 14 .8924 54 13 .90 -1.33 .32 17.9 14 .2114 55 14 1.68 .28 .25 32.5 15 .0055 56 15 1.52 1.12 .10 16.4 15 .3560 57 16 1.32 -1.62 .38 8.56 10 .5743 58 17 1.25 -.29 .36 21.9 16 .1464 59 18 1.35 -.47 .23 2.6 14 .1123 60 19 .71 1.15 .21 12.1 17 .7940 61 20 .85 -1.76 .29 19.9 14 .1333 62 21 .55 -.33 .30 22 18 .2320 63 22 .72 -.32 .21 27.7 18 .0668 64 23 1.18 .71 .30 25.8 18 .1044 65 24 .48 -2.74 .34 15.8 16 .4670 66 25 .36 -1.98 .35 17.8 19 .5358 67 26 1.26 1.12 .38 21.7 18 .2456 68 27 .78 .07 .46 15.8 18 .6065 69 28 1.76 1.16 .12 19.6 16 .2388 70 29 .65 -1.84 .37 12.2 16 .7301 71 1 .21 -5.32 .34 2.9 18 .2845 72 2 1.29 -.61 .37 23.2 14 .0571 73 3 1.04 -.12 .29 14.1 16 .5913 74 4 1.42 .71 .28 16.6 17 .4818 75 5 1.05 -.16 .21 25.3 16 .0647 76 6 1.10 .37 .33 22.9 17 .1525 77 7 .86 .13 .34 15.5 17 .5595 78 8 .91 -1.35 .28 11.1 14 .6782 79 9 .85 -1.00 .39 24.7 15 .0541 80 10 .89 -1.41 .29 15.7 14 .3320 81 11 1.39 .92 .24 14.9 18 .6688 82 12 .93 -.90 .23 43.7 16 .0002 83 13 1.82 -.63 .23 17.9 13 .1614 84 14 .79 -1.44 .28 2.2 15 .1644 85 15 1.60 .04 .31 26.5 16 .0474 86 16 .25 -6.01 .35 8.82 11 .6385 87 17 .95 -.16 .28 15 16 .5246 88 18 1.29 .16 .27 30 16 .0180 89 19 1.39 .23 .35 18.6 16 .2900 90 20 .67 -.38 .28 22.7 18 .2024 91 21 1.67 .45 .19 25.9 15 .0391 92 22 .81 1.12 .29 21.9 18 .2365 93 23 1.11 -.97 .26 14.1 14 .4423 94 24 .82 -.04 .33 2.5 18 .3054 95 25 .66 -.32 .30 14.9 18 .6688 96 26 1.13 -.24 .29 18.2 16 .3123 97 27 .78 .76 .39 19.6 19 .4190 98 28 1.15 .60 .24 26.3 17 .0692 99 29 1.40 .23 .21 13.6 16 .6285

En rojo: p < .01


43

Tabla TRI.2. Parámetros de ítems para el banco

definitivo

Ítem99

Código Apéndice

Gráficas

MODFIT

Ítem95 a b c

1 1 1 .76 .95 .14

2 2 2 1.02 -.13 .22

3 3 3 1.29 .29 .17 4 4

5 5 4 .87 -1.92 .26

6 6 5 1.55 -.10 .43 7 7 6 .47 -.95 .26

8 8 7 .52 .22 .15

9 9 8 .60 -1.21 .28 10 10 9 .40 .41 .20

11 11 10 .43 -.33 .30

12 12 11 1.05 .75 .28 13 1 12 1.22 .77 .31

14 2 13 .89 -.84 .39

15 3 14 1.00 .86 .16 16 4 15 .49 -2.17 .33

17 5 16 1.91 -.19 .38

18 6 17 1.45 -.56 .27 19 7 18 1.37 -1.65 .30

20 8 19 1.50 -1.66 .33

21 9 20 1.05 -1.70 .31 22 10 21 1.55 .00 .21

23 11 22 .77 -.98 .29

24 12 23 .92 -1.49 .28 25 13 24 .95 .29 .26

26 14 25 2.09 .11 .13

27 15 26 1.06 .19 .30 28 16 27 .93 .23 .20

29 17 28 1.22 .03 .33

30 18 29 .96 -.21 .27 31 19 30 1.05 .31 .41

32 20 31 .60 -2.06 .33

33 21 32 1.67 .40 .29 34 22 33 1.27 .34 .24

35 23 34 .67 -2.75 .35

36 24 35 1.43 -.70 .47 37 25 36 1.43 -.55 .34

38 26 37 .91 .90 .23

39 27 38 .92 .88 .18 40 28 39 1.00 -.36 .36

41 29 40 1.34 -.75 .29

42 1 41 .80 .19 .23 43 2 42 1.59 .05 .44

44 3 43 1.60 -.60 .35

45 4 44 1.10 -2.70 .34 46 5 45 1.16 -.20 .20

47 6 46 .98 -.17 .27 48 7 47 1.02 -.57 .25

49 8 48 1.28 -.38 .30

50 9

51 10 49 1.75 .58 .22

52 11 50 .74 .73 .17

53 12 51 1.51 -.31 .26 54 13 52 .90 -1.32 .32

55 14 53 1.72 .29 .26

56 15 54 1.54 1.12 .10 57 16 55 1.32 -1.61 .38

58 17 56 1.25 -.29 .36

59 18 57 1.35 -.46 .23 60 19 58 .72 1.15 .21

61 20 59 .84 -1.76 .29

62 21 60 .56 -.33 .30 63 22 61 .73 -.31 .21

64 23 62 1.20 .72 .30

65 24 63 .48 -2.72 .34 66 25 64 .37 -1.93 .35

67 26 65 1.25 1.13 .38

68 27 66 .79 .09 .46 69 28 67 1.77 1.16 .12

70 29 68 .66 -1.82 .37

71 1

72 2 69 1.34 -.60 .37

73 3 70 1.03 -.13 .28 74 4 71 1.40 .71 .28

75 5 72 1.04 -.17 .21

76 6 73 1.08 .36 .33 77 7 74 .88 .12 .33

78 8 75 .90 -1.37 .28

79 9 76 .86 -1.01 .39 80 10 77 .88 -1.43 .29

81 11 78 1.37 .91 .24

82 12 79 .94 -.90 .24 83 13 80 1.80 -.64 .23

84 14 81 .79 -1.45 .28

85 15 82 1.60 .02 .31 86 16

87 17 83 .95 -.16 .29

88 18 84 1.30 .14 .27 89 19 85 1.40 .23 .35

90 20 86 .68 -.39 .28

91 21 87 1.65 .44 .19 92 22 88 .77 1.12 .29

93 23 89 1.09 -1.00 .25

94 24 90 .82 -.04 .33 95 25 91 .66 -.32 .30

96 26 92 1.13 -.26 .28

97 27 93 .78 .75 .39 98 28 94 1.17 .60 .24

99 29 95 1.39 .22 .21


44

Apéndice 4

Análisis relacionados con la validez Figura A.V.1

Gráficos de dispersión que muestran la relación suavizada entre años de formación y estimada

(izquierda). Gráficos que muestran la media y el intervalo de confianza (95%) según años de formación

(derecha).


45

Tabla AP4.1 (datos figura 13) Lectura Escritura Oral

Decil p1 p2 p3 p4 p5 p1 p2 p3 p4 p5 p1 p2 p3 p4 p5

1 .07 .25 .63 .04 .00 .10 .51 .35 .03 .00 .17 .62 .20 .01 .00

2 .02 .12 .74 .12 .01 .03 .35 .52 .10 .00 .04 .51 .40 .05 .00

3 .01 .07 .72 .20 .01 .01 .25 .57 .16 .00 .02 .38 .51 .10 .00

4 .00 .04 .67 .27 .02 .01 .19 .57 .23 .01 .01 .28 .56 .15 .01

5 .00 .02 .60 .34 .04 .00 .13 .55 .30 .02 .00 .19 .57 .22 .01

6 .00 .01 .52 .40 .06 .00 .09 .51 .36 .03 .00 .13 .54 .30 .03

7 .00 .01 .43 .46 .10 .00 .06 .46 .43 .05 .00 .08 .49 .38 .05

8 .00 .00 .35 .50 .14 .00 .04 .40 .49 .07 .00 .05 .42 .45 .07

9 .00 .00 .26 .52 .22 .00 .02 .32 .55 .11 .00 .03 .32 .52 .13

10 .00 .00 .13 .48 .38 .00 .01 .19 .58 .23 .00 .01 .17 .53 .29

Tabla AP4.1 (datos figura 14) Nivel en la EOI

Decil p1 p2 p3 p4 p5 Nivel en que suele clasificarse la persona según la EOI

1 .74 .20 .04 .02 .00 Básico 2 .50 .34 .10 .06 .01 Básico o Intermedio 1 3 .35 .38 .14 .11 .02 Básico o Intermedio 1 4 .25 .37 .17 .16 .05 Básico o Intermedio 5 .18 .35 .19 .21 .08 Intermedio o Avanzado 1 6 .12 .30 .20 .25 .12 Intermedio o Avanzado 1 7 .08 .25 .20 .29 .18 Intermedio o Avanzado 1 8 .05 .20 .19 .32 .25 Intermedio 2 o Avanzado 9 .02 .14 .16 .33 .35 Intermedio 2 o Avanzado 10 .01 .06 .09 .28 .56 Avanzado

Tabla AP4.1 (datos figura 15)

Decil Nivel en eCAT grammar

Nivel más probable en eCAT grammar 2 3 4 5 6 7 8 9 10

1 .03 .07 .43 .36 .09 .01 .00 .00 .00 < 5

2 .00 .00 .16 .47 .29 .07 .01 .00 .00 5-6

3 .00 .00 .05 .34 .40 .16 .04 .00 .00 5-6

4 .00 .00 .02 .22 .41 .24 .09 .01 .00 5-7

5 .00 .00 .01 .12 .36 .31 .17 .03 .00 6-8

6 .00 .00 .00 .06 .27 .33 .26 .06 .01 6-8

7 .00 .00 .00 .03 .17 .31 .35 .11 .03 6-8

8 .00 .00 .00 .01 .10 .25 .39 .18 .06 7-10

9 .00 .00 .00 .00 .04 .16 .38 .27 .15 7-10

10 .00 .00 .00 .00 .01 .05 .22 .30 .43 9-10


46

Tabla AP4.1 Nivel de estudios más probable como función del decil Decil Ningún estudio o

Primarios

Bachillerato Licenciado o

Universitario

Nivel probable

1 .27 .48 .25 no universitario

2 .18 .47 .34 no universitario 3 .15 .46 .40 no universitario 4 .12 .44 .44 no universitario 5 .10 .42 .48 no universitario

6 .09 .39 .52 universitario 7 .07 .37 .56 universitario 8 .06 .34 .59 universitario

9 .05 .31 .64 universitario 10 .03 .26 .71 universitario

Tabla AP4.1 Fuente de origen más probable como función del decil Decil Inglés en el hogar Con estancias

1 0 .01 2 0 .03

3 0 .05 4 .01 .08 5 .01 .12

6 .01 .16 7 .02 .22

8 .03 .28

9 .05 .37 10 .10 .53


47

INTERPRETACIÓN NORMATIVA Y CRITERIAL

DECIL 1 En una escala de 1 a 10 su nivel de dominio de COMPRENSIÓN ORAL del

idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel muy

bajo de conocimiento del idioma. En concreto, respecto a un grupo de personas que

tuvieran muy diferente nivel de inglés (desde los que tienen escaso conocimiento hasta

los que son nativos) podríamos decir con ciertas garantías que usted superaría

únicamente al ___ del grupo, mientras que un ___ manifestarían un nivel superior al

suyo.

Se sabe que prácticamente todas las personas que evaluamos en este nivel se

han formado en el idioma únicamente en las asignaturas obligatorias de inglés que han

cursado en sus estudios de primaria y secundaria. Lo más normal es que no hayan

asistido a academias para mejorar su nivel en el idioma, ni a Escuelas Oficiales de

Idiomas. Como es lógico, las personas ubicadas en este nivel no han practicado el

idioma en contextos reales de comunicación; por ejemplo, resulta extremadamente

infrecuente que hayan realizado estancias en países anglosajones, seguramente porque

su nivel en el idioma no le capacita para una comunicación oral fluida.

A un número importante de personas con el mismo nivel que usted les

pedimos en un breve cuestionario su opinión personal respecto a sus niveles de lectura,

escritura y comprensión oral del inglés (desde el nivel 1, que es el más bajo, hasta el 5,

que es el más alto). En la siguiente tabla se muestra el porcentaje de estas personas (con

un dominio del idioma similar al de usted) que consideran que su nivel es uno de los 5

posibles en cada una de las 3 competencias con el idioma:

Niveles de dominio

LECTURA (%)

ESCRITURA (%)

COMPRENSIÓN ORAL (%)

Nivel 1 7 10 17

Nivel 2 25 51 62

Nivel 3 63 35 20

Nivel 4 4 3 1

Nivel 5 0 0 0

Vemos, por tanto, que la mayoría de las personas de su nivel de inglés

consideran que tienen un nivel medio-bajo en lectura y escritura, así como un nivel bajo

en comprensión oral del idioma.


48

Las personas con su mismo nivel de inglés que asisten a Escuelas Oficiales de

Idiomas suelen estar aprendiendo en grupos de estudiantes del nivel básico (el nivel más

bajo de los 5 que se establecen en este tipo de centros).


49

DECIL 2

En una escala de 1 a 10 su nivel de dominio de COMPRENSIÓN ORAL del

idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel bajo

de conocimiento del idioma. En concreto, respecto a un grupo de personas que tuvieran

muy diferente nivel de inglés (desde los que tienen escaso conocimiento hasta los que

son nativos) podríamos decir con ciertas garantías que usted superaría únicamente al

___ del grupo, mientras que un ___ manifestarían un nivel superior al suyo.

Se sabe que prácticamente todas las personas que evaluamos en este nivel se

han formado en el idioma únicamente en las asignaturas obligatorias de inglés que han

cursado en sus estudios de primaria y secundaria. Lo más normal es que no hayan

asistido a academias para mejorar su nivel en el idioma, ni a Escuelas Oficiales de

Idiomas. Como es lógico, las personas ubicadas en este nivel no han practicado el

idioma en contextos reales de comunicación; por ejemplo, resulta extremadamente


su nivel en el idioma no le capacita para una comunicación oral fluida. Solamente un 3

% de las personas con su nivel admiten haber estado en alguna estancia en países de

habla inglesa.







Niveles de dominio

LECTURA (%)

ESCRITURA (%)


Nivel 1 2 3 4

Nivel 2 12 35 51

Nivel 3 74 52 40

Nivel 4 12 10 5

Nivel 5 1 0 0


consideran que tienen un nivel medio en lectura, así como un nivel medio-bajo en

escritura y comprensión oral del idioma.


50


Idiomas suelen estar aprendiendo en grupos de estudiantes del nivel básico o

intermedio1 (los dos niveles más bajos de los 5 que se establecen en este tipo de

centros).


51

DECIL 3


idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel

medio- bajo de conocimiento del idioma. En concreto, respecto a un grupo de personas

que tuvieran muy diferente nivel de inglés (desde los que tienen escaso conocimiento

hasta los que son nativos) podríamos decir con ciertas garantías que usted superaría


suyo.

Se sabe que la mayoría de las personas que evaluamos en este nivel se han

formado en el idioma únicamente en las asignaturas obligatorias de inglés que han

cursado en sus estudios de primaria y secundaria. Lo más normal es que no hayan ido a

Escuelas Oficiales de Idiomas, aunque algunas personas han asistido a academias para

mejorar su nivel en el idioma. Como es lógico, las personas ubicadas en este nivel no

han practicado el idioma en contextos reales de comunicación; por ejemplo, resulta


su nivel en el idioma no les capacita para una comunicación oral fluida. Solamente un 5


habla inglesa.







Niveles de dominio

LECTURA (%)

ESCRITURA (%)


Nivel 1 1 1 2

Nivel 2 7 25 38

Nivel 3 72 57 51

Nivel 4 20 16 10

Nivel 5 1 0 0


52


consideran que tienen un nivel medio en lectura y escritura, así como un nivel medio-

bajo en comprensión oral del idioma.




centros).


53

DECIL 4



medio de conocimiento del idioma. En concreto, respecto a un grupo de personas que




suyo.

Se sabe que la mayoría de las personas que evaluamos en este nivel han

terminado al menos estudios de bachillerato. Se han formado en el idioma en las

asignaturas obligatorias de inglés que han cursado en sus estudios de primaria y

secundaria. Lo más normal es que no hayan ido a Escuelas Oficiales de Idiomas, aunque

algunas personas han asistido a academias para mejorar su nivel de inglés. Las personas

ubicadas en este nivel no han practicado demasiado el idioma en contextos reales de

comunicación; por ejemplo, resulta infrecuente que hayan realizado estancias en países

anglosajones, seguramente porque su nivel en el idioma no les capacita todavía para una

comunicación oral fluida. Solamente un 8 % de las personas con su nivel admiten haber

estado en alguna estancia en países de habla inglesa.







Niveles de dominio

LECTURA (%)

ESCRITURA (%)


Nivel 1 0 1 1

Nivel 2 4 19 28

Nivel 3 67 57 56

Nivel 4 27 23 15

Nivel 5 2 1 1


54


consideran que tienen un nivel medio-alto en lectura y escritura, así como un nivel

medio-bajo en comprensión oral del idioma.




centros), si bien un 38 están ubicadas en alguno de los 3 niveles superiores.


55

DECIL 5







suyo.


terminado al menos estudios de bachillerato, y la mitad han terminado también algunos

estudios universitarios. Se han formado en el idioma en las asignaturas obligatorias de

inglés que han cursado en sus estudios de primaria y secundaria. Un grupo importante

de las personas con un nivel parecido al suyo han ido a Escuelas Oficiales de Idiomas o

a academias no oficiales para mejorar su nivel de inglés. Las personas ubicadas en este

nivel no han practicado demasiado el idioma en contextos reales de comunicación; por

ejemplo, resulta infrecuente que hayan realizado estancias en países anglosajones,

seguramente porque su nivel en el idioma no les capacita todavía para una

comunicación oral fluida. Solamente un 12 % de las personas con su nivel admiten

haber estado en alguna estancia en países de habla inglesa.







Niveles de dominio

LECTURA (%)

ESCRITURA (%)


Nivel 1 0 0 0

Nivel 2 2 13 19

Nivel 3 60 55 57

Nivel 4 34 30 22

Nivel 5 4 2 1


56


consideran que tienen un nivel medio-alto en lectura y escritura, así como un nivel

medio en comprensión oral del idioma.


Idiomas suelen estar aprendiendo en grupos de estudiantes del nivel intermedio1 (el

segundo nivel de los 5 que se establecen en este tipo de centros), si bien un 48 están

ubicadas en alguno de los 3 niveles superiores.


57

DECIL 6







suyo.


terminado algunos estudios universitarios. Se han formado en el idioma en las


secundaria. Un grupo importante de las personas con un nivel parecido al suyo han ido a

Escuelas Oficiales de Idiomas o a academias no oficiales para mejorar su nivel de

inglés. Las personas ubicadas en este nivel no han practicado demasiado el idioma en

contextos reales de comunicación, aunque pueden tener un nivel alto en gramática; por

ejemplo, resulta infrecuente que hayan realizado estancias en países anglosajones,

seguramente porque su nivel en el idioma no es suficiente para una comunicación oral

fluida. Un 16 % de las personas con su nivel admiten haber estado en alguna estancia

en países de habla inglesa.







Niveles de dominio

LECTURA (%)

ESCRITURA (%)


Nivel 1 0 0 0

Nivel 2 1 9 13

Nivel 3 54 51 54

Nivel 4 40 36 30

Nivel 5 6 3 3


58

Vemos por tanto que las personas con su nivel tienden a valorar entre 3 y 4 sus

destrezas con el idioma (lectura, escritura y comprensión oral), lo que pueden

considerarse niveles medios-altos.


Idiomas suelen estar aprendiendo en grupos de estudiantes de nivel medio o avanzado

(entre los 3 niveles intermedios de los 5 que se establecen en este tipo de centros).


59

DECIL 7



medio-alto de conocimiento del idioma. En concreto, respecto a un grupo de personas

que tuvieran muy diferente nivel de inglés (desde los que tienen escaso conocimiento

hasta los que son nativos) podríamos decir con ciertas garantías que usted superaría


suyo.






inglés. Las personas ubicadas en este nivel no han practicado demasiado el idioma en

contextos reales de comunicación, aunque pueden tener un nivel alto en gramática. Un

22 % de las personas con su nivel admiten haber estado en alguna estancia en países de

habla inglesa, lo que no es un porcentaje pequeño para lo que suele ser usual.

A un número importante de personas con el mismo nivel que usted les pedimos en un breve cuestionario su opinión personal respecto a sus niveles de lectura, escritura y comprensión oral del inglés (desde el nivel 1, que es el más bajo, hasta el 5, que es el más alto). En la siguiente tabla se muestra el porcentaje de estas personas (con un dominio del idioma similar al de usted) que consideran que su nivel es uno de los 5 posibles en cada una de las 3 competencias con el idioma:

Niveles de dominio

LECTURA (%)

ESCRITURA (%)


Nivel 1 0 0 0

Nivel 2 1 6 8

Nivel 3 43 46 49

Nivel 4 46 43 38

Nivel 5 10 5 5


60



considerarse niveles medios-altos.



(entre los 4 niveles superiores de los 5 que se establecen en este tipo de centros).


61

DECIL 8


idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel alto










inglés. Una parte importante de estas personas han practicado el idioma en contextos

reales de comunicación, y pueden tener un nivel alto en gramática. En concreto, un 28


habla inglesa, lo que no es un porcentaje pequeño para lo que suele ser usual.


Niveles de dominio

LECTURA (%)

ESCRITURA (%)


Nivel 1 0 0 0

Nivel 2 0 4 5

Nivel 3 35 40 42

Nivel 4 50 49 45

Nivel 5 14 7 7


62



considerarse niveles altos o medios.





63

DECIL 9


idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel alto










inglés. Una parte importante de estas personas han practicado el idioma en contextos

reales de comunicación, y pueden tener un nivel alto en gramática. En concreto, un 37


habla inglesa, lo que representa un porcentaje considerable para lo que suele ser usual.


Niveles de dominio

LECTURA (%)

ESCRITURA (%)


Nivel 1 0 0 0

Nivel 2 0 2 3

Nivel 3 26 32 32

Nivel 4 52 55 52

Nivel 5 22 11 13


64



considerarse niveles altos o medios.


Idiomas suelen estar aprendiendo en grupos de estudiantes de nivel avanzado (entre los

2 niveles superiores de los 5 que se establecen en este tipo de centros).


65

DECIL 10


idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel muy

alto de conocimiento del idioma. En concreto, respecto a un grupo de personas que




suyo.

Se sabe que la inmensa mayoría de las personas que evaluamos en este nivel

han terminado algunos estudios universitarios. Un grupo importante de las personas con

un nivel parecido al suyo han ido a Escuelas Oficiales de Idiomas o a academias no

oficiales para mejorar su nivel de inglés. Un 10 % admite haber aprendido el idioma en

el contexto familiar. Una parte importante de estas personas con elevado nivel de inglés

han practicado el idioma en contextos reales de comunicación y tienen un nivel alto en

gramática. En concreto, más de un 50 % de las personas con su nivel admiten haber

estado en alguna estancia en países de habla inglesa, lo que representa un porcentaje

muy elevado para lo que suele ser usual.



66

Niveles de dominio

LECTURA (%)

ESCRITURA (%)


Nivel 1 0 0 0

Nivel 2 0 1 1

Nivel 3 13 19 17

Nivel 4 48 58 53

Nivel 5 38 23 29



considerarse niveles altos o muy altos.


Idiomas suelen estar aprendiendo en grupos de estudiantes del nivel más avanzado


propiedades psicométricas de un test -...

Documents