TRABAJO FINAL ASIGNATURA LABORATORIO DE PSICOMETRIAANÁLISIS DE LAS PROPIEDAS METRICAS EXIGIBLES A UN TEST

PSICOTECNICOPROGRAMA DE PSICOLOGIA UNAB 2013

1 OBJETIVO

Aplicar los contenidos de la Teoría Clásica de los Tests, realizando todos los pasos que requiere la construcción de un test.

Una vez concluido el análisis de datos, los alumnos deberán confeccionar un informe que detalle el procedimiento seguido para la creación de su test.

Semanalmente se dedicarán horas de clase a la orientación y supervisión del proceso anterior, desde el análisis de datos hasta la elaboración del informe.

2 PROCEDIMIENTO

2.1 COMPOSICIÓN DEL GRUPO DE PRÁCTICAS

Cada grupo de prácticas estará integrado por un mínimo de 3 personas y un máximo de 5, se requiere conocimientos básicos de SPSS.

2.2 DEFINICIÓN DEL RASGO A MEDIR Y GENERACIÓN DE ÍTEMS

Cada grupo deberá elegir (libremente) y definir el rasgo que desee medir. Es muy conveniente que el rasgo elegido tenga un significado psicológico claro. Si no lo tiene, será más difícil su definición, la obtención de predicciones, y la comparación e interpretación de los resultados. A continuación se procederá a generar ítems adecuados al mismo. El TEST INICIAL debe estar formado por una rasgo medible con 15 ítems.

2.3 VARIABLES CRITERIO

Para ayudarnos a saber qué mide nuestro test vamos a introducir en el cuadernillo de aplicación una o más variables criterio. En concreto, además de los 15 ítems, la hoja de recogida de respuestas contendrá ciertos ítems (no más de cinco), que podrán ser de los siguientes 4 tipos:

1) Ítems extraídos de tests que se sabe que miden un rasgo asociado al constructo que queremos medir con nuestro test. Por ejemplo, si el test que estamos elaborando pretende medir liderazgo, puesto que las personas líderes suelen ser extrovertidas, en la hoja de recogida de respuestas podríamos incluir, como variables criterio, cinco ítems tomados de un test de extroversión.

2) Ítems que muestren la conducta real (no la conducta verbal) que se sabe que está asociada al rasgo que pretendemos medir. Por ejemplo, si queremos medir actitud ante el consumo de marihuana, podríamos incluir como variables criterio preguntas como las siguientes: ¿consumes marihuana? Nunca ( ) A veces ( ) Con frecuencia ( ) Muy frecuentemente ( ); ¿has consumido alguna vez heroína, éxtasis o cocaína? Si ( ) No ( ),..

3) Ítems con información biográfica que se sepa que está relacionada con la variable que queremos medir, como edad, género, estudios,..

4) Una combinación de los tres tipos anteriores. Por ejemplo, si nuestro test pretende medir la actitud ante el consumo de alcohol en estudiantes de 13 a 16 años, podríamos incluir como ítems criterio algunos relativos a si se consume o no alcohol, y otros de tipo biográfico, como la edad, pues se sabe que a esas edades los estudiantes de más edad tienen una actitud más favorable.

La elección de las variables criterio es tanto más sencilla cuanta más y mejor información se tenga del rasgo que se pretende medir con el test.

2.4 MATERIAL DE APLICACIÓN

Dependiendo del tipo de itemes diseñados la recogida de datos se facilita considerablemente si se utiliza una hoja de papel para las respuestas, un cuadernillo para las preguntas, una plantilla para la calificación.

La aplicación de los tests se llevará a cabo durante las horas lectivas. Cada salón deberá responder a los tests de los grupos. Igualmente ubicaran Esto permitirá disponer a cada grupo de una muestra de unas 100 personas. Para la aplicación del test, cada grupo deberá venir provisto de 110 copias de su test que entregará a sus compañeros para ser debidamente diligenciadas.

2.5 CREACIÓN DEL FICHERO DE DATOS

Después de aplicar el test tenemos que construir un fichero de datos, en el Editor de Datos del SPSS, que denominaremos con el nombre del grupo GRUPOX.SAV. En dicho fichero se incluirán las respuestas de la muestra a todos los ítems. (La X representa el número del grupo al cual pertenecen los estudiantes).

Lo primero que tenemos que tener en cuenta es el procedimiento de cuantificación de las respuestas, siguiendo las pautas indicadas en clase:

a) la cuantificación de un ítem depende de si el ítem mide de manera directa o inversa el rasgo que interesa. c) Si una persona no responde a un ítem o marca dos alternativas, le asignaremos el valor “9” en ese ítem. Ésta va a ser la manera de codificar los valores perdidos (o “missings”) en el SPSS.

GRUPOX.SAV es un fichero SPSS de datos donde los sujetos son las filas y los ítems las columnas o variables, de tal manera que cada fila recoge las respuestas de una persona a todos los ítems. Por tanto, el fichero tiene tantas filas como sujetos hayan respondido el test. La columna relativa a cada ítem debe reflejar las respuestas de todos los sujetos a ese ítem. Cada fila debe empezar por el número de codificación del sujeto. Después del número de codificación, se van grabando las respuestas a los ítems. Por ejemplo, supóngase que disponemos de las respuestas de 100 sujetos a un test de 15 ítems y dos ítems criterio. Los datos de los tres primeros sujetos son estos:

El ejemplo muestra las respuestas dadas por las tres primeras personas que respondieron los 15 ítems de un test de rendimiento típico, formado por ítems con formato de respuesta de categorías ordenadas que se valoran de 1 a 5 o de 5 a 1, según si el ítem mide de manera directa o inversa el rasgo que interesa. La primera columna contiene los códigos de los sujetos. Las respuestas en blanco o incorrectas (dobles respuestas, por ejemplo) se codifican con “9”. Las dos últimas columnas contienen las respuestas a los ítems criterio (dos, en este ejemplo). Introducidos estos datos, el Editor de Datos de SPSS los mostrará como sigue:

Si en algún ítem hay datos perdidos, codificados con “9”, habrá que indicarlo al programa, pulsando en la solapa ‘Vista de variables’ y en ‘Perdidos’:

Cuando se tenga el archivo GRUPOX.SAV completo, se grabará con esta denominación en un CD REGRABABLE.

3 ESTUDIO PSICOMÉTRICO DEL TEST

El estudio de las cualidades psicométricas del test requiere dos fases: una de análisis de ítems y otra de estudio de las propiedades del test definitivo. Ambas se realizarán en al aula de informática.

3.1 Análisis de los ítems

Para cada ítem vamos a obtener diferentes datos: − Media y varianza − Índice de homogeneidad corregido (HC) o correlación ítem-test corregida (es decir, eliminando del test el ítem cuya correlación se está hallando).

A partir de estos resultados, debemos depurar el test inicial, eliminando los ítems que no resulten apropiados y cambiando la codificación de alguno, si fuese necesario. La selección se hará atendiendo principalmente a los índices HC. Eliminaremos los ítems con valores de HC próximos a cero. También puede eliminarse algún ítem que tenga una varianza muy pequeña.

A continuación, estudiaremos las garantías que ofrece el test definitivo. En concreto, considerando únicamente las respuestas a los ítems que forman el test definitivo, vamos a obtener: a) Su coeficiente de fiabilidad, por la técnica de dos mitades. b) Su coeficiente α de Cronbach. c) Un estructura factorial para conocer la validez factorial del test, aplicando dos procedimientos distintos de análisis factorial. d) Las relaciones existentes entre las puntuaciones en el test y las variables criterio. e) Un baremo en centiles y otra escala alternativa. Para llevar a cabo el análisis INICIAL de los 15 ítems en el SPSS se selecciona el menú Analizar -> Escalas -> Análisis de fiabilidad.

Para el análisis de ítems se pulsa el botón Estadísticos y aparece el siguiente cuadro de diálogo. Se marcan las opciones que aparecen señaladas:

Si se ejecutan las selecciones que aparecen señaladas en el cuadro de diálogo de la figura anterior, el SPSS proporciona una salida de resultados que contiene toda la información necesaria para realizar el análisis de los ítems y determinar los que constituyen el test definitivo. Los resultados correspondientes a los datos del ejemplo se muestran en las tablas siguientes.

Como puede verse en la Tabla 1, en primer lugar se obtienen una serie de estadísticos descriptivos para cada ítem: la media, la desviación típica y el número de personas que han respondido el ítem. Las medias de nuestro ejemplo están comprendidas entre 1.64 del ítem 13 y 3.59 del ítem 3. El ítem 15 tiene la mayor desviación típica, 1.396.

Tabla 1. Estadísticos descriptivos para los 15 ítems del test inicial. Estadísticos de los elementos

La relación entre cada ítem y el test se muestra en la Tabla 2. La primera columna contiene la puntuación media en el test si eliminamos el ítem. Por ejemplo, si eliminamos el ítem 1 la media del test sería 38.34.

La siguiente columna es la varianza del test si eliminamos el ítem. Por ejemplo, si eliminamos el ítem 5 la varianza del test sería 32.63. La columna tercera contiene el índice de homogeneidad corregido; es decir, la correlación entre la puntuación en un ítem y la suma de las puntuaciones en los ítems restantes. Por ejemplo, el índice de homogeneidad corregido para el ítem 10 es 0.192, lo que nos indica que no hay mucha relación entre este ítem y los restantes. La cuarta columna contiene la correlación múltiple al cuadrado; es decir, el grado en que se puede predecir la puntuación en el ítem a partir de las puntuaciones en los restantes ítems. Tal y como era de esperar, el ítem 10 no se predice bien a partir del resto de los ítems. Su correlación múltiple al cuadrado es sólo 0.168. La última columna contiene el coeficiente α de Cronbach si eliminamos el ítem. Por ejemplo, eliminar el ítem 10 provoca que el coeficiente α de Cronbach pase a ser 0.620 en el test de 14 ítems.

Tabla 2. Estadísticos total - elemento. Estadísticos total-elemento

El coeficiente α de Cronbach del test inicial, compuesto por 15 ítems, aparece en la Tabla 3. En nuestro datos, alcanza un valor de 0.627.

Tabla 3. Coeficiente α de Cronbach del test inicial. Estadísticos de fiabilidad

Para obtener el test definitivo deberemos eliminar los ítems que peor se comporten. Lo primero que llama la atención en la Tabla 2 es la alta y negativa correlación ítem-test del ítem 2 (-0.532). Hay otra correlación negativa, pero muy próxima a cero. La alta correlación negativa del ítem 2 nos indica que está mal codificado. Recodificamos el ítem 2 (convertimos la puntuación 1 en 5, la 2 en 4,.. la 5 en 1) y pasará a ser directo si era inverso, o al contrario. Guardamos el nuevo archivo de datos con el nombre GRUPOX.SAV. Volvemos a aplicar el programa ESCALAS con el nuevo archivo de datos. El nuevo coeficiente alfa obtenido se muestra en la Tabla 4.

Tabla 4. Coeficiente α de Cronbach del test inicial tras recodificar el ítem 2. Estadísticos de fiabilidad

Tabla 5. Estadísticos total – elemento tras recodificar el ítem 2. Estadísticos total-elemento

El coeficiente alfa pasa a ser 0.765, y, como muestra la Tabla 5, no hay correlaciones negativas importantes. Vamos a eliminar del test los ítems que correlacionen nada o muy poco con él. Hay que eliminar sin duda los ítems 4 y 15, y podrían eliminarse además el 10, 12 y 13. Eliminaremos los cinco, dado que

a) Son los que tienen menores valores del índice de homogeneidad corregido. b) Solo esos cinco ítems cumplen que, al ser eliminados, el coeficiente alfa del test de 14 ítems resultante es igual o mayor que el del test de 15 ítems, como muestra la última columna de la Tabla 5. c) Los índices de homogeneidad son correlaciones. Un índice de correlación es significativamente distinto de cero cuando ¿ r∨√n≥1.96 , siendo n el tamaño de la muestra. Sólo los cinco ítems eliminados tienen índices de homogeneidad no significativos.

El test definitivo de nuestro ejemplo estará compuesto, por tanto, por los 10 ítems: 1, 2, 3, 5, 6, 7, 8, 9, 11 y 14. El análisis psicométrico se hará del test final acabado de definir. La Tabla 6 contiene los índices de homogeneidad corregidos del test final de 10 ítems. Todos son positivos y significativos.

Tabla 6. Estadísticos total – elemento de los diez ítems del test final. Estadísticos total-elemento

3.2 Estudio de las propiedades psicométricas del test definitivo

3.2.1 Fiabilidad

Entrando de nuevo en el menú Analizar -> Escalas -> Análisis de fiabilidad, obtendremos los estadísticos para el test definitivo (seleccionando sólo los ítems del test final).

La Tabla 7 contiene la media, varianza y el coeficiente α del test final. En el test inicial, una vez recodificado el ítem 2, el coeficiente α era de 0.765. En el test final, a pesar de ser más corto, el coeficiente α alcanza un valor de 0.870. Por lo tanto, al eliminar los cinco ítems hemos mejorado la consistencia interna del test.

Tabla 7. Media, varianza y coeficiente α de Cronbach del test final. Estadísticos de la escala

Estadísticos de fiabilidad El coeficiente alfa obtenido (0.87) es un valor alto, indicando que el test tiene alta consistencia interna. Los ítems covarían fuertemente entre sí y, en general, todos ayudan a medir lo que mide el test.

También podemos informar sobre la consistencia interna del test calculando el coeficiente de fiabilidad por el método de las dos mitades. Para ello, se selecciona el menú Analizar->Escalas->Análisis de fiabilidad.

La salida contiene un resumen de los estadísticos que obtenemos al dividir la escala en dos partes. La parte 1 está formada por los 5 primeros ítems (1, 2, 3, 5 y 6) y la parte 2 por los 5 últimos de la lista de ítems introducida en la casilla “Elementos” (7, 8, 9, 11 y 14).

La Tabla 8 muestra datos descriptivos de las dos mitades. Es útil para determinar, por ejemplo, si las dos formas tienen una media y varianza similar, como habría de ocurrir si son formas paralelas. Con nuestros datos, vemos que tanto las medias (2.796 y 2.596), como las varianzas (0.988 y 1.109) no parecen demasiado diferentes. A estos valores pueden aplicarse los contrastes estadísticos estudiados para determinar si la diferencia es o no significativa.

Tabla 8. Estadísticos resumen de las dos mitades. Estadísticos de resumen de los elementos

El coeficiente de fiabilidad obtenido por este procedimiento se muestra en la Tabla 9. La correlación entre las dos mitades del test vale 0.892. Aplicando la fórmula de Spearman-Brown, se obtiene que el coeficiente de fiabilidad de nuestro test vale 0.943. Por lo tanto, el 94% de la varianza de las puntuaciones observadas es varianza de las puntuaciones verdaderas. El 6% se debe al error de medida. Es, por tanto, un test con alta fiabilidad y además de sólo 10 ítems.

Tabla 9. Coeficiente de fiabilidad obtenido por el método de dos mitades. Estadísticos de fiabilidad

3.2.2 Estudio factorial

Podemos hacer dos estudios. Para ello, se selecciona el menú Analizar -> Reducción de datos -> Análisis factorial. En el primer estudio decidiremos cuantos factores retener utilizando el método de máxima verosimilitud para la extracción de factores. Al utilizar este método vamos a obtener los factores necesarios para explicar la varianza común entre los 10 ítems. Este método de extracción lleva a cabo un contraste estadístico que informa de si los factores extraídos dan cuenta adecuadamente de la varianza común entre los ítems.

Empezamos pidiendo al programa que extraiga un solo factor. La ventana quedará como se muestra a continuación:

El contraste (véase Tabla 10) resulta significativo, por lo que no basta un factor para dar cuenta de la varianza común. Pedimos dos factores y también resulta significativo (Tabla 11). Pedimos tres, y entonces se alcanza un resultado no significativo (Tabla 12). Por lo tanto, con tres factores podemos dar cuenta de la varianza común entre los 10 ítems.

Tabla 10. Prueba de bondad de ajuste con un factor. Prueba de la bondad de ajuste

Tabla 11. Prueba de bondad de ajuste con dos factores. Prueba de la bondad de ajuste

Tabla 12. Prueba de bondad de ajuste con tres factores. Prueba de la bondad de ajuste

La Tabla 13 muestra (columnas 5, 6 y 7) la varianza explicada por los tres factores. El primero explica el 44.248% de la varianza común. El segundo, el 19.076%, y el tercero, el 13.949%. Los tres juntos explican el 77.274% de la varianza común, que es un porcentaje elevado. A la vista de los resultados anteriores, se aprecia que el factor 1 es el más importante. Para interpretar los factores acudimos a las saturaciones (Tabla 14)

Tabla 13. Varianza explicada por los 3 factores no rotados. Varianza total explicada

Tabla 14. Matriz factorial (saturaciones) de los tres factores sin rotar.

La suma de las saturaciones al cuadrado de la primera columna es 4.425 (varianza explicada por el primer factor). La suma de los de la segunda es 1.908, y la de los de la tercera, 1.395. Estos valores aparecen también en la columna 5 de la Tabla 13. Si sumamos las saturaciones al cuadrado, por filas, obtenemos la comunalidad o aportación a la varianza común de cada ítem. La comunalidad del ítem 1 es 0.870, la del 2 es 0.854…. La Tabla 15 muestra las comunalidades de cada ítem obtenidas a partir de los factores extraídos (tercera columna) y las iniciales2. La mayor comunalidad corresponde al ítem 8, pues un 94.4% de su varianza es varianza común (y solo un 5.6% es unicidad). El ítem con menos comunalidad y más unicidad es el ítem 6. Sería el menos relacionado con los demás ítems.

Tabla 15. Comunalidades tras la extracción de tres factores. Comunalidades

A la hora de interpretar los factores, la matriz de saturaciones anterior no ayuda mucho, pues teniendo en cuenta las saturaciones mayores de 0.4, sin considerar el signo, vemos que casi todos los ítems saturan en más de un factor (véase Tabla 16). En la tabla se han sombreado las saturaciones mayores, en valor absoluto, de 0.4.

Tabla 16. Matriz factorial (saturaciones) de los tres factores sin rotar.

Se suele facilitar la interpretación si pedimos la matriz factorial rotada. De pedir la rotación ortogonal Varimax tendremos una ventana como la mostrada a continuación:

Las varianzas explicadas por los tres factores rotados aparecen en las columnas 8, 9 y 10 de la Tabla 17.

Tabla 17. Varianza explicada por los tres factores sin rotar y rotados.

Vemos que el total de varianza común explicada por los tres factores rotados (columna 10) sigue siendo el 77.274%. Sin embargo, los tres factores rotados ortogonalmente explican porcentajes de varianza similares, a diferencia de lo que ocurre con los factores no rotados, como se aprecia al comparar las columnas 5 y 8.

La Tabla 18 muestra las saturaciones de los ítems en los tres factores rotados. Se han sombreado las casillas con saturaciones mayores de 0.4, en valor absoluto. Ahora, cada ítem satura solo en un factor, lo que ha de facilitar su interpretación. Los ítems 3, 5, 9 y 11 definen el factor 1. Los ítems 2, 8 y 14, el factor 2. Y los ítems 1, 6 y 7, el factor 3. La suma de las saturaciones al cuadrado, por columnas, nos da la varianza que explica cada factor rotado (valores ya vistos en la columna 8 de la Tabla 17). La suma de las saturaciones al cuadrado por filas nos da las comunalidades de cada ítem (ya vistas en la Tabla 15), pues la comunalidad de un ítem no cambia si los factores se rotan ortogonalmente.

Tabla 18. Matriz factorial (saturaciones) de los factores rotados.

Veamos ahora el segundo estudio factorial que podemos hacer. En el análisis factorial visto en el primer estudio se pretende reproducir la matriz de correlaciones entre los ítems, pero cambiando los unos de la diagonal principal por las comunidades iniciales. A esta matriz se le suele llamar matriz de correlaciones reducida. La suma de las comunalidades es la varianza común y los factores intentan dar cuenta de dicha varianza común.

En el análisis factorial de componentes principales se intenta dar cuenta de la matriz de correlaciones completa, con unos en la diagonal, y los factores extraídos (también llamados componentes) pretenden dar cuenta de la varianza total, que coincide con el número de ítems. Para ello, como método de extracción seleccionamos Componentes Principales. Para seleccionar los factores a retener se suele seguir bien lo que indica el gráfico de sedimentación o la regla de Kaiser. Para pedir al programa que obtenga el gráfico de sedimentación, hay que indicarlo en la correspondiente ventana:

Con nuestros datos, la gráfica de sedimentación resulta ser la siguiente:

La gráfica sugiere que el número de factores a retener debiera ser tres. Un procedimiento alternativo es la Regla de Kaiser, que consiste en retener los factores con varianza mayor de 1. La grafica anterior muestra que esta regla también seleccionaría tres factores en este caso, pues son tres los componentes cuyos autovalores (o varianza explicada) son mayores de 1.

Vamos a extraer tres factores. Las varianzas explicadas por cada uno vienen en la columna 5 de la Tabla 19. El primer componente explica el 48.479% de la varianza total. Los porcentajes de varianza total explicada de los otros dos son 21.798 y 13.300. Tomados conjuntamente los tres, el porcentaje de varianza total que explican es el 83.577, que no está nada mal. La Tabla 20 contiene las saturaciones. Sumadas, al cuadrado, por columnas, obtenemos la varianza que explica cada componente (ya vistas en la columna 5 de la Tabla 19), y por filas, el % de varianza que cada ítem comparte con los tres factores retenidos. Estos porcentajes se muestran en la columna 3 de la Tabla 21.

Tabla 19: Varianza explicada por los tres componentes sin rotar. Varianza total explicada

Método de extracción: Análisis de Componentes principales. Tabla 20. Matriz factorial (saturaciones) de los tres componentes sin rotar.

Tabla 21. Varianza de cada ítem compartida con los componentes.

Muy posiblemente se facilita la interpretación de los componentes si pedimos componentes rotados. Al solicitar una rotación ortogonal Varimax, obtendríamos los resultados que se muestran en las Tablas 22 y 23. Las tres últimas columnas de la Tabla 22 muestran que el % de varianza explicada conjuntamente por los tres componentes rotados (83.577) coincide con el porcentaje explicado por los tres sin rotar, si bien los rotados explican una cantidad más similar de varianza.

Tabla 22. Varianza explicada por los tres componentes sin rotar y rotados. Varianza total explicada

La Tabla 23 muestra que cada componente rotado está definido por ítems distintos, lo que debe facilitar su interpretación. En este caso, los ítems que definen cada componente son los mismos que definen cada factor obtenido por el método de máxima verosimilitud. Ambos métodos nos han dado una solución factorial muy similar, lo que no ocurrirá siempre. Cuando se obtengan soluciones distintas, deberán compararse entre sí, y con las previsiones que tengamos en relación a la estructura factorial del test. Por ejemplo, se podrá valorar cuál de las dos soluciones encontradas se acomoda mejor a los componentes del rasgo propuestos en su definición (apartado 2.2).

Tabla 23. Matriz factorial (saturaciones) de los tres componentes rotados.

3.2.3 Variables Criterio

La puntuación en el test se ha de relacionar con las puntuaciones en las variables criterio. El tipo de análisis a hacer dependerá de si las variables criterio son dicotómicas, nominales,.. , por lo que no pueden darse pautas generales. Lo mejor, si tenéis dudas, es que consultéis con vuestro profesor el análisis que os parezca más adecuado.

Supongamos que en nuestro archivo de datos las dos variables criterio están medidas a nivel de intervalo. En ese caso, cabría obtener la correlación de Pearson entre la puntuación en el test y cada una de ellas. Para obtener la puntuación en el test hay que crear una nueva variable que sea el resultado de sumar las puntuaciones en los 10 ítems del test definitivo. Llamaremos a la nueva variable total. Para crearla, se selecciona el menú Transformar -> Calcular que sólo está disponible en el Editor de datos del SPSS. Con los datos de nuestro ejemplo, el cuadro de diálogo tendría el siguiente aspecto:

A continuación, para obtener la correlación de Pearson entre total e y1 e y2, pulsamos en Analizar -> Correlaciones -> Bivariadas. Pasamos las tres variables a la ventana Variables y obtenemos los resultados que se muestran en la Tabla 24. Ambas correlaciones son positivas y significativas. Los datos muestran que, por lo general, Las personas con puntuaciones altas (bajas) en test suelen tener puntuaciones altas (bajas) en las dos variables criterio. El tanto por cierto de la varianza de y1 explicada por nuestro test es el 40.70% ((0.638) (0.638)=0.407). Una interpretación similar podría hacerse de la relación entre total e y2. Los dos diagramas de dispersión (Gráficos -> Dispersión -> Simple), que siguen a la Tabla 24, confirman lo acabado de decir.

Tabla 24. Correlaciones entre las puntuaciones en el test y las variables criterio. Correlaciones

3.2.4 Baremos

Para terminar, se ofrece la distribución de frecuencias que permite calcular el baremo en centiles. Esta distribución de frecuencias se obtiene a partir de la puntuación total de cada sujeto en el test. Para ello, se selecciona el menú Analizar -> Estadísticos descriptivos -> Frecuencias. Los resultados obtenidos con esta selección aparecen en la Tabla 25. La última columna contiene los porcentajes acumulados que nos permiten conocer los centiles. Por ejemplo, en nuestro test, C25 = 21; es decir, el 75% de la muestra obtiene puntuaciones superiores a 21.

Tabla 25. Centiles y distribución de frecuencias de nuestro test.

Una vez obtenidos todos los resultados deberán guardarse en el fichero GRUPOX.SPO, utilizando para ello el menú Archivo -> Guardar.

4 ELABORACIÓN DEL INFORME

Una vez realizados todos los análisis, los grupos redactarán un trabajo en el que se describa el proceso seguido, comentando los resultados obtenidos. EL Cuadro de valoración describe detenidamente cómo se va a evaluar cada apartado. Su lectura informa de los aspectos y contenidos que deben tenerse en cuenta a la hora de la redacción del informe.

Las hojas del trabajo DEBEN ORGANIZARSE EN EL ORDEN que aparecen al final de este documento.

Cada grupo debe conservar una copia de su trabajo, ya que tras la corrección solamente se devolverá las hojas de valoración con la evaluación y comentarios oportunos.

Es obligatorio adjuntar al informe un CD regravable, debidamente identificado, con el fichero de datos y el fichero de resultados. El trabajo en sí debe incluir los siguientes apartados:

CUERPO DEL INFORME

1. Objetivos de la prueba

En este apartado debe especificarse el rasgo que se pretende medir, con una definición lo más operativa posible del mismo y de sus componentes. Es muy conveniente que se elija un rasgo que tenga entidad psicológica, pues el grupo podrá definirlo mejor, elegir mejor las variables criterio, hacer un estudio más completo de validez, y comparar sus resultados con los obtenidos sobre el mismo rasgo en otros trabajos. Si se hace una elección descuidada del rasgo a medir, muy probablemente no se tendrán las ventajas expuestas.

2. Redacción de ítems

Se deben especificar los ítems que miden cada componente y, en su caso, si lo hacen de modo directo o inverso. Aclarar el formato de respuesta elegido y el modo de cuantificación de las respuestas. Se debe adjuntar un cuadro de análisis de contenido de acuerdo con las normas discutidas en clase y el concepto de un juez sobre los mismos. 3. Análisis de ítems

Para cada ítem hay que especificar su varianza, media y su índice de homogeneidad corregido. Hay que explicar detalladamente el proceso seguido para determinar cuántos y qué ítems han de eliminarse del test inicial de quince ítems. El número de ítems a eliminar no está predeterminado. Cada grupo ha de decidir si ha de eliminar alguno o no, y cuáles.

4. Fiabilidad del test

Adjuntar, interpretar y evaluar el coeficiente de fiabilidad y el coeficiente alfa obtenidos. En este caso, tanto del test inicial como del test final. Es importante que se haga una interpretación precisa de estos índices.

5. Validez del test

Comentar los resultados de la estructura factorial, tras aplicar cada método de extracción, para establecer qué dimensiones mide el test. Hay que informar de lo siguiente: a) Cuantos factores y

componentes se han extraído o retenido por cada uno de los dos métodos de extracción. b) Las saturaciones y las varianzas explicadas por los factores y componentes retenidos. c) La importancia y el significado de cada factor y componente. d) Comparar los resultados obtenidos por los dos métodos. e) Conviene también considerar si los factores y componentes encontrados tienen o no relación con los componentes del rasgo que se establecieron antes de la redacción de los ítems.

En el cuadernillo de aplicación se han incluido varios ítems criterio que miden constructos, variables biográficas o conductas relacionadas con el rasgo que supuestamente mide el test. En concreto, hay que:

a) Justificar las variables criterio elegidas, indicando las fuentes o referencias en las que se cita o prueba la relación existente entre el rasgo que supuestamente mide el test y las conductas, variables biográficas o constructos a los que corresponden los ítems criterio.

b) Explicitar claramente qué relaciones cabe esperar entre las puntuaciones en nuestro test, si mide lo que suponemos, y las variables criterio. c) Realizar el análisis de datos que permita comprobar si se cumplen las previsiones realizadas en el apartado anterior. A partir de los resultados obtenidos en este apartado de validez, proponer qué mide el test.

6. Baremos

Incluir una tabla que muestre los baremos en centiles y otra escala derivada de transformaciones de z.

Explicar el uso de la tabla con ejemplos de interpretación de dos puntuaciones posibles en el test significativamente distintas.

7. Valoración subjetiva del trabajo. Usando una hoja como máximo por estudiante.

Valoración crítica de la experiencia realizada por cada uno de los miembros del grupo. Se trata de reflexionar sobre lo hecho y comentar:

a) Qué se ha aprendido haciendo el trabajo.b) Qué errores se han cometido y qué se ha aprendido de ellos.c) Qué dificultades principales se han tenido que superar y como se han superado.d) Sugerencias de mejora de la práctica.

El día de sustentación y entrega del trabajo se escogerá al azar un representante de cada grupo quien presentará públicamente la comparación de lo redactado por él y sus compañeros de grupo.

8. Apéndice

En un apéndice debe incluirse el test y los archivos GRUPOX.SAV y GRUPOX.SPO con los datos y los análisis realizados.

Cada grupo debe incluir en su informe toda esta información y en este orden. Se pide atención en paginar el trabajo.

4 ORGANIZACIÓN DEL INFORME

4.1 FICHA TECNICA DEL TEST (Hoja 1)

Nombre del test: Autores:Significación:Tipificación:Duración:Muestra de estandarización:

4.2 CUADRO DE VALORACIÓN (Hoja 2-3-4)Representa el 10% de la asignatura y se califica en una escala de 0 a 2 los 18 aspectos para una puntuación final máxima posible de 36. El resultado de la suma se transforma luego a la escala de 0 a 5 tradicional.

4.3 CUADERNILLO DE APLICACION (Hoja 5)

4.4 CUERPO DEL INFORME (Hojas 6 en adelante)

PUNTOS A TENER EN CUENTA: 1) Este trabajo se califica de forma continua durante el semestre. 2) El trabajo se ajustará a las instrucciones proporcionadas en la guía de la práctica. Si el trabajo no sigue las especificaciones dadas en este documento el 10% de la nota será valorado como cero. 3) Si existieran errores en la codificación de respuestas que dieran lugar a resultados aberrantes en los indicadores psicométricos, y éstos no fueran detectados, la valoración del 10% final será cero.

HOJAS DE VALORACIÓN

0 1 2

1

A) RELEVANCIA DEL CONSTRUCTO

SELECCIONADO Valoración:

El constructo que se pretende medir no tiene

interés para la Psicología o para los psicólogos

profesionales.

El constructo puede tener cierto interés en algún contexto aplicado de la

Psicología, aunque no ha sido objeto de estudio

desde las diversas tradiciones teóricas de la

Psicología.

El constructo o rasgo elegido es relevante para los psicólogos, desde una

perspectiva teórica y/o aplicada.

2B) DEFINICIÓN DEL RASGO

Valoración:

Ausencia de definición o de contextualización

teórica sobre el rasgo. No se hace esfuerzo por

establecer los componentes más

operativos del mismo.

Definición descuidada, por no consultar las

referencias teóricas apropiadas, aunque se

hace un esfuerzo por una definición propia. Si la

actitud o rasgo es difícil de justificar teóricamente, se intenta proporcionar una

buena definición operativa

Correcto uso de la teoría subyacente para la

definición del constructo, incluyendo referencias

sobre las obras consultadas. Los componentes o

indicadores están bien operativizados, y son los

que deben ser.

3C) REDACCIÓN DE ÍTEMS

Valoración:

En bastantes de los ítems se cometen errores de

redacción. No parece que haya adecuación entre la

redacción y el componente que se desea medir. No se elaboran ítems inversos.

Existen errores puntuales de redacción o de

adecuación entre la redacción y el

componente, aunque se han elaborado ítems directos e inversos.

Se cumplen los estándares de redacción de los ítems de categorías ordenadas.

Resulta razonable la redacción para la evaluación de los

componentes. Se redactan ítems en las dos

direcciones.

4D) FORMATO DE

RESPUESTA Valoración:

El grupo no ha diseñado los itemes de acuerdo con una definición operacional

clara, el formato de calificación no es práctico.

Algunas de las categorías de respuesta podrían

haberse redactado mejor

Las categorías están bien establecidas y etiquetadas. Las instrucciones para los

evaluados son claras.

5E) CUANTIFICA-CIÓN DE RESPUESTAS Valoración:

Ha habido errores importantes en alguno de

estos dos aspectos: incorrecta codificación de las omisiones, no se han

recodificado los ítems inversos.

Errores puntuales en la codificación: algún ítem

mal cuantificado, errores puntuales en la grabación

de datos, aunque se codifican bien los ítems inversos y las omisiones.

Codificación correcta de las omisiones y de las respuestas a los ítems

inversos.

6F) DESCRIPCIÓN DE LA MUESTRA Valoración:

No se hace ninguna referencia a las

características de la muestra que se selecciona

para el estudio psicométrico.

Se menciona alguna característica de la

muestra (tamaño, cómo se ha obtenido,..), aunque no

se informa de su rendimiento global en el test (datos estadísticos

descriptivos).

Se describen con detalle las características

disponibles de la muestra (tamaño, nivel de estudios,

cómo se ha conseguido), se informa de su

rendimiento global en el test y de las consecuencias

que estos datos pueden tener en las propiedades

psicométricas de la prueba.

7

G) ANÁLISIS DE LOS ÍTEMS: medias y varianzas

Valoración: Correlación ítem-test Valoración:

No se han obtenido las medias y varianzas de los ítems o no se informa en detalle del significado de estos valores para cada uno de los ítems. No se

han obtenido las correlaciones ítem-test de

forma correcta o no se informa con detalle de su

significado.

Se han obtenido las medias y varianzas, aunque no se

interpreta de forma adecuada los valores

individuales de cada uno de los ítems. Las

correlaciones ítem-test están bien calculadas,

aunque la interpretación de su cuantía no es

correcta.

Se interpreta con detalle, y de forma adecuada al

contenido correspondiente, la

diferente cuantía de las medias y varianzas que

tiene la muestra en cada uno de los ítems. Las

correlaciones ítem-test se obtienen de forma

correcta. La interpretación de los valores obtenidos es

rigurosa, indicando su repercusión en la fiabilidad

del test.

8H) SELECCIÓN DE LOS

ÍTEMS Valoración:

La selección de ítems no es adecuada, porque se

eligen ítems para el test definitivo que no son los

mejores.

Los ítems seleccionados son los que deben ser,

aunque la argumentación sobre las razones que

llevan a tal selección no es suficiente, o no se

comenta en detalle los cambios que se producen en los indicadores de los

ítems cuando forman parte del test definitivo.

Los ítems seleccionados son los adecuados, se da

cuenta de las razones métricas para eliminar los ítems rechazados y de las repercusiones que esto

puede tener en la fiabilidad y validez. Se

obtienen los indicadores psicométricos de los ítems

que forman el test definitivo y se comentan

adecuadamente sus diferencias respecto a los valores que tenían en el

test inicial.

9

I) FIABILIDAD: consistencia interna global Valoración:

Consistencia de las dos mitades Valoración: Nuevas propuestas

Valoración:

Se obtiene de modo incorrecto el coeficiente α

de Cronbach, no se interpreta o se interpreta de manera inadecuada. Se

obtiene de modo incorrecto el coeficiente de

fiabilidad mediante el método de las dos

mitades, no se interpreta o se interpreta de manera

inadecuada. No se incluyen nuevas propuestas para mejorar la fiabilidad del

test.

El coeficiente α de Cronbach es el correcto, pero no se interpreta de

forma correcta atendiendo a la consistencia del test, o

no se comentan las diferencias entre los

valores del test inicial y del test definitivo. El

coeficiente de fiabilidad es el correcto, pero no se interpreta de manera

adecuada. Algunas de las propuestas planteadas

requieren mayor concreción, dado que sólo se apuntan ciertas ideas

sin operativizarlas.

El coeficiente α de Cronbach es el correcto, se

interpreta de manera adecuada y se comentan

bien las razones de las diferencias entre los

valores del test inicial y del test definitivo. El

coeficiente de fiabilidad es el correcto y se interpreta de manera adecuada. Se

comenta correctamente la influencia en el coeficiente factores como el tamaño y

la varianza del test. Se plantean procedimientos adecuados de mejora, se

argumentan y se comentan las dificultades previsibles

para obtener dicha mejora. Se aplica la fórmula de Spearman-Brown para

estudiar la fiabilidad del test si se incrementara su

longitud.10 J) VALIDEZ: Justificación de

la validez de contenido Valoración:

No existe justificación al respecto.

Se justifica la validez de contenido del test, aunque no se argumenta porqué dejan de incluirse ciertos

componentes.

Se justifica bien los componentes

incorporados en el test y se argumenta, en el caso

de que así fuera, los componentes adicionales

que deberían incorporarse si el test fuera más largo.

11

Estudios de validez de constructo: Decisiones

relativas al Análisis Factorial Valoración:

No se aplica bien la técnica del análisis factorial, porque no se elige el

método de extracción de factores adecuado, porque no se retienen los factores adecuadamente o porque

no se rotan para su interpretación.

Se aplica bien el método de extracción, se retienen

los factores de modo adecuado, se rotan si es

pertinente hacerlo, aunque no se comenta

adecuadamente la proporción de varianza

que explican.

Se aplica bien el método de extracción, se rotan los

factores, se retienen de forma adecuada, se

obtienen e interpretan bien los porcentajes de

varianza explicada antes y después de la rotación..

12Estudios de validez de

constructo: Interpretación de los factores. Valoración:

No se hace un esfuerzo por interpretar el significado

de los factores, atendiendo a las saturaciones de los

factores rotados. Se interpreta la matriz factorial sin rotar.

Aunque se ha intentado dar una significación a los factores, no se realiza un

análisis desde las previsiones teóricas que se tenían en las fases iniciales de construcción del test. El grupo no ha sido capaz de

identificar el sentido de alguno de los factores.

La interpretación es muy adecuada, atendiendo al

contenido de los ítems con saturaciones altas en cada

factor. Se da una buena argumentación sobre la

coherencia entre las previsiones teóricas y los

resultados empíricos.

13Formulación de las variables criterio

Valoración:

No se han incluido o no se justifica en absoluto su

inclusión.

Se incluyen las variable criterio, pero la

justificación es pobre (la justificación no es

especifica del rasgo que el test supuestamente mide)

Se justifica, recurriendo al conocimiento psicológico y

trabajos previos las variables criterio seleccionadas. s

14Variables criterio:

Hipótesis y contraste Valoración:

No se realizan hipótesis sobre cómo se han de relacionar las variables

criterio con las puntuaciones en el test

Se realizan hipótesis sobre la relación entre las

variables criterio y las puntuaciones en el test, pero sin base psicológica sólida. Se hacen con base sólida, pero su contraste

no es correcto.

Se formulan hipótesis y contrastan correctamente.

15K) BAREMACIÓN:

Adecuación e interpretación Valoración:

El baremo centil ha sido mal obtenido en SPSS.

El baremo está bien obtenido, aunque no se

comentan algunas de sus características: tipo de

distribución, significado concreto de unos

centiles,..

El baremo está bien obtenido y se comentan

algunas de sus características: tipo de

distribución de las puntuaciones de la

muestra, significado concreto de unos

centiles,..

16L) CALIDAD DEL INFORME: Uso riguroso de conceptos

Valoración:

En partes importantes del informe no se emplean los conceptos psicométricos o metodológicos adecuados

para dar cuenta con palabras de los resultados del estudio psicométrico.

En algunas ocasiones no se emplean los conceptos

psicométricos adecuados. Aparecen ciertas

expresiones de uso coloquial no pertinentes

para un informe científico.

Los conceptos empleados son pertinentes, así como

su interpretación.

17 Orden Valoración:

No existe una buena organización en el informe:

reiteraciones no pertinentes, contenidos expresados en un orden

inadecuado.

Existe una buena organización en general,

aunque aparecen algunas reiteraciones puntuales.

La organización es la adecuada, no aparecen

reiteraciones no pertinentes, se

confeccionan tablas o figuras a las que se hacen

referencia en el texto escrito.

18 Valoración subjetiva No hay una reflexión profunda y seria sobre la

experiencia de

En el documento existe una buena reflexión pero solo por parte de algunos

La reflexión evidencia el trabajo realizado por cada uno de los integrantes, así

aprendizaje. No existe una sustentación pública

coherente por parte del representante del grupo

de los integrantes del grupo y se presentan

errores de redacción. La sustentación publica de

este aspecto es deficiente

como el esfuerzo personal de todos en el proyecto

EXITOS

El esfuerzo que hagas en este momento te procurará muchas satisfacciones al finalizar el curso.

NOTA:

Este trabajo práctico SE DISEÑO UTILIZANDO COMO GUIA EL DOCUMENTO REDACTADO EN LA UNIVERSIDAD AUTONOMA DE MADRID POR: Carmen García, Julio Olea, Vicente Ponsoda, Javier Revuelta, Carmen Ximénez y Francisco J. Abad. (2003). Presenta modificaciones y adaptaciones para el contexto de la asignatura impartida en el curso de psicometría de nuestra universidad. La versión de SPSS que ejemplifica el caso es antigua pero la versión del programa que se usa actualmente conserva una estructura muy similar.