Tema 4
Fiabilidad como precisión y
estabilidad en la medida
Coeficiente de fiabilidad
Introducción
• Temas 1-3 Construcción test• Temas 4-8 Evaluación de la calidad de la prueba piloto basada en
la respuesta de los sujetos:– Fiabilidad– Validez– Calidad de los ítems• Fiabilidad como medida de:
– Precisión de las medidas– Estabilidad de las medidas
• Coeficiente de Fiabilidad• Objetivos del tema:
– Tipos de error– Estimar puntuación del sujeto en el rasgo a evaluar (conocer puntuación verdadera) a partir de la obtenida en el test– Estimar el coeficiente de fiabilidad
Fiabilidad
• Error de medida = puntuación del sujeto en el test -puntuación verdadera en el rasgo a medir
• Diseño test:
– Procuramos minimizar el error de medida
• La n aplicación de un test a un sujeto genera diferentes puntuaciones debidas
– Error debido al Diseño test
– Errores aleatorios impredecibles (fiabilidad)
Modelo de la TCT. Spearman
Modelo de Spearman. TCT
• X=V+E • Para cada sujeto X es una variable aleatoria. Se define V como E(X)
• Diseño test: busca minimizar error de medida (tests de alta fiabilidad). Si aplicamos un test n veces a un sujeto surgen diferentes puntuaciones x:– Error debido al diseño
– Errores aleatorios (impredecibles y no controlados). De estos se ocupa la fiabilidad.SUPUESTOS:
• Para cada sujeto, X es una variable aleatoria, se define V= E(X)
• En cada muestra de n sujetos rve=0 (no hay correlación entre puntuaciones V y errores de medida)
• Para dos tests diferentes aplicados a = muestra re1e2= 0Propiedades que se deducen de los supuestos:– Error de medida para cada sujeto E = X-V
– Para cada sujeto E(e) = 0Para una muestra grande de sujetos – Media de x = media de v, por lo que media de E=0 Ẋ=V E(e) = 0– Cov(V,E)=0 o de forma equivalente, rve=0
– S2x=S2v+S2e
– Cov(X,V)=S2v
– 𝑟𝑥𝒆=𝑠𝑒/𝑠𝒙 y 𝑟𝑥𝑣=𝑠𝑣/𝑠𝑥
– Para dos tests: Cov(X1,X2)=Cov(V1,V2)
Tests paralelos
•Dos tests aplicados a la misma muestra son paralelos si:
– Cumplen los supuestos de Spearman
– V=V’
– S2e=S2e’
•Propiedades que se deducen de la definición:
– La media de las puntuaciones empíricas obtenidas en los testssupuestamente paralelos es la misma 𝑿=𝑿′
– Las varianzas de las puntuaciones empíricas obtenidas en dos testsparalelos son iguales S2x=S2x’
– La correlación entre puntuaciones empíricas de dos tests paralelos es 𝑟𝑥𝑥′=𝑟
2𝑥𝑣=𝑆
2𝑣/S2𝑥
– Dados dos o más tests paralelos, las intercorrelaciones entre cada dos de ellos son iguales
•Si x1, x2, x3, …. Son paralelos entonces r X1, X1’ = rX2,X2’ = rX3,X3’
Interpretación coeficiente de fiabilidad
Ejercicio interpretación coeficiente de
fiabilidad
Hallar el coeficiente de fiabilidad de un test sabiendo que la varianza verdadera es 34 y la varianza del error es 9
• S2v=34 S2e=9
• S2x=S2v+S2e S2x=34+9 =41
• 𝑟𝑥𝑥′=𝑟2𝑥𝑣=𝑆2𝑣/S2𝑥=34/41= 0,83
TIPOS DE ERRORES DE MEDIDA
Error de medida (E = X – V) diferencia entre las puntuaciones empíricas y las puntuaciones
verdaderas. El error de medida nos da una medida individual del error que se comete (una medida individual de la precisión del test). Nos indica la diferencia entre la puntuación de un sujeto en un test y el nivel real de dicho sujeto en la variable que medimos.
Error Típico de medida (medida grupal)
_____
Se = Sx √ 1 – rXX´ (En puntuaciones directas y diferenciales)
______
SZe = √ 1 – rXX´ (En puntuaciones Típicas)
Ejercicio
•Hallar el error típico de medida y el error de estimación de la puntuación verdadera de un test sabiendo que la proporción de varianza verdadera es del 80% y que la varianza de las puntuaciones empíricas es de 45.
FACTORES QUE AFECTAN A LA FIABILIDAD
La fiabilidad depende de:
La variabilidad del grupo
La longitud del test
Las características de los ítems
Longitud del test (Ecuación de Spearman-Brown) Cuanto mas ítems representativos se utilicen, habrá mayor información del atributo que estudiamos, menor error y mayor fiabilidad (al aumentar la longitud del test, aumenta su fiabilidad)
Ecuacion de Spearman-Brown
Variabilidad de la muestra
Cuanto mas homogéneo sea el grupo, menor es el coeficiente de fiabilidad y la desviación típica de las puntuaciones empíricas
ejercicio
• Si un test tiene 50 elementos y un coeficiente de fiabilidad de 0,64
• Cuántos elementos paralelos hay que añadirle para obtener un coeficiente de fiabilidad de 0,80?
ejercicio
• Un test de 80 preguntas tiene un coeficiente de fiabilidad de 0,80. Cuál será el coeficiente de fiabilidad si se duplica la longitud del test?
• Y si añaden 20 preguntas?
• Averiguar n: número de veces que se ha alargado /reducido test
ejercicio
• Hemos aplicado un test a una muestra de sujetos en la que la desviación típica de las puntuaciones empíricas obtenidas es igual a 20 y la razón entre la desviación típica de los errores y la desviación típica de las puntuaciones empíricas es 0,4. Aplicado el test a otra muestra de sujetos en la que la desviación típica de las puntuaciones empíricas es igual a 10
•Cuál sería el coeficiente de fiabilidad del test?
LA FIABILIDAD COMO EQUIVALENCIA Y
COMO ESTABILIDAD DE LAS MEDIDAS
Un test debe cumplir dos premisas:
Medir el rasgo que pretende (ser valido)
Las puntuaciones obtenidas deben ser estables y precisas.
La precisión consiste en estar libre de errores; la estabilidad en que en distintas ocasiones y en condiciones parecidas el rasgo no cambie. La fiabilidad del test es la estabilidad de las medidas. Se pueden considerar dos métodos basados en la estabilidad para calcular el coeficiente de fiabilidad:
Método de las formas paralelas.
Método test-retest.
•Método 1º (formas paralelas):
–Construir dos formas paralelas del test y aplicarlas a la misma muestra amplia
–Calcular coeficiente de correlación de Pearson entre las puntuaciones de los sujetos en ambas formas
–Coeficiente de fiabilidad = Coeficiente de correlación entre las dos formas.
–Es estos casos a rXX se le denomina Coeficiente de equivalencia
–Inconveniente: dificultad de construir dos formas paralelas. Ventaja: Posibilidad de aplicar al mismo tiempo=control
•Método 2º (test-retest):
–Aplicar el mismo test a una misma muestra en dos ocasiones diferentes.
–Coeficiente de fiabilidad = Coeficiente de correlación.
–Es estos casos a rXX se le denomina coeficiente de estabilidad.
–Ventaja: No requiere construcción de dos test .
- Inconvenientes:
•Memorización de ítems
•Intervalo del tiempo mejor si es mayor aunque puede cambiar el rasgo
•Actitud de los sujetos (cooperación)
LA FIABILIDAD COMO CONSISTENCIA INTERNA
A veces solo se puede aplicar una vez el test, por lo
que no es posible utilizar los métodos anteriores.
Los siguientes métodos se utilizan para estimar la
fiabilidad de un test (solo requieren una aplicación y aportan
un índice de la consistencia interna de las respuestas de
los sujetos):
Métodos basados en la división del test en dos mitades
Métodos basados en la covariación de los ítems
Coeficientes basados en el análisis factorial de los
ítems
Coeficiente Beta (β) de Raju
Método división en dos mitades
Ecuación de Spearman-Brown (dos mitades paralelas): se basa
en la relación entre longitud de un test y coeficiente de fiabilidad.
Se aplica el test, se divide en dos mitades paralelas y se calcula
la correlación entre ambas partes (seria el coeficiente de fiabilidad
de cada mitad); para calcular la fiabilidad des test completo:
Formula de Rulon: Se usa cuando, no siendo las dos
mitades estrictamente paralelas, podemos considerarlas -
equivalentes (segun Lord y Novick son los test en los que las
puntuaciones verdaderas son iguales para un grupo de
sujetos en ambas formas, pero las varianzas de error no
tienen por que ser iguales). Asimismo, los test esencialmente
-equivalentes son aquellos en los que la puntuación
verdadera de cada sujeto en uno de los tests es igual a la del
otro mas una constante. En ambos casos se supone la
igualdad de las varianzas verdaderas de ambas mitades.
Formula de Guttman-Flanagan: equivalente a Rulon pero mas
sencilla. Rulon y Guttman- Flanagan proporcionan el mismo valor
de fiabilidad por ser expresiones equivalentes.
METODOS BASADOS EN LA
COVARIACION DE LOS ITEMS
Requiere análisis de la varianza y la covarianza de las respuestas de los sujetos a los ítems (proporciona una estimación de la consistencia interna de los ítems de un test). Los métodos mas frecuentes bajo estas condiciones son: el coeficiente alfa de Cronbach y los coeficientes KR20 y KR21 de Kuder-Richardson (se consideran casos particulares del coeficiente alfa de Cronbach cuando los ítems que forman el test son dicotómicos)
Coeficiente α de CronbachEs un indicador de la consistencia interna. Expresa la fiabilidad en función del no de
ítems y de la proporción de la varianza total del test debida a la covariación entre los
Ítems. A mayor covariación mayor fiabilidad
Inferencias sobre α
Casos particulares del coeficiente α (KR20 y
KR21) ecuaciones de Kuder-Richardson
(se consideran casos particulares del coeficiente alfa de
Cronbach cuando los ítems que forman el test son
dicotómicos; es decir, se puntúa 1 acierto y 0 fallo). A mayor
no de ítems y mayor covariación, mayor consistencia interna
y mayor fiabilidad.
COEFICIENTES BASADOS EN EL ANALISIS
FACTORIAL DE LOS ITEMS
Los coeficientes Theta (θ) y Omega (Ω) son dos indicadores de
la consistencia interna de los ítems de un test y una aproximación
al coeficiente α. (En general → α ≤ θ ≤ Ω)
Cuando los datos son paralelos se verifica → α = θ = Ω
COEFICIENTE BETA (β) DE RAJU
Facilita una estimación de la fiabilidad de un test compuesto de varios
subtest con distinto no de ítems (con el alfa de Cronbach no es posible).
Se aplica cuando no conocemos las puntuaciones de los sujetos en los
items de los distintos subtest; en caso de conocerlos, es preferible emplear
el coeficiente α.
ESTIMACION PUNTUACION VERDADERA DE
LOS SUJETOS EN EL ATRIBUTO DE INTERESNo se puede calcular el valor exacto de la puntuación verdadera de un sujeto, pero si podemos establecer un intervalo de confianza, con un determinado nivel de confianza, dentro del cual se encontrara dicha puntuación. La estimación se puede realizar de tres formas:
1.- Estimación mediante la desigualdad de Chebychev (cuando no se hace ningún supuesto sobre la distribución de las puntuaciones empíricas o de los errores)
2.- Estimación basada en la distribución normal de los errores: Asume una distribución normal de los errores de medida (con media 0 y varianza S2
e) y de las puntuaciones empíricas condicionadas a un determinado valor de V. Pasos para determinar el intervalo:
FIABILIDAD DE UNA BATERIA DE TESTS
Se trata de calcular la fiabilidad de la batería en función de los coeficientes de fiabilidad, varianzas y covarianzas de los subtest que la forman