tema 5.1 evaluación del instrumento de medida: fiabilidad i€¦ · 5. 1.: f i a b i l i d a d i...

TEM

A 5

.1.:

FIA

BIL

IDA

D I

PSICOMETRÍAPSICOMETRÍA

Tema 5.1 Evaluación del instrumento de medida:

FIABILIDAD I

Salvador Chacón MoscosoSusana Sanduvete Chaves

Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material

TEM

A 5

.1.:

FIA

BIL

IDA

D I

2

ÍNDICE

1. El problema del error de medida.2. El modelo lineal de Spearman.3. Tests paralelos. Condiciones de paralelismo.4. Interpretación teórica del coeficiente de

fiabilidad.5. Tipos de errores de medida.6. Factores que afectan a la fiabilidad.

6.1. Longitud del test.6.2. Variabilidad de la muestra.

7. La fiabilidad como equivalencia y como estabilidad de las medidas.7.1. Método de las formas paralelas.7.2. Método test-retest.

8. Bibliografía.

TEM

A 5

.1.:

FIA

BIL

IDA

D I

3

1. EL PROBLEMA DEL ERROR DE MEDIDA

Error de medida: uno de los requisitos fundamentales en cualquier proceso de medida es la precisión.

“Diferencia entre la puntuación empírica obtenida por un participante en un test y su puntuación verdadera, entendiendo

por test cualquier instrumento de medición psicológica”.

-Si aplicamos n veces el mismo test a un mismo participante, ¿qué ocurre? Las puntuaciones obtenidas nunca serán iguales, aunque sí parecidas las puntuaciones estarán afectadas por errores de medida aleatorios (motivación del participante, estado de ánimo, etc.) que provocan que la puntuación empírica sea distinta al supuesto valor verdadero del participante.

-¿Cómo podemos conocer el valor real del participante en el constructo que estamos midiendo? Modelo Lineal de Spearman (TCT):

TEM

A 5

.1.:

FIA

BIL

IDA

D I

4

2. EL MODELO LINEAL DE SPEARMAN.

La puntuación observada por un participante en un test es igual a la suma de dos componentes: su verdadero valor en el rasgo medido más el error de medida cometido

X = V + E

TEM

A 5

.1.:

FIA

BIL

IDA

D I

5

1. El valor esperado de la variable aleatoria “error de medida”, es igual a cero, para una población medida con el mismo test, o para una repetición infinita de medidas sobre la misma persona

0)( iEE

2. las puntuaciones verdaderas y los errores de medida no están correlacionados (supuesto importante para posteriores derivaciones) no existe un patrón sistemático de errores positivos o negativos. 0EV

2. EL MODELO LINEAL DE SPEARMAN. Supuestos

TEM

A 5

.1.:

FIA

BIL

IDA

D I

6

Supuestos:

3. Los errores de medida de dos tests distintos no están correlacionados. Este supuesto no parece razonable en puntuaciones que se vean afectadas por factores tales como la fatiga, práctica o estado de ánimo (Allen y Yen, 1979).

0.42VE1

4. Los e de un test no están correlacionados con las puntuaciones v de un segundo test.

0.32EE1

La TCT considera el error de medida como una desviación aleatoria, no sistemática, de la puntuación

verdadera.

2. EL MODELO LINEAL DE SPEARMAN. Supuestos

TEM

A 5

.1.:

FIA

BIL

IDA

D I

7

2. EL MODELO LINEAL DE SPEARMAN. DerivacionesDerivaciones sobre esperanzas, varianzas (VAR) y correlaciones:

1. Dado que el E(Ei)=0, el valor esperado de las X, es igual al de las puntuaciones V las medias poblacionales son iguales.

VXEEVEXE )()()(.1

2. Dado que el E(Ei)=0, y que los errores son independientes de las puntuaciones verdaderas, la covariación entre las puntuaciones verdaderas y los errores es cero.

0)()()(.2 VEEEEVEE(EV)

TEM

A 5

.1.:

FIA

BIL

IDA

D I

8

3. Dado que las V y los E son independientes, la VAR de X es igual a la suma de la VAR de V más la VAR de E.

2E

2VEV

2E

2V

2X 2.3

4. Dado que la COV entre los E y V es cero, la covarianza (COV) entre las X y las V es la VAR de las puntuaciones V.

2V)()(E)V(VE ),( .4 VEEVEVXCOV

2. EL MODELO LINEAL DE SPEARMAN. Derivaciones

TEM

A 5

.1.:

FIA

BIL

IDA

D I

9

5. Dado que la COV entre X y V es igual a la VAR de V, la correlación entre las X y V puede expresarse como la proporción de variabilidad de V sobre la de X.

X

V

VX

V

VX

XVXV

2

.5Índice de fiabilidad

Si elevamos al cuadrado el índice de fiabilidad, obtenemos el coeficiente de fiabilidad

2

2

22

22

22

22 )(

.5X

V

VX

V

VX

XVXV

Representa la proporción de VAR de X, explicada por su relación lineal con V.


TEM

A 5

.1.:

FIA

BIL

IDA

D I

10

22

22 11.7 XE

X

EXV

6. La correlación al cuadrado entre los E y X es igual a la VAR de las X, no explicada por su relación con V, sino a partir de su relación lineal con E.

2

2

22

22

22

22 )(

.6X

E

EX

E

EX

XEXE

7. A partir de la formulación anterior, también se puede expresar el coeficiente de fiabilidad como 1 menos la correlación al cuadrado entre X y E.

Cuando la VAR de los errores sea pequeña, el coeficiente de fiabilidad será elevado


TEM

A 5

.1.:

FIA

BIL

IDA

D I

11

2. EL MODELO LINEAL DE SPEARMAN. Ejemplos

1. La razón entre la desviación típica de los errores y la desviación típica de las puntuaciones empíricas es 0.45. ¿Cuál es el valor del coeficiente de fiabilidad?

2. Calcular el coeficiente de fiabilidad de un test sabiendo que la VAR de las puntuaciones empíricas es igual a 36 y el error típico de medida es 3.

3. ¿Cuál es el valor del coeficiente de fiabilidad si la proporción de la VAR verdadera que hay en la VAR empírica de un test es 0.9?

TEM

A 5

.1.:

FIA

BIL

IDA

D I

12

2. EL MODELO LINEAL DE SPEARMAN. Ejemplos

3.

2.

1.

8,045,011

45,0

22

2

x

exx’

x

e

S

Sr

S

S

75,036

911 2

2

x

exx’

S

Sr

9,02

22

x

vxvxx'

S

Srr

TEM

A 5

.1.:

FIA

BIL

IDA

D I

13

3. TESTS PARALELOS. CONDICIONES DE PARALELISMO

´´ EVX

EVX

Sean dos tests X y X´ que cumplen los supuestos anteriores; se denomina paralelos si:

1. Las puntuaciones verdaderas son iguales en ambos tests. Es decir:

2. La VAR de los errores de medida es igual en ambos tests: 2

´2

EE

La imposibilidad de calcular empíricamente el coeficiente de fiabilidad, dado que desconocemos V, y por tanto los E, condujo a Spearman a definir el concepto de tests paralelos.

TEM

A 5

.1.:

FIA

BIL

IDA

D I

14

3. TESTS PARALELOS.N CONDICIONES DE PARALELISMO. Deducciones

0´´

0

´

VEVX

VEVX

XX

1. Dado que la E(Ei)=0, la media de las puntuaciones empíricas obtenidas en dos tests supuestamente paralelos es igual:

2. Dado que la VAR de los E es la misma, la VAR de las X obtenidas en dos tests paralelos también son iguales:

2´

22´

222

2´

2

EVX

EVX

XX

SSS

SSS

SS

TEM

A 5

.1.:

FIA

BIL

IDA

D I

15

3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Deducciones

2

2

´

2

´´´

´2´

´)()(´)()(

´))((´)(

X

V

XX

XXXXXX

XXXVxx

EEEEVEVEEVE

EVEVEXXE

3. La correlación entre las puntuaciones obtenidas en dos tests paralelos es igual al cuadrado de la correlación entre las puntuaciones empíricas y las verdaderas:

4. Dados dos o más tests paralelos, las intercorrelaciones entre cada uno de ellos son iguales:

ji XXXXXXXX ...323121

Consecuencias prácticas, ya que podemos expresar el coeficiente de fiabilidad como la correlación entre dos tests paralelos

Coeficiente de fiabilidad = índice de fiabilidad al cuadrado y, por tanto:

'xxxv

TEM

A 5

.1.:

FIA

BIL

IDA

D I

16

'22

XXXV

5. Despejando la VAR de V de la ecuación anterior, encontramos que la VAR de las puntuaciones verdaderas es igual al producto de la VAR de las empíricas por la correlación entre las medidas paralelas:

Una vez estimado el coeficiente de fiabilidad se puede estimar las VAR de V y E.

6. Despejando de la anterior, encontramos que la VAR de E es igual al producto de la VAR de X por uno menos la correlación entre las medidas paralelas.

)1(

;

1

2222

222

XXXXXXXE

XXXEX

XXXE

Error típico de medida

3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Deducciones

TEM

A 5

.1.:

FIA

BIL

IDA

D I

17

4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD

…la correlación entre las puntuaciones empíricas obtenidas por una muestra de participantes en dos formas paralelas del test.

2

2

´

2

´´´

´2´

´)()(´)()(

´))((´)(

X

V

XX

XXXXXX

XXXVXX

EEEEVEVEEVE

EVEVEXXE

Cociente entre

la VAR de V y la de X la proporción de X debida a V

10 ´ XX1. Las V se acercan a las X E disminuye

2. Las V se alejan de las X E aumenta

TEM

A 5

.1.:

FIA

BIL

IDA

D I

18

1´ XX 0´ XX


TEM

A 5

.1.:

FIA

BIL

IDA

D I

19

1. Las medidas no tienen E

2. X=V para todos los participantes

3. La VAR de X es igual a la de V.

4. Todas las diferencias en X reflejan diferencias en V

5. La correlación entre X y V es = 1

6. La correlación entre X y E es = 0

1´ XX

1. La X incluye sólo E

2. X=E para todos los participantes

3. La VAR de X es igual a la de E.

4. Todas las diferencias en X reflejan errores de medida

5. La correlación entre X y V es = 0

6. La correlación entre X y E es = 1

0´ XX


TEM

A 5

.1.:

FIA

BIL

IDA

D I

20

4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD. Ejemplo

Ejemplo. Calcular el coeficiente de fiabilidad de un test de razonamiento abstracto, sabiendo que la VAR verdadera de dicho test es el 80% de su VAR empírica.

TEM

A 5

.1.:

FIA

BIL

IDA

D I

21

4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD. Ejemplo

80,080,0

2

2

2

2

´ X

X

X

VXX

Es decir, el 80% de la VAR de las puntuaciones empíricas es verdadera medida del rasgo.

2

22

´ 1.7X

EXVXX

El coeficiente de fiabilidad también se puede expresar en función de la VAR de los errores (deducción número 7).

TEM

A 5

.1.:

FIA

BIL

IDA

D I

22

4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD. Ejemplo 2

Ejemplo. Podemos obtener xx’ si a 1 le restamos la VAR de las puntuaciones empíricas que se debe al error de medida

´1 XXXE

Despejando en la ecuación anterior, podemos obtener el error típico de medida: medida grupal del error, es decir la diferencia entre X e V para la muestra utilizada

80,020,0112

2

´ X

EXX

TEM

A 5

.1.:

FIA

BIL

IDA

D I

23

5. TIPOS DE ERRORES DE MEDIDA

1. Error de medida: diferencia entre la puntuación empírica de un participante y su puntuación verdadera.

´XE 1

;

XX

VXE

2. Error de estimación de la puntuación verdadera: diferencia entre V de un participante y su puntuación verdadera pronosticada

´E´´XVX 1

´;

XXXXXX

VVE

El error típico de medida es la desviación típica de los errores de medida de todos los participantes de la muestra medida grupal del error

El error típico de estimación de la puntuación verdadera

TEM

A 5

.1.:

FIA

BIL

IDA

D I

24

5. TIPOS DE ERRORES DE MEDIDA

3. Error de sustitución: diferencia entre la puntuación obtenida por un participante en un test y la obtenida en otro paralelo.

221

;

E´XX-X

21

21

XX

XXE

4. Error de predicción: diferencia entre las puntuaciones obtenidas por un participante en un test, y su puntuación pronosticada en ese mismo test.

´´´Xep

11

111

;

XXEXXXX

XXE

El error típico de sustitución

El error típico de predicción

TEM

A 5

.1.:

FIA

BIL

IDA

D I

25

6. FACTORES QUE AFECTAN A LA FIABILIDAD

La fiabilidad de un test depende de factores como:

• La longitud del propio test.

• Variabilidad de la muestra.

Decir que la precisión del instrumento depende de la variabilidad de la muestra, implica que la precisión del instrumento depende del objeto medido, lo que no resulta deseable en ningún

proceso de medición

TEM

A 5

.1.:

FIA

BIL

IDA

D I

26

6.1. FACTORES QUE AFECTAN A LA FIABILIDAD.La longitud del test

A mayor número de ítems, mayor fiabilidad Cuantos más ítems se utilicen, mayor será la información acerca del rasgo a medir

'

'' )1(1 XX

XXXX rn

nrR

-RXX’ = coeficiente de fiabilidad del test acortado o alargado

-rXX’= coeficiente de fiabilidad del test original

-n = número de veces que se ha alargado el test: n=EF/EI;

donde EF = número de elementos finales;

EI = número de elementos iniciales

La relación entre la fiabilidad y la longitud viene determinada por la Fórmula de Spearman-Brown

TEM

A 5

.1.:

FIA

BIL

IDA

D I

27


Ejemplo. Se aplica un test compuesto por 50 ítems a una muestra de participantes y se obtiene un coeficiente de fiabilidad de 0,60. ¿Cuál será el coeficiente de fiabilidad si duplicamos la longitud del test? ¿Y si multiplicamos por 6 el número de ítems original?

TEM

A 5

.1.:

FIA

BIL

IDA

D I

28


9,06,0*51

60,0*6

)1(1

75,06,01

60,0*2

)1(1

'

''

'

''

XX

XXXX

xx

xxXX

rn

nrR

rn

nrR

BrownSpearman

1R ; xx'

n

BrownSpearman

1. Observamos que el coeficiente de fiabilidad pasa de 0,60 a 0,752. Si aumentamos 6 veces la longitud, obtenemos un coeficiente de 0,9

3. Cuando n tiende a infinito, el coeficiente tiende a 1; llegando a este límite si se añadiesen infinitos ítems

TEM

A 5

.1.:

FIA

BIL

IDA

D I

29

En la gráfica se aprecia que a medida que aumenta n, el coeficiente aumenta, pero:

1. Al principio, el aumento es más pronunciado para tests más fiables

2. A medida que n se incrementa el aumento se suaviza


3. El incremento es menor a medida que rxx’ disminuye

TEM

A 5

.1.:

FIA

BIL

IDA

D I

30

)1(

)1(

''

''

XXXX

XXXX

Rr

rRn

Para el test del ejemplo, queremos alcanzar un coeficiente de fiabilidad de 0,90. ¿Cuántos elementos paralelos habría que añadir?

¿Hasta dónde resulta rentable aumentar el número de ítems para obtener una fiabilidad significativamente mejor que la original? ¿Cuántos ítems paralelos Cuántos ítems paralelos habría que añadir para alcanzar un determinado valor del coeficiente de fiabilidad?Spearman-Brown permite estimar

el n que sería necesario para alcanzar un determinado valor del coeficiente de fiabilidad


TEM

A 5

.1.:

FIA

BIL

IDA

D I

31

25050300

3006*5050

6

6)90,01(60,0

)60,01(90,0

)1(

)1(

''

''

EIEFAñadidos

EF

EFEI

EFn

Rr

rRn

XXXX

XXXX

Habría que aumentar la longitud 6 veces, lo que equivale a un test de 300 elementos. Por lo tanto, habría que añadir 250 ítems.


TEM

A 5

.1.:

FIA

BIL

IDA

D I

32

6.2. FACTORES QUE AFECTAN A LA FIABILIDAD.La variabilidad de la muestra

2. grupo elen fiabilidad de ecoeficient r

1. grupo elen fiabilidad de ecoeficient r

2. grupo elen espuntuacion las de empírica varianzaS

1. grupo elen espuntuacion las de empírica varianza

)1(1

22

11

22

21

1122

21

22

S

rS

Sr

El coeficiente de fiabilidad puede variar en función de la mayor o menor homogeneidad del grupo.

A mayor variabilidad, mayor fiabilidad.

Fórmula que relaciona variabilidad con fiabilidad.

TEM

A 5

.1.:

FIA

BIL

IDA

D I

33

Ejemplo. Se ha aplicado un test a una muestra de participantes en donde la desviación típica de las puntuaciones empíricas es igual a 20. La razón entre la desviación típica de los errores y de las puntuaciones empíricas es 0,4. Además, se ha aplicado el test a otra muestra de participantes en la que la desviación típica de las puntuaciones empíricas es igual a 10. ¿Cuál será el valor del coeficiente de fiabilidad del test en esta segunda muestra?


TEM

A 5

.1.:

FIA

BIL

IDA

D I

34

36,0)84,01(100

4001)1(1

84,04,011r ;4,0

1122

21

22

22

2

11

rS

Sr

S

S

S

S

x

e

x

e 1. Calcular el coeficiente de fiabilidad en la muestra original. Encontramos que vale 0,84

2. Aplicamos la fórmula y encontramos que vale 0,36 a menor variabilidad menor fiabilidad


TEM

A 5

.1.:

FIA

BIL

IDA

D I

35

7. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS

La estabilidad hace referencia a que cuando se evalúa un rasgo con el mismo test en distintas ocasiones, siempre y cuando el rasgo no haya cambiado, se deberían obtener puntuaciones muy similares.

- Los principales métodos para el cálculo del coeficiente de fiabilidad y que se basan en la aplicación directa de la correlación son:

- de las formas paralelas

- test-retest

TEM

A 5

.1.:

FIA

BIL

IDA

D I

36

7.1. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS. Método de las formas paralelas

Fases:

1. Construir dos formas paralelas de un test: X y X’.

2. Aplicar las dos formas del test a una muestra de participantes lo suficientemente amplia.

3. Calcular el coeficiente de correlación de Pearson.

22

22

21

21

2121

)()(21

XXNXXN

XXXXNr XX

Coeficiente de equivalencia (grado en que ambas formas son equivalentes)

Ventaja: la posibilidad de aplicar ambas formas en el mismo momento posibilita un mayor control de la situación.

Inconveniente: es realmente difícil construir formas paralelas.

TEM

A 5

.1.:

FIA

BIL

IDA

D I

37

7.2. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS. Método test-retest

Se aplica el mismo test a la misma muestra de participantes en dos ocasiones diferentes. A continuación, calculamos el coeficiente de correlación (coeficiente de estabilidad).

-Ventaja: no requiere la elaboración de dos formas paralelas del mismo test.

- Inconvenientes:

- memorización de algunos ítems: provoca aumento irreal de la puntuación de los participantes.

- intervalo temporal: es deseable incrementar el tiempo, pero se corre el peligro de que el rasgo cambie.

- actitud de los participantes, ya que un cambio en la cooperación puede provocar una puntuación más alta o baja.

TEM

A 5

.1.:

FIA

BIL

IDA

D I

38

8. BIBLIOGRAFÍA

1. Barbero, I., García, E. Vila, E., y Holgado, F.P. (2010). Psicometría: Problemas resueltos. Madrid: Sanz y Torres.Se trata de un libro de ejercicios y problemas en el que se incluye el desarrollo de la solución. El alumno podrá completar desde un punto de vista aplicado los conceptos y contenidos vistos en la parte teórica; así como adquirir las destrezas necesarias para la resolución de problemas.2. Barbero, I. (Coord.) , Vila, E. y Holgado, F.P. (2010). Psicometría. Madrid: Sanz y Torres.En el capítulo 4 se introduce el modelo lineal clásico y el concepto de tests paralelos, así como la interpretación del coeficiente de fiabilidad y distintos métodos para su estimación.

3. Gómez-Benito, J. (1996). Aportaciones de los modelos de estructuras de covarianza al análisis psicométrico. En J. Muñiz (Coord.), Psicometría. Madrid: Universitas.

El capítulo 10, define conceptos fundamentales como coeficiente de fiabilidad y tests paralelos desde modelos de ecuaciones estructurales.

TEM

A 5

.1.:

FIA

BIL

IDA

D I

39

4. Meliá, J.L. (2000). Teoría de la Fiabilidad y la Validez. Valencia: Cristóbal Serrano.

En los Capítulos 3 y 4 expone el modelo lineal clásico de los errores de medida, el concepto de coeficiente e índice de fiabilidad y la definición de tests paralelos. El Capítulo 6 destaca algunas de las críticas. En el Capítulo 7 se trata la consistencia interna y los factores que afectan a la estimación de la fiabilidad.

5. Muñiz, J. (1996). Fiabilidad. En J. Muñíz (Coord.), Psicometría. Madrid: Universitas.

En el Capítulo 1 se resumen los conceptos fundamentales del modelo lineal clásico y la definición de paralelismo.

6. Nunnally, J.C. y Bernstein, I.J. (1995). Teoría Psicométrica. México: McGraw Hill.

El Capítulo 6 se presentan aspectos sobre supuestos y deducciones del modelo clásico. En el Capítulo 7 presentan algunas limitaciones y extensiones del modelo lineal clásico.

8. BIBLIOGRAFÍA

tema 5.1 evaluación del instrumento de medida: fiabilidad i€¦ · 5. 1.: f i a b i l i d a d i...

Documents