tema 5.2 evaluación del instrumento de medida: fiabilidad ii€¦ · 1. la fiabilidad como...

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

PSICOMETRÍAPSICOMETRÍA

Tema 5.2 Evaluación del instrumento de medida:

FIABILIDAD II

Salvador Chacón MoscosoSusana Sanduvete Chaves

Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

2

1. La fiabilidad como consistencia interna1.1. Métodos basados en la división del test en dos mitades

1.1.1. La ecuación de Spearman-Brown1.1.2. La fórmula de Rulon1.1.3. La fórmula de Guttman-Flanagan

1.2. Métodos basados en la covariación entre los ítems1.2.1. Coeficiente alfa de Cronbach

1.2.1.1. Estimador insesgado de alfa1.2.1.2. Inferencias sobre alfa

1.2.2. Casos particulares del coeficiente alfa1.3. Coeficientes basados en el análisis factorial de los ítems: Theta () y Omega ()1.4. El coeficiente beta () de Raju

2. Estimación de la puntuación verdadera de los participantes en el atributo de interés 2.1. Estimación basada en la desigualdad de Chebychev2.2. Estimación basada en la distribución normal de los errores2.3. Estimación basada en el modelo de regresión lineal

3. Valoración de la Teoría Clásica de los Tests4. Introducción a la fiabilidad en los tests referidos al criterio.5. Otras aproximaciones al estudio de la fiabilidad. La fiabilidad

en la metodología observacional 6. A modo de síntesis7. Bibliografía básica

INDICE

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

3

1. LA FIABILIDAD COMO CONSISTENCIA INTERNA

En la mayoría de las ocasiones, sólo es posible llevar a cabo una única aplicación del test (evita problemas asociados con la repetición del test y con la dificultad de construir formas paralelas).

Métodos que requieren una sola aplicación del test:

1. División del test en dos mitades.

2. Covariación entre todos los ítems del test.

En el tema 5.1, vimos que el coeficiente de fiabilidad (como estabilidad de las medidas) se obtenía a partir de la correlación entre formas paralelas de un test, o mediante la correlación entre dos aplicaciones del mismo test (test-retest).

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

4

1. LA FIABILIDAD COMO CONSISTENCIA INTERNA 1.1. Métodos basados en la división del test en dos

mitadesDivisión del test en dos mitades: no siempre es fácil, ya que

se requiere que las mitades sean iguales en cuanto a dificultad y contenido.

Distintos procedimientos:

1. Dividir el test por la mitad. Sin embargo, en muchos test los ítems fáciles suelen aparecer al principio.

2. Ordenar los ítems por su dificultad: a continuación asignar los pares a la forma 1 y los impares a la forma 2.

3. Asignación aleatoria a cada una de las mitades.

4. Asignar ítems a las mitades de forma que estén emparejadas en contenido.

Tantos coeficientes de fiabilidad como divisiones del test en dos mitades se puedan hacer

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

5

Ecuación de Spearman-Brown para elementos paralelos: es el método más antiguo y fue propuesto casi al mismo tiempo por Spearman y Brown.

1. Se aplica el test a una muestra de participantes.

2. Se divide el test en dos mitades (paralelas).

3. Se calcula la correlación. Dicho valor equivale al rxx’ para cada una de las mitades habría que aplicar la fórmula de corrección para el caso de un test con longitud doble.

mitades. dos las de fiabilidad de ecoeficient r

longitud.su duplicado ha se cuando fiabilidad de ecoeficient

1

2R

XX'

'

'

'XX'

XX

XX

XX

R

r

r


mitades1.1.1. La ecuación de Spearman-Brown

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

6

Participantes par impar

1 8 4

2 7 7

3 8 6

4 5 4

5 8 7

6 6 6

Total 42 34

1X 2X

En la siguiente tabla, se muestran las puntuaciones de una muestra de participantes en los ítems pares e impares de un test.

Calcular la fiabilidad utilizando la fórmula de Spearman-Brown.



TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

7

Participantes par impar

1 8 4 64 16 32

2 7 7 49 49 49

3 8 6 64 36 48

4 5 4 25 16 20

5 8 7 64 49 56

6 6 6 36 36 36

Total 42 34 302 202 241

21X

1X 2X 22X 21XX



TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

8

22

22

21

21

2121

)()(21

XXNXXN

XXXXNr XX



35,0

56*48

14281446

34202*642302*6

34*42241*62221

XXr

52,035,01

35,0*2

1

2R XX

XX

XX

r

r

1. Calcular el coeficiente de correlación entre ambas mitades. Obtenemos que vale 0,35

2. Aplicamos la fórmula de corrección de Spearman-Brown. Obtenemos un valor de 0,52

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

9

tes.participan los de empíricas espuntuacion las de varianzaS

impares. e pares

espuntuacion las entre sdiferencia las de varianzaS

impares. e pares espuntuacion las entre diferencia

1r

2x

2d

2

2

XX'

d

S

S

x

d

Ecuación de Rulon (1939): se utiliza cuando las dos mitades no son estrictamente paralelas, pero se entiende que son tau-equivalentes (igualdad de varianzas verdaderas aunque las varianzas del error no tienen por qué ser iguales); o congenéricas (la V de cada persona en un test es igual a la V en el otro test mas una constante).

La equivalencia entre Spearman-Brown y Rulon depende del grado de paralelismo de las formas, de forma que cuanto más parecidas sean,

más se aproximan los valores.


mitades1.1.2. La fórmula de Rulon

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

10

Participantes X Par Impar

A 4 3 1

B 1 1 0

C 6 3 3

D 2 1 1

E 3 1 2

F 5 2 3

En la siguiente tabla, se muestra las puntuaciones de una muestra de participantes en los ítems pares e impares de un test

Calcular la fiabilidad utilizando la fórmula de Rulon.



TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

11

Participantes X Par Impar (P-I)=d d2 X2

A 4 3 1 2 4 16

B 1 1 0 1 1 1

C 6 3 3 0 0 36

D 2 1 1 0 0 4

E 3 1 2 -1 1 9

F 5 2 3 -1 1 25

∑ 21 11 10 1 7 91



TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

12

1. Calcularíamos la varianza de las diferencias. En este caso es 1,14.

2. Aplicando la fórmula de Rulon obtenemos que el coeficiente de fiabilidad vale 0,61



61,092,2

14,111r

92,225,1217,15)5,3(6

91

5,36

21

14,1)17,0(6

7

17,06

1

2

2

XX'

222

2X

222

2d

x

d

S

S

XN

XS

N

XX

dN

dS

N

dd

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

13

tes.participan los de empíricas espuntuacion las de varianzaS

mente.respectiva impares e

pares ítems los de espuntuacion las de varianzas Sy S

12r

2x

2i

2p

2

22

XX'

x

ip

S

SS

Guttman (1937) y Flanagan (1945): Llegaron de manera independiente a una fórmula equivalente a la de Rulon, pero de más fácil aplicación.

Con los datos del ejercicio anterior, calcular el coeficiente de fiabilidad utilizando Guttman-Flanagan.


mitades1.1.3. La fórmula de Guttman-Flanagan

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

14

Participantes X Par Impar Par2 Impar2

A 4 3 1 9 1

B 1 1 0 1 0

C 6 3 3 9 9

D 2 1 1 1 1

E 3 1 2 1 4

F 5 2 3 4 9

∑ 21 11 10 25 24



S2 = 2,92 – Calculado en el ejercicio anterior

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

15

61,092,2

21,181,01212

21,179,2467,16

24

67,16

10

81,035,316,483,16

25

83,16

11

2

22

'

222

2

222

2

x

ipXX

i

p

S

SSr

iN

iS

N

ii

pN

pS

N

pp

Observamos que llegamos al mismo resultado, sin necesidad de calcular las puntuaciones referidas a las diferencias.



TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

16

Uno de los principales problemas con la división del test en dos mitades, es que existen numerosas formas de obtener dos mitades, obteniendo tantas estimaciones del coeficiente de fiabilidad como diferentes dos mitades puedan hacerse. Una forma de resolver este problema es estudiar la covariación de los ítems.

Métodos:

- Coeficiente alfa de Cronbach, y sus casos particulares: KR20 y KR21 de Kuder-Richardson (1937).

1. LA FIABILIDAD COMO CONSISTENCIA INTERNA 1.2. Métodos basados en la covariación de los ítems

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

17

- Coeficiente alfa de Cronbach: expresa la fiabilidad del test en función del número de ítems y de la proporción de la varianza total del test debida a la covariación de los ítems cuanto más covaríen los ítems, mayor será la fiabilidad del test.

test.del espuntuacion las de varianza

test.del elementos los de varianzala de sumatorio

test.del elementos de número n

11

2

1

2

2

1

2

x

n

jj

x

n

jj

S

S

S

S

n

n

1. LA FIABILIDAD COMO CONSISTENCIA INTERNA 1.2. Métodos basados en la covariación de los ítems1.2.1. Coeficiente alfa de Cronbach

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

18

Se ha aplicado un test de percepción visual a 6 participantes. Calcular el valor del coeficiente de fiabilidad del test.

participantes X1 X2 X3 X4 X5

A 3 4 3 3 4

B 2 3 2 4 4

C 4 2 2 3 3

D 2 1 1 2 1

E 1 1 1 2 1

F 0 0 1 1 1


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

19

participante X1 X2 X3 X4 X5 X X2

A 3 4 3 3 4 17 9 16 9 9 16 289

B 2 3 2 4 4 15 4 9 4 16 16 225

C 4 2 2 3 3 14 16 4 4 9 9 196

D 2 1 1 2 1 7 4 1 1 4 1 49

E 1 1 1 2 1 6 1 1 1 4 1 36

F 0 0 1 1 1 3 0 0 1 1 1 9

Σ 12 11 10 15 14 62 34 31 20 43 44 804


21X 2

2X 23X 2

4X 25X

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

2033,10

6

62

33,26

14

5,26

15

67,16

10

83,16

11

26

12

5

4

3

2

1

X

X

X

X

X

X

N

XX

1. Calcular la varianza de cada ítem

2. Calcular la varianza de las puntuaciones en el test total

3. Calcular el alfa de Cronbach


29,27)33,10(6

804

9,133,26

44

92,05,26

43

54,067,16

20

82,183,16

31

67,126

34

22

225

224

223

222

221

22

2

xS

S

S

S

S

S

XN

XS

94,029,27

9,192,054,082,167,11

15

5

11 2

2

X

j

S

S

n

n

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

21

El estimador insesgado: alfa no es más que un estimador o aproximación al valor real del coeficiente de fiabilidad. Sin embargo, existe una aproximación más exacta de dicho valor que se expresa mediante la siguiente fórmula:

muestra la de tesparticipan de número N

Cronbach de alpha de ˆ

insesgado

1

2ˆ)3(

valor

estimador

N

N

En la práctica, a partir de 100 participantes las diferencias son insignificantes.

N cuando ,ˆ

1. LA FIABILIDAD COMO CONSISTENCIA INTERNA 1.2. Métodos basados en la covariación de los ítems1.2.1. Coeficiente alfa de Cronbach1.2.1.1. Estimador insesgado de alfa

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

22


Ejemplo 1: en una muestra de 150 participantes un test obtiene un valor de α = 0,75. ¿Cuál es el valor del estimador Cuál es el valor del estimador insesgado de alfa?

Ejemplo 2: en una muestra de 20 participantes un test obtiene un valor de α = 0,75. ¿Cuál es el valor del estimador Cuál es el valor del estimador insesgado de alfa?

¿Cuál es el valor del estimador En qué ejemplo difieren más alfa y su estimador insesgado? ¿Cuál es el valor del estimador Por qué?

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

23


Ejemplo 1:

Ejemplo 2:

Alfa y su estimador insesgado difieren más en el ejemplo 2 (0,75 vs 0,78) porque el tamaño de la muestra es menor.

78,0120

275,0)320(

75,01150

275,0)3150(

1

2ˆ)3(

N

N

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

24

1. ¿Cuál es el valor del estimador Puede tomar alfa un valor concreto en la población a partir del valor muestral obtenido?

2. ¿Cuál es el valor del estimador Existe una diferencia significativa entre el valor de alfa de dos muestras independientes?

3. ¿Cuál es el valor del estimador Es significativa la diferencia entre dos valores de alfa para una misma muestra?

- DESARROLLO DE LA TEORÍA MUESTRAL DEL COEFICIENTE ALFA (Feldt, 1965; Kristof,1963)

Alfa proporciona una estimación del coeficiente de fiabilidad de un test a partir de la muestra en que se ha aplicado, pero a veces interesa plantearse si:

1. LA FIABILIDAD COMO CONSISTENCIA INTERNA 1.2. Métodos basados en la covariación de los ítems1.2.1. Coeficiente alfa de Cronbach1.2.1.2. Inferencias sobre alfa

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

25

1. ¿Cuál es el valor del estimador Puede tomar alfa un determinado valor en la población a partir del valor muestral obtenido?

Kristof (1963) y Feldt (1965), proponen el siguiente estadístico basado en la distribución F

ítems de número n

muestra la de tesparticipan de número N

muestra laen obtenido alpha de ˆ

población. la para hipótesis lapor propuesto

libertad de grados 1)-1)(N-(ny )1(con distribuye se ˆ1

1

valor

alpha

NF

F


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

26

Tras aplicar un test de percepción espacial de 35 ítems a una muestra de 60 estudiantes, se obtuvo un α de 0,83. ¿Cuál es el valor del estimador Es este coeficiente estadísticamente significativo? (nivel de confianza: 95%).


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

27


47,1

88,583,01

01ˆ1

1

0:

)1000,30,05.0()2006,59,05.0()160)*(135(),160(,05.0(1)-1)(N-(n ,)1( ,

0

FFFF

F

H

N

5,88 > 1,47 - Se rechaza la hipótesis nula. El coeficiente alfa es estadísticamente significativo

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

28

2. ¿Cuál es el valor del estimador Existe una diferencia significativa entre el valor de alfa de dos muestras independientes?

Feldt (1969), propone el estadístico de contraste W basado en la distribución F con (N1-1; y N2 –1; grados de libertad) que

permite probar la H0: 1= 2

muestra cada de tesparticipan de número NN

muestra. cadaen obtenido ˆy ˆ

libertad de grados 1)-(Ny )1(con distribuye se

ˆ1

ˆ1

21

21

21

2

1

y

alpha

NW

W


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

29

Hemos aplicado un test de razonamiento a una muestra de 121 participantes, obteniendo un valor de alfa igual a 0,55. Se aplicó el mismo test a otra muestra de 61 participantes obteniéndose un valor de alfa igual a 0,62. ¿Cuál es el valor del estimador Existen diferencias estadísticamente significativas entre los valores de ambos coeficientes? (N.C. = 95%).


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

30

7,1

18,162,01

55,01ˆ1

ˆ1

:

)30,100,05.0()60,120,05.0(1)-N ,1,(

2

1

210

21

FFF

W

H

N


1,18 < 1,7 - Se acepta la hipótesis nula. La diferencia entre ambos coeficientes no es estadísticamente significativa.

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

31

3. ¿Cuál es el valor del estimador Es significativa la diferencia entre dos valores de alfa para una misma muestra?

Feldt (1969), propone el estadístico de contraste t basado en la distribución t con (N-2) g.l.

medidas ambasen espuntuacion las entre cuadrado al

medida cada de espuntuacion lascon obtenido ˆy ˆ

libertad de grados)2(con student desegún t distribuye se

)1)(ˆ1)(ˆ1(4

)2()ˆˆ(

221

21

22121

21

ncorrelaciór

alpha

Nt

r

Nt

xx

xx


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

32

Aplicamos dos tests de percepción visual a una muestra de 125 participantes. La correlación entre las puntuaciones de ambos tests es 0,7. Los valores del coeficiente alfa fueron, respectivamente, 0,75 y 0,84. ¿Cuál es el valor del estimador La diferencia entre estos valores es estadísticamente significativa? (N.C. = 95%).


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

33

98,1

5,3)7,01)(75,01)(84,01(4[

2125)75,084,0(

)1)(ˆ1)(ˆ1(4

)2()ˆˆ(

:

)120,05.0()123,05.0()2,(

222121

21

210

ttt

r

Nt

H

N

xx


3,5 > 1,98 - Se rechaza la hipótesis nula. La diferencia entre ambos coeficientes es estadísticamente significativa.

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

34

Casos particulares de Alpha fórmulas de Kuder-Richardson (1937): hacen referencia a la estimación de la fiabilidad de un test en el caso de que los ítems sean dicotómicos la varianza viene determinada por:

220 1

1 xS

pq

n

nKR

hhh qpS 2

Donde ph es la proporción de aciertos; mientras que qh es la de

errores. En tal caso, alfa se puede definir mediante KR20 ,o KR21

(cuando los ítems presentan igual dificultad; es decir, la misma proporción de aciertos).

Donde;n= es el número de ítemsp= es la proporción de aciertosq= es la proporción de erroresS2x= es la varianza total de test.

2

2

21 11 xS

n

XX

n

nKR

1. LA FIABILIDAD COMO CONSISTENCIA INTERNA 1.2. Métodos basados en la covariación de los ítems1.2.2. Casos particulares del coeficiente alfa

Si aplicamos KR21 con ítems cuya dificultad no es la misma, se obtendrá un valor inferior al de KR20

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

35

Supongamos un test compuesto por 6 ítems, y al que responden 6 participantes

Calcular el coeficiente de fiabilidad utilizando KR20 y KR21

participantes

A B C D E F

1 1 1 1 1 1 1

2 1 1 1 0 1 1

3 1 0 1 0 1 1

4 0 1 0 1 0 1

5 0 0 0 0 0 0

6 1 0 0 0 0 0


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

36

participantes

A B C D E F X X2

1 1 1 1 1 1 1 6 36

2 1 1 1 0 1 1 5 25

3 1 0 1 0 1 1 4 16

4 0 1 0 1 0 1 3 9

5 0 0 0 0 0 0 0 0

6 1 0 0 0 0 0 1 1

p 0,67

0,5 0,5 0,33

0,5 0,67

q 0,33

0,5 0,5 0,67

0,5 0,33

S2 0,22

0,25

0,25

0,22

0,25

0,22

Σ 19 87

1. Primero habría que calcular la varianza de los ítems, que al ser dicotómicos es p*q.


41,12jS

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

37

8,045,4

617,3

17,31

5

61

1

17,36

19

45,405,105,1417,36

87

82,068,0*2,1)32,01(2,145,4

41,11

5

61

1

2

2

2

21

222

2

220

X

X

X

Sn

XX

n

nKR

N

XX

XN

XS

S

pq

n

nKR

2. Y a continuación, se aplica KR20. Se observa que el valor obtenido es de 0,82


Como los ítems no presentan misma dificultad, el valor obtenido con KR21

es más bajo que el obtenido con KR20

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

38

Los coeficientes Theta () de Carmines y Omega () constituyen dos indicadores de la consistencia interna de los ítems de un test, basados en el Análisis Factorial de los ítems.

rotación la de antes factor1 el

por explicada varianza

test del ítems de númeron

n

n

er

1

1

11

1

hy j ítems los entren correlació

j ítem del estimada dcomunalida

testdel ítems de

21

2

2

jh

j

jh

j

r

h

númeron

rn

hn

- En general, para los mismos datos se verifica que

= = cuando los ítems son paralelos

1. LA FIABILIDAD COMO CONSISTENCIA INTERNA 1.3. Coeficientes basados en el análisis factorial de los

ítems: Theta () y Omega ()

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

39

En la siguiente tabla, aparecen los valores de la varianza explicada por los 5 factores obtenidos tras someter a un análisis factorial a 5 variables. La suma de las comunalidades es 4,95 y la suma de las correlaciones entre los ítems es 5,1. Calcular el valor de los coeficientes θ y Ω.



Factor Varianza explicada

1 3,286

2 1,346

3 0,224

4 0,128

5 0,014

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

40

997,0003,012,15

05,01

2,105

05,0

1,5*25

95,451

21

869,0286,3

11

15

511

1

2

1

a

rn

hn

n

n

jh

j

Efectivamente, (0,869 < 0,997)



TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

41

El coeficiente beta () de Raju (1977). Cuando un test se divide en varios subtests con distinto número de ítems, infraestima el coeficiente de fiabilidad si se calcula a partir de la puntuación total de cada subtest.

Por el contrario, supera este problema y proporciona una estimación de la fiabilidad de un test compuesto por distintos subtest (batería de tests), a partir de las puntuaciones totales en ellos.

Se aplica cuando se desconocen las puntuaciones de los participantes en los ítems de los distintos subtests. Si se conocen los valores de estas puntuaciones, es mejor emplear .

k

j

jx

k

jjx

n

nS

SS

1

2

2

1

22

1

K=número de subtests.

Sx=varianza del test total.

Sj=varianza de cada subtest.

nj=número de ítems de cada subtest.

n= número total de ítems del test.

2

2

1. LA FIABILIDAD COMO CONSISTENCIA INTERNA 1.4. El coeficiente Beta () de Raju

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

42

Se ha aplicado un test compuesto por 4 subtests a una muestra de 200 empleados de correos. Los subtests están compuestos por A=18; B=30; C=45 y D=55 ítems. La varianza total del test es 50 y la de los subtest es

. Calcular alfa y beta

11Sy 9;S 7;S 5;S 2D

2C

2B

2A


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

43

50,07,35

18

714,0*50

18

]286,01[50

18

)138,0092,0041,0015,0(150

18

372,0304,0203,0121,0150

3250

148

55

148

45

148

30

148

18150

)11975(50

1

48,050

119751

14

41

1

2222

2222

1

2

2

1

22

2

1

2

k

j

jx

k

jjx

x

n

jj

n

nS

SS

S

S

n

n

1. A partir de las puntuaciones totales, calculamos alfa y encontramos que vale 0,48

2. Sin embargo, cuando aplicamos de Raju encontramos que dicho valor es 0,50

Sólo en el caso de que los distintos subtests contengan el mismo número de ítems, alfa y beta serán iguales.


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

44

Tras obtener un valor del coeficiente de fiabilidad, la siguiente pregunta relevante que nos podemos hacer es:

¿Cuál es el valor del estimador Cómo hacer estimaciones acerca del valor de la puntuación verdadera de un participante?:

1. Desigualdad de Chebychev.

2. Estimación basada en la distribución normal de los errores.

3. Estimación basada en el modelo de regresión.

2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

45

errortipoI

k

rSS

kSE

EXLim

xxxe

e

1

1

*max

max

'

No asume ningún tipo de distribución ni de las puntuaciones empíricas ni de los errores de medida y permitió, por primera vez, hacer estimaciones.

2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.1. Estimación basada en la desigualdad de Chebychev

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

46

Se ha administrado un test cuyo rxx’ = 0,73 a 200 participantes (Media = 52; y Desviación típica = 7). Con los datos obtenidos, estimar la puntuación verdadera de un participante que obtuvo una puntuación de 65 (NC 95%) utilizando el método de la desigualdad de Chebychev.


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

47

Intervalo muy amplio


05,0

47,405,0

11

64,373,0171

27,1647,4*64,3*max

62,48

38,8127,1665max

'

k

rSS

kSE

EXLim

xxxe

e

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

48

Asume la distribución normal de E y de las X empíricas condicionadas a un determinado valor de V.

2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.2. Estimación basada en la distribución normal de los errores, puntuación directa

'1

58,2%)99(

96,1%)95(

*max

max

xxxe

C

C

eC

rSS

NCZ

NCZ

SZE

EXLim

Con los datos del ejercicio anterior, calcular el intervalo según la distribución normal de los errores dando el resultado en puntuación directa

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

49

Se = 3,64 (ya calculado para la estimación mediante la igualdad de Chebychev)

2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.2. Estimación basada en la distribución normal de los errores, puntuación directa

64,3

96,1%)95(

13,764,3*96,1*max

87,57

13,7213,765max

e

C

eC

S

NCZ

SZE

EXLim

Este intervalo es menos amplio que el anterior, debido a que estamos asumiendo cierta distribución de probabilidad en los datos, cosa que no ocurría antes.

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

50


2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.2. Estimación basada en la distribución normal de los errores, puntuación diferencial

XXx

ExLim

ii

i

maxSe calcula igual que en el apartado de puntuaciones directas

Con los datos del ejercicio anterior, calcular el intervalo según la distribución normal de los errores dando el resultado en puntuación diferencial

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

51

2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.2. Estimación basada en la distribución normal de los errores, puntuación diferencial

135265

87,5

13,20

13,713max

inf

sup

i

ii

erior

erior

i

x

XXx

Lim

Lim

ExLim

Ya calculado

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

52


2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.2. Estimación basada en la distribución normal de los errores, puntuación tipificada

'1

·max

max

xxze

zec

x

ix

x

rS

SZE

S

XXZ

EZLim

Es la misma que la que hallamos en el apartado de puntuaciones directas

Con los datos del ejercicio anterior, calcular el intervalo según la distribución normal de los errores dando el resultado en puntuación tipificada

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

53

2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.2. Estimación basada en la distribución normal de los errores, puntuación tipificada

52,027,073,011

02,152,0·96,1·max

86,17

13

7

5265

84,0

88,2

02,186,1max

'

inf

sup

xxze

zec

x

ix

erior

erior

x

rS

SZE

S

XXZ

Lim

Lim

EZLim

Ya calculado:

96,105,0 Z

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

54

Dado que X siempre está afectada por errores de medida (E) podríamos hacer estimaciones puntuales de V, y a posteriori establecer intervalos de confianza en torno a ella. Es decir, utilizar V’ en lugar de X para construir el intervalo de confianza.

2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.3. Estimación basada en el modelo de regresión lineal, puntuaciones directas

'

'

58,2%)99(

96,1%)95(

*max

)('

max'

xxevx

C

C

vxC

xx

rSS

NCZ

NCZ

SZE

XXXrV

EVLim

Con los datos del ejemplo anterior, calcular el intervalo según el método de regresión para puntuaciones directas.

Svx = error típico de estimación de la puntuación verdadera

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

55

48,62 ≤ V ≤ 81,38

57,87 ≤ V ≤ 72,13

55,43 ≤ V ≤ 67,55

Si comparamos los intervalos obtenidos con los tres métodos, vemos que éste último es el menos amplio de todos (el más preciso)

2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.3. Estimación basada en el modelo de regresión lineal, puntuaciones directas

09,373,064,3

96,1%)95(

06,609,3*96,1*max

49,6152)5265(73,0)('

43,55

55,6706,649,61max'

'

'

xxevx

C

vxC

xx

rSS

NCZ

SZE

XXXrV

EVLim

Se = 3,64 (ya calculado para los métodos anteriores)

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

56


2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.3. Estimación basada en el modelo de regresión lineal, puntuaciones diferenciales

XXx

xrv

EvLim

ii

ixx

·'

max'

Con los datos del ejemplo anterior, calcular el intervalo según el método de regresión para puntuaciones diferenciales.

Igual que en puntuaciones directas

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

57

2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.3. Estimación basada en el modelo de regresión lineal, puntuaciones diferenciales

135265

49,913·73,0·'

43,3

55,15

06,649,9max'

inf

sup

XXx

xrv

Lim

Lim

EvLim

ii

ixx

erior

erior

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

58


2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.3. Estimación basada en el modelo de regresión lineal, puntuaciones tipificadas

''·

·

'

'

'

·1

·max

·

max

xxxxzz

zzC

x

ix

xxvx

xvxv

v

rrS

SZE

S

XXZ

rr

ZrZ

EZLim

xv

xv

Con los datos del ejemplo anterior, calcular el intervalo según el método de regresión para puntuaciones tipificadas.

La misma que para puntuaciones directas

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

59

2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS PARTICIPANTES EN EL ATRIBUTO DE INTERÉS2.3. Estimación basada en el modelo de regresión lineal, puntuaciones tipificadas

44,073,0·27,073,0·73,01·1

86,044,0·96,1·max

86,17

5265

84,073,0

56,186,1·84,0·

70,0

42,2

86,056,1max

''·

·

'

'

inf

sup

'

xxxxzz

zzC

x

ix

xxvx

xvxv

erior

erior

v

rrS

SZE

S

XXZ

rr

ZrZ

Lim

Lim

EZLim

xv

xv

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

60

3. VALORACIÓN DE LA TEORÍA CLÁSICA DE LOS TEST

Ventajas:

Parsimonia y enjundia psicológica. Ha sabido dar soluciones prácticas a una amplia diversidad de situaciones (Muñiz, 2001).

Limitaciones:

1. Los supuestos no se pueden comprobar empíricamente.

2. Concepto de error de medida:

a) homogéneo a lo largo del continuo de aptitud

b) errores independientes

c) concepto general que engloba todas las fuentes de variabilidad.

3. Medidas estrictamente paralelas.

4. Carácter variante y dependiente de sus índices.

5. Estimación de la fiabilidad múltiples procedimientos

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

61

3. VALORACIÓN DE LA TEORÍA CLÁSICA DE LOS TEST

Encontramos una ventaja inherente a sus propias limitaciones, ya que dichas limitaciones han promovido el desarrollo de otras importantes teorías, que han intentado superar:

-Problemas relacionados con el error de medida.

-Dependencia de los instrumentos de medida sobre los propios objetos de medida y viceversa.

No debemos olvidar que la TCT supone la primera formulación matemática de una teoría sobre las puntuaciones de los tests y, por tanto, su posición en la mayoría de los programas docentes y manuales que se publican está más que justificado

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

62

4. INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS REFERIDOS AL CRITERIO

Tests Referidos a la Norma (TRN): ordenan a los participantes respecto a su grupo según su nivel en el rasgo medido un participante que ocupa el P90 está por encima del 90% de participantes de su grupo en el rasgo medido por el test.

En los años 60, en evaluación educativa, surge la necesidad de construir tests que evalúen directamente el conocimiento de los estudiantes sobre los objetivos programados, a partir de lo que surgen los tests referidos al criterio (TRC). ¿Cuál es el valor del estimador Qué tipo de problemas es capaz de resolver la persona?¿Cuál es el valor del estimador Qué tipo de resolución requiere?¿Cuál es el valor del estimador Cuál es el límite de la capacidad del participante?:

“Un TRC se utiliza para evaluar el status absoluto del participante con respecto a algún dominio de conductas

bien definido” (Popham, 1978)

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

63

(Martínez-Arias, p. 657)


TRN TRC

Finalidad Diferencias individuales Rendimiento

Construcción Teorías existentes Especificación del dominio

Selección de los ítems Maximizar diferencias individuales

Según objetivos

Significado de las puntuaciones

Indicador de la puntuación verdadera

Estimador del rendimiento del participante en el dominio

Interpretación de las puntuaciones

Se compara con su grupo normativo

Con significado en términos absolutos

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

64

Impulso de algunos aspectos como:

1. Definir con mayor claridad los objetivos de interés.

2. Muestrear exhaustivamente los objetivos a evaluar.

3. Nuevas formas de evaluar la fiabilidad y validez.4. Establecer los puntos de corte más apropiados.5. Detectar los puntos fuertes y débiles de los

participantes.


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

65

Fiabilidad: determinar el grado de error presente en las mediciones.

Objetivo en los TRC: clasificar a las personas entre las que dominan el criterio y las que no

Fiabilidad consistencia o precisión en las clasificaciones realizadas por el test

Dos aplicaciones del test

Una sola aplicación del test


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

66

Dos aplicaciones: en este caso podemos aplicar el mismo test a una muestra; o dos formas paralelas.

Fiabilidad perfecta clasificación idéntica en ambas aplicaciones.

N

Fcp 0 FaN

FaFc

K

1. Coeficiente p0 de Hambleton y Novick:

Donde: Fc= número de personas

clasificadas de manera coincidente por ambos tests.

N= número total de personas.

2. Coeficiente Kappa:

Donde: Fc= número de personas

clasificadas de manera coincidente por ambos tests.

Fa= coincidencia por azar.N= número total de personas.

Procedimientos para su evaluación:


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

67

Test B

Test A Apto No-apto

Total

Apto a b g

No-apto c d h

Total e f N


N

hf

N

geFa

daFc

**

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

68

Se han aplicado dos tests paralelos de Psicometría a 20 participantes. Las clasificaciones realizadas se muestran en la siguiente tabla. Calcular la fiabilidad de la clasificación utilizando el coeficiente p0 de Hambleton y Novick y el coeficiente Kappa.

Test B

Test A Apto No-apto

Apto 2 3

No-apto 1 14


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

69

Test B

Test A Apto No-apto

Total

Apto 2 (a) 3 (b) 5 (g)

No-apto 1 (c) 14 (d) 15 (h)

Total 3 (e)

17 (f) 20 (N)

16142

80,020

16.1 0

daFcN

Fcp

1. Aplicando p0 vemos que los tests coinciden en clasificar a 2 aptos y 14 no-aptos la fiabilidad es 0,80

5,1320

15*17

20

5*3**

38,05,1320

5,1316 2.K

N

hf

N

geFa

FaN

FaFc

2. Aplicando K vemos que la fiabilidad se reduce considerablemente al considerar las coincidencias por azar.


TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

70

5. OTRAS APROXIMACIONES AL ESTUDIO DE LA FIABILIDAD. LA FIABLIDAD EN LA METODOLOGÍA OBSERVACIONAL

Fiabilidad: Grado de precisión de la medida, o del instrumento de medida utilizado.

En Metodología observacional, por ejemplo, el instrumento de medida más común es un “Sistema de categorías” que análogamente a un test pretende “recoger la variabilidad del comportamiento del participante en el dominio comportamental que se esté estudiando”.

Procedimientos más habituales en su cálculo se basan en los mismos principios utilizados bajo la lógica de los TRC medir la consistencia en las clasificaciones, en este caso de distintos observadores: Índice de Acuerdo (aproximación exploratoria); Coeficiente Kappa.

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

71

5. OTRAS APROXIMACIONES AL ESTUDIO DE LA FIABILIDAD. LA FIABLIDAD EN LA METODOLOGÍA OBSERVACIONAL

Sólo pretendemos indicar que la fiabilidad no es exclusiva de la teoría de tests, sino que el

problema de la precisión es común a cualquier aproximación científica que implique medición. Lo exclusivo es que cada aproximación adapta

el método a sus peculiaridades de estudio

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

72

1. Barbero, I., García, E., Vila, E. y Holgado, F. P. (2010). Psicometría: Problemas resueltos. Madrid: Sanz y Torres.

Se trata de un libro de ejercicios y problemas en el que se incluye el desarrollo de la solución. El alumnado podrá completar desde un punto de vista aplicado los conceptos y contenidos vistos en la parte teórica; así como adquirir las destrezas necesarias para la resolución de problemas.

2. Barbero, I., Vila, E. y Holgado, F. P. (2010). Psicometría. Madrid: Sanz y Torres.En el capítulo 4 se introduce el modelo lineal clásico y el concepto de tests paralelos, así como la interpretación del coeficiente de fiabilidad y distintos métodos para su estimación; y el capítulo 5 se centra en la fiabilidad de los TRC.

3. Gómez-Benito, J. (1996). Aportaciones de los modelos de estructuras de covarianza al análisis psicométrico. En J. Muñiz (Coord.), Psicometría. Madrid: Universitas.

El capítulo 10 define conceptos fundamentales como coeficiente de fiabilidad y tests paralelos desde modelos de ecuaciones estructurales.

7. BIBLIOGRAFÍA COMENTADA

TEM

A 5

.2 :

FIA

BIL

IDA

D I

I

73

4. Martínez Arias, R. (1995). Psicometría: Teoría de los Tests Psicológicos y Educativos.

El Capítulo 3 presenta de una forma clara los conceptos básicos del modelo clásico. Los tres primeros apartados del Capítulo 4 también se pueden consultar para la preparación de este tema. Presenta numerosos ejercicios que permiten aplicar los conocimientos teóricos adquiridos.

5. Meliá, J. L. (2000). Teoría de la Fiabilidad y la Validez. Valencia: Cristóbal Serrano.

En los Capítulos 3 y 4 expone el modelo lineal clásico de los errores de medida, el concepto de coeficiente e índice de fiabilidad y la definición de tests paralelos. El Capítulo 6 destaca algunas de las críticas. En el Capítulo 6 se trata la consistencia interna y los factores que afectan a la estimación de la fiabilidad.

7. Muñiz, J. (1996). Fiabilidad. En J. Muñiz (Coord.), Psicometría. Madrid: Universitas.

En el Capítulo 1 se resumen los conceptos fundamentales del modelo lineal clásico y la definición de paralelismo.

6. Nunnally, J. C. y Bernstein, I. J. (1995). Teoría Psicométrica. México: McGraw Hill.

El Capítulo 6 presenta aspectos sobre supuestos y deducciones del modelo clásico. En el Capítulo 7 se presentan algunas limitaciones y extensiones del modelo lineal clásico.

7. BIBLIOGRAFÍA COMENTADA

tema 5.2 evaluación del instrumento de medida: fiabilidad ii€¦ · 1. la fiabilidad como...

Documents