tema 2 caracterÍsticas tÉcnicas instrumentos medida 4 de diciembre 2014
Post on 22-Jan-2016
216 Views
Preview:
TRANSCRIPT
TEMA 2
CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA
4 de diciembre 2014
MEDICIÓN• Opera sobre un objeto• Según reglas (isomorfismo objeto – ud medida)• Unidad medida• Construir instrumentos (acto medición)• Tratamiento datos
TEORÍA CLÁSICA TESTS• Dificultad• Discriminación• Análisis distractores• Índice fiabilidad• Validez• Dimensionalidad
DIFICULTAD• En función número personas que contesten de forma correcta,
depende de muestra• ID = A / N• Si elección múltiple, para corregir efectos azar• ID =
NKE
A1
DIFICULTAD• Sentido test o pruebas objetivas medida aptitudes• Muy fáciles (ID > 0,75), fáciles (0,55 < ID < 0,75), normales (0,45 < ID
< 0,54), difíciles (0,25 < ID < 0,44), muy difíciles (ID < 0,25)• Mayor cantidad ítems dificultad media y pequeña cantidad ítems
dificultad alta y baja
DIFICULTAD• 40 alumnos, ítem 2 alternativas, aciertan 25 ID=25/40=0,625 (fácil)• 40 alumnos, ítem 2 alternativas, aciertan 15 ID=15/40=0,375
(difícil)• 40 alumnos, ítem 3 alternativas, aciertan 15 ID= = 0,4375
(difícil)
4013
1525
DISCRIMINACIÓN• Selectividad pregunta para discriminar grupo más
aciertos vs menos aciertos (correlación item – puntuación test)
• -1 … +1 Buen índice > 0,30 Muy bien > 0,4• Dos extremos 27% superior y 27% inferior• D = p+ - p-
• Correlación:– 2 variables dicotómicas: Tabla de contingencia, X2– Vbles dicotomizadas: Tetracórica– Vble continua y otra dicotómica: Biserial– Vbles continuas: Pearson
DISCRIMINACIÓN• Se supone item test 300 estudiantes, de 81 mejores (27%) 40
aciertan ítem, y 81 peores 12 aciertan ítem.
– IH = Discrimina bien
3456,081
12
81
40
DISTRACTORES• Alternativas falsas o incorrectas ítem• Todas alternativas equiprobable elección• Item 4 alternativas D correcta 300 individuos, fallan 198 A = 85 B
= 40 C = 73 198:3 = 66 esperables para cada distractor
• Se compara 16,45 con • Conclusión: rechazamos independencia
45,1666
1086
66
)6673()6640()6685(222
2
991,5295,0;2
295,0;13
2;1 pglk
FIABILIDAD• Modelo X = V + e
– Ptuación empírica = verdadera + error– Probabilidad de fallo instrumento
• Supuestos
– E (X) = V Media ptuac empíricas = verdadera– Correlac (V, e) = 0– Correlac errores medida = 0
• Condición necesaria pero no suficiente0)( kjee
FIABILIDAD• Cuantificación
– Coeficiente fiabilidad (fiabilidad relativa)• Correlación dos formas paralelas test X y X’
– Error típico medida (fiabilidad absoluta): precisión, desviación típica de las puntuaciones respecto a la media verdadera
2
2
2
2
' 1x
e
x
vxx
'1 xxxe
FIABILIDAD• ESTABILIDAD
– Dos aplicaciones mismo instrumento tras intervalo– Coeficiente correlación entre aplicaciones– Fiabilidad dos mitades
• EQUIVALENCIA
– Instrumento es muestra representativa cdctas– Dos conjuntos ítems (dos pruebas)
• CONSISTENCIA INTERNA
xx
xxxx r
rR
1
2
FIABILIDAD• EQUIVALENCIA
– Mismo nº elementos– Redacción y estructura elementos similar– Mismo contenido y objetivo apreciado– Índices dificultad similares– No difª medias, varianzas y covarianzas– Mismas consignas presentación– Presentación idéntica
CONSISTENCIA INTERNA• Índice fiabilidad función índice discriminación y desviación típica
ítem• Dos mitades, pares – impares• Fiabilidad test completo: alfa de Cronbach
• Relación con número ítems
iiSDIF
2
2
111 x
j
n
j
S
S
n
n
VALIDEZ• CONTENIDO
– Suficiencia y representatividad muestra cdctas– Lg adecuada
• PREDICTIVA (inferencia) O CRITERIO– Correlación con medida externa independiente– Correlación ítem – criterio– Predicción éxito
• CONCURRENTE (variante predictiva)– Medidas simultáneas
• CONSTRUCTO (consistencia construcción inicial): análisis factorial
VALIDEZ• Relación con longitud y fiabilidad prueba
– Nueva validez Rxy– n = nº ítems iniciales / nº ítems finales
xxxx
xyxy
rnr
rR
1
TEORIA DE RESPTA AL ITEM• Medir constructos latentes mediante fundamentación
probabilística vs X = V + e• Ítem ud básica medición. Modelos unidimensionales• No pretende agregar medida ítems para valorar rasgos• Resultado individuo en test depende de rasgos latentes
TRI• Relación sujeto – rasgo latente función monótona creciente (fción
característica ítem, o curva característica ítem)
– Modelos CCI responde a función logística• Modelo Rasch 1 solo parámetro
• Estimaciones aptitud iguales y estimaciones parámetros dttas muestras iguales
)(
)(
1)(
i
i
bD
bD
i e
eP
TRI• Pi probabilidad acertar ítem i• b índice dificultad item i• D cte (si D = 1,7 … fción logística normal)• rasgo latente no observado vble continua• Modelo dos parámetros
– A índice discriminación ítem, valor proporcional a pendiente CCI en punto = b
)(
)(
1)(
ii
ii
bDa
bDa
i e
eP
TRI• ¿Probabilidad estudiantes acierten ítem cuyo índice dificultad b = 2;
D = 1?
7310,01
)3()23(1
)23(1
e
eP
TRI• Estimación parámetros modelo = calibración• Programas cómputo: LOGIST, R• Ndad muestras > 300• Valorar precisión estimaciones
– Correlación valores simulados – estimados– Cálculo índice ajustes– Cálculo bondad ajustes curvas característica
TRI• Ptuación individuo, expresión en función número de ítems del test• Curva característica test (CCT) permite transformar valores en
puntuaciones verdaderas • Información = recíproco precisión en estimación parámetro, error
medida D=1,7
n
ijjj PPV
1
)(
e
2
1)(I )()()( 11
21 QPDI
TRI• Función de información de un test, invariante ante cambio de
escala, pudiendo comparar dos tests mediante eficacia relativa
n
iiIIT
1
)()( )(
)()(
y
x
IT
ITER
APLICACIONES TRI• Creación banco ítems con propiedades métricas conocidas:
unidimensionalidad ítems y características elaboración tests• Equiparación puntuaciones tests que miden misma variable y
misma fiabilidad• Funcionamiento diferencial ítems en función grupos: curva
característica por grupos• Tests adaptativos informatizados
DIFERENCIAS TCT - TRITCT TRI
Estima nivel atributo como sumatoria de respuestas a ítems individuales
Se centra en el ítem y su calidad métrica
Relación valor esperado y rasgo linealX = V + e
Relaciones funciones de diferentes tipos (Poisson, binomial, exponencial)
Características métricas se definen en referencia a un grupo normativo
Es posible comparar sujetos que responden a diferentes tests
CÁLCULO ERROR AL MEDIR VBLES NATURALEZA SOCIAL, VALOR VERDADERO INOBSERVABLE, HAY QUE ESTIMARLO
PROBLEMA• Profesor realiza prueba de rendimiento de lengua. Pasa la prueba a
200 alumnos.• Índice discriminación, 27% mejores aciertan 30 y 27% peores
aciertan 10. • 27% de 200 = 54
37,054
20
54
10
54
30IH
PROBLEMA• Índice dificultad corregido ítem 4 alternativas, que acierta 80
estudiantes, suponiendo que lo han respondido todo el colegio.
2,0200
40
200
4080
20014
12080
ID
PROBLEMA
• Análisis distractores, respuesta correcta b, eligen a) 60, c) 20 y d) 40. Grado significación 5%.
• (60+20+40)/3=40• Como ji cuadrado • Se rechaza hipótesis nula igual distribución distractores (valor
empírico, al ser mayor que 5,99 está en zona crítica)
2
2040
800
40
0400400
40
)4040()4020()4060( 2222
991,5205,0;2
2)05,0;1( c
2
PROBLEMA• Grado dificultad ítem: difícil
• CONCLUSIÓN
– Índice discriminación 0,37 buen índice– Índice dificultad 0,2 muy difícil– Independencia respuestas, NO– Dificultad índice difícil
PROBLEMA
5 sujetos 3 ítems
1 2 3 T
1 1 3 4 8 2 5 1 0 6
3 3 4 5 12 4 1 0 1 2
5 4 2 3 9
¿índice discriminación ítem 1 con total? Cor (1, T) = cov (1, T) / dt 1 . dt 2cor(c(1,5,3,1,4),c(8,6,12,2,9))
PROBLEMA
Covarianza
Media 1: 14:5 = 2,4 Media T: 37:5 = 7,4
(1.8) + (5.6) + (3.12) + (1.2) + (4.9) = 8 + 30 + 36 + 2 + 36 = 112
Cov = 112/5 – 2,4.7,4 = 26 – 17,76 = 8,24
((1-2,4)^2 + (5-2,4)^2 + (3-2,4)^2 + (1-2,4)^2 + (4-2,4)^2) / 5-1 (1,96 + 6,76 + 0,36 + 1,96 + 2,56) / 4 = 13,6 / 4 = 3,4
((8-7,4)^2 + (6-7,4)^2 + (12-7,4)^2 + (2-7,4)^2 + (9-7,4)^2) / 5-1 (0,36 + 1,96 + 21,16 + 29,16 + 2,56) / 4 = 55,2 / 4 = 13,8
8,24 / 3,4.13,8 = 8,24 / 46,92 = 0,17
PROBLEMA
Prueba objetiva, Sara 20 puntos, ¿calificación grupo normativo media = 22,4 y dt = 4,2?
¿Puntuación típica? Z = (20 – 22,4) / 4,2 = -0,5714
Z < - 0,5714 = z < 0,5714
T = 50 + 10z = 50 + 10 (-0,5714) = 44,28Peor valorado 22,4 – 3.4,2 = 9,8 2,8 es el máximo de las tablas de la normal
0,07 0,5 0,7157 1-0,7157 = 0,2843 = 28% … 29%
PROBLEMA
Item1 Item2 Item3 Item4 Item5
Juan 0 1 0 0 1 Pedro 1 1 1 0 1 Luis 1 0 1 0 1 Enrique 0 0 1 1 0
ID1 = 2/4 = 0,5 ID2 = 2/4 = 0,5 ID3 = ¾ = 0,75 ID4 = ¼ = 0,25 ID5 = ¾ = 0,75 Indice dificultad
Indice discriminación = correlación ítem – test (sin valorar ítem) Fiabilidad ítem = discriminación ítem . Dt
Ítem 2 – 5 cor(c(1,1,0,0),c(1,1,1,0))
top related