TÉCNICAS E INSTRUMENTOS PARA LA RECOGIDA DE INFORMACIÓN
(Tema 8: Pruebas criteriales)
Asignatura Obligatoria (OB) de 2º curso Grado en Pedagogía
Valorar la utilidad de las pruebas criteriales en las investigaciones sociales. Conocer las distintas variantes de las pruebas criteriales y sus limitaciones. Saber elegir el modelo de prueba criterial más apropiado a un contexto concreto. Diseñar una prueba criterial.
Realizar los controles técnicos apropiados para controlar la calidad de las pruebas criteriales. Saber implementar una prueba criterial en el contexto de una investigación. Recoger y analizar los datos recogidos de una prueba criterial.
Objetivos
Tema 8 – Pruebas criteriales
1. Pruebas criteriales
Tema 8 – Pruebas criteriales
Un grupo de test que merecen una mención aparte por sus implicaciones educativas es el de los test referidos al criterio o test de
referencia criterial (TRC) Los TRC tienen su origen en un artículo de Robert Glaser (1963), que define los test de referencia al criterio como “construidos para evaluar
el nivel de ejecución de un sujeto con respecto a un dominio de conductas bien definidas”
1. Pruebas criteriales
Tema 8 – Pruebas criteriales
• Intentan medir y escalar a las personas en función del grupo normativo de referencia
• Responden a la pregunta “¿En qué percentil se encuentra el sujeto?”
Test clásicos o test referidos a una norma
(TRN)
• Intentan medir y escalar a las personas en función de su grado de dominio del criterio de interés,
• Responder a la pregunta “¿El sujeto domina suficientemente el contenido?”
Test referidos a un criterio
(TRC)
1. Pruebas criteriales
Tema 8 – Pruebas criteriales
1. Pruebas criteriales
Tema 8 – Pruebas criteriales
Obligan a definir con mayor claridad y operatividad los objetivos o criterios de interés, en la línea de la evaluación conductual.
Obligan a muestrear exhaustivamente los objetivos a evaluar (validez de contenido) y exigen sumo cuidado al confeccionar los ítems: aparecen en consecuencia gran variedad de formatos de ítems.
Potencian formas alternativas de evaluar la fiabilidad y la validez.
Obligan a desarrollar técnicas para establecer adecuadamente los puntos de corte, para determinar quién pasa y quién no pasa el TRC. El punto de corte debe establecerse en función del contenido, no de las personas evaluadas.
Al centrarse operativamente en objetivos muy específicos, son muy útiles para detectar puntos fuertes (dominio) y puntos débiles (deficiencias) de los estudiantes, en vez de simplemente analizar las diferencias entre ellos; y así tomar decisiones de enseñanza.
Consecuencias y efectos positivos derivados de los TRC…
2. Tipos de pruebas criteriales
Tema 8 – Pruebas criteriales
Test de certificación o
admisión (“consecución”)
Test de nivel o de dominio
(“promoción”)
Test de diagnóstico (“detección”)
Test de aula o clase
Test individualizado
3. Elaboración de pruebas criteriales
Tema 8 – Pruebas criteriales
Especificación del dominio educativo
Análisis de ítems
Determinación de estándares y puntos de
corte
Estudio de las características técnicas de la
prueba
Centrándonos en las pruebas criteriales de aula (muy similares a las pruebas objetivas del Tema 4), por ser las de mayor aplicación por el profesorado, la secuencia de elaboración de las mismas sería…
3.1. Especificación del dominio educativo
Tema 8 – Pruebas criteriales
“El conocimiento del dominio instruccional es crucial porque está relacionado con la validez de contenido y constructo (…) por dominio de instrucción se entiende el conjunto de todos aquellos elementos (objetivos, acciones, tareas…) que
representan el propósito de la instrucción…
…las unidades que definen el dominio no deben solaparse y deben cubrir el dominio en su totalidad (mutua exclusión y
exhaustividad)…
…por tanto, el profesor ante una unidad didáctica o lección debe proponer ítems que recojan todos los objetivos, contenidos y
actividades relativos a la unidad a evaluar”
3.2. Análisis de los ítems
Tema 8 – Pruebas criteriales
Revisión lógica: correspondencia entre los ítems y la operativización del dominio de contenidos; se realiza mediante el juicio de expertos. • Congruencia ítem-objetivo (representatividad). • Calidad técnica. • Ausencia de sesgo (neutralidad respecto a los sujetos o grupos).
Revisión empírica: se estudia la aplicación de la prueba y su funcionamiento; en varias etapas: • Formulación de hipótesis en relación con la dificultad y poder discriminativo
esperados en cada ítem. • Aplicación piloto a una muestra de alumnos. • Análisis de los resultados para determinar el nivel de dificultad, discriminación y validez
de cada ítem. • Interpretación y toma de decisiones respecto a los ítems analizados.
Los ítem generados se pueden analizar desde dos perspectivas…
3.2. Análisis de los ítems
Tema 8 – Pruebas criteriales
Índice de dificultad (pi): proporción de personas que contestan correctamente el ítem.
Índices de discriminación: los ítems de los TRC deben maximizar la discriminación de los individuos de los grupos experimental y control, y minimizar la discriminación dentro del propio grupo. Son los llamados índices de sensibilidad a la instrucción.
• DISGN o ganancia neta • DISCI-SI o diferencia entre los grupos ‘con’ y ‘sin’ instrucción
Índice de homogeneidad: tiene como propósito que los ítems que cubren un mismo objetivo se comporten de forma similar (tanto en una aplicación del test como en sucesivas). Se puede calcular con la correlación ítem-total.
En relación con la revisión empírica de los ítems, pueden obtenerse varios índices…
3.2. Análisis de los ítems
Tema 8 – Pruebas criteriales
EJEMPLO 1 – Página 255 del Libro
Sujetos (todos ‘experimentales’ = ‘con instrucción’)
Pretest Postest
Ítem 1 Ítem 2 Ítem 1 Ítem 2
1 0 1 0 1
2 0 0 1 1
3 1 0 1 1
4 0 0 1 1
5 1 0 1 1
6 0 0 0 0
7 0 1 1 1
8 1 0 1 0
9 0 0 0 1
10 1 0 1 1
3.2. Análisis de los ítems
Tema 8 – Pruebas criteriales
EJEMPLO 2 – Página 255 del Libro
Sujetos (todos en condición ‘postest’)
Grupo Control – Sin instrucción
Grupo Experimental – Con instrucción
Ítem 1 Ítem 2 Ítem 1 Ítem 2
1 0 1 0 1
2 0 0 1 1
3 1 0 1 1
4 0 0 1 1
5 1 0 1 1
6 0 0 0 0
7 0 1 1 1
8 1 0 1 0
9 0 0 0 1
10 1 0 1 1
3.3. Determinación de estándares y puntos de corte
Tema 8 – Pruebas criteriales
En la corrección de una prueba criterial se necesita determinar una puntuación que sirva para diferenciar a los alumnos que han alcanzado o no el nivel mínimo de competencia exigible en la aplicación de la prueba. Esta puntuación determina el estándar o punto de corte.
Para determinar los estándares o puntos de corte se utiliza de nuevo el juicio de los expertos (los mismos que han definido el dominio e intervenido en la revisión lógica de los ítems propuestos)
3.4. Estudio de las características técnicas de la prueba
Tema 8 – Pruebas criteriales
Fiabilidad y validez
La fiabilidad se mide por el grado de estabilidad de los resultados en aplicaciones sucesivas de la prueba; es decir,
por la fiabilidad-estabilidad de las clasificaciones establecidas mediante el TRC en aplicaciones sucesivas.
La validez viene indicada por la adecuación de la prueba a los objetivos de la misma (de contenido, de criterio, y de
constructo)
4. Un ejemplo de prueba criterial
Tema 8 – Pruebas criteriales
https://repositorio.uam.es/handle/10486/4717
4. Un ejemplo de prueba criterial
Tema 8 – Pruebas criteriales
https://repositorio.uam.es/handle/10486/4717