1

Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.

‘X Congreso de Metodología de las Ciencias Sociales y de la Salud’. Universidad de Barcelona.

Fco.P. Holgado-Tello, S. Chacón-Moscoso, M.I. Barbero-Garcia, J.A. Perez-Gil; J.A. Ruiz-Rivas; M. Sánchez-Martín y J.R. Campos-Vega

2

Elabora acciones formativas (AAFF) que ayudan a la formación y perfeccionamiento de los miembros del P.A.S. de la Universidad de Sevilla

- Evaluación actual:- Satisfacción- Aprendizaje/adquisición conocimientos- Estudio piloto de Transferencia

Objetivo general de este trabajo: describir estado de la evaluación del conocimiento mediante TAIs.

CONTEXTOCentro de Formación del PAS de la USE

3

OBJETIVO de la construcción de un TAI en FORPAS

Delimitar criterios para acreditar el nivel de conocimiento que presentan los usuarios de un programa de formación.

Influirá en: Asignación inicial de los usuarios a los distintos grupos

de la AAFF que se conformen. (comparabilidad intergrupos).

Acreditación inicial de conocimientos o niveles de aptitud (bajo, medio y avanzado).

Valoración final que se haga del nivel de adquisición.

4

OBJETIVO de la construcción de un TAI en FORPAS

Principales ventajas:

Elección de los reactivos más apropiados en función de los parámetros conocidos de los ítems.

Estimaciones precisas del nivel de aptitud de los examinados (incluso con menor número de ítems que en formato tradicional).

Escasa intrusividad (realización desde puesto de trabajo).

Alta validez ecológica (potencia la precisión en la medida).

5

OBJETIVOS DEL ESTUDIO

Estado actual de ‘Lindogatito’(plataforma para la gestión y administración de test adaptativos vía web).

Limitaciones y vías de desarrollo futuro

6

SITUACIÓN ACTUAL DE LA EVALUACIÓN DE ADQUISICIÓN DE CONOCIMIENTO

PRETESTPRETEST IMPLEMENTACIÓN IMPLEMENTACIÓN A.F.A.F. POSTESTPOSTEST

Análisis calidad métrica Análisis calidad métrica

de la pruebade la prueba

Estadístico Estadístico

de contrastede contraste

Dependiendo de características de la muestra y tipo de datos se realiza la prueba pertinente

7

EJEMPLO RESULTADOS MÉTRICOS (pre) 1 (METRIX)EJEMPLO RESULTADOS MÉTRICOS (pre) 1 (METRIX)CALIDAD METRICA PRUEBA POSTERIOR (metrix)

Descriptivos de la escala Valores

Tipo de ítems Dicotómicos

Número de alternativas 3

Número de ítems 10

Ítems seleccionados 10

Sujetos seleccionados 20

Parámetros Valores

Dif. óptima 0,667

*Dif. promedio 0,080

*Discr. promedio 0,397

*Var. promedio 0,214

Var. máxima 0,250

Punt. promedio 3,450

Punt. desv. std. 1,883

Punt. min 1,000

Punt. max 7,000

*Fiabilidad 0,442

Asimetría 0,100

Apuntamiento -1,189

Ajuste Chi-q 2,916

gl 1

8

EJEMPLO RESULTADOS MÉTRICOS (pre) 2 (METRIX)

Dificul discri varian asime apunta adec.A

1 % A1 rbis

A1 % A2 rbis

A2 % A3 rbis

A3 c r

0 0,212 0,16 0 -2 0 0,2 0,212 0,4 -0,303 0,4 0,13 1

0 -0,098 0,21 0 -2 2,571 0,5 0,08 0,3 -0,098 0,2 0,013 2 1

0,025 0,326 0,227 6,085 35,026 0,667 0,1 0,186 0,2 0,146 0,35 0,326 3 0,325 0,643 0,248 0,747 -1,442 2,667 0,05 -0,055 0,55 0,643 0,25 -0,261 2

0,175 0,744 0,248 1,711 0,926 2,778 0,45 0,744 0,1 0,009 0,35 -0,509 1

0 -0,015 0,188 0 -2 2,571 0,5 -0,133 0,25 -0,015 0,2 0,345 2 3

0 0,713 0,21 0 -2 2,571 0,2 -0,186 0,5 -0,504 0,3 0,713 3

0,1 0,834 0,24 2,667 5,111 9 0 0,4 0,834 0,45 -0,43 2

0,175 0,264 0,248 1,711 0,926 2,778 0,45 0,264 0,1 0,009 0,35 -0,008 1

0 0,345 0,16 0 -2 1,333 0,2 -0,119 0,2 0,345 0,4 0,076 2

9

EJEMPLO RESULTADOS MÉTRICOS (post) 3 (METRIX)EJEMPLO RESULTADOS MÉTRICOS (post) 3 (METRIX)

CALIDAD METRICA PRUEBA POSTERIOR (metrix)

Descriptivos de la escala Valores

Tipo de ítems Dicotómicos

Número de alternativas 3

Número de ítems 10

Ítems seleccionados 10

Sujetos seleccionados 15

Parámetros Valores

Dif. óptima 0,667

*Dif. promedio 0,690

*Discr. promedio 0,312

*Var. promedio 0,131

Var. máxima 0,250

Punt. promedio 7,933

Punt. desv. std. 1,236

Punt. min 5.000

Punt. max 10,000

*Fiabilidad 0,161

Asimetría -0,720

Apuntamiento 0,221

Ajuste Chi-q 0,908

gl 1

10

EJEMPLO RESULTADOS MÉTRICOS (post) 4 EJEMPLO RESULTADOS MÉTRICOS (post) 4 (METRIX)(METRIX)

discri varian asime apunta adec. A1

% A1 rbis A1

% A2 rbis A2

% A3 rbis A3

c r

0,296 0,116 -1,5 0,25 2 0,867 0,296 0,133 -0,296 0 1

0 0 0 -2 0 1 0 0 2

0,647 0,16 -0,873 -1,238 3 0 0,2 -0,647 0,8 0,647 3

0,202 0,062 -2,667 5,111 1 0,067 -0,202 0,933 0,202 0 2

0,613 0,116 -1,5 0,25 2 0,867 0,613 0 0,133 -0,613 1 0,455 0,196 -0,408 -1,833 0,333 0,067 0,014 0,733 0,455 0,133 -0,137 2 0,375 0,249 1,5 0,25 4,5 0,067 -0,634 0,467 -0,058 0,467 0,375 3

0,377 0,16 -0,873 -1,238 0,333 0,133 -0,296 0,8 0,377 0,067 -0,202 2

0 0 0 -2 1 0 0 0 1

0,159 0,249 1,5 0,25 4,5 0,467 0,05 0,467 0,159 0,067 -0,418 2

11

0

0,2

0,4

0,6

0,8

1

1,2

item

1

item

2

item

3

item

4

item

5

item

6

item

7

item

8

item

9

item

10

dificultaddiscri.varianza

PERFIL DE ÍTEMSPERFIL DE ÍTEMS

12

Estadísticos de contraste b. *POSC3

PREC3 *POSC4 PREC4

*POSC5 PREC5

*POSC6 PREC6

*POSC7 PREC7

POSC9 PREC9

*POSC10 PREC10

POSGLOBAL PREGLOBAL

Z -2.887ª -3.162ª -2.236ª -3.464ª -2.449ª -1.667ª -2.449ª -3.857ª

Sig.asintót.(bila) .004 .002 .025 .001 .014 .096 .014 .000

a. Basado en los rangos negativos b. Prueba de los rangos con signo de Wilcoxon.

EJEMPLO DIFERENCIA DE MEDIASEJEMPLO DIFERENCIA DE MEDIAS

13

LIMITACIONES de la evaluación actual de adquisición de conocimientos

Progresiva disminución de AAFF que cumplimentan el cuestionario pre-post (23 en 2000; 13 en 2001; 14 en 2002; 37 en 2003; 28 en 2004 y 17 en 2005) . Razón del incremento en 2003: seminario para

formadores.

Imposibilidad de retroalimentación evaluadores-formadores (falta de tiempo entre ‘pre-post’).

Realización manual de los análisis e informes.

14

RECALIBRACIÓN AUTOMÁTICA

BANCO DE ÍTEMS

MóduloTEST CLÁSICO

CALIBRACIÓN A PARTIR DE

TEST CLÁSICOS

MóduloENTRADA Y

REVISIÓN DE ÍTEMS

MóduloCONSULTA

RESULTADOS TEST

USUARIO

AVANZADO

1

2

3Módulo

TEST ADAPTATIVO INFORMATIZADO

ESQUEMA DEL PROCESO

15

‘Lindogatito’(plataforma para la gestión y administración

de test adaptativos vía web)

Estado actual en el uso como sistema experto para generar informes que sirvan de orientación al diseñador de la prueba.

Avances en módulo para el análisis bajo la TCT de los ítems utilizados en las distintas acciones formativas.

16

Estado actual en el uso como sistema experto

Instalado y configurado el servidor Linux que soporta la aplicación web.

Diseño e implementación de la base de datos SQL que soporta el banco de ítems y los TAIs.

Introducción de 375 ítems sobre ofimática.

Implementación del módulo de calibración por expertos.

Implementación del módulo de introducción y edición de ítems (migrado a Linux).

Diseño del programa PHP que permite administrar los TAIs.

17

18

19

20

21

22

23

‘Lindogatito’(plataforma para la gestión y administración de

test adaptativos vía web)

Estado actual en el uso como sistema experto para generar informes que sirvan de orientación al diseñador de la prueba.

Avances en módulo para el análisis bajo la TCT de los ítems utilizados en las distintas acciones formativas.

24

Módulo para el análisis bajo la TCT. Características. Permite realizar una valoración inmediata vía web de

la calidad métrica de los test utilizados en las distintas AAFF.

Opcionalmente esta información se puede almacenar directamente.

Funciona como sistema experto para generar informes que sirvan de orientación al diseñador de la prueba.

Disponible libremente vía web para cualquier usuario (http://lindogatito.us.es)

25

Avances en módulo para el análisis bajo la TCT

Análisis de los ítems bajo TCT:

No Items

No Rs. expertos Análisis bajo TCT

Agrupación ítems en función de parámetros de TCT (ítems con condiciones mínimas de calidad)

Simulaciones desde TRI

Calibración desde TRI

26

CONTINUACIÓN DEL TRABAJO

Realización de los análisis bajo la TCT en items disponibles

Depuración de los ítems existentes

Ajuste y Calibración ítems desde TRI

Simulaciones Incremento del nº ítems: base para realización de TAIs

Depuración de ‘Lindogatito’

27

MUCHAS GRACIAS POR SU ATENCIÓN

http://innoevalua.us.es