6 evidencias de validez

7/23/2019 6 Evidencias de Validez

1/46


2/46

Validez

! Grado en que la evidencia y la teora apoyan la

interpretacin de las puntuaciones de los test, para elpropsito con el que stos son usados.

(AERA, APA, NCME, 1999, p. 09)


3/46

Evolucin histrica

! La validez hace referencia al grado en que se mide aquello

que se pretende medir,pudindose diferenciar entrevalidez de contenido, de criterio y de constructo

(Standards for educational and psychological tests and manuals,APA, AERA, NCME, 1966, 1985).

! La visin tripartita de la validez.


4/46

Evolucin histrica! Messick (1989), amplia el concepto:

! Abre el concepto de medida no limitndolo a las

puntuaciones del test, incluye las puntuaciones obtenidas encualquier otro instrumento de evaluacin;

! Destaca la importancia de considerar la utilidad de lasdecisiones y consecuencias derivadasdel procedimiento demedida, apareciendo el concepto de validez consecuencial; y

! Propone un enfoque integrador del macroconcepto devalidez en torno a la validez de constructo.


5/46

Evolucin histrica

la validez unificada integra consideraciones decontenido, criterio y consecuencias en un marco dereferencia de constructo para la evaluacin emprica dehiptesis racionales acerca del significado de laspuntuaciones y de relaciones relevantes desde el punto devista terico, incluyendo las de naturaleza cientfica yaplicada

(Messick, 1989, pg. 741)


6/46

Evolucin histrica! Principal aportacin de Messick (1994)

! Rupturacon la visin tripartita de la validez.

! La validez de constructo asume la relevancia yrepresentatividad de los aspectos medidos (v. contenido) as

como las relaciones con otros criterios externos de inters (v.criterio).


7/46

Validez! En Teora de Tests, la validez hace referencia a la adecuacin

de las inferencias realizadas a partir de las puntuacionesdel test

!

Validacin: Es entonces el proceso mediante el cual elconstructor, o el usuario de los tests, recoge la evidenciaemprica necesaria para apoyar las inferencias que se van arealizar; entendiendo por evidencia tanto los datos,observaciones y hechos, como los argumentos que permitanapoyar y sustentar esos hechos.


8/46

Validez! Segn los estndares (1999), vamos a entender:

! La validezcomo un concepto unitario

! La validacincomo un proceso continuo que permitirrecoger evidencias sobre la adecuacin de las inferencias

! Distintos tipos de validez, se sustituye por distintasestrategias para obtener evidencias de validez


9/46

Evidencias de validez! DE CONTENIDO DEL TEST

! DEL PROCESO DE PREGUNTA RESPUESTA

! DE LA ESTRUCTURA INTERNA DEL TEST! CONVERGENTE /DISCRIMINANTE

! EN RELACIN CON CRITERIOS EXTERNOS

! DE LAS CONSENCUENCIAS DE LA APLICACIN


10/46

Evidencias de validez

de contenido


11/46

Evidencias de validez decontenido

! Evidencias que informan hasta qu punto los elementos deun test son:

1. Relevantes: cuenta con una exhaustiva especificacin de

todas las posibles conductas o dominios del constructo amedir.

2. Representativos: que todas las posibles conductas estnrecogidas en el test.

!

En el momento en que se definen los dominios a medir,estaremos delimitando tambin el constructo.


12/46

Estrategia para lavalidacin del contenido

1.

Definicin del dominio del constructo!definir claramentecada una de las dimensiones.

2. Elaboracin de las especificaciones del test!el dominio yobjetivos que va a cubrir el test.

3.

Seleccinde un panel de expertosen el dominio.

4. Establecimiento de un marco estructurado para cuantificar

el grado de acuerdoentre los distintosjueces.


13/46

Importancia de la validezde contenido

! La validez de contenido es importante para cualquierproceso de construccin de test, pero es absolutamentenecesaria en tests de rendimiento educativo y ocupacionalporque permite responder preguntas tales como:

1. Est el contenido del test libre de variables irrelevantes?

2. Cubre una muestra representativa de destrezas especficas,

para algn puesto de trabajo, por ejemplo?


14/46

Validez de contenido frentea la validez aparente

!

Los tests tienen que aparentar que estn midiendoaquello que se propone. De tal forma que si elcontenido del test parece poco relevante, sin sentido oinfantil, podra desmotivar a los sujetos.


15/46

Evidencias de validezsobre el proceso de

respuesta


16/46

Validez del procesopregunta respuesta

! Evidencias que informan hasta que punto los sujetos estnrealizando las operaciones necesarias para que losinvestigadores puedan inferirla presencia, ausencia o niveldel constructo que estn midiendo.

! Son los procesos cognitivos implicados en la resolucin deltem aquellos que el test pretende medir?


17/46

Estrategia! Por lo general, esta evidencia se obtiene consultando

directamente a los sujetos, mediante entrevistascualitativas, protocolos de pruebas cognitivas o cualquierotro procedimiento para evaluar las estrategias de respuestaa los reactivos (Cortada de Kohen, 2005; Embretson & Gorin,2001).

! Por ejemplo: Entrevista Cognitiva, Pensar en Voz Alta,Latencias, Movimientos oculares o Diseos experimentales


18/46

Evidencias de validez deconstructo: Estructura interna deltest y relaciones con otras variables

(Convergente y discriminante)


19/46

Evidencias de validez deconstructo

! La medida en que el test refleja la teora psicolgicaa partirde la que se ha construido, y permite interpretar laspuntuaciones dndoles un significado terico (APA,AERA, NCME, 1999).

! Mide realmente el test la variable que intenta medir?

! Existe en realidad dicha variable?

!

La estructura o dimensionalidad de los reactivos es la mismaque indica la teora?

! Cmo deben relacionarse las puntuaciones del test conpuntuaciones de otros constructos y variables?


20/46

Validez de constructo! Las puntuacionesdel tests no son el constructo.

! El constructo puede manifestarse a travs de mltiplesindicadores.

! Mediante las evidencias de validez de constructo seacumula informacinque apoya la idea de que laspuntuaciones del test son en efecto una de sus posiblesmanifestaciones.


21/46

Otras nomenclaturas! Evidencias de validez de estructura factorial (Se agrupan

los reactivos del test tal y como la teora lo predice?)

! Evidencias de validez convergente(qu tanto converge mi

test con otro test que mide lo mismo?)

! Evidencias de validez discriminante(qu tanto discriminami test lo que no quiero medir?)


22/46

Estrategias para la validez deconstructo

1. Definir el constructo a medir a partir de teoras existentes yantecedentes empricos y derivar hiptesis sobre:

! La relacin entre V. Latentes y V. Observadas (validez del rasgo)

! La relacin con otras V. Latentes (validez nomolgica).

2. Disear instrumento de medida que contengan elementosrepresentativos y relevantes del constructo a medir

3.

Incluir en el instrumento medidas de las otros constructos yvariables de validacin de acuerdo a la red nomolgica.

4.

Obtener datos empricos, y evidencias sobre las relacionespreviamente hipotetizadas.

5. Establecer la estructura interna del test y sus relaciones con otrasmedidas de constructos relevantes.


23/46

Tcnicas! Correlaciones con otro test previamente validado, en la

medida en que la correlacin sea alta mayor ser la relacindel test con el constructo que trata de medir.

! Correlaciones con medidas de constructos distintos al que se

quiere medir.

! Anlisis de Factores.

!

Matrices multimtodo-multirrasgo (Campbell y Fiske, 1959).


24/46

Anlisis factorial! Es una de las tcnicas ms utilizadas para determinar la

estructura interna del test en relacin con el constructo.

! El objetivo es explicar un conjunto de variables observadas

(tems de un test, por ejemplo) mediante un nmero menorde variables latentes inobservables denominadas factores(dimensiones tericas).

! Son estos factoreslos que permiten dar una interpretacin

terica mediante la forma en que se agrupan los tems enfuncin de su contenido, que deberan coincidir con lasdimensiones tericas utilizadas en la construccin de laescala.


25/46

Anlisis de factores! Anlisis de factores exploratorio (AFE): No se tiene

absoluta certeza de la dimensionalidad de la escala. Trasejecutar un AFE, obtenemos una solucin sobre el nmerode factores o dimensiones en las que se puede resumir las

variables observadas.

! Anlisis de Factores Confirmatorio (AFC): tenemos ciertashiptesis sobre el nmero de dimensiones y la forma enque se agrupan los tems.Reporta ndices de ajuste que nos

ayudan a decidir si dicha estructura se reproduce en losdatos.

M i


26/46

MatricesMultimtodo-Multirrasgo

! Se mide un mismo constructo mediante distintosprocedimientos y distintos constructos mediante el mismomtodo.

! Se obtienen tres tipos de correlaciones:! Coeficientes de fiabilidad: son las correlaciones entre el

mismo constructo medido con el mismo mtodo.

! Validez convergente (mono-rasgo/hetero-mtodo):son lascorrelaciones del mismo constructo medido mediante distintos

procedimientos.! Validez discriminante (hetero-rasgo/mono-mtodo):son las

correlaciones de distintos constructos medidos con el mismoprocedimiento.


27/46

Se quieren medir tres constructos: Razonamiento Numrico (RN),Factor Espacial (FE) y Razonamiento Abstracto (RA), y se miden conpruebas de distinto formato: Verdadero-Falso (V-F); y Eleccin mltiple

(E-M). En la tabla se presenta las correlaciones obtenidas entre losdistintos constructos medidos con ambos mtodos

!"#$%$ ' ()*+, !"#$%$ - (./,

!"#$ &'()$ *+',-$ !"#$ &'()$ *+',-$

/"#$%$ ' ()*+,

!"#.-/01 012

&'()0/)2 0-3 013

*+',-)0,1 043 0-5 01-

/"#$%$ - (./,

!"#.-/01 013 $34 $56 014

&'()0/)2 $78 056 $33 046 $17

*+',-)0,1 $53 $76 057 0-8 $46 $55


28/46



9.,$ 4 :; 9.,$ 7 :&9>

?! =& ?* =! =& ?*9.,$ 4:;

?! $@A

=& $76 $@6

?* $36 $7B $@7

9.,$ 7 :&9>

?! $@6 $34 $56 $@3

=& $78 $BC $33 $3C $@5

?* $53 $76 $B5 $78 $3C $BB

1. La fiabilidadhace

referencia al mismoconstructo medido conel mismo mtodo(diagonal). As porejemplo, la fiabilidad de

razonamiento numricomedido con el mtodo 1es de .95, mientras quecon el mtodo 2 es de .93


29/46



9.,$ 4 :; 9.,$ 7 :&9>

?! =& ?* =! =& ?*9.,$ 4:;

?! $@A

=& $76 $@6

?* $36 $7B $@7

9.,$ 7 :&9>

?! 013 $34 $56 $@3

=& $78 056 $33 $3C $@5

?* $53 $76 057 $78 $3C $BB

2. La validez

convergente ocoeficiente mono-rasgo/hetero-mtodo, hacereferencia a que semidiera el mismo

constructo pero condistinto mtodo. Enteora estas correlacionesdeberan ser altas ysignificativas.


30/46



9.,$ 4 :; 9.,$ 7 :&9>

?! =& ?* =! =& ?*9.,$ 4:;

?! $@A

=& $76 $@6

?* $36 $7B $@7

9.,$ 7 :&9>

?! $@6 $34 $56 $@3

=& $78 $BC $33 $3C $@5

?* $53 $76 $B5 $78 $3C $BB

3. la validez

discriminante o hetero-rasgo/mono-mtodo,hace referencia a lascorrelaciones entredistintos rasgos con el

mismo mtodo . Enteora estas han de serbajas, y menores que lafiabilidad y la validezconvergente.

M t i


31/46

MatricesMultimtodo - Multirasgo

! Un problema es que no hay criterio estadstico paradeterminar si existe o no validez convergente ydiscriminante.

! Actualmente, se suele investigar este aspecto medianteprocedimientos derivados del Anlisis Factorial

Confirmatorio.


32/46

Evidencias de validezreferidas a criterios

(externos)

E id i d lid


33/46

Evidencias de validezreferidas a criterios

! Evidencias que informan sobre el grado en que laspuntuaciones obtenidas en el test, pueden utilizarseeficazmente para hacer inferencias sobre el

comportamiento real del sujeto en un criterio que nose puede medir directamente.

! Evidencia basada en la relacin con otras variables(APA, 1999).

P ibl Di f i d l


34/46

Posibles Diseos en funcin del momento enque se recogen los datos del test y de los

criterios

! Validez predictiva: el criterio se mide despus de haberaplicado el test.! Objetivo: predecir las puntuaciones futuras en el criterio a

partir de las obtenidas en el test.!

Ejemplo: Tendr el sujeto un trastorno depresivo?!Usopredictivo del test

! Validez concurrente: test y criterio se miden al mismotiempo.

! Ejemplo: Tiene el sujeto, actualmente, un trastorno depresivo?!Uso diagnstico del test

! Validez Retrospectiva: el criterio se mide antes deadministrar el test.

E t t i l lid


35/46

Estrategias para la validezde criterio

1.

Definir claramente el criterio que se quiere medir.

2.

Identificar el indicador o indicadores a utilizar comomedidas del criterio.

3. Seleccionar una muestrade sujetos representativa.

4.

Aplicar el test y obtener una puntuacin para cada sujeto.

5. Obtener una medida de cada sujeto en el criterio.

6. Determinar el grado de relacin entre las puntuacionesobtenidas.

E id i d lid d


36/46

Evidencias de validez decriterio

! Un problema importante es la forma en que vamos a definiry delimitar el criterio:

! Criterio o indicador simple de fcil delimitacin: Un test de

seleccin de vendedores de enciclopedias (criterio de xito =cantidad de enciclopedias vendidas).

! Criterio o indicador complejo (delimitacin mscomplicada): Seleccin de profesor de Psicometra (criterio de

xito = conocimiento materia?Habilidades sociales?publicaciones?, grado acadmico?... ...?).

! Todos los indicadores son parciales y no ofrecen unacomprensin completa del criterio


37/46

Seleccin de criterios! Para la seleccin del criterio Thorndike y Hagen (1989)

recomiendan indicadores:a. Relevantes:que estn relacionados con el criterio, sin

embargo, no existen tests estadsticos que nos permitan

concluir en este sentido -> recurrir a jueces expertosb. Libres de sesgo: variables que afectan de manera diferencial

entre grupos.

c. Fiables: se han de utilizar indicadores estables en el tiempo.

d.

Accesibles


38/46

Coeficiente de validez! La relacin entre las puntuaciones del test y un criterio se

expresa como una correlacinllamada coeficiente devalidez.

! Expresa el grado en el que la prueba es vlida para hacerafirmaciones sobre el criterio.

! Los coeficientes estn entre 0.30 y 0.40 se consideran altos(significancia al 0.05).


39/46

Coeficiente de validez1.

Un predictor y un criterio. Anlisis de correlacin; yregresin simple.

2.

Varios predictores y un criterio. Anlisis de correlacin y

regresin mltiple, anlisis discriminante (criterioscualitativos), regresin logstica (criterio dicotmico).

3.

Varios predictores y varios criterios. Anlisis de regresinmultivariante, anlisis de correlacin cannica, anlisis deruta, modelos de ecuaciones estructurales.

Sit i f t l


40/46

Situaciones que afectan elcoeficiente de validez

! Fiabilidad del predictor y del criterio: bajos coeficientes defiabilidad del test y criterio rebajan los valores delcoeficiente de validez.

!

Restriccin del rango: el coeficiente de validez puede versereducido debido a restricciones en la variabilidad de lamuestra (seleccin de personal ya que se seleccionan asujetos con puntuaciones altas).

!

Dicotomizacin en el test, criterio o ambas: reducen losvalores del coeficiente de validez.

d l


41/46

ndice para interpretar lasevidencias de validez de criterio! Coeficiente de Determinacin: equivale al coef. de validez

al cuadrado. Representa la proporcin de varianza de laspuntuaciones de los sujetos en el criterio que se puedepronosticar a partir del test.

! El C.D est acotado en el intervalo [0 - 1]

!

Cuando la varianza error es pequea, implica que losvalores pronosticados de Y estn prximos a los reales; -> elerror tpico de estimacin ser pequeo y por tanto el C.Dtomar valores prximos a uno.

2

2

2.

y

yxy

SSrDC ==


42/46

Diferencias entre grupos! Variables categricas externas, como el sexo o la pertenencia

a grupos especficos (esquizofrnicos vs. noesquizofrnicos), tambin permiten a los investigadoresestimar la validez de las medidas si al comparar las

puntuaciones del test los grupos difierensignificativamente entre ellos y de la manera en que lateora plantea que deberan hacerlo.

! Pruebas de hiptesis sobre 2 promedios, ANOVA,

ANCOVA, MANOVA Y MANCOVA.

E id i d lid d l


43/46

Evidencias de validez de lasconsecuencias

! Las evidencias de la validez de las consecuencias hacereferencia a la necesidad de examinar los potencialesefectos colaterales no anticipados de los usos legtimos deltest, derivados de fuentes de invalidez del instrumento

(Messick, 1995).

! Por ejemplo, si existen evidencias de que un instrumentofavorece a un grupo de aplicantes sobre otro, el test pierdeuna importante parte de su validez, pues no cumple con su

finalidad en el marco de los principios de justicia en lamedicin.

A li i dif i l d l t


44/46

Anlisis diferencial del tem(DIF)

! En una prueba de razonamiento matemtico, por ejemplo,un reactivo presenta DIF (differential item functioning)cuando examinados que poseen el mismo nivel en el rasgomedido (razonamiento matemtico) presentan diferentesprobabilidades de acertar el reactivo solo por pertenecer adistintos grupos (ser mujer, por ejemplo) y no porquedifieren en el nivel de constructo medido.

! Las diferentes probabilidades se calculan comparando las

frecuencias de aciertos y errores en un tem en los sujetosque, perteneciendo a distintas poblaciones, muestran elmismo nivel de puntuacin en la prueba (Morerira, 2008)


45/46

SntesisEVIDENCIAS TCNICAS (ejemplos)

CONTENIDO Acuerdo entre jueves, kappa, correlacinintra-clase

ESTRUCTURA Anlisis de factores exploratorios yconfirmatorios

PROCESO PREGUNTARESPUESTA

Entrevista cognitiva, grupo de expertos.

CONVERGENTEDISCRIMINANTE

Correlacione bivariadas, Multirasgo-multimtodo

EN RELACIN ACRITERIOS EXTERNOS

Regresin mltiple, pruebas de hiptesis sobre2 promedios, ANOVAS, etc.

CONSECUENCIAS DEAPLIACIN

Anlisis de funcionamiento diferencial deltem (DIF)


46/46

IDEAS CENTRALES! La validez no es una caracterstica inherente al instrumento, sino una

propiedad del significado que podemos darle a las puntuacionesobtenidasmediante este y las consecuencias de las interpretaciones detales puntuaciones derivadas de l (Messick, 1989, 1995).

! Estimar la validez de las interpretaciones es un problema que requiere de

un esfuerzo cientfico igual al que se exige para examinar cualquierhiptesis de investigacin, en otras palabras, en el campo de la medicinpsicolgica es imprescindible proporcionar evidencias empricas queapoyen o refuten cualquier inferencia (Cronbach & Meehl, 1955).

! La validez no existe en trminos absolutos, es decir, no podemos decir

que un instrumento sea vlido o invlido. La validez de las inferenciasaumenta o disminuye, es relativamente robusta o frgil, dependiendo delas evidencias empricas (Smith-Castro & Molina, 2010).

6 evidencias de validez

Documents