validez y fiabilidad

Validez y Confiabilidad de Instrumentos

CD. DAHIANA ALFARO CARBALLIDOCD. KELLY CACEDA GABANCHO

Objetivos :

•Conocer los conceptos básicos sobre confiabilidad y validez de instrumentos.•Identificar las fases de validación de un instrumento.•Conocer los métodos más usados para determinar la confiabilidad.•Identificar los factores que pueden afectar la confiabilidad •Diferenciar conceptos entre especificidad y sensibilidad.•Conocer los valores predictivos positivos y negativos de una prueba diagnóstica.

•Validez : que tan bien el instrumento mide la variable que se propone medir.Por ejemplo, un instrumento para medir la inteligencia válido debe medir la inteligencia y

no la memoria. •Confiabilidad : la capacidad del instrumento para proporcionar la misma medición en diferentes ocasiones.Por ejemplo, si yo midiera en este momento la temperatura ambiental mediante un termómetro y me indicara que hay 220C. Un minuto más tarde consultara otra vez y el termómetro me indicara que hay 50C.

Validez y confiabilidad

Hernández S. Metodología de la investigación. México: Mc Graw Hill; 2006.

Evidencias de Validez

Validez de contenido

Validez de criterio

Validez de constructo

Validez de contenido

•Grado en que un instrumento refleja un dominio especifico del contenido que se mide.

•La medición representa al concepto y variable medida.•El dominio del contenido de una variable es definido y establecido por la literatura. (teoría y estudios antecedentes)

•Por ejemplo: una prueba de conocimientos sobre las canciones de “Los Beatles” no deberá basarse solamente en sus álbumes Tet it Be”y “Abbey Road”, sino que debe incluir canciones de todos sus discos.


• El instrumento debe contener todos los aspectos o ítems del dominio de la variable que se esta midiendo, y se construye de acuerdo con la teoría.• Su finalidad es garantizar que el test constituye una muestra adecuada y representativa del contenido que éste pretende evaluar.•Se realiza mediante juicio de expertos.


Validez de criterio

•Es una comparación entre nuestra situación de medida y un estándar al que se le llama criterio.

•Es disponer de otra situación de la que conozco su validez. Pero se requiere de consenso entre la comunidad científica, se trabaja en relación al criterio o Gold Standard (patrón de oro).


cuando el instrumento y el estándar se miden al mismo tiempo.

validez de criterio predictiva

cuando el instrumento y el estándar no son medidos a la vez , en este último caso, debemos conocer previamente los datos del estándar y lo que se obtiene es la predicción.

validez de criterio concurrente:


La más importante.

Se refiere a que tan exitosamente un instrumento representa y mide un concepto teórico.

Cuanto mas elaborada y comprobada se encuentre la teoría que apoya la hipótesis, la validación de constructo arrojará mayor luz sobre la validez general de un instrumento de medición.

Se realiza mediante análisis de factores y otras pruebas multivariadas.

Validez de Constructo


La validez de constructo incluye tres etapas:

1) Se establece y especifica la relación teórica entre los conceptos (sobre la base del marco teórico).

2) Se correlacionan ambos conceptos y se analiza cuidadosamente la correlación.

3) Se interpreta la evidencia empírica de acuerdo a qué tanto clarifica la validez de constructo de una medición en particular.


Un instrumento puede ser fiable pero no valido, puede medir consistentemente un aspecto , mas no medir lo que pretende medir.

VALIDEZ TOTALVALIDEZ DE CONTENIDO

VALIDEZ DE CRITERIO

VALIDEZ DE CONSTRUCTO

Entre mayor evidencia de validez de contenido, validez de criterio y validez de constructo tenga un instrumento de medición; éste se acerca más a representar la variable o variables que pretende medir.


Métodos para determinar la Confiabilidad

•Medida de estabilidad•Consistencia interna•Método de formas alternativas o paralelas•Con el mismo observador•Diferentes observadores

Medida de estabilidadtest - retest

Un mismo instrumento de medición se aplica dos o mas veces a un mismo numero de personas.

Si la correlación entre resultados es altamente positiva, el instrumento se considera confiable.

Medida de consistencia interna

Alfa de Crombach

Sirve para comprobar si el instrumento que se está evaluando recopila información defectuosa o si se trata de un instrumento fiable que hace mediciones estables y consistentes.

Se trata de un índice de consistencia interna que toma valores entre 0 y 1

Los ítems cuyos coeficientes de correlación son menores a 0,35 deben ser o recodificados reformulados o desechados (Cohen –Manion, 1990).

Interpretación

0.53 a menos0.54 a 0.590.60 a 0.650.66 a 0.710.72 a 0.791.0

Confiabilidad nulaConfiabilidad bajaConfiableMuy confiableExcelente confiabilidadConfiabilidad perfecta

Alfa de Cronbach:

Dawson B, Trapp R. Bioestadística Médica. Edit. El Manual Moderno. Bogotá. 2da. Edición, 1997

Método de formas alternativas o paralelas. En este procedimiento no se administra el mismo instrumento de medición, sino dos o más versiones equi valentes de éste. Las versiones son similares en contenido, instrucciones, duración y otras características. El instrumento es confiable si la correlación entre los resultados de ambas administraciones es significativamente positiva.

Los patrones de respuesta varían poco entre las aplicaciones. Con el mismo observador:hay consistencia en el mismo observador . CCI

Diferentes observadores: hay acuerdo entre diferentes observadores, se realiza con el coeficiente Kappa.

Dawson B, Trapp R. Bioestadística Médica. Edit. El Manual Moderno. Bogotá. 2da. Edición, 1997


• La improvisación• El no estar validados en el contexto donde se aplican. • El instrumento e inadecuado o no es empático. • El cuarto factor lo constituyen las condiciones en que se

aplica el instrumento. • El quinto factor se refiere a los aspectos mecánicos.

FACTORES QUE PUEDEN AFECTAR LA CONFIABILIDAD Y LA VALIDEZ


SENSIBILIDAD Y SENSIBILIDAD Y ESPECIFICIDADESPECIFICIDAD

En odontología como en cualquier En odontología como en cualquier área de la medicina nos interesa área de la medicina nos interesa tener la capacidad de predecir tener la capacidad de predecir adecuadamente la ausencia o adecuadamente la ausencia o presencia de una enfermedad a presencia de una enfermedad a través de alguna prueba diagnóstica través de alguna prueba diagnóstica que estamos usando.que estamos usando.

Durante el diagnostico Durante el diagnostico tenemos 4 posibilidades:tenemos 4 posibilidades:

Verdadero positivo (VP): La enfermedad esta Verdadero positivo (VP): La enfermedad esta presente y se diagnóstica al paciente como presente y se diagnóstica al paciente como enfermo.enfermo.

Falso positivo (FP): La enfermedad Falso positivo (FP): La enfermedad NONO esta esta presente pero al paciente se diagnostica como presente pero al paciente se diagnostica como enfermo.enfermo.

Verdadero negativo (VN): La enfermedad Verdadero negativo (VN): La enfermedad NO esta presente y se diagnostica al NO esta presente y se diagnostica al paciente como sano.paciente como sano.

Falso negativo (FN): La enfermedad esta Falso negativo (FN): La enfermedad esta presente pero no se detectó. Esto ocurre presente pero no se detectó. Esto ocurre con frecuencia.con frecuencia.

Una buena prueba diagnóstica es la que Una buena prueba diagnóstica es la que ofrece resultados ofrece resultados POSITIVOS EN POSITIVOS EN ENFERMOSENFERMOS Y Y NEGATIVO EN SANOSNEGATIVO EN SANOS, , es decir es decir verdaderos positivosverdaderos positivos Y Y verdaderos negativosverdaderos negativos..

VERDADERO DIAGNÓSTICO

ENFERMO SANO

VP FP

FN VN

PRUEBA

POSITIVO

NEGATIVO

En un estudio realizado en 134 casos acerca del En un estudio realizado en 134 casos acerca del diagnóstico de caries oclusales a través de Rx bitewing se diagnóstico de caries oclusales a través de Rx bitewing se

encontró:encontró:

Evaluación

Rx

positivo

negativo

Verdadero diagnóstico

cariado sano

45 15

21 53

45 VP15 FP53 VN21FN

Como valoramos la capacidad de Como valoramos la capacidad de una prueba dignósticauna prueba dignóstica

La validez de una prueba tiene 2 La validez de una prueba tiene 2 aspectos:aspectos:

La sensibilidad. La sensibilidad.

La especificidad.La especificidad.

SensibilidadSensibilidad

Es la probabilidad de clasificar correctamente a un Es la probabilidad de clasificar correctamente a un individuo enfermo , es decir, la capacidad del test para individuo enfermo , es decir, la capacidad del test para detectar la enfermedad.detectar la enfermedad.

La sensibilidad varia de 0 a 1 (0 al 100%) cuanto más La sensibilidad varia de 0 a 1 (0 al 100%) cuanto más alto es el valor numérico hay mejor capacidad de alto es el valor numérico hay mejor capacidad de detectar a los enfermos.detectar a los enfermos.

ENFERMOS

EspecificidadEspecificidad

Es la probabilidad de clasificar correctamente a un Es la probabilidad de clasificar correctamente a un individuo sano, es decir, la capacidad de test para individuo sano, es decir, la capacidad de test para detectar a los sanos.detectar a los sanos.

La especificidad varia de 0 a 1 (0 al 100%) cuanto más La especificidad varia de 0 a 1 (0 al 100%) cuanto más alto es el valor numérico hay mejor capacidad de alto es el valor numérico hay mejor capacidad de detectar los sanos.detectar los sanos.

SANOS

En el ejemplo anterior En el ejemplo anterior

Sensibilidad= 0.68Sensibilidad= 0.68 Especificidad= 0.78Especificidad= 0.78

La probabilidad de detectar lesiones cariosas La probabilidad de detectar lesiones cariosas oclusales con bitewings es de 68%.oclusales con bitewings es de 68%.La probabilidad de detectar piezas sin lesión La probabilidad de detectar piezas sin lesión cariosa oclusal es 78%.cariosa oclusal es 78%.

45 VP 15 FP53 VN 21FN

Valores predictivosValores predictivos

Tanto la sensibilidad como la especificidad proporcionan Tanto la sensibilidad como la especificidad proporcionan información acerca de la probabilidad de obtener un información acerca de la probabilidad de obtener un resultado concreto (positivo o negativo) en función de la resultado concreto (positivo o negativo) en función de la verdadera condición del enfermo con respecto a la verdadera condición del enfermo con respecto a la enfermedad. Sin embargo, cuando a un paciente se le enfermedad. Sin embargo, cuando a un paciente se le realiza alguna prueba, el odontólogo carece de realiza alguna prueba, el odontólogo carece de información a priori acerca de su verdadero diagnóstico, información a priori acerca de su verdadero diagnóstico, y más bien la pregunta se plantea en sentido contrario: y más bien la pregunta se plantea en sentido contrario: ante un resultado positivo (negativo) en la prueba, ¿cuál ante un resultado positivo (negativo) en la prueba, ¿cuál es la probabilidad de que el paciente esté realmente es la probabilidad de que el paciente esté realmente enfermo (sano)?. enfermo (sano)?.

Valor predictivo positivoValor predictivo positivo

Es la probabilidad de padecer la enfermedad si se Es la probabilidad de padecer la enfermedad si se obtiene un resultado positivo en el test. El valor obtiene un resultado positivo en el test. El valor predictivo positivo puede estimarse, por tanto, a partir de predictivo positivo puede estimarse, por tanto, a partir de la proporción de pacientes con un resultado positivo en la proporción de pacientes con un resultado positivo en la prueba que finalmente resultaron estar enfermos:la prueba que finalmente resultaron estar enfermos:

Valor predictivo negativoValor predictivo negativo

Es la probabilidad de que un sujeto con un resultado Es la probabilidad de que un sujeto con un resultado negativo en la prueba esté realmente sano. Se estima negativo en la prueba esté realmente sano. Se estima dividiendo el número de verdaderos negativos entre el dividiendo el número de verdaderos negativos entre el total de pacientes con un resultado negativo en la total de pacientes con un resultado negativo en la prueba:prueba:

GRACIAS

validez y fiabilidad

Investor Relations