validación mét. cuanti semic-cuali lab. clínico 21-07-2012

Rigoberto Marcelo Yáñez VeraRigoberto Marcelo Yáñez VeraJulio 2012Julio 2012

Validación Métodos Analíticos Validación Métodos Analíticos Cuantitativos, Cualitativos y Cuantitativos, Cualitativos y

Semicuantitativos en el Lab. ClínicoSemicuantitativos en el Lab. Clínico

Validación Métodos Analíticos Validación Métodos Analíticos Cuantitativos, Cualitativos y Cuantitativos, Cualitativos y

Semicuantitativos en el Lab. ClínicoSemicuantitativos en el Lab. Clínico

Norma NCh2547.Of2008 Norma NCh2547.Of2008 (ISO 15189)(ISO 15189)

• 5.5 Procedimientos Analíticos.

• 5.5.2 El laboratorio debe usar sólo procedimientos validados.

VALIDARVALIDAR VERIFICARVERIFICAR

ValidaciónValidación

“Confirmación mediante el examen y la obtención de evidencias

objetivas que aseguran el cumplimiento de una serie de

requerimientos particularmente definidos para aplicaciones

concretas”

(ISO 8402-1994 o NCh2000 – ISO 8402).

VALIDACIÓN DE MÉTODOS VALIDACIÓN DE MÉTODOS CUANTITATIVOS CUANTITATIVOS

Parámetros de calidad (desempeño analítico): - LINEALIDAD- EXACTITUD:

-PRECISIÓN: *Repetibilidad *Reproducibilidad

-VERACIDAD, Trazabilidad - INCERTIDUMBRE

-SELECTIVIDAD/ESPECIFICIDAD/INTERFERENCIAS- SENSIBILIDAD- LÍMITE DE DETECCIÓN- LÍMITE CUANTIFICACIÓN- ROBUSTEZ

Concentración

Res

pu

esta

del

inst

rum

ento

Intervalo lineal

LL

LC

LD

LL = L. de linealidad LC = L. de CuantificaciónLD = L. de Detección

ANÁLISIS CUANTITATIVOANÁLISIS CUANTITATIVO

-LINEALIDADCapacidad del método analítico de obtener resultados linealmente proporcionales entre la concentración del analito y su respuesta.

Análisis estadístico:*Curva regresión y = a + b x

*Coeficiente de determinación r2

*Análisis de varianza (regresión) con Estimación falta de ajuste Error residual puro.

Si p>0,05 es significativo y por

ende los datos tienden a ser lineales.


1 Selección del modelo: Normalmente una línea recta y = a + b x

(donde aa es la pendiente de la recta y bb la ordenada al origen)

2 Establecimiento del diseño experimental: dominio experimental: rango de concentraciones distribución de las medidas número de medidas

3 Estimación de los parámetros del modelo. Regresión por mínimos cuadrados.

4 Validación del modelo: ANOVA

ETAPAS DE LA REGRESIÓNETAPAS DE LA REGRESIÓN

Linealidad: Curva de Calibración IgGLinealidad: Curva de Calibración IgG

INMUNONEFELOMETRÍAINMUNONEFELOMETRÍA

X log(X) Y log(Y) Y log(Y)11,675 1,067 1263 3,101 948 2,9775,8375 0,766 935 2,971 672 2,8272,9188 0,465 665 2,823 408 2,6111,4594 0,164 408 2,611 215 2,3320,7297 -0,137 207 2,316 103 2,0130,3648 -0,438 120 2,079 35 1,544

Concentración (mg/dL) Medición 1 Medición 2

Medición instrumental (señal): intensidad de la luz dispersada por los complejos antígenos-anticuerpos.

CONCENTRACION mg/dL

LE

CT

UR

A

0 2 4 6 8 10 12

0

200

400

600

800

1000

1200

CURVA CALIBRACION IgGCURVA CALIBRACION IgG

log conc.

log

lect

ura

INMUNONEFELOMETRÍA

-0.5 -0.1 0.3 0.7 1.1

2

2.2

2.4

2.6

2.8

3

3.2

3.4

CURVA CALIBRACION IgGCURVA CALIBRACION IgG

ExactitudExactitud

Grado de concordancia entre el resultado de una medición y el valor de referencia aceptado o verdadero.

* Nota: El término “exactitud” cuando se aplica a un conjunto de resultados de mediciones implica la combinación de los componentes aleatorios y de un error sistemático común o de un componente de sesgo (Norma ISO 5725-1 e ISO 3534-1)

ExactitudExactitud

(Norma ISO 3534-1)(Norma ISO 3534-1)

-Precisión: grado de concordancia entre resultados de mediciones obtenidas independientes bajo condiciones establecidas (repetibilidad y reproducibilidad).

-Veracidad: grado de concordancia entre el valor medio obtenido a partir de una serie de resultados y un valor de referencia aceptado.

Exactitud = Precisión + Veracidad

PrecisiónPrecisión

La precisión depende sólo de la distribución de errores aleatorios y no tiene ninguna relación con el valor verdadero o el valor especificado.

-Repetibilidad

-Precisión intermedia o reproducibilidad intralaboratorio

-Reproducibilidad

(Norma ISO 5725-1 e ISO 3534-1)

REPETIBILIDAD:Es la medida de la precisión de un método

efectuado en las mismas condiciones, sobre el mismo analito, con el mismo método, con el mismo operador, utilizando el mismo instrumento de medida y durante un corto intervalo de tiempo.

PRECISIÓN:Grado de concordancia entre resultados de mediciones obtenidas de una serie repetida de análisis, sobre una muestra homogénea, bajo condiciones establecidas (Norma ISO 3534).

ANÁLISIS CUANTITATIVO ANÁLISIS CUANTITATIVO VALIDACIÓNVALIDACIÓN

MediaDesviación estándarCoeficiente de variaciónAnálisis de varianza F (comparación de la desviación estándar)

Estudio homogeneidad muestra: Análisis de varianza (F) Prueba de “t”de Student.

ANÁLISIS ESTADÍSTICO DE LA ANÁLISIS ESTADÍSTICO DE LA PRECISIÓNPRECISIÓN

REPETIBILIDAD INMUNONEFELOMETRÍA PARA LA REPETIBILIDAD INMUNONEFELOMETRÍA PARA LA DETERMINACIÓN IgG DETERMINACIÓN IgG

(Homogeneidad Muestra)(Homogeneidad Muestra)

Muestra Contramuestra n 6 6

Media 1557.50 1554.67

s 52.129 82.199 CV 3.347 % 5.287 %

“t” calculado = 0.0713 < “t” tabla 5;0.025 = 2.571

No existe diferencia estadística significativa y por lo tanto las muestras son iguales y homogéneas.

REPRODUCIBILIDAD:Es la medida de la precisión de los resultados de un método analítico efectuado sobre el mismo analito, pero en condiciones diferentes (diferentes equipos utilizados, el operador, el período de tiempo, etc.)

PRECISIÓN


REPRODUCIBILIDAD INMUNONEFELOMETRÍA REPRODUCIBILIDAD INMUNONEFELOMETRÍA PARA DETERMINACIÓN DE IgGPARA DETERMINACIÓN DE IgG

IgG mg/dL

DÍA 1 DÍA 2 DÍA 3

1556 1568 15641568 1543 16061624 1556 15851481 1598 15561598 1602 15351518 1413 1568

n 18 (en tres dìas diferentes)

media 1557.72DE 12.27CV 0.8 %

Precisión 99.2 %

Análisis de Varianza--------------------------------------------------------------------------------------Fuente var. SC gl CM F P--------------------------------------------------------------------------------------Entre grupos 1496,78 2 748,389 0,28 0,7626Intra grupos 40682,8 15 2712,19--------------------------------------------------------------------------------------Total (Corr.) 42179,6 17

REPRODUCIBILIDAD INMUNONEFELOMETRÍA REPRODUCIBILIDAD INMUNONEFELOMETRÍA PARA DETERMINACIÓN DE IgGPARA DETERMINACIÓN DE IgG

Si F < P no existe diferencia estadística

significativa en las mediciones de los grupos.

Si F < P no existe diferencia estadística

significativa en las mediciones de los grupos.

VERACIDAD:Grado de concordancia entre el valor medio obtenido de una serie de resultados y el valor de referencia aceptado (certificado). Norma ISO 3534

Análisis estadístico Media experimental Desviación estándar experimental Prueba de “t” de Student


VERACIDAD INMUNONEFELOMETRIAVERACIDAD INMUNONEFELOMETRIAPARA DETERMINACIÓN DE IgG PARA DETERMINACIÓN DE IgG

MRC DB Lote 084705 IgG mg/dL n = 10 931,8

942,3951.8 924,8

918,6

927.1

920,5938,4935,2918,8

Media experimental 930.9Media certificada 925.0

Valor exp. MRC

media 930,9 925

s (DE) 11,0545

“t” calculado = 1,6963 <“t” (tabla) 9;0.025 = 2,262

p = 0,124

s

n μΧ

t α/2 1,-n

Se acepta la hipótesis de nulidad Ho. Existe trazabilidad

VERACIDAD INMUNONEFELOMETRIAVERACIDAD INMUNONEFELOMETRIAPARA DETERMINACIÓN DE IgG PARA DETERMINACIÓN DE IgG

IncertidumbreIncertidumbre

Magnitud asociada con el resultado de medición que caracteriza la dispersión de los valores que razonablemente podrían ser asignados al mesurando.

-Incertidumbre estándar:

Incertidumbre de un resultado de medición expresada como desviación estándar.

-Incertidumbre estándar combinada:

Incertidumbre estándar como resultado de una estimación mediante la propagación de errores con base en las incertidumbres individuales.

-Incertidumbre expandida

Incertidumbre estándar que se expresa como un intervalo de confianza.

IncertidumbreIncertidumbre

gl = n - 1 (grado libertad)

nivel = 0,05

CÁLCULO DE INCERTIDUMBRE EXPANDIDACÁLCULO DE INCERTIDUMBRE EXPANDIDA

U MRC IgG exp. = ± 7,9 mg/dL

ns

tU 1-nα/2;x

SELECTIVIDAD / ESPECIFICIDAD

Capacidad del método analítico para medir en forma exacta un analito particular dentro de una mezcla compleja, sin interferencia de otras sustancias o analitos.

Magnitud influyente, magnitud que no es el mesurando pero afecta al resultado de la medición (interferencia).


Interferencia de la SeñalInterferencia de la Señal

Algunos compuestos presentes en la muestra por un artefacto aumentan o disminuyen la magnitud del mecanismo de detección.

Ejemplos:

Fluoresceína, EDTA , Azida de Sodio, Lípidos, Complemento, Fibrinógeno, Albúmina

Detección y Control de InterferenciasDetección y Control de Interferencias

• Son difíciles de detectar pues se desconoce el resultado verdadero. Se obtienen de los datos del fabricante o de literatura. El laboratorio debe establecer requisitos de ausencia de interferencia para valores definidos de las magnitudes.

• Verificar resultados de pacientes con condiciones clínicas asociadas con interferencias (enfermedades hepáticas, fallas renales, embarazo, incongruencias con cuadro clínico).

• Inspeccionar las muestras visualmente buscando hemólisis, ictericia, lipemia o evaluarlas usando indicadores séricos.

ESTUDIO DE INTERFERENCIASESTUDIO DE INTERFERENCIAS

1 Prueba de dilución lineal (las interferencias no se comportan linealmente con la dilución).

2 Analizar la muestra por otro método (comparación de métodos).

3 Tratar la muestra para remover, destruir o inhibir sustancias potencialmente interferentes.

4 Análisis de muestras enriquecidas con el interferente.

Concentración

Res

pu

esta

del

inst

rum

ento

Intervalo lineal

LL

LC

LD

LL = L. de linealidad LC = L. de CuantificaciónLD = L. de Detección


SENSIBILIDAD

Es la capacidad de un método analítico de registrar ligeras variaciones de la concentración.

msb

γ Sensibilidadb = Pendiente obtenida desde la regresión lineal.Sm = desviación estándar de la muestra.


LÍMITE DE DETECCIÓN (LD)

Menor concentración o cantidad de analito detectable con razonable certeza por un procedimiento analítico dado. Concentración que proporciona una señal en el instrumento significativamente diferente de una muestra blanco.

b

s* 3 y LD bl

bl

Ybl = señal promedio del blanco.Sbl = desviación estándar del blanco.b = pendiente obtenida desde la regresión lineal del analito.


LÍMITE DE CUANTIFICACIÓN (LC)

Es la menor concentración de analito que puede determinarse con precisión y exactitud razonables en las condiciones establecidas y se expresa en unidades de concentración.

b

s* 10 y LC bl

bl

Ybl = señal promedio del blanco.Sbl = desviación estándar del blanco.b = pendiente obtenida desde la regresión lineal del analito.


ROBUSTEZ:

Grado de concordancia de los resultados al efectuar cambios en las condiciones operativas y ambientales normalizadas del método.


Capacidad de un procedimiento de permanecer inalterado por pequeñas pero deliberadas variaciones en los parámetros del método y provee información de su comportamiento en la rutina.

Parámetros estudiar:

- Efectos del congelado-descongelado

- Tiempos de incubación

- Cambio pH tampones

- Temperaturas de incubación

- Longevidad de los reactivos

- Preparación de la muestra

- Conservación de la muestra.

ROBUSTEZROBUSTEZ

NORMA NCh 2446.Of1999– Guía para la validación de métodos de ensayo – Principios y conceptos generales

5 Procedimiento de validación

5.1 Los laboratorios de ensayo y los organismos de acreditación deben contar con procedimientos y directrices para planificar y controlar el proceso de validación de métodos de ensayo. Sin embargo, la discusión anterior ha indicado claramente que no puede desarrollarse un procedimiento único. En consecuencia, tiene que desarrollarse una gama de diferentes alternativas de técnicas de validación. Cuán detallada deba ser la validación, depende de las circunstancias (necesidades, costos, posibilidades, riesgos, etc.).

DOCUMENTO A, 0/2DOCUMENTO A, 0/2 de la Soc. Española de de la Soc. Española de Bioq. Clín. y Patología MolecularBioq. Clín. y Patología Molecular

SOBRE RESPONSABILIDADES EN LA OBTENCIÓN DE EVIDENCIA OBJETIVA DE LA VALIDACIÓN DE MÉTODOS NORMALIZADOS:

El Laboratorio Clínico debería establecer requisitos y verificar, al menos las siguientes características metrológicas:

1.-Error sistemático (sesgo). El fabricante del calibrador deberá proporcionar la trazabilidad y la incertidumbre del valor asignado. Deberá proporcionar datos sobre la veracidad de los resultados. Sin embargo, el Laboratorio debería obtener sus evidencias que el proceso proporciona resultados satisfactorios.

2.-Interferencias (magnitudes influyentes). El fabricante deberá proporcionar la información de las interferencias.

SOBRE RESPONSABILIDADES EN LA OBTENCIÓN DE EVIDENCIA OBJETIVA DE LA VALIDACIÓN DE MÉTODOS NORMALIZADOS:

3.-Imprecisión interdiaria (reproducibilidad). Responsabilidad Laboratorio.

4.-Límite de detección. El fabricante deberá propocionar especificaciones de imprecisión, sensibilidad y límite de detección. El Laboratorio debería estudiar el límite de detección cuando observa diferencia.

5.-Contaminación

6.-Verificar dilución

DOCUMENTO A, 0/2DOCUMENTO A, 0/2 de la Soc. Española de de la Soc. Española de Bioq. Clín. y Patología MolecularBioq. Clín. y Patología Molecular

Reglas CLIA Reglas CLIA ((Clinical Laboratory Improvement AmendmentsClinical Laboratory Improvement Amendments)) Regulación Validación de Regulación Validación de

MétodosMétodos

(JCAHO, Joint Commission for Accreditation of Healthcare Organizations; CAP, College of American Pathologists ; COLA, Commission on Office

Laboratory Accreditation)

Recomendación de validación de métodos de acuerdo a la complejidad de la prueba o determinación:

-Pruebas de mínima complejidad (waived tests). No hay recomendación para la validación de método. Seguir directrices del fabricante.

-Pruebas de moderada y alta complejidad (Non-Waived tests) aprobados por el FDA los estudios de validación de métodos deberian seguir las siguientes recomendaciones:

-Verificar los parámetros de calidad o especificaciones de desempeño (demostrar resultados comparables a los establecidos por el fabricante):

-Exactitud

-Precisión

-Rango de los resultados analíticos reportado por el método

-Verificar que los intervalos de referencia del fabricante son apropiados para la población de pacientes del laboratorio.


MétodosMétodos



-Pruebas de moderada y alta complejidad (Non-Waived tests) aprobados por el FDA

Actividades a realizar por el laboratorio:

-Comparación de métodos para estimar la inexactitud o sesgo.

-Replicar muestra o control para estimar la imprecisión

-Hacer estudio de linealidad para estimar el

rango de la determinación reportado por el fabricante

-Obtener valores de referencia para verificar intervalo de referencia indicado por el fabricante


MétodosMétodos



-Pruebas de moderada y alta complejidad (Non-Waived tests) modificados o desarrollados en el laboratorio, la validación de los métodos requiere:

-Exactitud

-Precisión

-Sensibilidad analítica

-Especificidad analítica, incluyendo el estudio de sustancias interferentes

-Rango de los resultados analíticos reportado por el método

-Intervalo de referencia (valores normales)

-Cualquier otro parámetro requerido para el desempeño del método


MétodosMétodos (JCAHO, Joint Commission for Accreditation of Healthcare Organizations;

CAP, College of American Pathologists ; COLA, Commission on Office Laboratory Accreditation)

-Pruebas moderada y alta complejidad (Non-Waived tests) modificados o desarrollados en el laboratorio

Actividades a realizar por el laboratorio:

-Comparación de métodos para estimar la inexactitud o sesgo.

-Replicar muestra o control para estimar la imprecisión

-Hacer estudio de linealidad para estimar el rango a reportar

-Límite de detección para estimar interferencias permanentes

-Experimentos de recuperación para estimar proporción de interferencias

-Obtener valores de referencia para estimar el intervalo de referencia


MétodosMétodos (JCAHO, Joint Commission for Accreditation of Healthcare Organizations;

CAP, College of American Pathologists ; COLA, Commission on Office Laboratory Accreditation)

Métodos Cualitativos y/o Métodos Cualitativos y/o SemicuantitativosSemicuantitativos

• En los laboratorios de análisis se generan cada vez más mediciones que dan respuesta rápidas de tipo cualitativo.

• Respuesta de tipo binario: Si / No .• Presencia o ausencia de determinado analito.

• Presencia o ausencia de un determinado nivel del analito.

• Se denominan sistemas de “screening”.

Sistemas de Sistemas de ScreeningScreening

• Muchas veces se utilizan como una etapa previa para luego realizar un análisis cuantitativo y confirmatorio.

• Evita análisis cuantitativos a muestras que dan negativo.

• A nivel microbiológico generalmente en identificación bacteriana son diagnósticos y no presuntivos.

Análisis CualitativoAnálisis Cualitativo

Sistema de tamizaje

(screening)

Sistema de tamizaje

(screening)

Análisiscuantitativo

Análisiscuantitativo

No se analiza

No se analiza

> 2 ng/mL

< 2 ng/mLNO

SI

•Menor experimentación.Menor experimentación.

•Decisión rápida.Decisión rápida.

•De fácil manejo, portátiles, etc. De fácil manejo, portátiles, etc.

•Sin necesidad de equipos.Sin necesidad de equipos.

•Ahorro.Ahorro.

Presencia del analito

Ausencia del analito

Método Confirmatorio

Sistemas de Medida CualitativosSistemas de Medida Cualitativos

Análisis cualitativo clásico o sensorial:Color: cambio, aparición.Olor.Turbidez.ELISA.Crecimiento bacteriano.

Detección instrumental:UV: fluorescencia, potenciometría.Sensores: químicos, bioquímicos, etc.ELISA.

Análisis Cualitativo Clásico o Análisis Cualitativo Clásico o SensorialSensorial

• La respuesta binaria SI / NO se obtiene directamente.

• En general la presencia del analito se determina por comparación con un blanco. • Pruebas baterías bioquímicas

• Se encuentran también las pruebas de Kits.• Son dispositivos comerciales para pruebas concretas.

• Contienen todos los reactivos necesarios.

• Pueden contener algún instrumento sencillo.

• Pruebas de kits:• Látex para serotipificar Streptococcus.

• Tiras de orina.

• Pruebas rápidas para meningitis bacterianas.

• API.

• Método de CIM por microdilución en microplacas.

• Coaglutinación.

• Método ELISA rápido para detección C. difficile

Análisis Cualitativo Clásico o Análisis Cualitativo Clásico o SensorialSensorial

• La determinación se hace mediante una medida instrumental: • Colorimetría.

• Fluorescencia.

• La presencia o no de un determinado analito puede ser el nivel límite de detección o a un nivel superior.

Análisis Cualitativo SensorialAnálisis Cualitativo Sensorial

• La respuesta instrumental que se obtiene se transforma en respuesta binaria SI/NO e implica un tratamiento de datos.

• Primero hay que establecer la respuesta instrumental: • Valor de absorbancia para la concentración correspondiente.

• Si el valor es superior la respuesta es Si.

• Ej. Métodos automatizados para Hemocultivos.

• Ej. Métodos automatizados para CIM.

• Ej. Estandarización automatizada a 0,5 MF.

Análisis Cualitativo SensorialAnálisis Cualitativo Sensorial

Método de ELISA Método de ELISA

• Método Semicuantitativo.Semicuantitativo.

• Se basan en una reacción inmunológica.

• La detección puede ser sensorial o instrumental.

• Ej. Bacterias: C. difficile, E. coli .

• Ej. Virus: Hepatitis, SIDA, Sarampión, etc.

• Ej. Parásitos: Chagas

• Autoinmunidad: ENA, AAN, DNA, etc.

• Métodos cualitativos también deben validarse.

• Validar consiste en verificar y documentar su validez a requisitos específicos.

• La validación implica como etapa previa la definición de los requisitos analíticos o de calidad.

• Luego entonces la determinación de estos requisitos.

• Los resultados se expresan diferente a los métodos cuantitativos.

Validación Métodos Cualitativos Validación Métodos Cualitativos

Métodos Cualitativos Análisis Cualitativo / screening

SI / NO Con probabilidad

de error También tiene dos valores el primero binario y el

segundo es la probabilidad de error asociada a la decisión tomada.

Se expresan en términos probabilísticos.

Expresión de ResultadosExpresión de Resultados

Requisitos de CalidadRequisitos de Calidad

Método Cuantitativo Método Cualitativo

Linealidad. - Homogeneidad. Precisión: - Repetibilidad. - Reproducibilidad. - Robustez. Veracidad (exactitud). Incertidumbre. Limite de detección. Límite de cuantificación. Rango de cuantificación Selectividad e Interferentes.

Especificidad. Sensibilidad. Valor predictivo positivo (VPP). Valor predictivo negativo (VPN). Exactitud diagnóstica. Límite de corte (cut-off). Incertidumbre o región de error. Límite de detección. Robustez.

EspecificidadEspecificidad

• Se define como la capacidad o habilidad del sistema de detectar en forma exacta un analito en una matriz.

• Proporción de muestras negativas (no reactivas) que son correctamente identificadas.

• Generalmente se expresa como probabilidad.

Analito presente

Analito ausente

Método positivo

Verdaderos positivos (VP)

Falsos positivos (FP)

Métodonegativo

Falsos negativos (FN)

Verdaderos negativos (VN)

Proporción de muestras sin el analito, cuyo método es negativo:

E = VN / (VN + FP)E = VN / (VN + FP)

Especificidad (E)Especificidad (E)

• Es la capacidad o habilidad del sistema de detectar muestras positivas cuando realmente lo son.

• Proporción de muestras positivas o reactivas correctamente identificadas por la prueba.

• Generalmente se expresa como probabilidad.

• Concentración de un analito necesaria para producir una unidad de cambio de lectura instrumental.

SensibilidadSensibilidad

Analito presente

Analitoausente

Método positivo


Falsos positivos (FP)

Método negativo

Falsos negativos (FN)


Proporción de muestras que contiene el analito cuyo método es positivo:

S = VP / (VP+FN). S = VP / (VP+FN).

Sensibilidad (S)Sensibilidad (S)

Falsos Negativos (FN)Falsos Negativos (FN)

• Desviación negativa.

• El método a validar da un resultado negativo y el método de referencia da positivo.

• Probabilidad de que la muestra conocida como positiva, dé como negativa por el método.

• Corresponden a muestras que contienen uno o más analitos por encima del valor límite permitido y que en prueba de screening dan respuesta negativa.

• Se concluye con este resultado previo que la muestra no contiene el analito en los niveles fijados cuando si lo contiene.

• Desviación positiva.

• Probabilidad de que la muestra clasificada como negativa, dé como positiva por el método.

• Corresponden a aquellas muestras que realmente no contienen el analito en el nivel definido y que por Ej. la prueba de screening lo detecta.

• Se produce cuando el método a validar proporciona un resultado positivo sin confirmación y el método de referencia da un resultado negativo.

Falsos Positivos (FP)Falsos Positivos (FP)

Exactitud DiagnósticaExactitud Diagnóstica

• Proporción de resultados correctos (verdaderos positivos + verdaderos negativos).

• Capacidad para detectar correctamente los positivos y los negativos.

• Es el grado de concordancia entre el resultado obtenido en un ensayo y el valor de referencia que debiera obtenerse.

Analito presente

Analitoausente

Métodopositivo


Falsos positivos(FP)

Métodonegativo

Falsos negativos(FN)


Proporción de resultados correctos :ED = (VP+VN) / (VP+FP+VN+FN)ED = (VP+VN) / (VP+FP+VN+FN)

Exactitud Diagnóstica (ED)Exactitud Diagnóstica (ED)

Criterio de Exactitud DiagnósticaCriterio de Exactitud Diagnóstica

El mejor criterio actual para establecer la presencia o ausencia de la condición (enfermedad), evento o característica de interés usando un método simple o una combinación de métodos de laboratorios que incluyan, pruebas de imagen, patológicos, información clínica, ensayos o paneles de referencia.

Límite de Corte o Límite de Corte o Cut-offCut-off

• Limite de cuantificación??

• Número mínimo de microorganismos dentro de una variabilidad definida que pueden determinarse bajo las condiciones experimentales del método evaluado.

• Aplicado a análisis microbiológicos cuantitativos.

• Relacionado a la sensibilidad, corresponde al nivel de concentración donde la sensibilidad es un 95% y la probabilidad de error tipo β es de un 5%.

Resultados métodos

Pacientes “negativos”

Pacientes “positivos”

Límite de Corte (Límite de Corte (cut-offcut-off))

Definiciones de Requisitos de Definiciones de Requisitos de CalidadCalidad

• Valor del Límite de Corte (cut-off). Valor de corte del método, dado principalmente por el fabricante, sobre el cut-off resultados positivos y bajo cut-off, resultados negativos. Se basa en una dicotomía (presencia/ausencia, si/no, etc.).

C= 2ng/mL

• Región de Incertidumbre. Corresponde a la imprecisión del método, es un rango donde encontramos error Tipo I o α (Falsos positivos) y Tipo II o β (falsos negativos) del método.

C= 2ng/mLα β


• Región de Incertidumbre (*CLSI: EP12-A2):

• C50: Concentración del analito donde se produce un 50% de resultados positivos y un 50% de resultados negativos.

• Intervalo C5 – C95: Rango de concentraciones requeridas del analito donde a concentraciones < de C5, son resultados concretamente negativos y > C95 son concretos positivos.

Verdaderamente Negativas. Verdaderamente Positivas.C50


Límite de DetecciónLímite de Detección

• Cantidad mínima de analito que puede ser detectado en una muestra pero que no puede ser estimado con precisión o sea que no necesariamente es cuantificado en las condiciones del ensayo.

• Aplicado a análisis microbiológicos cualitativos.

• Los resultados se expresan como detectado / no detectado.

RobustezRobustez

Efecto Matriz:Efecto Matriz:Capacidad de un procedimiento de permanecer

inalterado por pequeñas pero deliberadas variaciones en los parámetros del método y provee información de su comportamiento en la rutina.

Identificar variables que pueden tener efectos significativos en la respuesta del método.

Analizar cada set en condiciones experimentadas dadas y determinar el efecto de cada cambio.

Efectos congelado/descongelado, tiempos y temperaturas de incubación, cambios pH, preparación y conservación de la muestra y reactivos.

Resumen: Definiciones Requisitos Resumen: Definiciones Requisitos de Calidadde Calidad

• Especificidad. Proporción de muestras negativas (no reactivas) que son correctamente identificadas.

• Sensibilidad. Proporción de muestras positivas o reactivas correctamente identificadas por la prueba.

• Falso Positivo. Probabilidad de que la muestra clasificada como negativa, dé positiva por el método.

• Falso Negativo. Probabilidad de que la muestra conocida como positiva, dé negativa por el método.

• Valor Predictivo Positivo. Probabilidad que tiene una muestra de ser realmente positiva, cuando el resultado de la prueba resulta reactivo.

• Valor Predictivo Negativo. Probabilidad que tiene una muestra de ser negativo, cuando el resultado de la prueba es no reactivo.

• Exactitud diagnóstica analítica. Capacidad del método para detectar correctamente los positivos y los negativos.

ObservacionesObservaciones

• Hay pruebas en las que tiene un impacto a nivel de Salud Pública además de individual al dar un resultado Falso (+) o Falso (-)

• Ej. VIH, HEP. B

• En resistencia antibiótica es de mayor impacto los falsos negativos, o sea informar como sensible cuando es resistente.

• De mayor trascendencia también en Falsos (-):

• Hemocultivos, meningitis, resistencia antibiótica, VIH, etc.

Método ideal Método ideal

‘Normal’ Enfermo

Valores método

No falsos positivos o negativos

Nr

de i

nd

ivid

uos

Realidad MétodosRealidad Métodos

Normal, sin el analito Enfermo, con el analito

ValoresMétodo

+2SD

FalsosNegativos

FalsosPositivos

Nr

de i

nd

ivid

uos

Resultados métodos

Pacientes “negativos” Pacientes “positivos”

Sin enfermedadCon enfermedad

Verdaderos Positivos

Definiciones del ejemploDefiniciones del ejemplo

Resultados método

Pacientes “negativos” Patientes “positivos”


Falsos Positivos


Resultados métodos



Verdaderos negativos


Resultados método



Falsos negativos


Evaluador de los requisitos de Evaluador de los requisitos de CalidadCalidad

• Tablas de Contingencia. Diferencian las muestras en dos categorías, (+)/(-) según el método, y establecen una tabla de comparación respecto del resultado obtenido mediante el criterio de exactitud diagnóstica analítica.

Criterio de exactitud diagnóstica

Prueba a Evaluar POSITIVOS NEGATIVOS Total

POSITIVOS VP FP VP + FP

NEGATIVOS FN VN FN + VN

Total VP + FN FP + VN VP + FP +FN +VN

*CLSI: EP12-A2

Tablas de ContingenciaTablas de Contingencia

• Las mas simples son las que diferencian las muestras en dos categorías : positivo o negativo.

• Luego se establece una tabla de comparación respecto al resultado obtenido con resultado de método de referencia .

• A partir de la tabla se calculan los cuatro parámetros básicos, además de otros: falsos(+), falsos(-), sensibilidad y especificidad.

Ventajas:o Son de fácil aplicación en la mayoría de los bioensayos.

Desventajas:o Dan una medida global de la capacidad del método.o Se estima que la muestra se comportará

estadísticamente de forma similar a las ya analizadas.o No se calcula una probabilidad de error en cada

muestra en particular.o La capacidad de la tabla depende del número de

muestras analizadas.

Tablas de ContingenciaTablas de Contingencia

• Teorema de Bayes. Calcula la probabilidad de dar verdadero (positivo o negativo) un resultado cuando en realidad lo es, vale decir, probabilidad que ocurra el evento A dado el evento B.

P(VPP) = P(p/a)* P(a) /P(p/a)*P(a)+P(p/b)*P(b) P(VPN) = P(n/a)*P(a)/P(n/a)*P(a)+P(n/b)+P(b)

P(a): prob. de obtener un resultado positivoP(b): prob. de obtener un resultado negativoP(p/a): prob. de obtener un resultado (+)

cuando esta presente la enfermedad.P(p/b): prob. de obtener un resultado (+)

cuando no esta presente la enfermedad.


• Curvas ROC (Receiver Operating Characteristic o Curvas de Operatividad Relativa). Se generan al evaluar las modificaciones en la sensibilidad y especificidad que son resultantes de la modificación que se haga en los niveles de corte, de acuerdo al proceso de decisión clínica para un analito determinado.

* A. Pulido, I. Ruisánchez, R. Boqué , F.X. Rius


Sensibilidad vs. Especificidad.

0

20

40

60

80

100

0 20 40 60 80 100ESPECIFICIDAD (Fracción verdaderos

negativos)

SE

NS

IBIL

IDA

D

(Fra

cci

ón

ve

rda

de

ros

po

sit

ivo

s)

0

20

40

60

80

100

0 20 40 60 80 100

1-ESPECIFICIDAD (Fracción falsos positivos, FFP)

SE

NS

IBIL

IDA

D

(Fra

cc

ión

ve

rda

de

ros

po

sit

ivo

s)

Sensibilidad vs. 1- Especificidad.

Lectura de las Curvas ROCLectura de las Curvas ROC

* http://ludwig-sun2.unil.ch/~darlene/module4/

PROTOCOLO DE VALIDACIÓN DE UN PROTOCOLO DE VALIDACIÓN DE UN MÉTODO ANALÍTICOMÉTODO ANALÍTICO

-Identificación-Titulo-Protocolo redactado por-Protocolo aprobado por-Objetivo -Alcance-Factores críticos-Selección y tratamiento muestra y MRC-Identificación equipo: certificado calibración-Método analítico:-Variables a determinar : análisis estadístico-Personal que desarrollará la validación-Criterio de aceptación para cada parámetro de desempeño-Conclusiones-Registros-Referencias

INFORME DE VALIDACIÓN DE UN INFORME DE VALIDACIÓN DE UN MÉTODO ANALÍTICOMÉTODO ANALÍTICO

-Identificación-Titulo-Informe redactado por-Informe aprobado por-Objetivo -alcance-Responsabilidad-Equipo, materiales, documentos-Procedimiento-Cálculos y análisis estadísticos-Criterio de aceptación vs Resultados-Informe de desviaciones-Informe resultados y conclusiones de validación del método

Cuándo Verificar y cuándo Validar???Cuándo Verificar y cuándo Validar???

VALIDARVALIDAR VERIFICARVERIFICAR

validación mét. cuanti semic-cuali lab. clínico 21-07-2012

Documents