herramientas de evaluación del desempeño analítico en el lab clínico

6º Ciclo Internacional de Conferencias de la Calidad

México, 27 de Junio de 2012

Herramientas de Evaluación del Desempeño Analítico en el Laboratorio Clínico

Gustavo Maccallini

Porqué debemos evaluar el Desempeño Analítico

• Para verificar que los resultados que emite el Laboratorio son clínicamente útiles

• Para asegurar que el desempeño analítico se mantenga y mejore con el tiempo

Porqué debemos evaluar el Desempeño Analítico

• Para evaluar y diseñar acciones que minimicen la variabilidad de resultados

• Para evaluar el impacto de cambios de métodos/instrumentos

• Para cumplir con acreditaciones y certificaciones

Instancias para Evaluar Desempeño Analítico

� Validación/Verificación de nuevos métodos analíticos

� Diseño de Control de Calidad Interno

� Planificación y re-planificación estadística de reglas

de control de aceptación/rechazo

Instancias para Evaluar Desempeño Analítico

� Seguimiento de Control de Calidad Interno

(Indicadores de Calidad Analítica)

� Seguimiento de Evaluación Externa de la Calidad

(Indicadores de Calidad Analítica)

Evaluación de Desempeño

¿Quiénes están Involucrados?

Dentro del laboratorio:

1)Operadores (Analistas)

2)Supervisores: Aseguramiento de calidad para verificar acciones implementadas

3)Dirección

Externo al laboratorio:

• Organismos Gubernamentales

• Certificaciones

• Acreditaciones

¿Quiénes están Involucrados?


Frecuencia de la Evaluación del desempeño Analítico

• Operario (Analista): Diario

• Supervisión: Programada

• Dirección: Anual


¿Qué evaluamos?

Instrumento:

• Condiciones ambientales

• Mantenimiento• Calibraciones

Reactivo:

• Estabilidad• Desempeño• Conservación• Interferencias • Calibraciones

Operador:

• Competencia• Entrenamiento• Habilidad

Instrumento:



Reactivo:


Operador:

• Competencia• Entrenamiento• Habilidad

Instrumento:



Reactivo:



Reactivo:


Instrumento:



Reactivo:


Herramientas del desempeño AnalíticoControl de Calidad Interno

• CV% (Precisión)

• Sesgo% (Veracidad)

• Error Total% (Exactitud)

ET% = k x CV % + Sesgo %

• Error Sistemático Crítico

• Métrica Sigma


Tipos de Errores en la Medición

Tamaño del error Tamaño del error0

Valor

Verdadero

Desvío sistemático

Desempeño

analítico estable

Incremento en

error aleatorio

Tipos de Errores en la Medición

Tamaño del error Tamaño del error0(-)ET a

(+)ETa

Valor

VerdaderoEspecificación

de Calidad

Especificación

de Calidad

Desvío sistemático

Desempeño

analítico estable

Incremento en error

aleatorio

Recomendaciones de asociación de profesionales publicadas

Estado del Arte

Cuerpos regulatorios u organizaciones de Programas de la Evaluación Externa de la Calidad

Basados sobre las decisiones clínicas en general, Variabilidad biológica

Basados sobre la evolución clínica en situaciones clínicas específicas

Hytoft P et al, Scand J Clin Lab Invest 1999; 57,7

Evaluación del Desempeño: Especificaciones de la ca lidad analítica

Jerarquías de modelos para establecer especificacio nes de calidad

Test CLIA Rilibak V.B Deseable

Calcio ± 1,0 mg/dl 6 % 2,4 %

Colesterol Total 10 % 13 % 8,5 %

Creatinina (± 0,3 mg/dl) 15 % 11,5 % 8,2 %

Glucosa (± 6 mg/dl) 10 % 11 % 6,9 %

Sodio ± 4 mmol/l 3 % 0,9 %

Proteínas Totales 10 % 6 % 3,4 %

Hemoglobina 7 % 4 % 4,1 %

Tiroxina (± 1 µg/dl) 20 % 12,5 % 7 %

Modificado de Klee, Clin Chem 56:5 (2010)

Evaluación del Desempeño: Especificaciones de la ca lidad analítica

Registros del Laboratorio :

• Cartas de control

• Indicadores de desempeño analítico

• Análisis de resultados de controles internos: individual y grupo par

• Análisis de resultados de controles externos: cumplimiento de programa, análisis adicional


Evaluación de Desempeño Analítico Control de Calida d Interno

• Evaluación en el Laboratorio : El desempeño del control interno de calidad del Laboratorio es

comparado contra la Especificación elegida

• Evaluación con otros Laboratorios: Grupo de comparación

Evaluación del Control de Calidad Interno

• Cálculo de Media y desvíos propios• Reglas de aceptación/rechazo• Evaluación diaria de resultados• Evaluación periódica• Acciones correctivas y de mejora

Percentiles


Percentilos

CV

%Distribución de Percentilos de CV % para Creatinina

Evaluación del Desempeño: Indicadores de Calidad

4.12 Mejora continua

4.12.4 La dirección del laboratorio debe implementar indicadores de la calidad para el seguimiento y la evaluación sistemáticos de la contribución del laboratorio al cuidado del paciente

C 4.12.4 Los indicadores de calidad deben incluir asp ectos de gestión y técnicos. Se deben incluir indicadores de procedimi entos pre analíticos, analíticos y post analíticos. Los indic adores deben ser relevantes para la mejora del cuidado del paciente y su seguridad

NM ISO 15189: 2010

Criterios Generales OAA

• Específicos con la actividad valorada

• Cuantificable

• Comparable en el tiempo

• Fiable

• Fácil de establecer, mantener y utilizar

• Compatible con otros indicadores establecidos

Indicadores de Calidad - Características

Monitoreo de Indicadores de Calidad Analítico en

Laboratorio Hidalgo

Características : Fáciles de establecer, mantener y utilizar

Realidad : 20 plataformas analíticas, 215 determinaciones cuantitativas y alrededor de 500 datos mensuales de comportamiento analítico

Acción de mejora : Diseño de una herramienta informática que permita realizar el monitoreo

G. Maccallini, P. Bechi, G. Sand, M. Sánchez, P. Si lguero, L. Moreno, M. Hidalgo

Laboratorio Hidalgo, Martínez, Buenos Aires, Argentina

Diseño de una herramienta informática para el monitoreo de la imprecisión analítica a largo plazo en el Laboratorio

5º Ciclo Internacional de Conferencias de la Calidad, Cancún, México 2010

Instrumento 2

Instrumento 3

Instrumento 4

Instrumento 5

Instrumento 1

Programa de Control de Calidad Interno Unity Real Time

Programa

QCRS

Monitoreo de Imprecisión Analítica Mensual

Diseño de un sistema de carga automática de datos p ara el Monitoreo de Imprecisión Analítica

Indicador: Imprecisión Analítica Mensual (CV %)Valor target: Especificación de Imprecisión Variabilida d Biolólgica deseable

Indicadores de Calidad: ANALITICO

Monitoreo de Imprecisión Analítica Mensual

Electroforesis, fracción Gamma Globulina Enero 2008 a Junio 2011

0

2

4

6

8

10

12

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39

Meses

CV

%

Nivel 1

Nivel 2

Variabilidad Biológica deseable Cambio de Método

Indicadores de Calidad Analítica

Monitoreo de Imprecisión analítica a largo plazo

Calcio Nivel 2 Aeroset-Architect 16000

0

1

2

3

4

5

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37

Meses

CV

%

Requerimiento Variabilidad Biológica deseable

Requerimiento Variabilidad Biológica mínimo

Requerimiento CLIA

Cambio de instrumento

Imprecisión Analítica Mensual a largo plazo .

Magnesio sérico Período Dic 2005 – Sept 2011 (70 meses)

0

1

2

3

4

5

6

7

8

dic-0

5abr-0

6ago-0

6dic

-06

abr-07

ago-07

dic-0

7abr-0

8ago-0

8dic

-08

ab r-09

ago-09

dic-0

9ab r-1

0ago-1

0dic

-10

abr-11

ago-11

CV

% M

ensu

al

N ive l 1

N ive l 2

Variabilidad Biológica Deseable CLIA (Presup. ET 25 %)CLIA (Presup. ET 16%)Variabilidad Biológica Mínimo

Monitoreo de Imprecisión analítica a largo plazo

Mejora continua

Monitoreo de Imprecisión - Sodio Modular P Nivel 2

0

0,5

1

1,5

2

1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64

Meses

CV

%

2006 200920082007 2010 2011

Requerimiento Variabilidad Biológica deseableRequerimiento Variabilidad Biológica mínimo

Requerimiento CLIA

Métrica Sigma

• Sistema que tiene como objetivo la evaluación cuantitativa de un proceso con el fin de demostrar la aceptabilidad del desempeño

• Medida de la variación y “centrado” de un proceso para predecir la tasa de defecto de ese proceso

Evaluación del Desempeño Analítico

Westgard J, Six Sigma Quality Design & Control, 2006

1s 2s 3s 4s 5s 6s 0

Valor

Verdadero

6s -5s -4s -3s -2s -1s

Límite de

Aceptación

Límite de

Aceptación

Six Sigma – Proceso Analítico

Sigma = (ETa – Bias)/CV

Cuanto mayor es el Sigma, mayor es la calidad del proceso, menor es la probabilidad de Error; es decir que será más fácil controlar el proceso

Comportamiento Analítico y Efecto del Cambio de

Tecnología en la medición de Hormonas Proteicas

Sánchez, M., Souto, J., Bechi, P., Rolé, N., Moya, A.,

Hidalgo, M., Maccallini, G.

Congreso Argentino de Endocrinología

Noviembre 2009

Resultados de Sigma promedio por tecnología y nivel de control

FSH LH PRL TSH

Nivel 1 2 3 1 2 3 1 2 3 1 2 3

Sigma Axsym n =18 1,7 1,6 1,4 1,9 2,4 1,9 3,1 3,6 3,4 2,4 3,1 2,2

Sigma Architectn = 16 3,3* 3,2* 3,5* 3,8 4,0 3,5 6,7 6,7 6,5 6,2 7,1 6,4

* n = 6

Monitoreo de Impresición AnaliticaImpacto del cambio de tecnología

TSH

02468

101214

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35

Nivel 1

Nivel 2

Nivel 3

Axsym Architect

0

2

4

6

8

10

12

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Meses

CV

% /

Sig

ma

Sigma

CV

0

2

4

6

8

10

12

Ene-10

Mar-10

May-10Jul-1

0

Sep-10

Nov-10

Ene-11

Mar-11

May-11Jul-1

1

Sep-11

Nov-11

CV

% /

Sig

ma

Imprecisión

Sigma

TSH Nivel I

• Selección de Programas• Evaluación y

seguimiento de Resultados

• Evaluación de Proveedor

• Acciones correctivas• Indicadores de grado de

cumplimiento

Los programas de Evaluación Externa de la Calidad permiten detectar errores o desvíos en métodos, en la Calibración o en el sistema analítico

Evaluación del desempeño: Programas de Evaluación E xterna

Herramientas del desempeño AnalíticoControl Externo de la Calidad

Características del Programa de Ensayos de Aptitud (Control Externo de la Calidad)

• Frecuencia

• Oportunidad de la retroalimentación

• Validez del análisis estadístico

• Trazabilidad en la medición

• Elección de programas acreditados por la ISO 17043


• Evaluación de resultados: De acuerdo al criterio de análisis del Programa:

• Valores de las muestras obtenidos por consenso de participantes del Programa. Análisis de grupo par

• Valores de las muestras obtenidos por métodos de referencia y rangos de aceptación fijos, independientes de los participantes

ISO 17043: Conocer más información sobre cómo el programa realiza y documenta el análisis de los resultados


Programas de Evaluación Externa de la Calidad

• Evaluación de acuerdo al sistema de análisis del Programa

• Evaluación individual de resultados

• Evaluación global de resultados. Porcentaje de cumplimiento

Herramientas de Evaluación de Desempeño Analítico

Programas de Evaluación Externa de la Calidad

• Evaluación acuerdo al Posicionamiento del Laboratorio teniendo en cuenta los resultados de otros laboratorios

• Evaluación de acuerdo al requerimiento del Laboratorio

Herramientas de Evaluación de Desempeño Analítico

Z Score

• Da información sobre el sobre el bias relativo respecto de lo esperado de la población de comparación

| z-score| Interpretación0 Comparación perfecta con el

grupo par≥ 2,0 Desempeño inaceptable

Evaluación de Desempeño en Programas de Evaluación E xterna

Z Score

Evaluación de Desempeño en Programas de Evaluación E xterna

Evaluación del Desempeño en Control de Calidad Extern o

Programa: College of American Pathologists – CAP - Target : > 80 %

Indicador Global de Calidad Analítica – Información de EQAS

Análisis de los Resultados de la participación en Programa de Evaluación Externa EQAS,

Bio Rad.

Banda A: Ubicación dentro de los mejores 20 % de Laboratorios

Banda B: Ubicación entre 21 y 40 % de los Laboratorios

Banda C: Ubicación entre 41 y 60 % de los Laboratorios

Banda D: Ubicación entre 61 y 80 % de los Laboratorios

Banda E: Ubicación entre 81 y último Laboratorio

REVISIÓN DE INDICADOR GLOBAL CCE

Posicionamiento: 9,7Posicionamiento: 29,8

CICLO 29 CICLO 37

2007

2011

MODULAR P

Posicionamiento Programa de Evaluación Externa

Programa: DGKL Monitoreo de Error total – % Cumplimiento Espec. VB

Evaluación del Desempeño en Control de Calidad Extern o

• Resultados de pacientes pueden ser utilizados para evaluar el desempeño y estabilidad del método

• Medianas, Promedio de valores normales (AON) o de medias móviles

• Cambios observados podrían ser explicados por cambios esperados o no esperados en el Laboratorio

Evaluación del Desempeño: Resultados de Pacientes

Bull BS, Am J Clin Pathol, 1974Lott, Clin Chem 42:6, 1996Westgard, Clin Chem 42:10, 1996

Agradecimiento

Recuerdo y Reconocimiento

Dr. Alberto Hidalgo

6° Ciclo Internacional de Conferencias de la Calidad 56

Mesa # 2

Herramientas de Evaluación del Desempeño Analítico en el Laboratorio

Coordinador: Dr. Gustavo Maccallini

6° Ciclo Internacional de Conferencias de la Calidad

Mesa de trabajo 2

Participantes

Maribel Espinosa Pulido (México)

Rosario García Suarez (México)

Adriana Hernández Anica (México)

Araceli Pérez Vizuet (México)

Dennise Ríos (Colombia)

Alma Rodríguez Gallegos (México)

Nancy Serna (México)

Gustavo Maccallini (Argentina)


Herramientas de Evaluación del Desempeño Analítico

Veracidad

Error Total permitido

Desviación Estandar

Sesgo Analítico

CV

Error Sistemático

Error Total

Error Aleatorio

PrecisiónSigma

CCE


Factor Humano

Creatividad

Aprender

Compromiso

Actitud

Enseñar

Observación

Empatía

Creación de hábitos

Disciplina

Compartir

Retroalimentación

Competencia técnica


Conclusiones

• La evaluación del desempeño analítico DEBE ser realizada en todos los métodos del laboratorio clínico

• Las herramientas utilizadas DEBEN medir verdaderamente el proceso analítico de manera continua y sostenible, basada en metas viables.

• La información derivada de esta evaluación DEBEreflejarse en acciones de mejora

Muchas Gracias por su Atención

herramientas de evaluación del desempeño analítico en el lab clínico

Documents