“evaluación externa de la calidad” · evaluación de métodos qc interno qc externo resultados...

75
Interpretación y utilidad de los datos Interpretación y utilidad de los datos “Evaluación Externa de la “Evaluación Externa de la Calidad” Calidad” Selección de Proveedores Selección de Proveedores Interpretación y utilidad de los datos Interpretación y utilidad de los datos consignados en los reportes consignados en los reportes

Upload: others

Post on 21-Sep-2020

22 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Interpretación y utilidad de los datos Interpretación y utilidad de los datos

“Evaluación Externa de la “Evaluación Externa de la Calidad”Calidad”

Selección de ProveedoresSelección de Proveedores

Interpretación y utilidad de los datos Interpretación y utilidad de los datos consignados en los reportesconsignados en los reportes

Page 2: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

AgendaAgenda

�� IntroducciónIntroducción

�� DefinicionesDefiniciones

�� Selección de EsquemasSelección de Esquemas

�� AgrupaciónAgrupación�� AgrupaciónAgrupación

�� Evaluación de InformesEvaluación de Informes

�� Estimación del SesgoEstimación del Sesgo

�� No ConformidadesNo Conformidades

�� Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

�� ConclusionesConclusiones

Page 3: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

IntroducciónIntroducción

¿Cuál es el principal objetivo del Laboratorio objetivo del Laboratorio

Clínico o del Banco de Sangre?

Page 4: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

IntroducciónIntroducción

Generar resultados , productos y servicios productos y servicios

clínicamente útiles para el cuidado de la salud del

paciente……

Page 5: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

IntroducciónIntroducción

EtapaPre-

Analítica

EtapaAnalítica

EtapaPos-

Analítica

Muestras de pacientes y

donantes

Resultados, productos y

servicios

Laboratorio Clínico o Banco

de Sangre

Analítica Analítica servicios

Sistema de Gestión dela Calidad

ClínicamenteÚtiles

Page 6: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

IntroducciónIntroducciónEtapa AnalíticaEtapa Analítica

Calificaciónde Equipos

Evaluación de métodos

QCInterno

QCExterno

Resultados y Productos Clínicamente ÚtilesEspecificaciones Especificaciones

del fabricantedel fabricanteEspecificaciones Especificaciones del fabricante y del fabricante y / o requisitos de / o requisitos de

calidadcalidad

Requisitos de Requisitos de CalidadCalidad

Requisitos de Requisitos de CalidadCalidad

Sistema de Gestión de laCalidad

ReferenciaReferenciaQC: Control de la CalidadQC: Control de la Calidad

TEa

Page 7: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

AgendaAgenda

�� IntroducciónIntroducción

�� DefinicionesDefiniciones

�� Selección de EsquemasSelección de Esquemas

�� AgrupaciónAgrupación�� AgrupaciónAgrupación

�� Evaluación de InformesEvaluación de Informes

�� Estimación del SesgoEstimación del Sesgo

�� No ConformidadesNo Conformidades

�� Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

�� ConclusionesConclusiones

Page 8: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

DefinicionesDefiniciones

ResultadoResultado(1)(1)

Mejor estimacióndel valor verdadero

Page 9: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

DefinicionesDefiniciones

ResultadoResultado(a)(a)

Mejor estimacióndel valor verdadero

(b)

Error de medida % = (a) Error de medida % = (a) ––(b) * 100(b) * 100(b)(b)

Error de medida Error de medida ( c )( c ) = (a) = (a) ––(b) (b)

Page 10: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

DefinicionesDefiniciones

Page 11: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

DefinicionesDefiniciones

ResultadoResultadoX1X1

ResultadoResultadoX2X2

Mejor estimaciónResultadoResultado

X3X3

ResultadResultadX4X4

ResultadoResultadoX5X5

Media = ∑ (Xi)Media = ∑ (Xi)nn

Mejor estimacióndel valor verdadero

Page 12: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

DefinicionesDefiniciones

Page 13: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

DefinicionesDefiniciones

ResultadoResultadoX1X1

ResultadoResultadoX2X2

Mejor estimaciónResultadoResultado

X3X3

ResultadResultadX4X4

ResultadoResultadoX5X5

Media = ∑ (Xi)Media = ∑ (Xi)(A) n(A) n

Mejor estimacióndel valor verdadero

(B)

Sesgo % = (A) Sesgo % = (A) ––(B) * 100(B) * 100(B)(B)

Sesgo Sesgo (c)(c)= (A) = (A) ––(B) (B)

Page 14: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

DefinicionesDefiniciones“Esquemas de Evaluación Externa de la “Esquemas de Evaluación Externa de la

Calidad (Calidad (EQAsEQAs).”).”

ComparacionesComparaciones InterlaboratorioInterlaboratorio yy otrasotras evaluacionesevaluaciones dededesempeñodesempeño queque sese puedenpueden extenderextender aa travéstravés dede todastodas laslasfasesfases deldel ciclociclo dede análisis,análisis, incluyendoincluyendo interpretacióninterpretación dederesultadosresultados;; determinacióndeterminación individualindividual yy colectivacolectiva dede laslasresultadosresultados;; determinacióndeterminación individualindividual yy colectivacolectiva dede laslascaracterísticascaracterísticas dede desempeñodesempeño dede loslos procedimientosprocedimientos dedeexamenexamen deldel laboratoriolaboratorio porpor mediomedio dede comparacionescomparacionesinterlaboratoriointerlaboratorio..

NOTANOTA:: LosLos objetivosobjetivos primariosprimarios dede loslos EQAsEQAs sonsoneducacionaleseducacionales yy puedenpueden recibirrecibir soportesoporte dede otrosotroselementoselementos..

Page 15: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

DefinicionesDefiniciones

Ensayos de Aptitud (Ensayos de Aptitud (ProficienciaProficiencia))

ProgramaPrograma enen elel cualcual múltiplesmúltiples muestrasmuestras sonsonenviadasenviadas periódicamenteperiódicamente aa loslos miembrosmiembros dede unungrupogrupo dede laboratorioslaboratorios parapara análisisanálisis y/oy/ogrupogrupo dede laboratorioslaboratorios parapara análisisanálisis y/oy/oidentificación,identificación, enen elel cualcual loslos resultadosresultados dede cadacadalaboratoriolaboratorio sonson comparadoscomparados concon loslos resultadosresultadosdede otrosotros laboratorioslaboratorios enen elel grupogrupo y/oy/o concon ununvalorvalor asignado,asignado, yy informadosinformados aa loslos laboratorioslaboratoriosparticipantesparticipantes yy otrosotros..

Page 16: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

DefinicionesDefiniciones

Valor Asignado (Valor Target)Valor Asignado (Valor Target)

MediaMedia dede laslas respuestasrespuestas dede loslos participantesparticipantes deldelgrupogrupo dede comparacióncomparación despuésdespués dede haberhaberremovidoremovido loslos OUTLIERSOUTLIERS (resultados(resultados quequeexcedanexcedan loslos 33 desvíosdesvíos estándarestándar deldel grupogrupo dedeexcedanexcedan loslos 33 desvíosdesvíos estándarestándar deldel grupogrupo dedecomparación)comparación) oo lala mediamedia establecidaestablecida porpor ununmétodométodo definitivodefinitivo oo dede referenciareferencia aceptadosaceptadosparapara susu usouso enen elel ““NationalNational ReferenceReference SystemSystemforfor thethe ClinicalClinical LaboratoryLaboratory”” porpor ““ClinicalClinical andandLaboratoryLaboratory StanbdarStanbdar InstituteInstitute””..

Page 17: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

AgendaAgenda

�� IntroducciónIntroducción

�� DefinicionesDefiniciones

�� Selección de EsquemasSelección de Esquemas

�� AgrupaciónAgrupación�� AgrupaciónAgrupación

�� Evaluación de InformesEvaluación de Informes

�� Estimación del SesgoEstimación del Sesgo

�� No ConformidadesNo Conformidades

�� Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

�� ConclusionesConclusiones

Page 18: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Selección de EsquemasSelección de Esquemas�� Criterios para la selección de esquemas:Criterios para la selección de esquemas:

-- RegulacionesRegulaciones

-- Asignación de valoresAsignación de valores

-- Muestras con trazabilidad a valores de referencia (*)Muestras con trazabilidad a valores de referencia (*)

-- Conmutabilidad (*)Conmutabilidad (*)-- Conmutabilidad (*)Conmutabilidad (*)

-- CostosCostos

-- Grupos de Comparación (menú, NGrupos de Comparación (menú, N°° de participantes)de participantes)

-- FrecuenciaFrecuencia

-- Tiempo de entrega de los reportesTiempo de entrega de los reportes

-- Utilidad de los reportesUtilidad de los reportes

-- Valor educacionalValor educacional

-- Servicio de atención al usuarioServicio de atención al usuario

Page 19: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Selección de EsquemasSelección de Esquemas

Page 20: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Selección de EsquemasSelección de Esquemas

5.6.4:5.6.4: El laboratorio debe participar en El laboratorio debe participar en comparaciones comparaciones interlaboratoriointerlaboratorio Tales Tales como las organizadas por programas de como las organizadas por programas de evaluación externa de la calidad. La evaluación externa de la calidad. La dirección del laboratorio debe hacer un dirección del laboratorio debe hacer un dirección del laboratorio debe hacer un dirección del laboratorio debe hacer un seguimiento de los resultados de la seguimiento de los resultados de la evaluación externa de la calidad y evaluación externa de la calidad y participar en la implementación de participar en la implementación de acciones correctivas cuando no se acciones correctivas cuando no se cumplan los criterios de control.cumplan los criterios de control.

Page 21: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Selección de EsquemasSelección de Esquemas

Los programas de comparación Los programas de comparación interlaboratoriointerlaboratorio deben estar deben estar substancialmente de acuerdo con lasubstancialmente de acuerdo con la

ISO/IEC Guide 43ISO/IEC Guide 43--1.1.ISO/IEC Guide 43ISO/IEC Guide 43--1.1.

…substancialmente de acuerdo con la…substancialmente de acuerdo con la

ISO/IEC Guide 43ISO/IEC Guide 43--1…1…

Page 22: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Selección de EsquemasSelección de Esquemas

Page 23: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Selección de EsquemasSelección de Esquemas

�� Estructura de la NormaEstructura de la Norma

IntroducciónIntroducción

1)1)-- Objetivo y Campo de AplicaciónObjetivo y Campo de Aplicación

2)2)-- Referencias NormativasReferencias Normativas2)2)-- Referencias NormativasReferencias Normativas

3)3)-- Términos y definicionesTérminos y definiciones

4)4)-- Requisitos TécnicosRequisitos Técnicos

5)5)-- Requisitos de GestiónRequisitos de Gestión

AnexosAnexos

BibliografíaBibliografía

Page 24: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Selección de EsquemasSelección de Esquemas

Requisitos TécnicosRequisitos Técnicos

Page 25: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Selección de EsquemasSelección de Esquemas

Requisitos de GestiónRequisitos de Gestión

Page 26: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Selección de EsquemasSelección de Esquemas

AnexoAnexo

Page 27: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

AgendaAgenda

�� IntroducciónIntroducción

�� DefinicionesDefiniciones

�� Selección de EsquemasSelección de Esquemas

�� AgrupaciónAgrupación�� AgrupaciónAgrupación

�� Evaluación de InformesEvaluación de Informes

�� Estimación del SesgoEstimación del Sesgo

�� No ConformidadesNo Conformidades

�� Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

�� ConclusionesConclusiones

Page 28: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

AgrupaciónAgrupación

Grupo ParGrupo Par

MétodoMétodo

TrazabilidadTrazabilidadOKOK

TrazabilidadTrazabilidadMétodoMétodo

Todos los MétodosTodos los Métodos

TrazabilidadTrazabilidad+ / + / --

TrazabilidadTrazabilidad

-- //++

Page 29: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

AgrupaciónAgrupaciónMétodoMétodo

Ej. Verde de Ej. Verde de BromocresolBromocresol(Albúmina)(Albúmina)

Instrumento XXInstrumento XX Instrumento ZZInstrumento ZZ

Método: Verde de Método: Verde de BromocresolBromocresol

Instrumento XXInstrumento XXReactivo XXReactivo XX

(Verde de (Verde de BromocresolBromocresol))

Instrumento ZZInstrumento ZZReactivo ZZReactivo ZZ

(Verde de (Verde de BromocresolBromocresol))

Lab.1

Lab.2

Lab.3

Lab.4

Lab.5

Lab.6

Lab.7

Lab.8

Grupo par XXGrupo par XX Grupo par ZZGrupo par ZZ

Page 30: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

AgrupaciónAgrupación

MétodoMétodoEj. Verde de Ej. Verde de BromocresolBromocresol(Albúmina)(Albúmina)

Instrumento XXInstrumento XX Instrumento ZZInstrumento ZZ

MétodoMétodoEj. Púrpura de Ej. Púrpura de

BromocresolBromocresol(Albúmina)(Albúmina)

Instrumento YYInstrumento YY Instrumento VVInstrumento VVInstrumento XXInstrumento XXReactivo XXReactivo XX

(Verde de (Verde de BromocresolBromocresol))

Instrumento ZZInstrumento ZZReactivo ZZReactivo ZZ

(Verde de (Verde de BromocresolBromocresol))

Lab.1

Lab.2

Lab.3

Lab.4

Instrumento YYInstrumento YYReactivo YYReactivo YY(Púrpura de (Púrpura de

BromocresolBromocresol))

Instrumento VVInstrumento VVReactivo VVReactivo VV(Púrpura de (Púrpura de

BromocresolBromocresol))

Lab.5

Lab.6

Lab.7

Lab.8

Grupo par XXGrupo par XX Grupo par ZZGrupo par ZZ Grupo par YYGrupo par YY Grupo par VVGrupo par VV

MétodoMétodoVerde de Verde de BromocresolBromocresol

MétodoMétodoPúrpura de Púrpura de BromocresolBromocresol

Todos los Métodos Todos los Métodos y laboratoriosy laboratorios

Page 31: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

AgendaAgenda

�� IntroducciónIntroducción

�� DefinicionesDefiniciones

�� Selección de EsquemasSelección de Esquemas

�� AgrupaciónAgrupación�� AgrupaciónAgrupación

�� Evaluación de InformesEvaluación de Informes

�� Estimación del SesgoEstimación del Sesgo

�� No ConformidadesNo Conformidades

�� Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

�� ConclusionesConclusiones

Page 32: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Evaluación de InformesEvaluación de Informes

��Evaluación de Encuestas Evaluación de Encuestas

(1)(1)--Frente todos los ResultadosFrente todos los Resultados

(todos los métodos)(todos los métodos)(todos los métodos)(todos los métodos)

(2)(2)-- Frente a mí métodoFrente a mí método

(frente a mi método)(frente a mi método)

(3)(3)-- Grupo parGrupo par

(mi método en mi misma plataforma analítica)(mi método en mi misma plataforma analítica)

Page 33: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Evaluación de InformesEvaluación de InformesEncuesta (1) 01/2011

Analito Glucosa

Su resultado 472

Unidades mg/dlResultados aceptados

Resultados Excluidos Media SDR CVR SDI

Error %

Todos 2505 63 480 23.9 5.0 -0.3 -1.7

Método 1348 7 483 18.8 3.9 -0.6 -2.3Método 1348 7 483 18.8 3.9 -0.6 -2.3

Grupo Par 325 3 470 14.4 3.1 0.1 0.4

SDR Desvío Estándar en condiciones de reproducibilidad

CVR Coeficiente de Variación en condiciones de reproducibilidad

SDI = Su resultado – MediaSDR

Error % = (Su resultado – Media) * 100Media

Page 34: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Evaluación de InformesEvaluación de Informes

Page 35: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Reproducibilidad (SR)Reproducibilidad (SR)

-- El mismo procedimiento de medidaEl mismo procedimiento de medida

-- Distinto laboratorioDistinto laboratorio

Evaluación de InformesEvaluación de Informes

-- Distinto laboratorioDistinto laboratorio

-- Distinto operadorDistinto operador

-- Distinto equipoDistinto equipo

-- El mismo material o similarEl mismo material o similar

Page 36: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Expresión:Expresión:

SSRR (Desvío Estándar)(Desvío Estándar)

ReproducibilidadReproducibilidad

Evaluación de InformesEvaluación de Informes

SSRR (Desvío Estándar)(Desvío Estándar)

SDSDRR (Desvío Estándar)(Desvío Estándar)

CVCVRR ((Coeficiente de Variación)Coeficiente de Variación)

Page 37: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Evaluación de InformesEvaluación de Informes�� SDI (SDI (--1 1 << SDI SDI << 1)1)

�� Error %Error %

SDI = Su resultado – MediaSDR

Error % = (Su resultado – Media) * 100

“ El SDI y el Error % dependen de las “ El SDI y el Error % dependen de las estadísticas del grupo de comparación”estadísticas del grupo de comparación”

Error % = (Su resultado – Media) * 100Media

Si Error % < TEa% “Aceptado”

Si Error % > TEa% “Rechazado”

Page 38: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Evaluación de InformesEvaluación de Informes�� GráficosGráficos

Todos los resultadosMétodoGrupo parSu resultado

Page 39: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Evaluación de InformesEvaluación de Informes

Es de fundamental Es de fundamental importancia evaluar las importancia evaluar las importancia evaluar las importancia evaluar las encuestas de evaluación encuestas de evaluación

externa de la calidad externa de la calidad considerando las considerando las

encuestas anterioresencuestas anteriores

Page 40: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Evaluación de InformesEvaluación de Informes

•• Considerar el Considerar el desempeño del grupo desempeño del grupo

de comparaciónde comparaciónSDI

•• Evaluar el resultado Evaluar el resultado obtenido frente a los obtenido frente a los requisitos de calidad requisitos de calidad

seleccionadoseleccionadoTEa

Page 41: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Evaluación de InformesEvaluación de Informes�� GráficosGráficos

Media deComparación

Índ

ice

de

des

vío

est

án

da

r

Fecha de la encuesta

Índ

ice

de

des

vío

est

án

da

r (S

DI)

Page 42: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Existe un sesgo? Fue evaluado? Existe un sesgo? Fue evaluado?

Evaluación de InformesEvaluación de Informes

Page 43: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Existe una tendencia? Fue evaluadaExiste una tendencia? Fue evaluada?

Evaluación de InformesEvaluación de Informes

Page 44: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Existe un cambio en la precisión? Fue evaluado?Existe un cambio en la precisión? Fue evaluado?

Ciclo 1 Ciclo 2

Evaluación de InformesEvaluación de Informes

1 2 3 4 5 6 7 8 9 10 11 1210 11 12 1 2 3 4 5 6 7 8 9

Page 45: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

El resultado está excluido?El resultado está excluido?

Urea (mg/dl)

Evaluación de InformesEvaluación de Informes

Page 46: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

El resultado está excluido?El resultado está excluido?

Creatinina (mg/dl)

Evaluación de InformesEvaluación de Informes

Page 47: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Evaluación de InformesEvaluación de Informes

��Evaluación de Encuestas frente a Evaluación de Encuestas frente a TEaTEa

Glucosa en Suero en mg/dl

EncuestaSu resultado

(a)Valor

Consenso (b) Error % TEa % Fuente EstadoEncuesta (a) Consenso (b) Error % TEa % Fuente Estado01/01/2011

(1) 470 472 -0.42 10 CLIA Aceptado

Fecha y/o número de

identificación de la encuesta

Resultado informado por el

laboratorio

Mejor estimación del valor

verdadero

Error % = (a – b) * 100b

Requisito de calidad y fuente

Si Error % < TEa% “Aceptado”

Si Error % > TEa% “Rechazado”

Page 48: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

AgendaAgenda

�� IntroducciónIntroducción

�� DefinicionesDefiniciones

�� Selección de EsquemasSelección de Esquemas

�� AgrupaciónAgrupación�� AgrupaciónAgrupación

�� Evaluación de InformesEvaluación de Informes

�� Estimación del SesgoEstimación del Sesgo

�� No ConformidadesNo Conformidades

�� Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

�� ConclusionesConclusiones

Page 49: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Estimación del SesgoEstimación del Sesgo

¿Cómo estimar el Sesgo a partir de una encuesta de partir de una encuesta de evaluación externa de la

calidad?

Page 50: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Estimación del SesgoEstimación del Sesgo

Encuesta (HCV)

Su resultado (S/CO)

Media consenso grupo par (S/CO)

Error (%)

1 1,9 2,0 5,0

2 2,7 2,8 3,6

3 3,1 2,9 6,9

4 2,0 1,9 5,04 2,0 1,9 5,0

Media 5,1

Error % = [ Su resultado Error % = [ Su resultado –– Media consenso grupo par] x 100Media consenso grupo par] x 100Media consenso grupo parMedia consenso grupo par

Media = 5,0 + 3,6 + 6,9 + 5,0 Media = 5,0 + 3,6 + 6,9 + 5,0 44

Media = 5,1Media = 5,1

Page 51: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Estimación del SesgoEstimación del Sesgo

Encuesta (HCV)

Su resultado (S/CO)

Media consenso grupo par (S/CO)

Error (%)

1 1,9 2,0 5,0

2 2,7 2,8 3,6

3 3,1 2,9 6,9

4 2,0 1,9 5,04 2,0 1,9 5,0

Media 5,1

Media = 5,1Media = 5,1 BiasBias o Sesgoo Sesgo

Page 52: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Estimación del SesgoEstimación del Sesgo

Encuesta (HCV)

Su resultado (S/CO)

Media consenso grupo par (S/CO)

Error (%)

1 1,9 2,0 5,0

2 2,7 2,8 3,6

3 3,1 2,9 6,9

4 2,0 1,9 5,04 2,0 1,9 5,0

RMSbias

Error % = [ Su resultado Error % = [ Su resultado –– Media consenso grupo par] x 100Media consenso grupo par] x 100Media consenso grupo parMedia consenso grupo par

Page 53: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Estimación del SesgoEstimación del Sesgo

∑ Bias∑ Bias22 = 5,0= 5,022 + 3,6 + 3,6 22+ 6,9 + 6,9 22+ 5,0 + 5,0 2 2

nn 44

∑ Bias∑ Bias22 = 27,6= 27,6nnnn

RMS RMS biasbias = √27,6= √27,6

RMS RMS biasbias = 5.3= 5.3BiasBias o Sesgoo Sesgo

Page 54: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Estimación del SesgoEstimación del Sesgo

Encuesta (HCV)

Su resultado (S/CO)

Media consenso grupo par (S/CO)

Error (%)

1 1,9 2,0 5,0

2 2,7 2,8 3,6

3 3,1 2,9 6,9

4 2,0 1,9 5,04 2,0 1,9 5,0

RMSbias 5,3

RMSRMSbiasbias = 5,3= 5,3 BiasBias o Sesgoo Sesgo

Page 55: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

AgendaAgenda

�� IntroducciónIntroducción

�� DefinicionesDefiniciones

�� Selección de EsquemasSelección de Esquemas

�� AgrupaciónAgrupación�� AgrupaciónAgrupación

�� Evaluación de InformesEvaluación de Informes

�� Estimación del SesgoEstimación del Sesgo

�� No ConformidadesNo Conformidades

�� Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

�� ConclusionesConclusiones

Page 56: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

No ConformidadesNo Conformidades

Investigación de Resultados RechazadosInvestigación de Resultados Rechazados

Se deben escribir procedimientos para:Se deben escribir procedimientos para:

-- Detectar, comprender y corregir los Detectar, comprender y corregir los problemas identificados.problemas identificados.

Page 57: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

No ConformidadesNo Conformidades

1)1)-- Recoger y revisar información inicial.Recoger y revisar información inicial.

2)2)-- Clasificación del ProblemaClasificación del Problema

-- Error de administrativoError de administrativo

-- Problema metodológicoProblema metodológico-- Problema metodológicoProblema metodológico

-- Problema con el equipoProblema con el equipo

-- Problema TécnicoProblema Técnico

-- Problemas con el material del esquemaProblemas con el material del esquema

-- Problema con la evaluación de los resultadosProblema con la evaluación de los resultados

-- Sin explicación después de la investigaciónSin explicación después de la investigación

Page 58: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

No ConformidadesNo Conformidades

3)3)-- Causa RaízCausa Raíz

-- Entrenamiento insuficiente o poco efectivo del Entrenamiento insuficiente o poco efectivo del personal.personal.

-- Falta de experiencia, conocimiento o Falta de experiencia, conocimiento o comprensión del esquema.comprensión del esquema.comprensión del esquema.comprensión del esquema.

-- Comunicación o instrucciones inadecuadas Comunicación o instrucciones inadecuadas por parte del supervisor.por parte del supervisor.

-- Uso de equipamiento inadecuado o Uso de equipamiento inadecuado o inapropiado.inapropiado.

-- Espacio de trabajo inadecuado.Espacio de trabajo inadecuado.

Page 59: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

No ConformidadesNo Conformidades4)4)--Investigación de impacto sobre resultados Investigación de impacto sobre resultados

de pacientes y acciones.de pacientes y acciones.

-- Documentación de cada episodioDocumentación de cada episodio

-- Consideración del impacto medico de cada episodio sobre Consideración del impacto medico de cada episodio sobre los resultados los resultados

-- Detención de procesamiento e informe de resultadosDetención de procesamiento e informe de resultados-- Detención de procesamiento e informe de resultadosDetención de procesamiento e informe de resultados

-- Identificación y recuperación de los resultados de Identificación y recuperación de los resultados de pacientes afectadospacientes afectados

-- Definición de las acciones a tomarDefinición de las acciones a tomar

-- Designar responsables para la resolución del problemaDesignar responsables para la resolución del problema

-- Definición de responsabilidades para reanudar el ensayoDefinición de responsabilidades para reanudar el ensayo

Page 60: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

No ConformidadesNo Conformidades

5)5)-- Acciones Correctivas (sobre causa raíz)Acciones Correctivas (sobre causa raíz)

6)6)-- DocumentaciónDocumentación

-- InvestigaciónInvestigación

-- ConclusionesConclusiones-- ConclusionesConclusiones

-- Acciones CorrectivasAcciones Correctivas

Page 61: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

AgendaAgenda

�� IntroducciónIntroducción

�� DefinicionesDefiniciones

�� Selección de EsquemasSelección de Esquemas

�� AgrupaciónAgrupación�� AgrupaciónAgrupación

�� Evaluación de InformesEvaluación de Informes

�� Estimación del SesgoEstimación del Sesgo

�� No ConformidadesNo Conformidades

�� Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

�� ConclusionesConclusiones

Page 62: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

No son No son muestras muestras

ciegasciegas

PrecisiónPrecisión VeracidadVeracidad ExactitudExactitud

No reemplazan a los No reemplazan a los EQAsEQAs!!!!!!!!!!!!

Son complementarios!!!!!!!!!!Son complementarios!!!!!!!!!!

Page 63: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

�� Funciones:Funciones:

-- Seguimiento del control estadístico Interno Seguimiento del control estadístico Interno de la calidad.de la calidad.

-- Seguimiento del desempeño de los ensayos Seguimiento del desempeño de los ensayos en función del tiempo (TE y/o Sigma).en función del tiempo (TE y/o Sigma).

-- Planificación del control estadístico Planificación del control estadístico interno de la calidad.interno de la calidad.

Page 64: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

Lab. 1Equipo: XMétodo : A

Lab..2Equipo: XMétodo : A

Lab. 3Equipo: Z

Método : A

Lab. 4Equipo: Z

Método : A

Lab..5Equipo: YMétodo : B

Lab. 6Equipo: YMétodo : B

Material de Control Interno de la Calidad Lote XXX

Día 1Día 2Día 3

Día n

Día 1Día 2Día 3

Día n

Día 1Día 2Día 3

Día n

Día 1Día 2Día 3

Día n

Día 1Día 2Día 3

Día n

Día 1Día 2Día 3

Día n

28 datos

26 datos

29 datos

31 datos

24 datos

27 datos

-Emplea el material de control día a día para su control estadístico interno.- Sigue las gráficas de control.-Evalúa la liberación de las corridas analíticas.

Page 65: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

Lab..2Equipo: XMétodo : A

Lab. 3Equipo: Z

Método : A

Lab. 4Equipo: Z

Método : A

Lab..5Equipo: YMétodo : B

Lab. 6Equipo: YMétodo : B

28 datos

26 datos

29 datos

31 datos

24 datos

27 datos

Lab. 1Equipo: XMétodo : A

Organizador del esquema

Grupo par X,A

Grupo par Z,A

Grupo par Y,B

Método A

Método B

Todos los Labs.

X, SD y CVX, SD y CVMensual y Mensual y AcumuladoAcumulado

X, SD y CVX, SD y CVMensual y Mensual y AcumuladoAcumulado

X, SD y CVX, SD y CVMensual y Mensual y AcumuladoAcumulado

X, SD y CVX, SD y CVMensual y Mensual y AcumuladoAcumulado

X, SD y CVX, SD y CVMensual y Mensual y AcumuladoAcumulado

X, SD y CVX, SD y CVMensual y Mensual y AcumuladoAcumulado

Page 66: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

Organizador del esquema

Datos lab. 1

Datos lab. 2

Datos lab. 3

Datos lab. 4

Datos lab. 5

Datos lab. 6

InformeInforme InformeInforme InformeInforme InformeInforme InformeInforme InformeInforme

Lab..2Equipo: XMétodo : A

Lab. 3Equipo: Z

Método : A

Lab. 4Equipo: Z

Método : A

Lab..5Equipo: YMétodo : B

Lab. 6Equipo: YMétodo : B

Lab. 1Equipo: XMétodo : A

Grupo par X,A

Método A

Todos los Labs.

1Grupo

par X,A

Método A

Todos los Labs.

2

Método A

Todos los Labs.

3Grupo par

Z,A

Método A

Todos los Labs.

4Grupo par

Z,A

Todos los Labs.

5Grupo

par Y,B

Método B

Todos los Labs.

6Grupo

par Y,B

Método B

Page 67: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

Datos del Datos del LaboratorioLaboratorio

Grupo parGrupo par

MétodoMétodo

Page 68: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

Formula:Formula:

BiasBias o Sesgo en Porcentajeo Sesgo en Porcentaje

(Media del (Media del LabLab. . –– Media de Comp.) * 100Media de Comp.) * 100(Media del (Media del LabLab. . –– Media de Comp.) * 100Media de Comp.) * 100

Media de Comp.Media de Comp.

Page 69: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

Media mensual del grupo Media mensual del grupo parpar

=[[ (5.08 =[[ (5.08 --5.09)/5.09].1005.09)/5.09].100

=0.19%=0.19%

Media acumulada del Media acumulada del grupo pargrupo par

=[[ (5.08 =[[ (5.08 --5.05)/5.05].1005.05)/5.05].100

=0.59%=0.59%

Media acumulada del Media acumulada del laboratoriolaboratorio

=[[ (5.08 =[[ (5.08 --5.09)/5.09].1005.09)/5.09].100

=0.19%=0.19%

Media mensual métodoMedia mensual método=[[ (5.08 =[[ (5.08 --4.74)/4.74].1004.74)/4.74].100

=7.17%=7.17%

Media acumulada Media acumulada métodométodo

=[[ (5.08 =[[ (5.08 --4.73)/4.73].1004.73)/4.73].100

=7.40%=7.40%

Page 70: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

Media mensual del grupo Media mensual del grupo parpar

=[[ 9.34 =[[ 9.34 --9.48)/9.48].1009.48)/9.48].100

=1.48%=1.48%

Media acumulada del Media acumulada del grupo pargrupo par

=[[ (9.34 =[[ (9.34 --9.50)/9.50].1009.50)/9.50].100

=1.68%=1.68%

Media acumulada del Media acumulada del laboratoriolaboratorio

=[[ (9.34 =[[ (9.34 --9.42)/9.42].1009.42)/9.42].100

=0.85%=0.85%

Media mensual métodoMedia mensual método=[[ (9.34 =[[ (9.34 --9.38)/9.38].1009.38)/9.38].100

=0.43%=0.43%

Media acumulada Media acumulada métodométodo

=[[ (9.34 =[[ (9.34 --9.27)/9.27].1009.27)/9.27].100

=0.76%=0.76%

Page 71: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

Nivel de Decisión médica

Sesgo %Grupo par mensual

Sesgo % Grupo par

Acum.

Sesgo %Método mensual

Sesgo %MétodoAcum.

Sesgo %Acum. del

lab.

11 0.190.19 0.590.59 7.177.17 7.407.40 0.190.19

22 1.481.48 1.681.68 0.430.43 0.760.76 0.850.85

Page 72: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

AgendaAgenda

�� IntroducciónIntroducción

�� DefinicionesDefiniciones

�� Selección de EsquemasSelección de Esquemas

�� AgrupaciónAgrupación�� AgrupaciónAgrupación

�� Evaluación de InformesEvaluación de Informes

�� Estimación del SesgoEstimación del Sesgo

�� No ConformidadesNo Conformidades

�� Esquemas de Comparación Esquemas de Comparación InterlaboratorioInterlaboratorio

�� ConclusionesConclusiones

Page 73: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

ConclusionesConclusiones

�� Los Los EQAsEQAs junto con los programas de junto con los programas de comparación de grupo par juagan un rol comparación de grupo par juagan un rol fundamental en el control de la etapa fundamental en el control de la etapa analítica.analítica.

�� Esto esquemas son complementarios no Esto esquemas son complementarios no excluyentes.excluyentes.

�� Ayudan a asegurar la utilidad clínica de Ayudan a asegurar la utilidad clínica de los resultados.los resultados.

�� Deben apoyarse en un sistema de gestión Deben apoyarse en un sistema de gestión de la calidad.de la calidad.

Page 74: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

ConclusionesConclusiones

La calidad no es un destinoLa calidad no es un destino

…la calidad es una jornada continua…la calidad es una jornada continua…la calidad es una jornada continua…la calidad es una jornada continua

…que nos mantiene en la dirección …que nos mantiene en la dirección correcta!!!!!!!!correcta!!!!!!!!

Page 75: “Evaluación Externa de la Calidad” · Evaluación de métodos QC Interno QC Externo Resultados y Productos Clínicamente Útiles Especificaciones del fabricante Especificaciones

MUCHAS GRACIAS!MUCHAS GRACIAS!

[email protected]@gmigliarino.com