departamento de salud pública facultad de medicina...

Medición de la concordanciaMedición de la concordancia

Departamento de Salud Pública Facultad de Medicina

P d P d

UNAM

Preparado por:Preparado por:Dr. Juan José García GarcíaDr. Juan José García García

En el proceso de atención clínica no es raro En el proceso de atención clínica no es raro En el proceso de atención clínica no es raro En el proceso de atención clínica no es raro que, ante el mismo dato, se expresen que, ante el mismo dato, se expresen opiniones distintas en la interpretación.opiniones distintas en la interpretación.

EsteEste hechohecho puedepuede ocurrirocurrir entreentre dosdos colegas,colegas,peropero aúnaún unun mismomismo profesionalprofesional puedepuede llegarllegar aaperopero aúnaún unun mismomismo profesional,profesional, puedepuede llegarllegar aaconclusionesconclusiones diferentesdiferentes sisi observa,observa, porporejemplo,ejemplo, unauna mismamisma imagen,imagen, sinsin saberlosaberlo..

ElEl di i tdi i t d t id t i ll ElEl procedimientoprocedimiento parapara determinardeterminar lalaconcordanciaconcordancia entreentre observadoresobservadores oointraobservadorintraobservador consisteconsiste enenintraobservador,intraobservador, consisteconsiste enencompararcomparar laslas opiniones,opiniones, juiciosjuicios ooresultadosresultados emitidosemitidos uu obtenidosobtenidos porporresultadosresultados emitidosemitidos uu obtenidosobtenidos porpordosdos personaspersonas diferentesdiferentes oo porpor lalamismamisma personapersona enen dosdos ocasionesocasionesmismamisma personapersona enen dosdos ocasionesocasionesdiferentesdiferentes..

LaLa evaluaciónevaluación debedebe serser “a“a ciegas”ciegas” concontt ll di ó tidi ó ti d fi itid fi itirespectorespecto alal diagnósticodiagnóstico definitivodefinitivo yy aa

lala opiniónopinión dede loslos otrosotros participantesparticipantes oolala dede lala mismamisma personapersona expresadaexpresadalala dede lala mismamisma persona,persona, expresadaexpresadapreviamentepreviamente..

Naturaleza de los datos:Naturaleza de los datos:Tipo de variable estudiadaTipo de variable estudiada

C dC d ll i bli bl dd titi CuandoCuando lala variablevariable eses dede tipotipocualitativo,cualitativo, particularmenteparticularmente nominalnominaldicotómicadicotómica (expresada(expresada comocomo sí/nosí/no oodicotómica,dicotómica, (expresada(expresada comocomo sí/nosí/no oopresente/ausente)presente/ausente) uu ordinalordinal (por(porejemploejemplo leveleve moderadomoderado severo)severo) seseejemplo,ejemplo, leve,leve, moderado,moderado, severo),severo), sesepuedepuede calcularcalcular unun valorvalor queque expresaexpresaelel gradogrado enen queque dosdos observacionesobservacioneselel gradogrado enen queque dosdos observacionesobservacioneshanhan coincididocoincidido..

Ejemplos:Ejemplos:Ejemplos:Ejemplos:

EE ll lit tlit t dd tt EnEn lala literaturaliteratura sese puedenpueden encontrarencontrardiversasdiversas aplicacionesaplicaciones dede estaestapreocupaciónpreocupación porpor sabersaber quéqué tantotantopreocupaciónpreocupación porpor sabersaber quéqué tantotantocoincidencoinciden dosdos interpretacionesinterpretaciones dedeprocedimientosprocedimientos diagnósticosdiagnósticos talestalesprocedimientosprocedimientos diagnósticos,diagnósticos, talestalescomocomo loslos dede imagenología,imagenología, trazostrazoselectrocardiográficos,electrocardiográficos, estudiosestudioselectrocardiográficos,electrocardiográficos, estudiosestudioshistopatológicos,histopatológicos, característicascaracterísticas deldelfondofondo dede ojo,ojo, etcetc..j ,j ,

Medición de la concordanciaMedición de la concordanciaMedición de la concordanciaMedición de la concordancia

CasoCaso Observador 1Observador 1 Observador 2Observador 2CasoCaso Observador 1Observador 1 Observador 2Observador 21 +1 + ++2 + 2 + --3 3 -- ++4 4 -- --

NóteseNótese queque parapara loslos nn casoscasos hayhay dosdos mediciones,mediciones, yy queque dedeacuerdoacuerdo concon elel recuentorecuento dede ellasellas sese llenaránllenarán laslas celdillasceldillas dedeunauna tablatabla comocomo lala queque sese muestramuestra aa continuación,continuación, conconrespectorespecto aa lala presenciapresencia oo ausenciaausencia dede unauna alteraciónalteración..

Tabla general para el análisis de la Tabla general para el análisis de la g pg pconcordanciaconcordancia

Observador 2Observador 2Observador 1 Presente Ausente Total

Presente a b a + b

Ausente c d c + d

Total a + c b + d na c b d

Porcentaje de concordanciaPorcentaje de concordanciaPorcentaje de concordanciaPorcentaje de concordancia

P dP d d t id t i d id i b l tb l tPuedePuede determinarsedeterminarse comocomo concordanciaconcordancia absolutaabsoluta yy comocomoconcordanciaconcordancia específica,específica, estaesta últimaúltima referidareferida aa loslos casoscasosdiagnosticadosdiagnosticados comocomo positivospositivos oo negativosnegativos porpor ambosambosobservadoresobservadores..

Porcentaje de concordanciaPorcentaje de concordanciaPorcentaje de concordanciaPorcentaje de concordancia

E tE t diddid tt ll ióióEstaEsta medidamedida representarepresenta lala proporciónproporcióndede observacionesobservaciones enen laslas cualescuales loslosobservadoresobservadores reportanreportan resultadosresultadosobservadoresobservadores reportanreportan resultadosresultadosiguales,iguales, midemide porpor tantotanto lala variabilidadvariabilidadentreentre observadoresobservadoresentreentre observadoresobservadores..

NoNo consideraconsidera lala posibilidadposibilidad dede queque laslasNoNo consideraconsidera lala posibilidadposibilidad dede queque laslascoincidenciascoincidencias seansean debidasdebidas alal azarazar..

E tE t ll didi i di di di d EntreEntre loslos diversosdiversos indicadoresindicadoresconstruidosconstruidos parapara hacerhacer estaestaevaluaciónevaluación destacadestaca elel índiceíndice ooevaluación,evaluación, destacadestaca elel índiceíndice oocoeficientecoeficiente kappa,kappa, queque haha recibidorecibidoaceptaciónaceptación alal considerarconsiderar enen susuaceptación,aceptación, alal considerarconsiderar enen susucálculocálculo elel papelpapel queque pudopudo tenertener elelazarazar enen lala coincidenciacoincidencia dede laslasazarazar enen lala coincidenciacoincidencia dede laslasobservacionesobservaciones..

Analicemos la siguiente Analicemos la siguiente Analicemos la siguiente Analicemos la siguiente tabla:tabla:

Medición de la concordanciaMedición de la concordanciaMedición de la concordanciaMedición de la concordancia

Observador 1 Total

Presente Ausente

Observador 2Presente 140 52 192

Ausente 69 725 794

Total 209 777 986

Medición de la concordanciaMedición de la concordanciaMedición de la concordanciaMedición de la concordancia

Coeficiente o índice KappaCoeficiente o índice Kappa Coeficiente o índice KappaCoeficiente o índice KappaMejoraMejora lala estimaciónestimación deldel porcentajeporcentaje dede concordanciaconcordancia yaya quequedescuentadescuenta lala proporciónproporción dede lala mismamisma queque puedepuede ocurrirocurrir porporazarazar..K = K = Co Co -- CeCe

11 -- CeCe1 1 -- CeCeDonde: Donde: Co = concordancia observada = (a + d)/nCo = concordancia observada = (a + d)/nCo concordancia observada (a d)/nCo concordancia observada (a d)/nCe = concordancia esperada por azarCe = concordancia esperada por azar

= {[(a + b)/n] x [(a + c)/n]} + {[(c + d)/n] x [(b + d)/n]}= {[(a + b)/n] x [(a + c)/n]} + {[(c + d)/n] x [(b + d)/n]}

Índice kappa: Fórmula alternativaÍndice kappa: Fórmula alternativaÍndice kappa: Fórmula alternativaÍndice kappa: Fórmula alternativa

K = CoK = Co –– CeCe K = Co K = Co –– CeCe____________1 1 –– CeCe

DondeDondeDonde:Donde:Co = (a + d) / nCo = (a + d) / nCe = Ce = (a + b) (a + c)(a + b) (a + c) + + (c + d) (b + d)(c + d) (b + d)

nn22 nn22nn nn

Para los datos de la tabla:Para los datos de la tabla:Para los datos de la tabla:Para los datos de la tabla:

C d i b dC d i b d 0 87730 8773 Concordancia observada:Concordancia observada: 0.87730.8773 Concordancia esperada:Concordancia esperada: 0.67590.6759

Valor de Kappa=Valor de Kappa= 0.62140.6214

Medición de la consistencia:Medición de la consistencia:Criterios de Criterios de LandisLandis y Kochy Koch

Valor de KappaValor de Kappa Fuerza de Fuerza de concordanciaconcordancia

<< 000 a 0.200 a 0.20

PobrePobreLeveLeve

0.21 a 0.400.21 a 0.400.41 a 0.600.41 a 0.60

MedianaMedianaModeradaModerada

0.61 a 0.800.61 a 0.800.81 a 1.000.81 a 1.00

SustancialSustancialCasi perfectaCasi perfecta0.81 a 1.000.81 a 1.00

Ejercicio:Ejercicio:Ejercicio:Ejercicio:

DeDe acuerdoacuerdo concon loslos datosdatos dede lalasiguientesiguiente tabla,tabla, calculecalcule ee interpreteinterprete elel

ll dd ll d id i b idb idvalorvalor dede lala concordanciaconcordancia obtenidaobtenida..

Observador 2

Observador 1 Metástasispresentes

Metástasisausentes

Total

áMetástasispresentes

47 5 52

M tá t i 9 45 54Metástasisausentes

9 45 54

Total 56 50 106Total 56 50 106

Índice kappaÍndice kappapppp

Concordancia observada:Concordancia observada: Concordancia observada:Concordancia observada:47 + 4547 + 45 ==

106106

C d i dC d i dConcordancia esperada:Concordancia esperada:(56/106) (52/106) + (50/106) (54/106)(56/106) (52/106) + (50/106) (54/106)

Kappa =Kappa =Kappa = Kappa =

Para reflexionarPara reflexionarPara reflexionarPara reflexionar

ComoComo médicomédico enen formación,formación, elel alumnoalumno adquiereadquiereconocimientosconocimientos yy habilidadeshabilidades enen elel estudioestudio clínicoclínicod ld l i ti t t i dt i d f if i lldeldel pacientepaciente teniendoteniendo comocomo referenciareferencia lalaexperienciaexperiencia deldel profesor,profesor, dede taltal maneramanera que,que, conconrespectorespecto aa este,este, ¿qué¿qué tantatanta concordanciaconcordancia hahapp ,, qqadquiridoadquirido enen lala identificaciónidentificación dede signossignos durantedurantelala exploraciónexploración física?,física?, porpor ejemplo,ejemplo, dedealteracionesalteraciones enen elel fondofondo dede ojoojo enen loslos ruidosruidosalteracionesalteraciones enen elel fondofondo dede ojo,ojo, enen loslos ruidosruidoscardiacos,cardiacos, etcetc..