concordancia-1

Investigación, teoría y método

* Bc UIS Mcs Microbiología. Especia-lista en Estadística. Universidad Na-cional de Colombia. Unidad de Inves-tigación. Facultad de Odontología.Universidad El Bosque.

** Od. Periodoncista PUJ. Unidad de In-vestigación. Facultad de Odontolo-gía. Universidad El Bosque. MiembroInstitucional FSFB.

Evaluación de pruebas diagnósticas.Estudios de concordancia

Bautista G.*, Tamayo MC.**

El estudio de concordancia mide la extensión en que los resultados produ-cidos por dos técnicas diferentes son iguales entre si, es decir, la extensiónen la que una de las técnicas podría servir como sustituta de la otra cuandose utilizan en el mismo sujeto de forma simultánea, esto último, con el fin deasegurar que las diferencias encontradas sean inherentes a las técnicas oinstrumentos evaluados y no a cambios propios del sujeto. Ej. Cuando medi-mos la frecuencia cardiaca de un individuo, esta podría variar si la tomamosantes o después de realizar alguna actividad física cardiovascular y esta a suvez puede comportarse diferente cuando se mide en el mismo momentopero en sujetos diferentes.

Tiene como objetivo, establecer el grado de comparación entre los resulta-dos de dos pruebas diagnósticas o instrumentos de medición y así determi-nar si las dos pruebas o instrumentos producen resultados lo suficientemen-te comparables que los haga intercambiables. El propósito de realizar estetipo de estudios responde por un lado, a la necesidad clínica de aplicar exá-menes diagnósticos menos costosos e invasivos con alta exactitud y porotro lado a la necesidad de soportar la validez interna de los estudios cientí-ficos la cual depende de que las mediciones que se realicen representen enrealidad las variables que se están evaluando.

Existen dos tipos de estudio de concordancia:

• Estudios de conformidad cuando se comparan las medidas de unatécnica nueva con las obtenidas de un patrón de oro claramente identi-ficado como por ejemplo la sonda periodontal manual para el diagnós-tico de enfermedad periodontal.

• Estudios de consistencia, se usan para comparar los resultados de dostécnicas entre si cuando no existe un patrón de oro reconocido y nin-guna de las dos se asume como la «correcta».

Investigación: teoría y método

UNIVERSIDAD EL BOSQUE • FACULTAD DE ODONTOLOGÍA 75

La concordancia entre las resultadosobtenidos de dos instrumentos o téc-nicas se dan en términos de preci-sión que elimina el error debido alazar incrementando el potencial delmétodo de estudio para la detecciónde errores y exactitud que eliminael error debido al sesgo e influye so-bre la validez externa e interna deun estudio porque permite determi-nar el grado en que los resultadosobservados en la muestra estudiadapueden ser extrapolados a un univer-so o población general. La precisióny exactitud son conceptos que de-ben ir juntos y deben lograrse en uninstrumento de medición o en unaprueba diagnóstica ya que indicansu validez.

Precisión

Se define como el grado en que unavariable tiene valores similares cuan-do se mide varias veces. Entre másprecisa es una medición, dado untamaño de muestra determinado, ma-yor es el poder estadístico para esti-mar los valores medios y comprobarla hipótesis.

La precisión mide la Coherencia en-tre resultados de mediciones empa-rejadas en los siguientes casos:

• Coherencia examen– reexa-men (Calibración de instru-mentos): En estudios experi-mentales la precisión de las me-diciones de experimentos repe-tidos aumenta la validez de losresultados. Cuando se trata dedeterminar la precisión de unaprueba diagnóstica se aplica enel mismo sujeto o en la mismamuestra a intervalos de tiempolo suficientemente cortos para

evitar variaciones debidas acambios propios del sujeto eva-luado y lo suficientemente lar-gos que permitan la existenciade fluctuaciones debidas al azar.

• Coherencia interna: mide elgrado de correlación entre dosvariables que miden la mismacaracterística. Esta evaluación sehace generalmente para validarcuestionarios y encuestas quepresentan varias preguntas paraevaluar la misma variable.

• Coherencia Inter. - examinado-res: (Calibración Inter.- exami-nadores) Determina la concor-dancia entre las mediciones aciego realizadas por dos o masobservadores obtenidas de lamisma muestra. Se sugiere quepara esta calibración se utilicenvarias muestras que contengantodas las características posiblesa ser evaluadas.

• Coherencia intra- examinador(Calibración Intra-examinado-res): Mide concordancia entrelas mediciones a ciego realiza-das por el mismo observadorobtenidas de la misma muestraa diferentes tiempos. Se sugiereque para esta calibración se rea-licen un numero de medicionesimpares a partir de tres con unintervalo de tiempo suficienteque permita eliminar el sesgo dememoria.

La precisión se ve afectada por erro-res de tipo aleatorio, entre mayor esel error, menos precisa es la medi-ción. Es así que cuando realizamoslas mediciones puede haber tresfuentes de error:

• VARIABILIDAD DEBIDA AL OBSERVADOR

QUE REALIZA LAS MEDICIONES, ya seapor falta de entrenamiento, co-

nocimiento, presencia de algu-na incapacidad física, falta deconcentración en el momentode realizar las mediciones, em-pleo de palabras confusas o am-biguas durante la realización deentrevistas, etc. Ej. Variabilidaden la presión ejercida sobre unasonda periodontal durante exa-men clínico.

• VARIABILIDAD DEBIDA AL INDIVIDUO OMUESTRA OBSERVADA: se refiere alavariabilidad biológica de los su-jetos que se estudian Ej. cicloscircadianos, estado anímico delsujeto estudiado, alteración físi-ca de la muestra por cambios depresión o temperatura, etc. ej.Cambios dimensionales de lasimpresiones en alginato porcambios de temperatura am-biental.

• VARIABILIDAD DEBIDA AL INSTRUMENTO:hace referencia a las variacionesinherentes al instrumento y a sufuncionamiento que se puedenoriginar en alteraciones de tipoambiental como ruidos de fon-do, humedad, temperatura, de-formaciones del instrumentoetc. Ej. cuando se realizan medi-ciones de color dental visual sinestandarizar la intensidad y di-rección de la luz.

Para lograr aumentar la precisión delas medidas se debe reducir el erroraleatorio tratando de contrarrestar lavariabilidad debida al observador, alindividuo y al instrumento, usandolas siguientes estrategias.

• Estandarizar los métodos demedición estableciendo conclaridad y por escrito en el pro-tocolo las definiciones operati-vas o el manual de instruccionesque indique claramente como


REVISTA CIENTÍFICA • VOL. 11 • NO. 2 • 200576

preparar la muestra o el sujeto,que indique los parámetros ycondiciones para tomar las me-diciones, cómo anotar los resul-tados de las mediciones, etc. Estaestrategia disminuye la variabi-lidad debida al observador y alindividuo.

• Entrenar y calibrar a los exa-minadores intra e ínter exami-nador, comprobando que tie-nen el conocimiento y el domi-nio de las técnicas especificadasen el manual de instruccionespara la toma de mediciones, estaestrategia disminuye la variabi-lidad debida al observador me-jorando la coherencia de las téc-nicas de medición.

• Calibración de los instrumen-tos, validación de encuestas y deser necesario automatizarlos pa-ra que se disminuya la variabili-dad debida al observador y alinstrumento.

• Cerciorarse de la coherencia delos resultados realizando medi-ciones repetidas, para identificarlas posibles fuentes de error locual reduce de manera conside-rable la variabilidad debida a lostres elementos: observador, ins-trumento e individuo.

ExactitudEs el grado que una variable repre-senta lo que intenta representar. Laexactitud de las mediciones puedeestablecerse mediante la compara-ción de estas con técnicas de referen-cia o patrones de oro que se sabenexactas.

En la exactitud existen tres fuentesde error sistemático o de sesgo:• SESGO DEBIDO AL INDIVIDUO: Es una

distorsión constante de la medi-ción debida al individuo que seesta observando generando unaalteración importante en el fe-nómeno observado. Esto puedesuceder por que el individuo demanera consciente o incons-ciente, al saberse evaluado pue-de alterar su comportamiento,sus hábitos, o sus respuestasante una encuesta, lo que se co-noce como Efecto Hawthorne.También las ideas preconcebi-das o información anterior so-bre el tema investigado podríagenerar una percepción altera-da en el individuo con respectoal fenómeno estudiado.

• SESGO DEBIDO AL OBSERVADOR: Es ladistorsión constante, conscien-

te o inconsciente en la percep-ción o registro de la mediciónpor parte del observador. Estoocurre cuando el observador esel mismo investigador y por elinterés de comprobar su hipó-tesis tiende a supravalorar o in-fravalorar los resultados de unfenómeno estudiado, o tiende ahacer una búsqueda exhaustivade una variable que sabe podríaestar relacionada con el fenóme-no evaluado.

• SESGO DEBIDO AL INSTRUMENTO: Cuan-do se usan instrumentos inapro-piados para medir una variable,como por ejemplo, usar una es-cala de memoria para evaluar in-teligencia, o cuando el instru-mento se encuentra con defi-ciencias de funcionamiento.

Las estrategias para lograr la exacti-tud incluyen las mismas cuatro es-trategias para alcanzar la precisiónademás de las siguientes:

• Realización de mediciones ocul-tas, en las cuales el individuo nosea consciente de estar siendoevaluado para eliminar la posibi-lidad de sesgue conscientemen-te la variable, por tanto esta es-trategia disminuye el sesgodebido al individuo.

• Realización de mediciones adoble ciego de tal manera queni el individuo estudiado ni elobservador sepan cual es el gru-po de estudio y cual es el grupocontrol . Esto disminuye el sesgodebido al observador y al indi-viduo.

• Calibración periódica de los ins-trumentos con un patrón de oroy selección adecuada de los ins-trumentos con respecto las va-riables que van a ser evaluadas,Gráfica 1. Relación de precisión y exactitud.



con el fin de eliminar el sesgodebido al instrumento.

Pruebas estadísticaspara evaluarconcordancia

Las pruebas estadísticas utilizadaspara evaluar la concordancia depen-den del tipo de escala en la cual losdatos bajo consideración son expre-sados. La investigación de la concor-dancia entre dos variables, métodoso procesos requiere:

• que las dos variables sean expre-sadas en el mismo tipo de escala.

• que las dos variables contenganel mismo número de categorías.

A continuación se presentan los ín-dices de concordancia utilizados enestudios de conformidad y consis-tencia, de acuerdo al tipo de datostomados en consideración.

En datos medidos en escala no-minal, la evaluación de consisten-cia se lleva a cabo utilizando:

• el porcentaje de concordan-cia o de acuerdos definidopor: (a+d/N)*100. Sin embargo,al no tener en cuenta la cantidadde acuerdos esperados por elazar éste proceso tiene una limi-tación lo que hace poco reco-mendada su utilización.

• el Kappa de Cohen definidopor:

K=Po-Pe/1-Pe

donde: Po es la proporción observa-da de concordancia y Pe es la propor-ción esperada de concordancia de-bida al azar, definidos por:

Po=(a+d)/N

Pe=((r1c1+r2c2)/(N*N)

El valor del índice kappa de Cohenes 0 si la proporción observada deconcordancia es igual a la propor-ción esperada de concordancia debi-da al azar. 1 si la concordancia espe-rada es perfecta. Menor de 0 si la con-cordancia observada es menor quela concordancia esperada debida alazar.

Para su valoración Landis y Koch(1977) propusieron la siguienteescala:

Valor de k Magnitud dela concordancia

Menor de 0 Pobre0-0.20 Escasa

0.21-0.40 Leve0.41-0.60 Moderada0.61-0.80 Sustancial0.81-1.00 Casi perfecta

En muchas situaciones, el índice dekappa puede servir como un índicede conformidad y de consistencia.

Para datos medidos en escalaordinal, la evaluación de consisten-cia y conformidad se lleva a cabo uti-lizando:

• el Kappa Ponderado: en éstese asignan pesos o ponderacio-nes, basándose en la magnitudde las discordancias observadas.Se define de manera similar alkappa no ponderado pero debi-do a que es más fácil de calcularbasándose en la proporción dedesacuerdos que de acuerdos,es definido por:

Kw = 1-(qo´/qe´)

Cuando se trabajan datos cuantita-tivos, en algunas investigaciones seobserva que el coeficiente de co-rrelación de Pearson es una me-dida usada para investigar la concor-dancia, sin embargo, teniendo encuenta que ésta es una estadística decorrelación que refleja la tendenciaentre los resultados de dos métodosy no la concordancia porque no tie-ne en cuenta el sesgo sitemático, suutilización no es adecuada. Para estetipo de datos la concordancia se eva-lúa utilizando:

El coeficiente de correlaciónintraclase = CCI tiene en cuentalo anterior y combina correlacióncon diferencia de medias.

Para la situación más simple de con-cordancia entre dos métodos u ob-servadores, el coeficiente de corre-lación intraclase se define como:

CCI = A2+B2-C2/A2+B2+D2-C2/n

donde, A es la desviación estándar delmétodo u observador A, B es la des-viación estándar del método u obser-vador B, C es la desviación estándarde las diferencias de los métodos Ay B, D es la diferencia promedio delos dos métodos y n es el número depacientes.

En estudios de mayor complejidadse puede estimar el CCI asumiendoque los pacientes son evaluados porn clínicos. Si este es el caso, se debenplantear modelos matemáticos quepermitan evaluar la confiabilidad delas medidas tomadas. En estos casosla estimación del CCI se logra utili-zando estimadores obtenidos por latécnica de Análisis de Varianza


REVISTA CIENTÍFICA • VOL. 11 • NO. 2 • 200578

(ANOVA). El lector que desee profun-dizar en estos aspectos puede remi-tirse a Shoukri M., Pause CA, (1999)y Shoukri M.M, (2004).

El CCI varía entre -1 y +1. Los valorescercanos a 1 reflejan incremento dela concordancia entre observadoreso entre métodos.

Sin embargo esta medida (CCI) tienesus limitantes tales como que asumeque los métodos evaluados provie-nen de una muestra al azar de unapoblación de métodos y aún cuandoqueramos comparar dos métodosespecíficos, asume que el error demedición es similar en los dos méto-dos, además depende de los sujetosestudiados; si la variabilidad entre lossujetos es muy poca, el coeficientede correlación intraclase va a serbajo, independiente de que los mé-todos tengan concordancia o no.

Coeficiente de correlacióny concordancia (CCC)

Esta estadística determina que tantose desvían los datos obtenidos porlos dos métodos de la línea de perfec-ta concordancia (línea de 45 gradosque se inicia en 0). Este coeficientese define como:

CCC= (2*r*A*B)/ (A2+B2+D2)

Donde: r = coeficiente de correla-ción de Pearson

A = desviación estándardel método A

B = desviación estándardel método B

C = desviación estándarde las diferencias delmétodo A y B

D = diferencia promediode los dos métodos.

Este coeficiente tiene un rango de –1 a +1. Cualquier desviación de lalínea de perfecta concordancia pro-duce valores para este coeficienteinferiores a 1, por lo cual se dice quevalores cercanos a 1 reflejan incre-mento de la concordancia entre ob-servadores o entre métodos.

El coeficiente de variacióndentro de sujetos

Como se mencionó anteriormente,el CCI depende de la variación entresujetos lo cual causa problemas alcomparar los resultados de diferen-tes estudios. Tratando de solucionareste problema, Quan y Shih (1996)plantearon como una alternativa deel Coeficiente de variación entresujetos (Within-subject coefficientof variation: WCV), el cual es definidopor:

WCV = MSW1/2/X

Donde MSW es el cuadrado mediodel error tomado del ANOVAX es el promedio de las mediciones.

Según sus autores, entre más peque-ño sea el WCV mejor es la reproduci-bilidad de las medidas. Se recomien-da su utilización, cuando se deseecomparar la reproducibilidad de dosmétodos o evaluadores que esténevaluando muestras independientesy se observe que el promedio de lasmedidas tomadas por el primer mé-todo difiere sustancialmente del se-gundo método.

Con base en lo anterior se puederesumir que:

• Los métodos estadísticos más uti-lizados para determinar la exac-titud y la precisión para datosmedidos en escalas cuantita-tivas son: el coeficiente de corre-lación-intraclase y el coeficientede correlación- concordancia. Laprecisión o reproducibilidad pue-de medirse además utilizando elcoeficiente de variación dentrode sujetos. Para datos en medidosen escala nominal dicotómicael Kappa de Cohen y para aque-llos medidos en escala ordinal elKappa ponderado.

Referencias

• Cepeda SM, Pérez A. Estudios de Concordancia. Métodos para determinar la intercambiabilidad entre diferentes siste-mas de medición en la práctica clínica. Capitulo 17 .Pág. 287 – 301 Editorial. CEJA

• Kramer M and Feinstein AR. 1981. Clinical Biostatistics. The biostatistics of concordance. Clin. Pharmacol. Ther. 29: 111 - 123

• Hulley SB and Cummings SR. Planificación de las mediciones: precisión y exactitud. Capitulo 4. Diseño de la InvestigaciónClínica. Capitulo 4. Págs. 35 – 46.

• Landis, J.R and Koch G.G (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-174.



• Quan, H. and Shih. W.J. 1996. Assessing reproducibility by the within- subject coefficient of variation with random effectsmodels. Biometrics, 52, 1196-1203.

• Ruiz A. 2000. Introducción a los diseños de investigación en medicina clínica. Pág. 129 – 131 Editorial. CEJA

• Shoukri, M.M. and Pause, C.A. 1999. Statistical methods for health sciences. Segunda edición. CRC Pres.

• Shoukri, M.M. 2004. Measures of Interobserver agreement. Primera edición. CRC Press.

concordancia-1

Documents