la importancia de los estudios negativos · • el tratamiento experimental tiene una eficacia...

La importancia de los estudios

Waldo H. Belloso

negativos

La verdad puede más que la razón

Sófocles (495AC-406AC)

En medicina….• Estamos mucho más acostumbrados a leer

resultados positivos que negativos

HR de publicación de estudios positivos 2,32 (1,47-3,66) respecto de negativos

Mediana de tiempo de publicación: 4,8 vs 8 años

Stern JM, BMJ 1997;315:640-5

Estudios negativos• Estudios que no muestran un efecto

estadísticamente significativo (p>0.05)• Estudios que no confirman la hipótesis inicial.• El tratamiento experimental tiene una eficacia

similar pero mayores efectos secundarios que el comparador

• El tratamiento experimental es más efectivo que placebo pero asociado con efectos adversos limitantes

• El tratamiento experimental demuestra una diferencia estadísticamente significativa pero clínicamente irrelevante.

Malhotra S, Medscape Pharmacists 2004 5(2); Cleophas RC, J Clin Pharmacol Ther 1999 37:1-7.

Revisión de 16 revisiones sobre sesgo de publicación: Mayores probabilidades de publicación de resultados positivos

(rango de odds ratios 2.2 a 4.7).

En 40-62% de los estudios existía al menos un objetivo primario cambiado, incorporado u omitido.

Positive-outcome bias and other limitations in the outcome of researchabstracts submitted to a scientific meeting. JAMA 1998; 280(3):254-7.

De 909 trabajos científicos acerca de 90 fármacos que fueron revisados y autorizados por la FDA entre 1998 y 2000, sólo se publicó el 43% a 5 años. La probabilidad de publicación se correlacionó significativamente con la presencia de resultados positivos (OR 3.03 CI 1.17-5.17), mayor tamaño de la muestra (OR 1.33 CI 1.17-1.52) y carácter de estudio de registro (OR 5.31 CI 3.30-8.55).

Consecuencias de la falta de reporte de estudios negativos

• Puede generar conclusiones equivocadas acerca de la eficacia de algunos tratamientos y una variación del poder de revisiones sistemáticas o metaanálisis

• Es una violación del contrato implícito del investigador tanto con los pacientes como con los financiadores

• Puede conducir a la reiteración innecesaria de estudios experimentales en otras poblaciones

• Tiende a preservar premisas erróneas

Cleophas RC, Cleophas TJ. J Clin Pharmacol Ther 1999;37:1-7

Razones

• A estudios más pequeños, menores las chances de que un hallazgo sea verdadero.

• A menor tamaño del efecto, menor probabilidad que un hallazgo sea verdadero

Ioannidis JPA, PLoS Med 2005; 2(8):696-701

Poder estadístico

• Es la capacidad (en términos de probabilidad) del test de captar un efecto significativo)

poder

tamaño del efecto

Razones

• La probabilidad post-test de que un hallazgo sea verdadero (VPP) depende mucho de la probabilidad pre-test. Los grandes ensayos son en general diseños confirmatorios. Mientras más inesperado sea un hallazgo, menos chances hay que sea verdadero.

Ioannidis JPA, PLoS Med 2005; 2(8):696-701

Razones

• A mayor flexibilidad de diseño, definiciones, desenlaces y modos de análisis, menores son las chances de que un hallazgo sea cierto. Estudios con desenlaces primarios negativos pueden ser publicados como positivos por un objetivo secundario (subgrupos, per-protocol, etc). Los desenlaces “duros” son mucho más difíciles de falsear.

Ioannidis JPA, PLoS Med 2005; 2(8):696-701

Razones

• A mayores intereses y prejuicios en un campo de investigación, menores son las chances de que un hallazgo sea verdadero.

• A mayor interés en la investigación de un área específica, menores son las chances que los resultados informados en ese área sean verdaderos

Ioannidis JPA, PLoS Med 2005; 2(8):696-701

American Heart Journal:Volume 151(4) April 2006p 934-942

Study of the Therapeutic Effects of IntercessoryPrayer (STEP) in cardiac bypass patients: A

multicenter randomized trial of uncertainty andcertainty of receiving intercessory prayer

Benson, Herbert MDa,l; Dusek, Jeffery A. PhDa,l; Sherwood, Jane B. RNm; Lam, Peter PhDm; Bethea, Charles F. MDb; Carpenter, William MDivc; Levitsky, Sidney MDd; Hill, Peter C. MDe; Clem, Donald W. Jr. MAf; Jain, Manoj K. MD, MPHg; Drumel, David

MDivg,h; Kopecky, Stephen L. MDi; Mueller, Marek, Deank; Rollins, Sue RN, MPHb; Hibberd, Patricia L. MD, PhDl,m

3 grupos de pacientes luego de Cirugía CVasc fueron randomizados a: I) Recibir oraciones de intercesión sin tener la certeza de ello (n=604), II) No recibir oracionesde intercesión sin tener certeza (n=597), o III) Recibir oraciones de intercesión teniendo conocimiento del hecho (n=601).

La tasa de complicaciones fue similar en ambos grupos con incertidumbre, pero mayor en el grupo con certeza del hecho (59% vs 52%, RR 1,14 IC 1,02-1,28). El rezo de intercesión no tuvo impacto en la tasa de recuperación sin complicaciones

de Cirugía CVascular pero la certeza de recibirlo se asoció con una mayor incidencia de complicaciones

Los estudios con resultados positivos no fueron citados más frecuentemente ni por revistas más prestigiosas que los estudios de

resultado negativo.

Ejemplos de estudios negativos

Women´s Health Initiative• Hasta la década del `90 el uso de terapia hormonal en

postmenopausia era una práctica rutinaria• El sustento se basaba en varios estudios

observacionales• El WHI llevó a cabo un ensayo clínico comparando

estrógenos + medroxiprigesterona vs placebo en más de 16.000 mujeres postmenopáusicas

• Luego de 5,2 años de seguimiento el estudio debió ser suspendido debido al incremento del riesgo de enfermedad cardiovascular y cáncer de mama

• Este estudio negativo cambió definitivamente la práctica asistencial

Women´s Health Initiative, JAMA 2002; 288:321-33

Ejemplos de estudios negativos

Sulfato de magnesio en IAM• Durante mucho tiempo se utilizó en varios

países el sulfato de magnesio IV en pacientes con eventos coronarios agudos con el fin de limitar el área miocárdica dañada, prevenir arritmias severas y reducir el riesgo de muerte.

• El sustento provenía de distintos estudios observacionales y meta-análisis

• En 1995 se publicó un ensayo con 58050 pacientes que no demostró ningún efecto beneficioso del magnesio.

ISIS 4, Lancet 1995; 345:669-85

Otros ejemplos del impacto de publicación de estudios negativos

• Uso de metilxantinas en la exacerbación de la EPOC• Ausencia de efecto de distintos compuestos de medicina

alternativa o complementaria utilizados habitualmente en la India

• Enoxaparina no es más costo/eficaz que heparina sódica

• Ausencia de efecto de bajas dosis de aspirina (<100 mg) en agregación plaquetaria

• Ausencia de efecto de la heparina en la colitis ulcerosa• Eficacia de la homeopatía

Malhotra S Medscape Pharmacists 2004, 5(2):491816

Estudios negativos en HIV

Estudio Concorde

(Lancet 1994; 343(8902):871-81)

Estudios negativos en HIV

Estudio Concorde• AZV (Inmediato vs diferido) en pacientes

asintomáticos• Endpoints clínicos: SIDA o muerte• Sobrevida a 3 años 92% (IC 90-94%) Inm vs 94%

(IC 92-95%) dif. Sin diferencias• Existió una diferencia en el recuento de CD4+ de

alrededor de 40 cels/mm3 en promedio que NO se tradujo en beneficio clínico significativo

“…Esta discrepancia plantea dudas acerca del uso indiscriminado del valor de CD4+ como marcador subrogante

en ensayos clínicos….”

Favors CT ►

►

Favors TI

Hazard Ratio (TI/CT) (95% CI)

2.6

1.8

3.6

0.1 1 10

Non-OI death by race

OI/death by baseline VL*

Other

Black

> 400 copies/mL

≤ 400 copies/mL

Non-OI deaths

OI (fatal or nonfatal)

Opportunistic infection or death (OI/death)

Desenlace

4.0

1.2

3.2

1.1 P = .002

P < .001

*Among those on antiretroviral therapy at baseline.

Conclusiones y comentarios

• El valor de los estudios negativos es al menos igual que el de los positivos (o mayor…)

• Los pasos más significativos de la terapéutica no debería basarse en la modificación de subrogantessino en desenlaces “duros”

• Si no se hubiera realizado ESPRIT tal vez el uso de IL-2 sería muy difundido y hasta recomendado

Hipócrates de Kos (ca 460-370 AC)

Conclusiones y comentarios II

• Se planteó un estudio internacional superando las mayores barreras logísticas

• Se priorizó el poder estadístico para evitar resultados inconcluyentes

• Se superó la tentación de mostrar resultados parciales

• Se enviaron los papers para publicación menos de una semana después de la apertura de los datos por el DSMB

• Todo el esfuerzo estuvo supeditado a la búsqueda de la verdad

Agradecimientos

• A todos los que participaron en ESPRIT y SILCAAT en Argentina

• Al Comité Ejecutivo de Insight

• Por la ayuda en la preparación de esta presentación: Comité de Investigación Clínica del Hospital Italiano: Fernando Rubinstein, Enrique Soriano, Silvana Figar, Gonzalo Mariani, Diego Pérez de Arenaza, Agustín Ciapponi

El que busca la verdad corre el riesgo de encontrarla.

Manuel Vicent