Explorando la heterogeneidad

cochrane training

Pasos de una revisión sistemática Cochrane

1. Formular la pregunta2. Planificar los criterios de elegibilidad3. Planificar la metodología4. Buscar los estudios5. Aplicar los criterios de elegibilidad6. Obtener los datos7. Evaluar el riesgo de sesgo de los estudios8. Analizar y presentar los resultados9. Interpretar los resultados y obtener conclusiones10. Mejorar y actualizar la revisión

cochrane training

Índice

• ¿Qué es la heterogeneidad?• Asunciones sobre la heterogeneidad• Identificando la heterogeneidad• Explorando los resultados

Ver el capítulo 9 del Handbook

cochrane training

¿Qué es la heterogeneidad?

Variación o diferencias

• Tres grandes tipos:• clínica• metodológica• estadística

cochrane training

Diversidad clínica• Participantes

• e.g. condición, edad, género, ámbito, criterios de elegibilidad del estudio

• Intervenciones• intensidad/dosis, duración, modo de administración, co-

intervenciones, experiencia profesional, control (placebo, ninguno, tratamiento habitual)

• Desenlaces• duración del seguimiento, modo de medición, definición

del suceso de interés, puntos de corte

cochrane training

Diversidad metodológica

• Diseño• e.g. aleatorizado vs no aleatorizado, cruzado vs paralelo,

aleatorización individual vs por conglomerados• Realización

• e.g. riesgo de sesgo (ocultación de la asignación, enmascaramiento, etc.), estratégia de análisis

cochrane training

Heterogeneidad estadística• Siempre existirá cierta variabilidad aleatoria (muestral)

entre los resultados de distintos estudios • La heterogeneidad es la variabilidad entre los efectos

evaluados en los distintos estudios• Causada por diversidad clínica y metodológica • Alternativa a la homogeneidad (la intervención tiene el

mismo efecto en todos los estudios)• Los resultados de los estudios difieren más unos de otros

que si la variabilidad aleatoria fuera la única fuente de las diferencias entre estimaciones de efecto de la intervención

cochrane training

Índice

• ¿Qué es la heterogeneidad?• Asunciones sobre la heterogeneidad• Identificando la heterogeneidad• Explorando los resultados

cochrane training

Efectos fijos vs efectos aleatorios

• Hay dos modelos de metanálisis disponibles en RevMan• Se basan en asunciones diferentes sobre la

heterogeneidad• Es necesario pre-specificar en el protocolo la estratégia

prevista

cochrane training

Modelo de efectos fijos

• Asume que todos los estudios miden un mismo efecto del tratamiento

• Estima este efecto único • Si no hubiera error aleatorio

(muestral), todos los resultados serían idénticos

Efecto real

Error aleatorio(muestral)

común

Resultadodel estudio

Fuente: Julian Higgins

cochrane training

Modelo de efectos aleatorios

Error aleatorio

Efectoespecíficodel estudio

Promedio de losefectos de los estudios

• Asume que el efecto del tratamiento varía entre estudios

• Estima el promedio de la distribución de los efectos

• Pondera por la variabilidad intra-estudio y entre-estudio (tau2, 2)

Fuente: Julian Higgins

cochrane training

¿Cuál es la diferencia?

• Los metanálisis de efectos aleatorios son:• Casi idénticos a los de efectos fijos cuando no hay

heterogeneidad• Similares a los de efectos fijos pero con intervalos de

confianza más amplios cuando existe heterogeneidad del tipo asumido por el modelo de EA

• Diferentes a los de efectos fijos cuando los resultados están relacionados al tamaño de los estudios

• El modelo EA da más peso a los estudios más pequeños que EF

22 tauES

1

entrevarianzaintra varianza

1peso

cochrane training

Sin heterogeneidad

Adaptado de Ohlsson A, Aher SM. Early erythropoietin for preventing red blood cell transfusion in preterm and/or low birth weight infants. Cochrane Database of Systematic Reviews 2006, Issue 3.

Fixed Random

cochrane training

Cierta heterogeneidad

Adaptado de Adams CE, Awad G, Rathbone J, Thornley B. Chlorpromazine versus placebo for schizophrenia. Cochrane Database of Systematic Reviews 2007, Issue 2.

Fixed Random

cochrane trainingAdaptado de Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.

Impacto de los estudios pequeñosFixed Random

cochrane training

¿Cuál elegir?

• Planificar la estrategia en la etapa de protocolo• ¿Es razonable esperar que los resultados sean muy

diversos?• Considerar las asunciones subyacentes a cada modelo

• Efectos fijos • Puede ser poco realista– ignora la heterogeneidad

• Efectos aleatorios • Permite la heterogeneidad• La estimación de la distribución de efectos puede ser poco

precisa si existen sesgos, hay pocos estudios o pocos eventos

cochrane training

Índice

• ¿Qué es la heterogeneidad?• Asunciones sobre la heterogeneidad• Identificando la heterogeneidad• Explorando los resultados

cochrane training

Identificando la heterogeneidad

• Inspección visual de los gráficos de árbol (forest plots)• Test de chi-cuadrado (2, Q test)• Estadístico I2 para cuantificar la heterogeneidad

cochrane training

Inspección visualForest plot A Forest plot B

cochrane training

El test de chi-cuadrado (2)

• Contrasta la hipótesis nula de homogeneidad• Tiene poca potencia si hay pocos estudios • Puede detectar diferencias clínicamente irrelevantes si hay

muchos estudios • Respuesta dicotómica (si/no) poco útil si la heterogeneidad es

inevitable• Calculado automaticamente por RevMan

cochrane training

El estadístico I2

• El estadístico I2 describe el porcentaje de variabilidad debida a heterogeneidad y no al azar (0% a 100%)• Valores bajos indican poca o nula heterogeneidad• Valores altos indican elevada heterogeneidad

• Calculado automaticamente por RevMan• Debe interpretarse cautelosamente

cochrane training

El estadístico I2

chi2 = 29.55 df = 13 P = 0.0055

chi2 = 6.14 df = 3 P = 0.11

I2 = 56%

I2 = 51%

Fuente: Julian Higgins

cochrane training

¿Qué hacer con la heterogeneidad?• Comprobar que los datos son correctos • Tenerla en cuenta en la interpretación de los resultados

• Especialmente si varía la dirección del efecto • Si la heterogeneidad es muy elevada

• Interpretar con cautela los resultados de efectos fijos • Considerar análisis de sensibilidad – ¿el modelo de efectos

aleatorios significaría diferencias importantes?• Se puede optar por no metanalizar

• El resultado promedio puede no tener significado en la práctica • Considerar la comparabilidad clínico-metodológica de los estudios

• Evitar• Cambiar la medida de efecto o el modelo de análisis • Excluir estudios con valores extremos

• Explorar la heterogeneidad

cochrane training

Índice

• ¿Qué es la heterogeneidad?• Asunciones sobre la heterogeneidad• Identificando la heterogeneidad• Explorando los resultados

cochrane training

Explorando los resultos

• ¿Qué factores parecen modificar el efecto? • Diversidad clínica (población, intervenciones, desenlaces)• Diversidad metodológica (diseño de los estudios, riesgo de

sesgo)• Planificar la estrategia en el protocolo

• Identificar un número limitado de factores importantes a investigar

• Presentar una justificación científica para cada factor elegido • Declarar cualquier exploración post-hoc

cochrane training

Dos opciones disponibles

• Análisis de subgrupos • Agrupar los estudios por factores pre-especificados • Buscar diferencias en los resultados y la heterogeneidad

• Metaregresión• Examinar la interacción de variables categóricas y continuas • No disponible en RevMan

cochrane training

Proceder con cautela

• Los resultados son de tipo observacional, no aleatorio• Ser crítico ante comparaciones múltiples y post hoc• Pueden no ser útiles con pocos estudios • Pueden no ser posibles de realizar con datos agregados • Buscar posibles factores de confusión • Seguir el plan especificado en el protocolo sin sobre-

enfatizar resultados específicos

Los resultados raramente son concluyentes

cochrane training

Interpretación de análisis de subgrupos • Examinar los resultados y heterogeneidad dentro de los

subgrupos• ¿Los subgrupos son genuinamente diferentes?

• Si son 2 subgrupos – ¿los intervalos de confianza se solapan?• Tests estadísticos de diferencias por subgrupos

• Crece la confianza en los resultados si:• Los análisis son pre-especificados • Los análisis se basan en datos intra-estudios • Efecto clinicamente plausible y apoyado por evidencia

indirecta• Efecto clinicamente importante y modificará recomendaciones

cochrane training

Subgrupos de participantes

Basado en Stead LF, Perera R, Bullen C, Mant D, Lancaster T. Nicotine replacement therapy for smoking cessation. Cochrane Database of Systematic Reviews 2008, Issue 1. Art. No.: CD000146. DOI: 10.1002/14651858.CD000146.pub3.

cochrane training

Subgrupos por intervención

Basa

do e

n Li

nde

K, B

erne

r MM

, Kris

ton

L. S

t Joh

n's

wor

t for

maj

or d

epre

ssio

n. C

ochr

ane

Dat

abas

e of

Sy

stem

atic

Revi

ews

2008

, Iss

ue 4

. Art

. No.

: CD

0004

48. D

OI:

10.1

002/

1465

1858

.CD

0004

48.p

ub3.

cochrane training

Análisis de sensibilidad • No es lo mismo que análisis de subgrupos • Testea el impacto de decisiones tomadas en la revisión

• Inclusión de estudios en la revisión • Definición de bajo riesgo de sesgo • Elección de la medida de efecto • Asunciones sobre datos faltantes • Puntos de corte para dicotomizar escalas ordinales • Coeficientes de correlación

• Repite los análisis aplicando un método o asunción distintos • No presentar múltiples forest plots – solo redactar resultados • Si mínimas diferencias, mayor confianza en las conclusiones • Si diferencias grandes, interpretar los resultados cautamente

cochrane training

¿Qué incluir en el protocolo?

• Valoración de la heterogeneidad• Valoración de la comparabilidad entre estudios previa al

metanálisis • Inspección visual y uso de estadísticos como el I2

• Síntesis de datos • Modelo de efectos fijos o aleatorios (o ambos)

• Análisis de subgrupos y exploración de la heterogeneidad• Planificación de análisis de subgrupos• Otras estrategias para investigar la heterogeneidad

cochrane training

cochrane training

Mensaje clave:

• Heterogeneidad estadística es la presencia de diferencias entre estimaciones del efecto de la intervención, mayores que las que serían esperables sólo por variabilidad aleatoria (muestral) .

• Puede ser causada por diversidad clínica y metodológica • Los modelos de efectos fijos y aleatorios se basan en

asunciones sobre la heterogeneidad• Debe explorarse toda heterogeneidad hallada

cochrane training

Referencias• Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and

undertaking meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.

Agradecimientos•Compilado por Miranda Cumpston. Basado en materiales de Georgia Salanti, Julian

Higgins, Steff Lewis, el Cochrane Statistical Methods Group, el Australasian Cochrane Centre y el Dutch Cochrane Centre. Aprobado por el Cochrane Methods Board.

•Traducido por Marta Roqué.