2007 [email protected] 1 meta-análisis. 2007 [email protected] 2 preguntas básicas ¿qué...

20072007

[email protected]@uab.es 11

Meta-análisisMeta-análisis

20072007


Preguntas básicasPreguntas básicas

¿Qué es?¿Qué es? ¿Para qué sirve?¿Para qué sirve? ¿Cómo se regula?¿Cómo se regula? ¿Cómo se hace?¿Cómo se hace? ¿Qué métodos?¿Qué métodos? ¿Cuándo?¿Cuándo?

20072007


INDICEINDICE

1. Definición1. Definición2. Objetivos 2. Objetivos 3. Antecedentes históricos3. Antecedentes históricos4. Protocolo y desarrollo de un meta-4. Protocolo y desarrollo de un meta-

análisisanálisis5. Estimadores del tamaño del 5. Estimadores del tamaño del

efectoefecto6. Ejemplo de meta-análisis6. Ejemplo de meta-análisis

20072007


DefiniciónDefiniciónEl meta-análisis es unaEl meta-análisis es una revisión sistemáticarevisión sistemática de un de un gran númerogran número de estudiosde estudios queque utilizautiliza métodos métodos estadísticosestadísticos parapara combinar, sintetizar e integrarcombinar, sintetizar e integrar la información de variosla información de varios estudios independientesestudios independientes que son considerados por el análista como que son considerados por el análista como ““combinables”combinables”

Adaptado de:Adaptado de:- Glass GV. Primary and Meta-analysis of research. Educational Researcher 1976;5:3-8.- Huque MF. Experiences with meta-analysis in NDA submissions. Proc

Biopharmaceutical Section of the American Statistical Association 1988;28-33.- Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic

reviews of randomized control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995;48:168-71.

- D’Agostino RB, Weintraub M. Meta-analysis: a method for sythesizing research. Clin Pharmacol Ther 1995; 58:605-616.

20072007


Objetivos (1)Objetivos (1)El meta-análisis, cuando se realiza de forma El meta-análisis, cuando se realiza de forma adecuada, puede ser utilizado para los siguientes adecuada, puede ser utilizado para los siguientes propósitos:propósitos:

Incrementar la potencia estadística de los Incrementar la potencia estadística de los resultados procedentes de múltiples estudios resultados procedentes de múltiples estudios individuales y posibilitar el análisis estadístico individuales y posibilitar el análisis estadístico de subgruposde subgrupos

Mejorar las estimaciones de la magnitud Mejorar las estimaciones de la magnitud del efectodel efecto

Resolver controversias cuando hay desacuerdo Resolver controversias cuando hay desacuerdo entre los estudiosentre los estudios.

20072007


Objetivos (2)Objetivos (2) Contestar nuevas preguntas que no se habían Contestar nuevas preguntas que no se habían

planteado en los estudios individualesplanteado en los estudios individuales Confirmar hipótesis que no se habían podido Confirmar hipótesis que no se habían podido

confirmar en los estudios individualesconfirmar en los estudios individuales Elaborar nuevas hipótesis que deben ser Elaborar nuevas hipótesis que deben ser

contrastadas en futuros estudioscontrastadas en futuros estudios Abrir nuevos caminos de investigación o Abrir nuevos caminos de investigación o

redirigir la investigación en cursoredirigir la investigación en curso Presentar el perfil de eficacia y seguridad Presentar el perfil de eficacia y seguridad

de los fármacos.de los fármacos.

20072007


Objetivos (3)Objetivos (3)

Obtención de estimadores o parámetros para Obtención de estimadores o parámetros para estudios de farmacoeconomía, calidad de vida, estudios de farmacoeconomía, calidad de vida, etc.etc.

Adaptado de:Adaptado de:- Fleiss JL, Gross A. Meta-analysis in epidemiology, with special

reference to studies of association between exposure to environmental tobacco smoke and lung cancer: a critique.

J Clin Epidemiol 1991; 127-139.

20072007


OBJETIVOSOBJETIVOS

Conclusión:Conclusión:– Ganancia en precisiónGanancia en precisión– Comparación crítica de los resultadosComparación crítica de los resultados– Diferencias en magnitud o sentidoDiferencias en magnitud o sentido– Posibilidad de generalizarPosibilidad de generalizar

20072007


EVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICOEVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICO

Período de tiempo Total Ratio articulos/mes

1950-1959 1 0.008

1960-1969 8 0.067

1970-1979 18 0.150

1980-1984 73 1.217

1985-1989 333 5.550

1990-1992 (Junio) 245 5.833

1992 (Julio)-1995 1503 36.429

20072007


EVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICOEVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICO

Ratio articulos/mes

0,0005,000

10,00015,00020,00025,00030,00035,00040,000

1950-1959

1960-1969

1970-1979

1980-1984

1985-1989

1990-1992

(Junio)

1992(Julio)-1995

Ratio articulos/mes

20072007


CARACTERÍSTICASCARACTERÍSTICAS Areas de aplicaciónAreas de aplicación

Ciencias de la educaciónCiencias de la educación PsicologíaPsicología BiologíaBiología MedicinaMedicina Ciencias medio-ambientalesCiencias medio-ambientales QuímicaQuímica FísicaFísica EconomíaEconomía Etc...Etc...

20072007


CARACTERÍSTICASCARACTERÍSTICAS Problemas preliminaresProblemas preliminares

– Selección de materialSelección de material BibliografíaBibliografía

– Búsqueda informatizada (Medline, Science Citacion Index, ...)Búsqueda informatizada (Medline, Science Citacion Index, ...)– Búsqueda manual (Citas referenciadas, conferencias)Búsqueda manual (Citas referenciadas, conferencias)– Lenguas extranjerasLenguas extranjeras– Estudios presentados a conferencias y congresosEstudios presentados a conferencias y congresos– Calidad de los estudiosCalidad de los estudios

– Diseños distintos (estudios de cohortes, caso-Diseños distintos (estudios de cohortes, caso-control, ...)control, ...)

20072007


CARACTERÍSTICASCARACTERÍSTICAS Datos:Datos:

– Tipos de medida de los efectosTipos de medida de los efectos– Escalas de medidaEscalas de medida– Extensión de la informaciónExtensión de la información

Datos originalesDatos originales Estadísticos de resumenEstadísticos de resumen Estimación del efecto y errores estándarEstimación del efecto y errores estándar Valores de significaciónValores de significación

20072007


CARACTERÍSTICASCARACTERÍSTICAS

Datos:Datos:– Toda la información, a excepción de los Toda la información, a excepción de los

datos originales, complica enormemente datos originales, complica enormemente el ajuste por distinto factores de el ajuste por distinto factores de confusión potencialesconfusión potenciales

Disponibilidad de los estudios: Disponibilidad de los estudios: Sesgo de publicaciónSesgo de publicación

20072007


CARACTERÍSTICASCARACTERÍSTICAS

No independencia de los No independencia de los estudios estudios – Tiempo: momento en que se realiza el Tiempo: momento en que se realiza el

estudioestudio– Centro o investigadorCentro o investigador– Múltiple publicación de los resultadosMúltiple publicación de los resultados– Mismos sujetos (en distintos estudios)Mismos sujetos (en distintos estudios)

20072007


Ventajas y limitacionesVentajas y limitaciones

VentajasVentajasConsideración sistemática (evaluación no Consideración sistemática (evaluación no

sesgada)sesgada)Cuantificación de los resultadosCuantificación de los resultadosAumento de precisión de los resultadosAumento de precisión de los resultadosMayor capacidad de estudiar efectos en Mayor capacidad de estudiar efectos en

subgrupossubgruposMayor facilidad para evaluar las Mayor facilidad para evaluar las

discrepancias entre estudiosdiscrepancias entre estudiosMayor generalización de las conclusionesMayor generalización de las conclusiones

20072007


Ventajas y limitacionesVentajas y limitaciones

Limitaciones:Limitaciones:La calidad está limitada por los estudios La calidad está limitada por los estudios

individualesindividualesDificultad para establecer los criterios de Dificultad para establecer los criterios de

inclusióninclusiónSesgo de selección (publicación, lengua, Sesgo de selección (publicación, lengua,

calidad ...)calidad ...)

20072007


ProtocoloProtocolo Como en cualquier otro estudio, antes de iniciar unComo en cualquier otro estudio, antes de iniciar un

meta-análisis se debe elaborar un protocolo completometa-análisis se debe elaborar un protocolo completoy detalladoy detallado

El protocolo debería incluir como mínimo:El protocolo debería incluir como mínimo:-- Una descripción detallada de los objetivos e hipótesis que Una descripción detallada de los objetivos e hipótesis que

se van a probarse van a probar-- Los criterios de inclusión y exclusión de los estudiosLos criterios de inclusión y exclusión de los estudios-- Los procedimientos que se utilizarán para probar la Los procedimientos que se utilizarán para probar la

homogeneidad de los tamaños de los efectos entre homogeneidad de los tamaños de los efectos entre estudiosestudios

-- Los métodos estadísticos que se utilizarán para estimar el Los métodos estadísticos que se utilizarán para estimar el tamaño del efecto globaltamaño del efecto global

-- Los métodos que se utilizarán para presentar y resumirLos métodos que se utilizarán para presentar y resumirlos resultadoslos resultados

20072007


Análisis de la Análisis de la heterogeneidadheterogeneidad

Respuesta a la siguiente pregunta:Respuesta a la siguiente pregunta:¿SON COMBINABLES LOS ESTUDIOS?¿SON COMBINABLES LOS ESTUDIOS?

Pruebas de homogeneidad de los resultados de los Pruebas de homogeneidad de los resultados de los estudios individuales:estudios individuales:-- Prueba ji-cadrado Q de CochranPrueba ji-cadrado Q de Cochran-- Prueba ji-cuadrado de Breslow-DayPrueba ji-cuadrado de Breslow-Day

Las pruebas de homogeneidad tienen baja potencia Las pruebas de homogeneidad tienen baja potencia para detectar la heterogeneidadpara detectar la heterogeneidad

Un valor p de la prueba de homogeneidad 0.10, Un valor p de la prueba de homogeneidad 0.10, sugiere heterogeneidad entre estudios y, por tanto, sugiere heterogeneidad entre estudios y, por tanto, podría no ser válido combinar los estudiospodría no ser válido combinar los estudios

20072007


Egger et al. Systematic reviews in health care. London: BMJ books, 2001.

20072007


Magnitud del efecto (1)Magnitud del efecto (1) Los métodos estadísticos utilizados para estimar Los métodos estadísticos utilizados para estimar

el tamaño del efecto global de diferentes estudios el tamaño del efecto global de diferentes estudios se basan ense basan en Modelos de Efectos Fijos y Efectos Modelos de Efectos Fijos y Efectos AleatoriosAleatorios

LosLos Modelos de Efectos FijosModelos de Efectos Fijos asumen un efecto asumen un efecto constante del tratamiento entre estudios, es decir, constante del tratamiento entre estudios, es decir, los tamaños de los efectos entre estudios son los tamaños de los efectos entre estudios son homogéneos o similares.homogéneos o similares.-- Los diferentes estudios pertenecen a una misma Los diferentes estudios pertenecen a una misma

poblaciónpoblación-- Consideran la variabilidad intra-estudioConsideran la variabilidad intra-estudio

20072007


Magnitud del efecto (2)Magnitud del efecto (2) LosLos Modelos de Efectos AleatoriosModelos de Efectos Aleatorios consideran que consideran que

existe una variación entre estudiosexiste una variación entre estudios-- Los estudios provienen de poblaciones diferentesLos estudios provienen de poblaciones diferentes-- Consideran la variabilidad intra e inter-estudioConsideran la variabilidad intra e inter-estudio

20072007


Magnitud del efecto (3)Magnitud del efecto (3) Ninguno de los dos modelos se puede considerarNinguno de los dos modelos se puede considerar

““correcto”:correcto”:

-- Si los estudios son homogéneosSi los estudios son homogéneosLa elección entre un modelo de efectos fijos La elección entre un modelo de efectos fijos y efectos aleatorios no es importante, ya que los y efectos aleatorios no es importante, ya que los resultados serán idénticosresultados serán idénticos

-- Si los estudios no son homogéneosSi los estudios no son homogéneosEs más apropiado elegir un modelo de efectos Es más apropiado elegir un modelo de efectos aleatoriosaleatorios

Los modelos de efectos fijos y efectos aleatorios Los modelos de efectos fijos y efectos aleatorios utilizan diferentes métodos estadísticos para utilizan diferentes métodos estadísticos para combinarlos resultadoscombinarlos resultados

20072007


Magnitud del efecto (4)Magnitud del efecto (4)

Efectos fijos

Efectos aleatorios

Método Efecto Método Efecto

V. Cualit. Mantel-Haenszel OR, RR DerSimonian- Laird

Ratios y Diferencias

Peto OR

Basado en la varianza general

Ratios y diferencias

V. Cuantit. Diferencias tipificadas entre

medias

Cuantitativas

Diferencias tipificadas

entre medias

Cuantitativas

20072007


Unbiased Hedges’ g estimateUnbiased Hedges’ g estimate

Corrections for small sample size will be made.Corrections for small sample size will be made.

ce

14

31

m

Jm

94

31

14

31

ee nng

mgd

2 ec nnm

20072007


Effect size interpretationEffect size interpretation

Since effect sizes are non-dimensional Since effect sizes are non-dimensional measurements (no units), some measurements (no units), some conventions have been proposedconventions have been proposed[1][1],,[2][2]: : – small≈0.20,small≈0.20,– medium≈0.50 medium≈0.50 – large≈0.80large≈0.80

– [1][1] Cohen, J. (1988). Cohen, J. (1988). Statistical power analysis for the behavioral Statistical power analysis for the behavioral sciencessciences (2nd ed.). Hillsdale, NJ: Erlbaum. (2nd ed.). Hillsdale, NJ: Erlbaum.

– [2] [2] Cohen, J. (1992). A power primer. Psychological Bulletin, 112, Cohen, J. (1992). A power primer. Psychological Bulletin, 112, 155-159.155-159.

20072007


Análisis de sensibilidad Análisis de sensibilidad (resumen)(resumen)

Un análisis de sensibilidad evalúa la Un análisis de sensibilidad evalúa la estabilidad de las conclusiones de un estabilidad de las conclusiones de un análisis según las asunciones análisis según las asunciones (supuestos) que se han realizado en el (supuestos) que se han realizado en el análisisanálisis

Cuando una conclusión permanece Cuando una conclusión permanece invariante al variar las asunciones del invariante al variar las asunciones del análisis, se refuerza la confianza en la análisis, se refuerza la confianza en la validez de las conclusiones del análisisvalidez de las conclusiones del análisis

20072007


Análisis de sensibilidad (1)Análisis de sensibilidad (1) Un análisis de sensibilidad evalúa la estabilidad deUn análisis de sensibilidad evalúa la estabilidad de

las conclusiones de un análisis según las asunciones las conclusiones de un análisis según las asunciones (supuestos) que se han realizado en el análisis(supuestos) que se han realizado en el análisis

Cuando una conclusión permanece invariante al variar Cuando una conclusión permanece invariante al variar las asunciones del análisis, se refuerza la confianza las asunciones del análisis, se refuerza la confianza en la validez de las conclusiones del análisisen la validez de las conclusiones del análisis

El análisis de sensibilidad permite identificar las El análisis de sensibilidad permite identificar las asunciones más críticas del análisisasunciones más críticas del análisis

Conocer las asunciones críticas de un análisis puede Conocer las asunciones críticas de un análisis puede ser utilizado para formular las prioridades para una ser utilizado para formular las prioridades para una futura investigación enfocada a resolver el problema futura investigación enfocada a resolver el problema planteado en el análisisplanteado en el análisis

20072007


Análisis de sensibilidad (2)Análisis de sensibilidad (2)

ANÁLISIS ASUNCIONESANÁLISIS DE

SENSIBILIDAD- Estimación de lamagnitud delefecto globalmediante unmodelo de efectosfijos

- Las magnitudesde los efectos delos estudios sonhomogéneos osimilares

- Estimar la magnituddel efecto globalmediante un modelode efectos aleatorios

Si los resultados de los dos análisis son similares, la asunción delanálisis es correcta

La magnitud del efecto global estimado es valido Si los resultados de los dos análisis son diferentes, la asuncióndel análisis no es correcta, es decir, las magnitudes de losefectos de los estudios no son homogéneos

La magnitud del efecto global estimado podría no ser valido

20072007


Análisis se sensibilidad (3)Análisis se sensibilidad (3)

EFFECTS MODEL

RE

LA

TIV

E L

IVE

-BIR

TH

RA

TIO

0.0

0.2

0.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

2.0

FIXED RANDOM FIXED RANDOM

FA

VO

UR

S C

ON

TR

OL

FA

VO

UR

S T

RE

AT

ME

NT

Homogeneity testP = 0.06 (<<0.10)

Homogeneity testP = 0.63 (>>0.10)

Data from Jeng GT et al. JAMA 1995; 274:830-836.

20072007


Análisis de la correlaciónAnálisis de la correlación

Una correlación significativa entre la magnitud Una correlación significativa entre la magnitud del efecto y el tamaño de la muestra de los estudios del efecto y el tamaño de la muestra de los estudios indica que el tamaño del efecto depende del tamaño indica que el tamaño del efecto depende del tamaño del estudiodel estudio

Esta correlación puede indicar una verdadera Esta correlación puede indicar una verdadera heterogeneidad entre estudios, fundamentalmente heterogeneidad entre estudios, fundamentalmente debida a un diferente esfuerzo experimental entre debida a un diferente esfuerzo experimental entre estudios, es decir, la rigurosidad del estudio estaría estudios, es decir, la rigurosidad del estudio estaría en función de su tamañoen función de su tamaño

En este caso podría no ser valido el meta-análisisEn este caso podría no ser valido el meta-análisis

20072007


Análisis de la correlaciónAnálisis de la correlaciónCORRELATION BETWEEN THE EFFECT SIZE AND SAMPLE SIZE

SAMPLE SIZE

0.0

0.2

0.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

2.0

2.2

2.4

100 140 180 220 260 300 340 380 420

OD

DS

RA

TIO

r2 = 0.01b = 0.0009p = 0.70

20072007


Análisis de la robustezAnálisis de la robustez

Análisis del sesgo de publicación y/o inclusión Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivosselectiva de estudios positivos

Correlación entre la magnitud del efecto y Correlación entre la magnitud del efecto y el tamaño muestral de los estudios.el tamaño muestral de los estudios.

20072007


Análisis del sesgo de publicación y/o Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos inclusión selectiva de estudios positivos (1)(1)

La introducción del sesgo de publicación y/o La introducción del sesgo de publicación y/o inclusión selectiva de estudios positivos en un inclusión selectiva de estudios positivos en un meta-análisis se debe fundamentalmente a que:meta-análisis se debe fundamentalmente a que:

-- La mayoría de estudios publicados presentan La mayoría de estudios publicados presentan resultados positivos significativos y una minoría resultados positivos significativos y una minoría muestran resultados negativos o no significativos muestran resultados negativos o no significativos

-- Hay una tendencia a seleccionar y, por tanto, Hay una tendencia a seleccionar y, por tanto, incluir en el meta-análisis los estudios o datos no incluir en el meta-análisis los estudios o datos no publicados con resultados positivos significativospublicados con resultados positivos significativosy a guardar los que muestran resultados y a guardar los que muestran resultados negativos o no significativosnegativos o no significativos

20072007



PUBLISHED STUDIES VS UNPUBLISHED STUDIES

RE

LA

TIV

E L

IVE

-BIR

TH

RA

TIO

0.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

PUBLISHED UNPUBLISHED PUBLISHED + UNPUBLISHED DATA

PUBLISHED+ UNPUBLISHED

FAVOURS CONTROL

FAVOURS TREATMENT

Data from Jeng GT et al. JAMA 1995; 274:830-836

20072007


Los métodos utilizados para detectar la introducción Los métodos utilizados para detectar la introducción del sesgo de publicación en un meta-análisis son:del sesgo de publicación en un meta-análisis son:

– Funnel plotFunnel plot– El análisis de la asimetria del funnel plotEl análisis de la asimetria del funnel plot

Si el número de estudios incluidos en el meta-Si el número de estudios incluidos en el meta-análisis es pequeño, el funnel plot es poco útil. En análisis es pequeño, el funnel plot es poco útil. En este caso, el mejor método es comparar el tamaño este caso, el mejor método es comparar el tamaño del efecto global entre los estudios publicados y no del efecto global entre los estudios publicados y no publicadospublicados

En un meta-análisis basado en todos los estudios En un meta-análisis basado en todos los estudios originales, no es necesario analizar el sesgo de originales, no es necesario analizar el sesgo de publicaciónpublicación


20072007


Funnel plotFunnel plot

Published

Unpublished

Overall OR

DEMONSTRATION OF FUNNEL PLOT

ODDS RATIO

SA

MP

LE

SIZ

E

0

20

40

60

80

100

120

140

160

180

200

220

0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0

20072007


Funnel plotFunnel plot

Published

Overall OR

DEMONSTRATION OF FUNNEL PLOT

ODDS RATIO

SA

MP

LE

SIZ

E

0

20

40

60

80

100

120

140

160

180

200

220

0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 2.2

20072007


Presentación gráficaPresentación gráfica

20072007


Conclusiones (1)Conclusiones (1)1.1. El meta-análisis es un herramienta valida y El meta-análisis es un herramienta valida y

poderosa para la síntesis de la investigación poderosa para la síntesis de la investigación siempre y cuando se aplique de forma adecuada siempre y cuando se aplique de forma adecuada (justificación, protocolo, etc.)(justificación, protocolo, etc.)

2.2. La utilización no crítica del meta-análisis puede La utilización no crítica del meta-análisis puede llevar a conclusiones erróneas. Las principales llevar a conclusiones erróneas. Las principales críticas que se realizan a un meta-análisis son:críticas que se realizan a un meta-análisis son:

-- Sesgo de publicación y/o inclusión selectiva de Sesgo de publicación y/o inclusión selectiva de estudios positivosestudios positivos

-- Heterogeneidad entre estudiosHeterogeneidad entre estudios-- Correlación entre el tamaño del efecto y el Correlación entre el tamaño del efecto y el

tamaño de la muestratamaño de la muestra

20072007


Conclusiones (2)Conclusiones (2)3.3. Únicamente cuando estos problemas son Únicamente cuando estos problemas son

debidamente considerados y analizados por debidamente considerados y analizados por medio de:medio de:

-- Análisis de la asimetría del funnel plotAnálisis de la asimetría del funnel plot-- Pruebas de homogeneidadPruebas de homogeneidad-- Análisis de la correlación entre el Análisis de la correlación entre el

tamaño del efecto y el tamaño de la tamaño del efecto y el tamaño de la muestra de los estudiosmuestra de los estudios

Es posible aplicar esta técnica estadística Es posible aplicar esta técnica estadística para combinar los estudios de forma que los para combinar los estudios de forma que los resultados globales sean científicamente resultados globales sean científicamente validosvalidos

20072007


Meta-análisisMeta-análisisEjemploEjemplo

Ferran Torres Ferran Torres [email protected]@uab.es

20072007


Effects of Effects of plantagoplantago ovataovata husk on lipid metabolism. A husk on lipid metabolism. A meta-analysismeta-analysis

20072007


Selection of studiesSelection of studies

Identified 26 studies =>18 were valid Identified 26 studies =>18 were valid according to the predefined criteriaaccording to the predefined criteria

Excluded studies. Excluded studies. – Most of them (7 of 8) insufficient information Most of them (7 of 8) insufficient information

on descriptive statistics to calculate the on descriptive statistics to calculate the meta-analysis estimates from those studies; meta-analysis estimates from those studies;

– the other one was erroneously pre-selected the other one was erroneously pre-selected since only insoluble fiber was used in that since only insoluble fiber was used in that trial. trial.

20072007


Statistical issues on the results (1)Statistical issues on the results (1) Poor quality of informationPoor quality of information

withdrawals and descriptive results:withdrawals and descriptive results: Complete available descriptive data, n, mean and Complete available descriptive data, n, mean and

dispersion (SD or SE), for the baseline subtracted effect dispersion (SD or SE), for the baseline subtracted effect was found only for one study (Williams 1995). was found only for one study (Williams 1995).

– SD (or SE to derive the SD):SD (or SE to derive the SD): Estimated from baseline and final values by using Estimated from baseline and final values by using

correlation coefficients from other published data. correlation coefficients from other published data. If baseline or final SD not available: SD for the baseline If baseline or final SD not available: SD for the baseline

difference was directly imputed from other published data.difference was directly imputed from other published data. cross-over designcross-over design

– Intrasubject correlation for the estimation of the SD of the Intrasubject correlation for the estimation of the SD of the treatment differences has been ignored for the cross-over treatment differences has been ignored for the cross-over design because of (a) it was not available and (b) this is design because of (a) it was not available and (b) this is conservative since it leads to less significant results.conservative since it leads to less significant results.

20072007


20072007


Statistical issues on the results (3)Statistical issues on the results (3)

Heterogeneity and sensibility analysisHeterogeneity and sensibility analysis

– (a) The biggest studies have the lowest magnitude effect (a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is for Total Cholesterol, although the direction of the effect is positive for all of them. positive for all of them.

– (b) There are probably some unpublished small studies (b) There are probably some unpublished small studies with negative results, although the bigger studies are with negative results, although the bigger studies are positive.positive.

=>=>

– Pooled results too heterogeneousPooled results too heterogeneous very cautious with the conclusions very cautious with the conclusions fixed effects not validfixed effects not valid

20072007


Meta-analysis estimationsMeta-analysis estimations

Significant effect for Significant effect for – Total Cholesterol (p<0.001)Total Cholesterol (p<0.001)– LDL (p<0.001) LDL (p<0.001)

““Marginally significant“Marginally significant“– Triglycerides (p=0.213 but p=0.021 for Triglycerides (p=0.213 but p=0.021 for

the fixed effect approach) the fixed effect approach) No effect:No effect:

– HDL (p=0.886 and p=0.178 for the fixed HDL (p=0.886 and p=0.178 for the fixed effect approach)effect approach)

20072007


-5 -4 -3 -2 -1 0 1 2 3 4 5

-0.80 ( -0.93 , -0.68 )

Study

ANDERSON 1988 BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990

ANDERSON 1991 ANDERSON 1992 EVERSON 1992

SPRECHER 1993 SPRECHERON 1993

MACIEJKO 1994 SUMMERBELL 1994

WOLEVER 1994 WILLIAMS 1995

WEINGAND 1997 MACMAHON 1998 MACMAHON 1998

RODRIGUEZ-MORAN 1998 ANDERSON 1999

Pooled(fixed effects)

Fibern: mean(SD)

13: -0.940(0.152) 40: -0.250(0.072) 19: -0.340(0.151) 30: -0.337(0.119) 27: -0.510(0.529) 27: -0.520(0.363) 21: -0.550(0.416) 20: -0.363(0.565) 59: -0.337(0.407) 20: 0.070(0.447) 18: -0.810(0.177) 19: -0.450(0.159) 18: -0.290(0.407) 26: -0.544(0.133) 23: -0.180(0.407)101: -0.670(0.407) 91: -0.700(0.407) 62: -0.673(0.169) 14: -0.119(0.407)

n=522

Controln: mean(SD)

13: -0.230(0.320) 35: 0.010(0.219) 19: -0.020(0.242) 28: 0.052(0.179) 27: -0.070(0.364) 25: -0.240(0.133) 23: 0.000(0.225) 20: -0.130(0.134) 59: -0.018(0.407) 20: 0.080(0.358) 18: -0.620(1.169) 18: -0.170(0.296) 18: 0.270(0.407) 24: -0.299(0.177) 23: 0.080(0.407) 37: -0.610(0.407) 37: -0.610(0.407) 63: -0.440(0.746) 15: 0.372(0.407)

n= 648

Fiber vs Placebo effect in lipid reduction. Total CholesterolHedges unbiased g, Fixed effects

Fiber better Control better

Estimates with 95% confidence intervals

Absolute Baseline Reduction

20072007


-5 -4 -3 -2 -1 0 1 2 3 4 5

-1.01 ( -1.31 , -0.70 )

Study








Pooled(random effects)

Fibern: mean(SD)

13: -0.940(0.152) 40: -0.250(0.072) 19: -0.340(0.151) 30: -0.337(0.119) 27: -0.510(0.529) 27: -0.520(0.363) 21: -0.550(0.416) 20: -0.363(0.565) 59: -0.337(0.407) 20: 0.070(0.447) 18: -0.810(0.177) 19: -0.450(0.159) 18: -0.290(0.407) 26: -0.544(0.133) 23: -0.180(0.407)101: -0.670(0.407) 91: -0.700(0.407) 62: -0.673(0.169) 14: -0.119(0.407)

n=522

Controln: mean(SD)

13: -0.230(0.320) 35: 0.010(0.219) 19: -0.020(0.242) 28: 0.052(0.179) 27: -0.070(0.364) 25: -0.240(0.133) 23: 0.000(0.225) 20: -0.130(0.134) 59: -0.018(0.407) 20: 0.080(0.358) 18: -0.620(1.169) 18: -0.170(0.296) 18: 0.270(0.407) 24: -0.299(0.177) 23: 0.080(0.407) 37: -0.610(0.407) 37: -0.610(0.407) 63: -0.440(0.746) 15: 0.372(0.407)

n= 648

Fiber vs Placebo effect in lipid reduction. Total CholesterolHedges unbiased g, Random effects




20072007


-1.0 -0.7 -0.4 -0.1 0.1 0.3 0.5 0.7 0.9

-0.31 ( -0.37 , -0.24 )

Study








Pooled(random effects)

Fibern: mean(SD)

13: -0.940(0.152) 40: -0.250(0.072) 19: -0.340(0.151) 30: -0.337(0.119) 27: -0.510(0.529) 27: -0.520(0.363) 21: -0.550(0.416) 20: -0.363(0.565) 59: -0.337(0.407) 20: 0.070(0.447) 18: -0.810(0.177) 19: -0.450(0.159) 18: -0.290(0.407) 26: -0.544(0.133) 23: -0.180(0.407)101: -0.670(0.407) 91: -0.700(0.407) 62: -0.673(0.169) 14: -0.119(0.407)

n=522

Controln: mean(SD)

13: -0.230(0.320) 35: 0.010(0.219) 19: -0.020(0.242) 28: 0.052(0.179) 27: -0.070(0.364) 25: -0.240(0.133) 23: 0.000(0.225) 20: -0.130(0.134) 59: -0.018(0.407) 20: 0.080(0.358) 18: -0.620(1.169) 18: -0.170(0.296) 18: 0.270(0.407) 24: -0.299(0.177) 23: 0.080(0.407) 37: -0.610(0.407) 37: -0.610(0.407) 63: -0.440(0.746) 15: 0.372(0.407)

n= 648

Fiber vs Placebo effect in lipid reduction. Total CholesterolDifference of means (mmol/L), Random effects




20072007


SubgroupsSubgroups SS with ES>1SS with ES>1

– Cholesterol and LDLCholesterol and LDL fiber food supplement compoundfiber food supplement compound intake duration between 4 and 8 weeksintake duration between 4 and 8 weeks daily doses >10G/ddaily doses >10G/d

Moderate SS ESModerate SS ES– >8 weeks regimens >8 weeks regimens

-0.7 cholesterol and -0.8 LDL-0.7 cholesterol and -0.8 LDL

SS with ES≈1 SS with ES≈1 – periods of study publication: no clear trendperiods of study publication: no clear trend

Adult population: replication of the main pooled Adult population: replication of the main pooled effect because only 2 studies on childhood.effect because only 2 studies on childhood.

20072007


Group P value

Hedges’ g estimator (random)

95% Lower Limit

95% Upper Limit

Main pooled effect 0.000 -1.007 -1.311 -0.703 Type of fiber

Fiber food supplement compound 0.000 -1.134 -1.561 -0.707 Diet or Cereals supplements 0.000 -0.869 -1.313 -0.426

Duration of fiber Intake <=4 weeks 0.310 -0.670 -1.966 0.625 >4 to <=8 weeks 0.000 -1.171 -1.539 -0.803 >8 weeks 0.024 -0.672 -1.255 -0.088

Daily dose < 5 G/d 0.939 -0.024 -0.644 0.596 >= 5 to 10 G/d 0.005 -0.908 -1.542 -0.275 >10 G/d 0.000 -1.123 -1.477 -0.769

Population Non Adults 0.303 -0.786 -2.282 0.711 Adults 0.000 -1.032 -1.350 -0.714

Year of publication 1988-1990 0.000 -1.807 -2.418 -1.196 1991-1993 0.001 -0.786 -1.234 -0.338 1994-1997 0.000 -0.971 -1.456 -0.486 >=1998 0.016 -0.370 -0.673 -0.068

CholesterolCholesterol

20072007


Meta-análisisMeta-análisisEjemploEjemplo


20072007


ExampleExample

Fleiss JL The statistical basis of meta-analysis. Fleiss JL The statistical basis of meta-analysis. Statistical Methods in Medical research 1993; 2: Statistical Methods in Medical research 1993; 2: 121-145.121-145.

Results of seven placebo-controlled randomised Results of seven placebo-controlled randomised studies of the effect of aspirin in preventing death studies of the effect of aspirin in preventing death after myocardial infarctionafter myocardial infarction

20072007


StudyAAS Placebo AAS Placebo

MRC-1 49 67 615 624CDP 44 64 758 771MRC-2 102 126 832 850GASP 32 38 317 309PARIS 85 104 810 812AMIS 246 219 2267 2257ISIS-2 1570 1720 8587 8600

deaths Total patients

Studies of aspirin in myocardial infarction

20072007


Study OR y=ln(OR) se{lnOR} w Prop weightMRC-1 0.72 0.49 1.06 -0.33 0.19 26.3 2.9%CDP 0.68 0.46 1.01 -0.38 0.20 25.1 2.8%MRC-2 0.80 0.61 1.06 -0.22 0.14 49.3 5.4%GASP 0.80 0.49 1.32 -0.22 0.25 15.6 1.7%PARIS 0.79 0.54 1.16 -0.23 0.19 27.1 3.0%AMIS 1.13 0.94 1.37 0.12 0.10 104.3 11.4%ISIS-2 0.90 0.83 0.97 -0.11 0.04 665.1 72.9%

95% CI

8.910 iw3.99yw ii Pooled estimate of ln(OR) =

OR = 0.90 (0.84 0.96)

11.08.910

3.99

Meta-analysis of Aspirin trials

20072007


Graphical representationGraphical representation

20072007


Study OR y=ln(OR) se{lnOR} w Prop weightMRC-1 0.72 0.49 1.06 -0.33 0.19 26.3 2.9%CDP 0.68 0.46 1.01 -0.38 0.20 25.1 2.8%MRC-2 0.80 0.61 1.06 -0.22 0.14 49.3 5.4%GASP 0.80 0.49 1.32 -0.22 0.25 15.6 1.7%PARIS 0.79 0.54 1.16 -0.23 0.19 27.1 3.0%AMIS 1.13 0.94 1.37 0.12 0.10 104.3 11.4%ISIS-2 0.90 0.83 0.97 -0.11 0.04 665.1 72.9%

95% CI

Fixed OR = 0.90 (0.84 0.96)

Study OR y=ln(OR) var Prop weightMRC-1 0.72 0.46 1.10 -0.33 0.05 8.0%CDP 0.68 0.43 1.05 -0.38 0.05 8.0%MRC-2 0.80 0.57 1.12 -0.22 0.03 13.0%GASP 0.80 0.46 1.36 -0.22 0.07 5.0%PARIS 0.79 0.52 1.20 -0.23 0.05 9.0%AMIS 1.13 0.86 1.48 0.12 0.02 21.0%ISIS-2 0.90 0.72 1.10 -0.11 0.01 36.0%

95% CI

Random OR= 0.88 95%CI : (0.77 ; 0.99)

20072007


20072007


10.4%-14.2% = 3.8%

20072007


Meta-análisisMeta-análisisNormativasNormativas


20072007


Guias y NormativasGuias y Normativas ICH - E9: Statistical Principles for Clinical ICH - E9: Statistical Principles for Clinical

Trials Note for Guidance on Statistical Trials Note for Guidance on Statistical Principles for Clinical Trials. Principles for Clinical Trials. CMP/ICH/363/96. September 1998CMP/ICH/363/96. September 1998

CPMP/EWP/2330/99: Validity and CPMP/EWP/2330/99: Validity and Interpretation of Pooled Analyses, and one Interpretation of Pooled Analyses, and one Pivotal studyPivotal study

The Potsdam International Consultation on The Potsdam International Consultation on Meta-analysis Potsdam, Germany, March Meta-analysis Potsdam, Germany, March 19941994

QUORUM. Statement. QUORUM. Statement. Lancet 1999; 354: 1896-1900.Lancet 1999; 354: 1896-1900.

20072007


Potsdam International Potsdam International CosultationCosultation

Journal of Clinical Epidemiology 1995; 48: 1-71Journal of Clinical Epidemiology 1995; 48: 1-71

Cook DJ, Sackett DL, Spitzer WO. Methodologic Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized guidelines for systematic reviews of randomized control trials in health care from the Potsdam control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995;consultation meta-analysis. J Clin Epidemiol 1995;48:168-71.48:168-71.

Describen los pasos que se deben seguir en el Describen los pasos que se deben seguir en el desarrollo de un meta-análisis rigurosodesarrollo de un meta-análisis riguroso

20072007


20072007


ICH Biostatistical guidelineICH Biostatistical guideline””Individual clinical trials should always be Individual clinical trials should always be

large enough to satisfy their objectives.”large enough to satisfy their objectives.”

””The use of meta-analytic techniques to The use of meta-analytic techniques to combine these estimates is often useful, combine these estimates is often useful, because it allows a more precise estimate because it allows a more precise estimate of the size of the treatment effects.”of the size of the treatment effects.”

20072007


ICH Biostatistical guidelineICH Biostatistical guideline

””Under exceptional circumstancesUnder exceptional circumstances a a meta-analytic approach may be the most meta-analytic approach may be the most appropriate way to, or the only way, of appropriate way to, or the only way, of providing sufficient overall evidence of providing sufficient overall evidence of efficacy ...”efficacy ...”

20072007


PtC on Meta-analysesPtC on Meta-analyses

”… ”… not to encouragenot to encourage applicants to rely applicants to rely on a submission where stand alone on a submission where stand alone studies have been substituted by a studies have been substituted by a meta-analysis of trials of inadequate meta-analysis of trials of inadequate size.”size.”

20072007


Acceptable regulatory purposes for meta analysisAcceptable regulatory purposes for meta analysis

To improve the precision of the estimate To improve the precision of the estimate of efficacyof efficacy

To evaluate whether overall positive To evaluate whether overall positive results are also seen in pre-specified results are also seen in pre-specified subgroupssubgroups

To evaluate apparently conflicting results.To evaluate apparently conflicting results.

20072007


Acceptable regulatory purposes for Acceptable regulatory purposes for meta analysismeta analysis

To evaluate an additional efficacy outcome To evaluate an additional efficacy outcome that requires more power than the that requires more power than the individual trials can provide.individual trials can provide.

To evaluate safety in a subgroup, or a rare To evaluate safety in a subgroup, or a rare event in all patients.event in all patients.

20072007


Pre-specification: Meta-analysis Pre-specification: Meta-analysis protocolprotocol

The objective of the analyis.The objective of the analyis. Criteria for inclusion and exclusion of Criteria for inclusion and exclusion of

studies (study populations, study design, studies (study populations, study design, dosage, duration etc). dosage, duration etc).

Strategy for indentification of studies.Strategy for indentification of studies. Endpoints. The definitions set up for the Endpoints. The definitions set up for the

individual studies should be followed.individual studies should be followed.

20072007


Pre-specification: Meta-analysis Pre-specification: Meta-analysis protocolprotocol

Statistical methods. P-value more extreme Statistical methods. P-value more extreme than the conventional 0.05. Evaluation of than the conventional 0.05. Evaluation of hetreogeneity.hetreogeneity.

Plan for evaluation of robustness. Plan for evaluation of robustness. Demonstration of consistency in Demonstration of consistency in alternative analyses.alternative analyses.

20072007


Timing of the meta-analysis protocolTiming of the meta-analysis protocol

A retrospective specification should A retrospective specification should be avoided if possible.be avoided if possible.

In retrospectively specified protocols the In retrospectively specified protocols the primary specifications and definitions set primary specifications and definitions set up in the indivi-dual studies should be up in the indivi-dual studies should be followed.followed.

20072007


Retrospective meta-analysisRetrospective meta-analysis

May be acceptable ifMay be acceptable if some studies clearly positivesome studies clearly positive no major numerical interactionsno major numerical interactions positive trend in inconclusive studiespositive trend in inconclusive studies pooled CI well away from zero (or unity)pooled CI well away from zero (or unity) selection bias unlikelyselection bias unlikely robustness of the findingsrobustness of the findings

20072007



Obligation to submit all studies relevant to Obligation to submit all studies relevant to the claims made.the claims made.

Selection bias normally not a problem for Selection bias normally not a problem for new chemical entities.new chemical entities.

Selection bias in drug applications not Selection bias in drug applications not specific to applications with a meta-specific to applications with a meta-analysisanalysis

20072007



Substantial risk for selection bias in Substantial risk for selection bias in applications wholly or partly relying on applications wholly or partly relying on bibliographical data.bibliographical data.

The strategy for indentifying relevant The strategy for indentifying relevant studies should be presented together with studies should be presented together with a thorough discussion of a potential a thorough discussion of a potential selection bias.selection bias.

20072007


Clinical relevance of pooled resultsClinical relevance of pooled results

Statistical significance vs clinical Statistical significance vs clinical relevance.relevance.

Emphasis on clinical judgement.Emphasis on clinical judgement.

Significant effects might be to small to Significant effects might be to small to result in a positive overall risk/benefit.result in a positive overall risk/benefit.

20072007


Heterogeneity and external validityHeterogeneity and external validity

Are the study populations sufficiently Are the study populations sufficiently representative of a common target population representative of a common target population (dosage, duration, severity etc)?(dosage, duration, severity etc)?

Are there any reason to suspect a clinically Are there any reason to suspect a clinically relevant interaction?relevant interaction?

Suspected interactions and major clinical Suspected interactions and major clinical differences among the individual studies differences among the individual studies should be evaluated in alternative analyses.should be evaluated in alternative analyses.

20072007


Pooled analyses of safety endpointsPooled analyses of safety endpoints

Less sophisticated pooling of data from Less sophisticated pooling of data from variable sources.variable sources.

Strigent meta-analysis for in depth evaluation Strigent meta-analysis for in depth evaluation of safety signals from less reliable analyses.of safety signals from less reliable analyses.

Special attention to the inclusion of studies Special attention to the inclusion of studies that are likely to dilute potential negative that are likely to dilute potential negative effect.effect.

Intra-study comparisons a minimum Intra-study comparisons a minimum requirement.requirement.

20072007


ICH E9 Statistical principles for Clinical ICH E9 Statistical principles for Clinical Trials, 1998Trials, 1998

””The results of the confirmatory trial(s) The results of the confirmatory trial(s) should be robust.”should be robust.”

””In some circumstances the weight of In some circumstances the weight of evidence from a single confirmatory evidence from a single confirmatory trial may be sufficient.”trial may be sufficient.”

20072007


What is the crucial question?What is the crucial question?

Do we have enough studies?Do we have enough studies?

oror

Do we have enough data?Do we have enough data?

20072007


Arguments for replicationArguments for replication

More than one study provides a broader More than one study provides a broader basis for generalisation of the results.basis for generalisation of the results.

Protection against fraudProtection against fraud

Reduced risk for some hidden systematic Reduced risk for some hidden systematic biasbias

The general demand for replication of The general demand for replication of scientific resultsscientific results

20072007


Fundamental requirement on the Fundamental requirement on the phase III documentationphase III documentation

Adequate and well-controlled data of good Adequate and well-controlled data of good quality quality

A sufficient number of patients, A sufficient number of patients, with a sufficient variety and disease conditions, with a sufficient variety and disease conditions, collected by a sufficent number of investigators, collected by a sufficent number of investigators, demonstrating a positive risk/benefit in the demonstrating a positive risk/benefit in the

intended population at the intended dose and intended population at the intended dose and manner of use.manner of use.

Minimum requirement: One controlled study Minimum requirement: One controlled study with sta-tistically compelling and clinically with sta-tistically compelling and clinically relevant results.relevant results.

20072007


Reasons to plan for more than one studyReasons to plan for more than one study

Lack of pharmacological rationaleLack of pharmacological rationale

A new pharmocological principleA new pharmocological principle

Phase I and phase II data limited or Phase I and phase II data limited or unconvincingunconvincing

A therapeutic area with a history of A therapeutic area with a history of failed studies or failures to confirm failed studies or failures to confirm seemingly convincing resultsseemingly convincing results

Any other need to address additional Any other need to address additional questions in the phase III programquestions in the phase III program

20072007


Crucial issues in the one pivotal study Crucial issues in the one pivotal study situationsituation

Internal and external validity.Internal and external validity.

Clinical relevance. The treatment Clinical relevance. The treatment benefit must be large enough to be benefit must be large enough to be clinically relevant.clinically relevant.

Statistical significance. Passing the Statistical significance. Passing the conventional 5% significance level is conventional 5% significance level is usually not sufficient.usually not sufficient.

20072007


Crucial issues in the one pivotal study situationCrucial issues in the one pivotal study situation

Data qualityData quality

Internal consistency. Similar findings in Internal consistency. Similar findings in pre-specified sub-populations and for pre-specified sub-populations and for different endpoints.different endpoints.

Center effects.Center effects.

Plausibility of the hypothesis tested.Plausibility of the hypothesis tested.

20072007


Scientific advice on One confirmatory studyScientific advice on One confirmatory study

Sponsors’ argument Sponsors’ argument New/extended indication, pediatric indicationNew/extended indication, pediatric indication New formulationNew formulation Effects on survivalEffects on survival Serious disease (e.g. cancer)Serious disease (e.g. cancer) Life-long disease without cureLife-long disease without cure No therapy currently availableNo therapy currently available Rare disease (orphan drug)Rare disease (orphan drug) One study in each of two indicationsOne study in each of two indications Placebo controlled dose-finding study positivePlacebo controlled dose-finding study positive

20072007


Conclusion on One Pivotal studyConclusion on One Pivotal study

There is no formal requirement to include There is no formal requirement to include two or more pivotal studies in the phase III two or more pivotal studies in the phase III program.program.

In most cases several studies is the most In most cases several studies is the most feasible way to provide the data needed.feasible way to provide the data needed.

In the exceptional event of a one pivotal In the exceptional event of a one pivotal study application, theis study has to be study application, theis study has to be particularly compelling.particularly compelling.

2007 [email protected] 1 meta-análisis. 2007 [email protected] 2 preguntas básicas ¿qué...

Documents