taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1....

34
1 Early Review Organizing Software Aspectos metodológicos Uso del REVMAN Jesús López Alcalde Lima, Jueves 24 de Mayo de 2012 Taller de revisiones sistemáticas: Valoración del riesgo de sesgo de los estudios incluidos Práctica: – Ensayo clínico con los alumnos de la clase Teoría (+Práctica) Práctica: – Valoración del riesgo de sesgo de un ensayo clínico Quizás necesites… Sleeping kid in NSC by rofltosh www.flickr.com/photos/21131327@N00/2100763009 ¿Tienes sueño? ¿Tecuesta mantener la atención? Small Chocolate Fountain by Alexander Klink http://commons.wikimedia.org/wiki/File:Small_Chocolate_Fountain.JPG CHOC-ATT Trial ¿El CHOColate mejora la atención y reduce el sopor durante un taller? ¿Cómo investigar si el chocolate influye sobre la atención o el sopor? Formar 2 grupos de participantes: – Grupo 1: comerá chocolate – Grupo 2: no comerá nada

Upload: others

Post on 14-Jul-2020

4 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

1

● Early Review Organizing Software● Aspectos metodológicos

● Uso del REVMAN

Jesús López AlcaldeLima, Jueves 24 de Mayo de 2012

Taller de revisiones sistemáticas:Valoración del riesgo de sesgo de

los estudios incluidos

• Práctica:– Ensayo clínico con los alumnos de la clase

• Teoría (+Práctica)

• Práctica:– Valoración del riesgo de sesgo de un ensayo

clínico

Quizás

necesites… Sle

ep

ing

kid

in N

SC

by

ro

flto

sh w

ww

.fli

ckr.

com

/ph

oto

s/2

11

31

32

7@

N0

0/2

10

07

63

00

9

¿Tienes sueño?

¿Te cuesta mantener la atención?

Sm

all

Ch

oco

late

Fo

un

tain

by

Ale

xan

de

r K

lin

k h

ttp

://c

om

mo

ns.

wik

ime

dia

.org

/wik

i/Fi

le:S

ma

ll_

Ch

oco

late

_Fo

un

tain

.JP

G

CHOC-ATT Trial¿El CHOColate mejora la atención y reduce

el sopor durante un taller?

¿Cómo investigar si el chocolate influye sobre la atención o el sopor?

• Formar 2 grupos de participantes:– Grupo 1: comerá chocolate

– Grupo 2: no comerá nada

Page 2: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

2

¿Qué os parecen estos métodospara distribuir los participantes en ambas ramas del estudio?

• Método no aleatorio– Mujeres: chocolate. Hombres: nada– Mitad izquierda clase: chocolate: Mitad derecha: nada

• Método cuasi aleatorio:– Alternancia– Año de nacimiento

• Estratificación por factores confusores conocidos – Edad, género, haber tenido guardia la noche previa

Problemas con estas formas de repartir los participantes entre

las ramas del estudio

La generación de la secuencia no es aleatoria

¿Cómo distribuir los participantes en ambas ramas del estudio?

A partir de una secuencia generada de forma aleator ia

Todos los participantes tienen la misma probabilida d de ser asignados a cada grupo

¿Ejemplos de métodos para generar secuencias aleatorias?

.- Programa estadístico.- Tabla de números aleatorios

.- Lanzar dados.- Baraja de naipes, etc

Ejemplo: Excel

¿Qué repercusiones puede tener colgar este listado en el lugar del

reclutamiento de los participantes?

Puede alterar la secuencia aleatoria

¿Qué repercusiones puede tener que el encargado de reclutar a los

participantes conozca este listado?

El encargado de reclutar los participantes del

estudio sabrá a qué rama ha sido asignado cada

participante

¿Cómo prevenir la modificación de la secuencia de asignación por parte del encargado asignar los participantes del

estudio a su correspondiente rama?

Ocultación de la secuencia de asignación

Page 3: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

3

Ocultación de la asignación

• Establecer mecanismos para evitar que los participantes y los encargados de incluira los participantes en el estudio sepan a qué rama del estudio van a ser asignados

• Previene cualquier interferencia en la secuencia

• Asignación central

• Sobres cerrados, opacos y numerados de forma secuencial (“Sequentially numbered, sealed, opaque envelopes”)

• Contenedores opacos

¿Métodos para ocultarla secuencia de asignación?

¿Qué problemas hay en cada sobre?¿El ocultamiento es eficaz?

1

2

3

NO

NO

4

5

6

NO

SI

NO

¿Hay algo en esta situación que podría distorsionar los resultados del estudio?

Sesgo de realización

Sesgo de detección

Los participantes del grupo control pueden estar predispuestos a beber más café

Los participantes del grupo control, descontentos por no recibir chocolate, pueden estar más predispuestos a quejarse de su cansancio

¿Cómo prevenir estos problemas?

Cegamiento

¿Cómo implementar el cegamiento?

No es fácil

¿Cómo implementar el cegamiento?

Ausentes cuando se abren los sobres y se administra intervención

Problema: Los participantes siguen sin estar cegados

¿Cómo hacerlo? Un profesional independiente (por ej. del servicio de farmacia), administra la intervención

2) ¿Cómo cegar a los participantes?

Los participantes del gr. control reciben un placebo similar al chocolate (gusto, apariencia,

olor, empaquetado, etc.)

Problema: A veces es difícil de conseguir este tipo de placeb o

3) ¿Cómo cegar a los evaluadores de los resultados ?

1) ¿Cómo cegar a los que administran la intervenció n?

Profesional independiente

Page 4: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

4

Fin del ensayo clínico

Comienzo de la teoría

Etapas de un revisión Cochrane1. Formulación de la pregunta2. Planificación de los criterios de elegibilidad3. Planificación de los métodos4. Búsqueda de estudios5. Aplicar los criterios de elegibilidad6. Extracción de datos7. Valoración del riesgo de sesgo de los estudios in cluidos8. Análisis y presentación de resultados9. Interpretación de resultados y establecer las conclusiones10. Mejora y actualización de la revisión

Recursos de interés• Cochrane Handbook:

– www.cochrane-handbook.org/– Capítulo 8 (disponible en inglés o español)

• Cochrane Bias Methods Group:– http://bmg.cochrane.org/

• Online Learning Modules para autores Cochrane:– http://training.cochrane.org/authors/olm

– Disponibles en breve

• Depende, en gran medida, de la validez de los resultados de los estudios primarios

• Una RS de estudios sesgados posiblemente genere conclusiones sesgadas

Validez de las conclusiones de una RS:Validez de las conclusiones de una RS:

La valoración de la validez La valoración de la validez de los estudios primarios:de los estudios primarios:

• Etapa fundamental de una RS

• Influirá en varias etapas de la RS: – En el análisis– En la interpretación de los resultados

– En las conclusiones de la revisión

1.1.-- Pretensiones de una investigación Pretensiones de una investigación

Page 5: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

5

1.1.-- Pretensiones de una investigación Pretensiones de una investigación

• Validez externa

• Validez interna

• Precisión

Validez externa Validez externa

• Sinónimos:– Generalización, aplicabilidad, extrapolación

• Grado en que los resultados observados en un estudio pueden ser extrapolados a otras circunstancias:– En particular, a la práctica clínica habitual

Causas de ausencia de validez Causas de ausencia de validez externa en un estudio primario:externa en un estudio primario:

•• Peculiaridad de los sujetos a estudioPeculiaridad de los sujetos a estudio ::– Selección de pacientes “peculiares”

•• Peculiaridad de la intervención:Peculiaridad de la intervención:– Intervención basada en alta tecnología

– Profesionales que la aplican

– Medio sanitario en el que se aplica

Ensayo clínico: escasa validez externa

MujeresNiños

Validez internaValidez interna

• Grado en que los efectos observados en un estudio se acercan a la verdad para los sujetos de ese estudio:– Ausencia de sesgo– Ausencia de error sistemático

• Sinónimos frecuentemente empleados:– Validez, Calidad, Calidad metodológica, etc.

• Precisión:– Ausencia de error aleatorio

• El error aleatorio es atribuible a:– Variabilidad de los fenómenos biológicos:

• A menor varianza, menor error aleatorio

– Proceso de muestreo:• A mayor tamaño muestral, menor error aleatorio

PrecisiónPrecisión

Page 6: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

6

2.2.--¿Qué es un sesgo?¿Qué es un sesgo?

2.2.--¿Qué es un sesgo?¿Qué es un sesgo?

• = “Error sistemático”

• Desviación sistemática de la “verdad” en los resultados de un estudio.

Sesgo ≠ Imprecisión

• Sesgo se refiere a “Error sistemático ”

• Imprecisión se refiere a “Error aleatorio ”↓↓↓↓ Tamañomuestral

Criterios de selección restrictivos

↓↓↓↓ Validezexterna

Ausencia de Ausencia de generalización generalización

↓↓↓↓↓↓↓↓ PrecisiónPrecisión Ausencia de Ausencia de conclusiones conclusiones

SesgosSesgos ↓↓↓↓↓↓↓↓ Validez Validez internainterna

Conclusiones Conclusiones erróneaserróneas

↑↑↑↑ Variabilidad del fenómeno

Al valorar la presencia de sesgo en un estudio debemos estimar la

distorsión generada en los resultados:

• Dirección de la distorsión:– Infraestimación del efecto

– Sobreestimación del efecto

• Magnitud de la distorsión

Origen de los sesgos:Origen de los sesgos:

• Surgen por la existencia de diferencias sistemáticas entre los grupos que se comparan en cuanto a características que pueden influir en la variable de resultado

Page 7: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

7

¿Qué es investigar?¿Qué es investigar?• Investigar significa comparar

• La calidad de la comparación es lo esencial

• Debemos comparar grupos similares en todos los factores que pueden influir en la variable de resultado, excepto en un factor, el factor a estudio

• En investigación se suele utilizar:– 1 grupo sometido a un factor a estudio– 1 grupo de comparación no sometido a dicho factor

Comparación ideal

CRECEPELOCRECEPELO

No hacer nada

• Es muy difícil saber si un estudio en concreto está sesgado

• No se puede medir la presencia de sesgo

• Sí conocemos ciertos factores que posiblemente aumenten el riesgo de riesgo de sesgosesgo en un estudio

“Sesgo” y “Riesgo de sesgo” “Riesgo de sesgo” y “Calidad”

•• Riesgo de sesgo de un estudio:Riesgo de sesgo de un estudio:– ¿Puedo confiar en los resultados del estudio?– Credibilidad del estudio

•• Calidad de un estudio:Calidad de un estudio:– ¿El estudio se hizo de la mejor manera posible?

Por tanto…Por tanto…

• La Colaboración Cochrane recomienda emplear la expresión “ riesgo de sesgo”riesgo de sesgo”

•• Recomendable:Recomendable:– “Este estudio presenta un alto riesgo de sesgo”

•• No recomendable: No recomendable: – “Este estudio está sesgado”– “El estudio presenta alta calidad”

Razones para utilizar la expresión Razones para utilizar la expresión “Valoración del riesgo de sesgo”:“Valoración del riesgo de sesgo”:

• Un estudio puede ser de alta calidad metodológica y presentar un alto riesgo de sesgo. Ejemplo: – Cuando el cegamiento es imposible

• Ciertos indicadores tradicionales de “calidad” tienen poca probabilidad de influir en el riesgo de sesgo:– Ejemplo: Predeterminación del tamaño muestral

• Se supera la ambigüedad entre la “calidad del informe “ y la “calidad de la investigación” en sí

Page 8: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

8

“Calidad de un estudio”:Término confuso

Planificación del estudio

Informe del estudio

Calidad del diseño

Calidad del informe

Realización del estudio Calidad en la ejecución

“Calidad de la evidencia”“Calidad de la evidencia”

• Término recientemente adoptado en la Colaboración Cochrane.

• Describe el grado de certeza en que la estimación del efecto está próxima a su valor real

• El riesgo de sesgo es sólo uno de los factores a considerar para estimar la “calidad de la evidencia”

“Calidad de la Evidencia”“Calidad de la Evidencia”

Riesgo Riesgo de sesgode sesgo

3.3.-- HerramientasHerramientas parapara valorarvalorarla la calidadcalidad o el o el riesgoriesgo de de sesgosesgo

A) Realización (“conduct”) versus informe (“report”)

DISTINGUIR ENTRE

REALIZACIÓN DE UN ESTUDIO

INFORME DE UN ESTUDIO

Realización de un estudio

• ¿Qué se hizo?

Informe de un estudio

• Descripción por parte de los autores de lo que se hizo

Page 9: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

9

Por tanto…Por tanto…• Tener presente las diferencias entre lo

que se informa y lo que realmente se hizo

• Si no hay información para saber lo que realmente se hizo, describirlo:

“NO CLARO”“NO CLARO”

1) Escalas (ejemplo, escala de Jadad):• Se consideran varios ítems• Se califican con un número• Se obtiene una cifra global para definir la calidad

del estudio

2) Checklists :• Se hacen preguntas sobre aspectos concretos• Ejemplo: Plantillas de lectura crítica

3) Evaluación basada en dominios (Cochrane)

Escalas: desaconsejadas por el Cochrane Handbook

B) Tipos de herramientas para valorar el riesgo de sesgo

Escalas de calidad

•• ¡¡¡¡¡¡ MUCHÍSIMAS !!!!!:¡¡¡¡¡¡ MUCHÍSIMAS !!!!!:– 25 escalas, 9 checklists para ensayos clínicos

• Número variable de ítems: 3 - 57 cada una

• Tiempo variable de cumplimentación: 10-45 min

• Algunos criterios no relacionados con el riesgo de sesgo (predeterminación del tamaño muestral)

Moher. Controlled clinical Trials 1995;16:62-73

CheckCheck--lists tradicionaleslists tradicionales

Resumen de lo visto hasta ahora

• Sesgo :

– Error sistemático o desviación sistemática de la verdad

– Sobreestima o infraestima el efecto verdadero

• Presencia de sesgo:– No se puede medir

– Ciertos factores minimizan el riesgo de sesgo

• Valorar en cada estudio dichos factores

Page 10: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

10

CalidadImprecisión Informe

Sesgo no es lo mismo que

No usar escalas para valorar el riesgo de sesgo de los estudios incluidos en una

revisión Cochrane

4.- Propuesta de la Colaboración Cochrane para

valorar el riesgo de sesgo

Cochrane “Risk of bias” tool

• 7 dominios basados en la evidencia• Juicio del revisor:

���� Low risk of bias

���� High risk of bias

? Unclear

• Justificación del juicio:• Pruebas/citas del artículo o de otras fuentes

• Explicación por parte del revisor

Dominios a evaluarDominios a evaluar

1. Generación aleatoria de la secuencia de asignació n

2. Ocultación de la asignación

3. Cegamiento de los participantes y del personal

4. Cegamiento de los evaluadores de los resultados

5. Datos de resultado incompletos

6. Notificación selectiva de los resultados

7. Otros sesgos

Consultar el Handbook antes de valorar el riesgo de sesgo (Secciones 8.9 a 8.14)

Ejemplo: “Ejemplo: “RiskRisk of of biasbias tabletable” ”

Evaluación de 7 dominios

¿Algo raro en esta tabla?

Page 11: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

11

Considerar el riesgo de sesgo Considerar el riesgo de sesgo para cada variable resultado para cada variable resultado

(o (o grupo de variables de resultado)de variables de resultado)

• 3 dominios pueden requerir valoración específica según el tipo de resultado

¿Cuáles?¿Cuáles?

DominiosDominios1. Generación aleatoria de la secuencia de asignación

2. Ocultación de la asignación

3. Cegamiento de los participantes y del personal

4. Cegamiento de los evaluadores de los resultados

5. Datos de resultado incompletos

6. Notificación selectiva de los resultados

7. Otros sesgos

Fuentes de sesgo en un ensayo clínico

1.1.--SelecciónSelección

3.3.-- DetecciónDetección

4.4.-- DesgasteDesgaste

Población diana

Asignación

Grupo intervenión Grupo control

Evaluaciónde resultado

Evaluaciónde resultado

Publicación de los resultados del estudio

2.2.--RealizaciónRealización

5.5.-- NotificaciónNotificación

cochrane training Sesgo de selección• Origen:

– Existencia de diferencias sistemáticas entre los grupos en cuanto a características basales de los participantes que pueden influir en la variable de resultado

• Prevención:1.Generación aleatoria de la secuencia de asignación2.Ocultación de la asignación

Fuentes de sesgo en un ensayo clínico

1.- Generación aleatoriade la secuencia

2.- Ocultación de la secuencia

Población diana

Asignación

Grupo intervenión Grupo control

Evaluaciónde resultado

Evaluaciónde resultado

Publicación de los resultados del estudio

cochrane training

1.1.--SelecciónSelección

3.3.-- DetecciónDetección

4.4.-- DesgasteDesgaste

2.2.--RealizaciónRealización

5.5.-- NotificaciónNotificación

Secuencia de asignación:Secuencia de asignación:

• Pauta para establecer la intervención que va a recibir cada participante

• Debería generar grupos comparables en todas las características que pueden influir en la variable de resultado

Page 12: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

12

Método de generación de la secuencia

• La literatura científica sugiere su importancia

• Los EC no aleatorizados tienden a sobreestimarsobreestimar los efectos de la intervención comparados con los EC aleatorizados

Schulz KF trials. JAMA 1995; 273: 408-12

Secuencia aleatoriaSecuencia aleatoria

• Secuencia generada por el azar

•• Ventajas de las secuencias aleatoriasVentajas de las secuencias aleatorias– Suelen ser impredecibles– Tienden a generar grupos semejantes, por

término medio, en todos los factores que pueden influir en la variable de resultado:

• En los factores conocidos • En los factores desconocidosdesconocidos

Métodos adecuados para generar una secuencia aleatoria:

• Técnicas rudimentarias:– lanzar una moneda, lanzar dados, barajar

naipes o sobres, sorteo de tarjetas

• Tabla de números aleatorios• Programa informático generador de

números aleatorios

IMPORTANTE

EL AZAR FUNCIONA CON GRANDES MUESTRAS

(≥ 100 participantes)

(Schulz 2002c, Schulz 2002d, Schulz 2006)

Tratamiento A

No Tratamiento

Page 13: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

13

Métodos adecuados para generar una secuencia aleatoria:

• Asignación aleatoria simple (sin limitaciones)

• Asignación aleatoria limitada:– Ejemplos:

• Asignación aleatoria en bloques• Asignación aleatoria estratificada• Minimización

A) Procesos cuasiA) Procesos cuasi--aleatoriosaleatorios-Proceso sistemático que pretendegenerar una secuencia aleatoria peroque no lo consigue.

-Ejemplos: -Generación de la secuencia por:

-Números pares o impares-Fecha de nacimiento-Alguna regla dependiente de la fecha o día de ingreso/visita-Número de historia clínica

Métodos inadecuados para generar una secuencia aleatoria:

B) Procesos no aleatorios:B) Procesos no aleatorios:

-Ejemplos:-Asignación dependiendo de:

-Criterio clínico del investigador-Preferencia del paciente-Resultados de unos análisis

• No hay información suficiente para permitir una evaluación de “Bajo riesgo” o “Alto riesgo”.

• Descripción insuficiente:– “se asignaron de forma aleatorizada”

– “se utilizó un diseño aleatorizado”

– “Se utilizó una asignación aleatoria en bloques”

“Riesgo poco claro” de sesgo

¿Generación aleatoria de la secuencia de asignación?

Dominio 1:Dominio 1:

Riesgo de sesgo bajoRiesgo de sesgo bajo

Riesgo de sesgo altoRiesgo de sesgo alto

Riesgo de sesgo poco claroRiesgo de sesgo poco claro

• “Se utilizó una asignación aleatoria en bloques”

Riesgo de sesgo poco claroRiesgo de sesgo poco claro

Se debería especificar el proceso de generación de los bloques, como una tabla de números aleatorios.

• “Los dos grupos de comparación se generaron mediante la asignación aleatoria simple, con una proporción de asignación similar, al utilizar una tabla de números aleatorios.”

Riesgo de sesgo bajoRiesgo de sesgo bajo

Page 14: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

14

• “Los pacientes se asignaron al grupo de intervención según la semana del mes”

Riesgo de sesgo altoRiesgo de sesgo alto

• “ Se utilizó un ensayo clínico aleatorizado”

Riesgo de sesgo poco claroRiesgo de sesgo poco claro

• “Los pacientes nacidos en días pares se asignaron al Tratamiento A y los pacientes nacidos en días impares se asignaron el Tratamiento B.” Riesgo de sesgo altoRiesgo de sesgo alto

• “Los pacientes del centro de salud A se asignaron al Tratamiento A y los pacientes del centro de salud B se asignaron el Tratamiento B.” Riesgo de sesgo altoRiesgo de sesgo alto

Importante:Importante:• La generación de una secuencia de forma

aleatoria es insuficiente para prevenir el sesgo de selección

• Además, tenemos que implementarla tal como se ha diseñado

Dominios a evaluarDominios a evaluar

1. Generación aleatoria de la secuencia de asignación

2.2. OcultaciónOcultación de la de la asignaciónasignación

3. Cegamiento de los participantes y del personal

4. Cegamiento de los evaluadores de los resultados

5. Datos de resultado incompletos

6. Notificación selectiva de los resultados

7. Otros sesgosDebes consultar el Handbook

antes de valorar el riesgo de sesgo (Secciones 8.9 a 8.14)

Generación aleatoriade la secuencia

Ocultaciónde la asignación

Población diana

Asignación

Grupo intervenión Grupo control

Evaluaciónde resultado

Evaluaciónde resultado

Publicación de los resultados del estudio

cochrane training

1.1.--SelecciónSelección

3.3.-- DetecciónDetección

4.4.-- DesgasteDesgaste

2.2.--RealizaciónRealización

5.5.-- NotificaciónNotificación

Fuentes de sesgo de un ensayo clínico

¡¡TérminologíaTérminología variable!variable!

• Encubrimiento de la asignación • Ocultamiento de la secuencia de asignación• Concealment allocation• “Cegamiento de la asignación al azar"

(Chalmers 1983)

Ocultación de la asignación

Page 15: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

15

Ocultación de la asignaciónOcultación de la asignación

• Establecer mecanismos para evitar que los participantes y los encargados de incluir a los participantes en el estudio sepan a qué rama del estudio van a ser asignados

Ocultación de la asignación

• Quizás el factor más importante

• Base empírica:– La falta de ocultación sobreestimasobreestima los

efectos de la intervención*– Mayor distorsión en los resultados de

variables subjetivassubjetivas **

* Pidal Int J Epidemiol 2007;36:847-57** Wood BMJ 2008;336:601-5

Métodos aceptados como válidos para ocultar la secuencia de asignación

•• Asignación centralizadaAsignación centralizada (por ejemplo, asignación de los pacientes por una oficina central sin conocimiento de las características de los sujetos)

•• Aleatorización controlada por un servicio de farmac iaAleatorización controlada por un servicio de farmac ia

•• Sistema informatizado localSistema informatizado local con asignaciones que se guardan en archivos electrónicos ilegibles y cerrados, a los cuales puede accederse únicamente después de que se han introducido las características de un participante reclutado.

• Utilización de envasesenvases idénticos numerados de antemano y administrados secuencialmente

•• SobresSobres secuencialmente numerados, sellados y opacossecuencialmente numerados, sellados y opacos

“Sobres“Sobres secuencialmente numerados”secuencialmente numerados”

¿Método válido para encubrir la secuencia?¿Método válido para encubrir la secuencia?

No claroNo claro

SobresSobres secuencialmente numerados, sellados y opacossecuencialmente numerados, sellados y opacos

Ocultación inadecuada de la asignación

• Secuencias de aleatorización abiertas:– Listado colgado en la pared

• Sobres sin las suficientes garantías• Métodos cuasi-aleatorios:

– Alternancia; fecha nacimiento; NHC

• Cualquier otro procedimiento predecible

Se requiere:Se requiere:

• Aleatorizar

• Encubrir

Prevención del Prevención del sesgo de selecciónsesgo de selección

Page 16: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

16

12122211222211211212221122221121

GENERACIÓN ALEATORIA DE LA SECUENCIAGENERACIÓN ALEATORIA DE LA SECUENCIA

Encubrimiento de la asignaciónEncubrimiento de la asignación

PacientePaciente

Riesgo de sesgo de selecciónRiesgo de sesgo de selección

Secuencia aleatoria

Encubrimiento asignación

Riesgo de sesgo deselección

Estudio 1 SI SI BAJOBAJO

Estudio 2 SI NO ALTOALTO

Estudio 3 NO SI ALTOALTO

Estudio 4 NO NO ALTOALTO

¿Ocultación de la asignación?

Dominio 2:Dominio 2:

Riesgo de sesgo bajoRiesgo de sesgo bajo

Riesgo de sesgo altoRiesgo de sesgo alto

Riesgo de sesgo poco claroRiesgo de sesgo poco claro

• “[…] se ocultó en sobres oscuros, cerrados y numerados de forma secuencial, y la guardó el farmacéutico del hospital en los dos centros.”(Smilde 2001).

Riesgo de sesgo bajoRiesgo de sesgo bajo

• “… se ocultó en sobres numerados de forma secuencial.”

Riesgo de sesgo poco claroRiesgo de sesgo poco claro

• “Los pacientes se asignaron al grupo de intervención según la semana del mes”

Riesgo de sesgo alto

• “Los tratamientos se asignaron de forma centralizada después de la verificación telefónica de la adecuación a los criterios de inclusión …” (de Gaetano 2001).

Riesgo de sesgo bajoRiesgo de sesgo bajo

Page 17: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

17

• “El Departamento de Farmacia del Glenfield Hospital realizó la asignación aleatoria, distribuyó los agentes del estudio y guardó los códigos del ensayo, que se revelaron después del estudio.” (Brightling 2000).

Riesgo de sesgo bajoRiesgo de sesgo bajo

Cegamiento (enmascaramiento, “masking”)

Cegamiento (enmascaramiento, “masking”)

• Conservación en secreto del grupo al que YA pertenece cada participante

• En un estudio, son varias las personas que pueden estar cegadas

• El cegamiento no siempre es posible

No confundir:No confundir:

Ocultación de la asignación

Cegamiento

OcultaciónOcultación CegamientoCegamiento

Sesgo que previene

Método:

Protección de la

secuencia….

¿Se puede aplicar

siempre?

Jüni BMJ 2001; 323: 42-6.

Schulz Annals of Internal Medicine 2002; 136: 254-9.

Schulz JAMA 1995; 273: 408-12.

SelecciónSelección --RealizaciónRealización--DetecciónDetección--DesgasteDesgaste--Notificación Notificación selectselect..

… hasta su implementación… después de

su implementación

SISI NONOEj: comparación cirugía con

intervención farmacológica

¿Qué personas pueden ser ¿Qué personas pueden ser cegadas en un estudio?cegadas en un estudio?

Page 18: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

18

Sujetos que pueden ser cegados:

• Participantes (“sujetos estudiados”)

• Personal del estudio:– Persona que atiendeatiende a los participantes:

• Persona que administra la intervenciónintervención a estudio• Resto de profesionales que atienden al participante

– Persona que midemide la variable de resultado– Persona que analizaanaliza la información obtenida:

• Ej.: Estadístico

– Persona que escribeescribe el informe/artículo

Gøtzsche. Controlled Clinical Trials 1996;17:285-90

Haahr. Clinical Trials 2006;3:360-5

Tipos de cegamientoTipos de cegamiento• Simple ciego:

– Los participantes no conocen el grupo al que fueron asignados.

• Doble ciego:– Ni los participantes , ni los investigadores que valoran la variable

resultado conocen el grupo asignado a los participantes.

• Triple ciego:– Ni los investigadores que realizan el análisis , ni los

participantes , ni los investigadores que miden la variable de resultado conocen el grupo asignado a los participantes.

• Evaluación ciega por terceros

Evitar el empleo aislado de los términos anteriores (Declaración CONSORT)

•• Ejemplo: Término “Doble ciego”Ejemplo: Término “Doble ciego”– No está claro quién ha sido cegado:

• Schulz. Annals of Internal Medicine 2002;136:254-9

– El término es utilizado de forma inconsistente:• Devereaux JAMA 2001; 285: 2000-3• Boutron Journal of Clinical Epidemiology 2005; 58:1220-6• Haah Clinical Trials 2006;3:360-5

Formas en las que la falta de cegamiento puede sesgar los resultados de un estudio:

A. Afectando a los resultadosresultados de la intervención en los participantes

B. Afectando a la forma de mediciónmedición de los resultados

C. Afectando al comportamiento de los comportamiento de los participantes (abandonos, cambios de rama)participantes (abandonos, cambios de rama)

D. Afectando la forma de notificar notificar los resultados

A) Afectando a los resultados de los participantes:

• Falta de expectativas en la intervención recibida

• Comportamientos diferenciales entre los profesional es en cuanto a la administración de:– La intervención a estudio – Las co-intervenciones– Cuidados adicionales Sesgo de realizaciónSesgo de realización

B) Afectando a la forma de medir los resultados:

• Depende de la subjetividad en la medición de la variable resultado:

–Afecta más a las variables blandas –Por ejemplo:

• Dolor declarado por el paciente

Sesgo de detecciónSesgo de detección

Page 19: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

19

C) Afectando al comportamiento los de los participantes:

• Comportamientos diferenciales entre los participant es:– Diferencias en los abandonos– Cambio de rama del estudio

Sesgo de desgasteSesgo de desgaste

D) Afectando la forma denotificar los resultados:

• Si los que analizan los resultados no están cegados y son los encargados de escribir el informe hay posibilidad de sesgo de notificación selectiva de resultados

Sesgo de notificación selectiva de los resultados

Población diana

Asignación

Grupo intervenión Grupo control

Evaluaciónde resultado

Evaluaciónde resultado

Publicación de los resultados del estudio

1.1.--SelecciónSelección

3.3.-- DetecciónDetección

4.4.-- DesgasteDesgaste

2.2.--RealizaciónRealización

5.5.-- NotificaciónNotificación

Cegamiento

Cegamiento

Cegamiento

Cegamiento

El cegamiento puede proteger frente a:La falta de cegamiento afecta en mayor La falta de cegamiento afecta en mayor

medida a las variables subjetivasmedida a las variables subjetivas

Recomendación:Recomendación:

Seleccionar variables objetivas Seleccionar variables objetivas siempre que sea posiblesiempre que sea posible

¿Qué sesgo se ha producido? ¿Qué sesgo se ha producido? • Un investigador va a realizar un estudio para intentar demostrar que

el fármaco A es mejor que placebo

• El estudio es abierto

• El investigador dice al paciente 1 que se tome el fármaco A:– El paciente le dice que sí pero el investigador observa que ha dejado la

pastilla en la mesa. – El investigador le dice: “tome la pastilla ahora, que se le olvida”

• Llega el paciente 2 . Le corresponde el placebo. – El investigador simplemente le dice: “Tome el fármaco”– El paciente olvida tomar el fármaco– El médico no le dice nada

1.1.--SelecciónSelección 3.3.-- DetecciónDetección 4.4.-- DesgasteDesgaste2.2.--RealizaciónRealización

5.5.-- NotificaciónNotificación

Dominios a evaluarDominios a evaluar

1. Generación aleatoria de la secuencia de asignación

2. Ocultación de la asignación

3. Cegamiento de los participantes y del personal

4. Cegamiento de los evaluadores de los resultados

5. Datos de resultado incompletos

6. Notificación selectiva de los resultados

7. Otros sesgos

Debes consultar el Handbook antes de valorar el riesgo de sesgo (Secciones 8.9 a 8.14)

Page 20: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

20

Fuentes de sesgo

Población diana

Asignación

Grupo intervenión Grupo control

Evaluaciónde resultado

Evaluaciónde resultado

Publicación de los resultados del estudio

cochrane training

1.1.--SelecciónSelección

3.3.-- DetecciónDetección

4.4.-- DesgasteDesgaste

2.2.--RealizaciónRealización

5.5.-- NotificaciónNotificación

Cegamiento de participantes y personal

Sesgo de realización• Origen:

– Existencia de diferencias sistemáticas entre los grupos en cuanto a:

• atención que los participantes reciben; o • expectativas de los participantes con respecto a su

participación en el ensayo clínico

• Prevención:– Cegamiento de los participantes y personal que

atiende al participante

Cegamiento de los participantes y personal que atiende al participante

• Ni el participante ni el personal que lo atiende saben a qué rama del estudio pertenece el participante

Valoración del cegamiento de los participantes y del personal

1. ¿Hubo intención de cegar?– Identificar qué detalla el estudio acerca del cegamiento en participantes y profesionales:

–Cuidado: “single blinding” y “double blinding”

2. ¿El cegamiento fue efectivo?

3. Valorar impacto de la falta de cegamiento –Incluso aunque no fuera posible cegar

Cegamiento de los participantes y del personal:

Riesgo de sesgo bajoRiesgo de sesgo bajo

Riesgo de sesgo altoRiesgo de sesgo alto

Riesgo de sesgo poco claroRiesgo de sesgo poco claro

Cegamiento de participantes y del personal

Riesgo de sesgo bajo:– Se aseguró el cegamiento de los participantes y

el personal clave del estudio, y es poco probable que se haya roto el cegamiento;

– Falta de cegamiento o cegamiento incompleto, pero pero los revisores consideran que no es probable que haya influido en el resultado

Page 21: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

21

Cegamiento de los participantes y del personal:

Alto riesgo de sesgo:

• Falta de cegamiento;• Cegamiento incompleto; ó

• Intento de cegamiento pero probable ruptura

, que probablemente ha influido en los

resultados del estudio

¿Cegamiento de los participantes y personal

del estudio?

Dominio 3:Dominio 3:

Riesgo de sesgo bajoRiesgo de sesgo bajo

Riesgo de sesgo altoRiesgo de sesgo alto

Riesgo de sesgo poco claroRiesgo de sesgo poco claro

¿Riesgo de sesgo por cegamiento de los participantes y personal del estudio?

• “Estudio doble ciego”

• “Para cada fármaco hubo un placebo idéntico.”

• “ECA que compara apoyo psicológico versus cirugía”

Riesgo de sesgo bajoRiesgo de sesgo bajo

Riesgo de sesgo poco claroRiesgo de sesgo poco claro

Riesgo de sesgo alto

Cegar a los participantes y profesionales Cegar a los participantes y profesionales puede ser imposible o difícilpuede ser imposible o difícil

• El cegamiento puede ser imposible o no ético:– Ej.: comparación de una intervención quirúrgica con una

farmacológica

• El cegamiento puede ser difícil:– Ej.: fármacos que producen efectos secundarios peculiares – Solución: uso de placebos activos:

• Boutron PLOS Medicine 2006;3:1931-9

• El intentar cegar no implica haber tenido éxito: – Algunos autores sugieren preguntar a los participantes si

saben en qué grupo estuvieron asignados:• Fergusson BMJ 2004; 328: 432.• Reeves. Contemporary Clinical Trials 2005; 26: 25-7.Desaconsejado Desaconsejado

por CONSORTpor CONSORT

Dominios a evaluarDominios a evaluar

1. Generación aleatoria de la secuencia de asignación

2. Ocultación de la asignación

3. Cegamiento de los participantes y del personal

4.4. CegamientoCegamiento de los de los evaluadoresevaluadores de los de los resultadosresultados

5. Datos de resultado incompletos

6. Notificación selectiva de los resultados

7. Otros sesgos

Debes consultar el Handbook antes de valorar el riesgo de sesgo (Secciones 8.9 a 8.14)

Fuentes de sesgo

Población diana

Asignación

Grupo intervenión Grupo control

Evaluaciónde resultado

Evaluaciónde resultado

Publicación de los resultados del estudio

cochrane training

1.1.--SelecciónSelección

3.3.-- DetecciónDetección

4.4.-- DesgasteDesgaste

2.2.--RealizaciónRealización

5.5.-- NotificaciónNotificación

Cegamiento de los evaluadores de resultados

Page 22: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

22

Sesgo de detección• Origen:

– Existencia de diferencias sistemáticas entre los grupos en cuanto a:

• forma en la que se detectan los resultados; o• forma en la que se miden los resultados.

• Prevención:– Cegamiento de los evaluadores de los resultados

Cegamiento de los evaluadores de resultados

• Conseguir que el encargado de detectar o medir el resultado desconozca a qué rama del estudio pertenece el correspondiente participante

Valoración del cegamiento de los evaluadores de resultados

1. ¿Quién es el encargado de evaluar los resultados?• Participantes del estudio

• Personal del estudio:– Personal que administra la intervención

– Otro tipo de personal del estudio

• Persona ajena al estudio

2. ¿En el estudio hubo intención de cegar al evaluad or?• ¿Qué detalla el estudio acerca del cegamiento de los evaluadores de resultados?

• Cuidado: “single blinding” y “double blinding”

3. ¿El cegamiento fue efectivo?

4. Valorar impacto falta de cegamiento en medición d e resultados (incluso aunque no sea posible cegar)

PreguntaPregunta

• ¿Quién es el evaluador de los resultados en un estudio que considera como resultado el dolor autoreferido por el paciente?

El pacienteEl paciente

• ¿Se puede cegar al evaluador delresultado si los participantes y personaldel estudio no han sido cegados?

PreguntaPregunta

• Ejemplo:– Valoración del resultados por una persona

ajena al estudio

Bajo riesgo de sesgo• Hubo cegamiento, y es probable que

dicho cegamiento no se rompió;• No hubo cegemiento, pero es probable

que la falta de cegamiento no haya influido en la valoración de los resultados (ejemplo, variables duras)

Cegamiento de los evaluadores de resultados

Page 23: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

23

Alto riesgo de sesgo• No hubo cegamiento;• Hubo cegamiento

pero probablemente se rompió

, y probablemente ha influído en la

valoración de los resultados

Cegamiento de los evaluadores de resultados

¡Valorar el cegamiento por outcome (o grupos de outcomes)!

• Las conclusiones pueden ser distintas en función del tipo de outcome• Unos outcomes pueden valorarse de forma

ciega, otros no;

• La valoración de outcomes subjetivos es más susceptible a la falta de cegamiento:

• Ejemplo: muerte vs calidad de vida

Valorar el cegamiento por outcome (o grupos de outcomes)

• Se recomienda agrupar las variables resultado con similares riesgo de sesgo:– Ejemplo:

• Todas las variables de resultado blandas • Todas las variables de resultado duras

Ejemplo:

• Objetivo de un estudio : – Valorar la eficacia de la profilaxis antibiótica para prevenir

la infección de herida quirúrgica (IHQ)

• Variables de resultado:1. Frecuencia de IHQ2. Mortalidad total3. Calidad de vida

• Estudio abierto

Riesgo de sesgo asociado al cegamiento de los evaluadores de resultados

Mortalidad total Calidad de vida

Bajo Alto

Propuesta: Agrupar las variables de resultado según variables de resultado semejantes

Page 24: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

24

¿Qué sesgo se ha producido?¿Qué sesgo se ha producido?• Un investigador va a intentar demostrar que el fármaco A es mejor

que el placebo para controlar la presión arterial. El estudio es abierto

• Los pacientes han tomado la medicación. El investigador va a evaluar los resultados (medición de la presión arterial sistólica).

• El investigador mide la tensión al paciente 1 (fármaco A):– Tiene 143 mmHg– Pero el investigador lo redondea a 140 mmHg

• El investigador mide la tensión al paciente 2 (fármaco B):– Tiene 147 mmHg – El investigador lo redondea a 150 mmHg

1.1.--SelecciónSelección 3.3.-- DetecciónDetección 4.4.-- DesgasteDesgaste2.2.--RealizaciónRealización

5.5.-- NotificaciónNotificación

Ej propuesto por Isabelle Boutron, RoB Workshop, Lo ughborough

• ¿Riesgo de sesgo asociado al cegamiento del evaluador?:– ALTO: doble ciego no creíble: el outcome no es objetivo

y alta frecuencia de queilitis en grupo intervención

• “Assessment of the outcomes was not blinded”• Outcomes:

– Fracaso del tratamiento– Mortalidad

Ej propuesto por Isabelle Boutron, RoB Workshop, Lo ughborough

• Riesgo de sesgo derivado de la falta de cegamiento del evaluador:– Para fracaso del tratamiento: ALTO– Para mortalidad: BAJO

Dominios a evaluarDominios a evaluar

1. Generación aleatoria de la secuencia de asignación

2. Ocultación de la asignación

3. Cegamiento de los participantes y del personal

4. Cegamiento de los evaluadores de los resultados

5.5. DatosDatos de de resultadoresultado incompletosincompletos

6. Notificación selectiva de los resultados

7. Otros sesgos

Debes consultar el Handbook antes de valorar el riesgo de sesgo (Secciones 8.9 a 8.14)

Fuentes de sesgo

Población diana

Asignación

Grupo intervenión Grupo control

Evaluaciónde resultado

Evaluaciónde resultado

Publicación de los resultados del estudio

cochrane training

1.1.--SelecciónSelección

3.3.-- DetecciónDetección

4.4.-- DesgasteDesgaste

2.2.--RealizaciónRealización

5.5.-- NotificaciónNotificación

DatosDatos de de resultadoresultado incompletosincompletos

Page 25: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

25

Sesgo de desgaste

• Origen: – Diferencias sistemáticas entre los grupos que se

comparan en cuanto a la presencia de datos de resultado incompletos para la variable de resultado de interés

Datos Datos de resultado incompletos de resultado incompletos para la variable para la variable de interés de interés

• No disponer (o no utilizar) del resultado para esa variable en una o más de las unidades a estudio

• Su presencia puedepuede generar sesgo de desgaste

Causas de DIVICausas de DIVI

A. Pérdidas de datos para la variable de resultado (“Attrition”)

B. Exclusiones del análisis

C. “Resultados condicionados” a la presencia de determinadas características

• No disponer del resultado en uno o más de los participantes• Causas:

– El participante decide abandonar (“Withdrawals”)– Los participantes siguen en el estudio pero:

• No acuden a una cita para medir el resultado• Acuden a la cita, pero no aportan información clave

– Participantes no localizados (“Lost to follow up”)– Investigadores deciden:

• Retirar al participante del estudio• Terminar el seguimiento del participante

– Pérdida de registros

A) Pérdidas de datos para la variable de resultado (Attrition)

Ej propuesto por Isabelle Boutron, RoB Workshop, Lo ughborough

DatosDatos de de resultadoresultado incompletosincompletos: Alto : Alto riesgoriesgo de de sesgosesgo (35% (35% pérdidaspérdidas))

DatosDatos de de resultadoresultado incompletosincompletos: : Alto Alto riesgoriesgo de de sesgosesgo

PérdidasPérdidas asimétricasasimétricas y gran y gran magnitudmagnitud

Ej propuesto por Isabelle Boutron, RoB Workshop, Lo ughborough

Page 26: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

26

• Participantes en los que se podría medir la variable resultado son excluidos del análisis

• Causas:– Los participantes incluidos no cumplen

criterios de inclusión

– Análisis que no son por intención de tratar

– Otro tipo de exclusiones

B) Exclusiones del análisisLos estudios sin análisis Los estudios sin análisis “por intención de tratar”“por intención de tratar”

Alto riesgo de sesgoAlto riesgo de sesgo

ExlusionesExlusiones del análisisdel análisis

Análisis que NO son “por Análisis que NO son “por intención de tratar”:intención de tratar”:

• “As treated” análisis

• “Análisis por protocolo” (“análisis de casos válidos”)

Por tanto…Por tanto…

• Hemos visto estrategias de análisis con alta probabilidad de generar sesgo

• Pasemos a estudiar la estrategia de análisis de elección

Análisis por intención de tratarAnálisis por intención de tratar

• Estrategia de análisis de elección en ECA:– Newell. International Journal of Epidemiology

1992; 21: 837-41

• ¿Por qué?– Menor riesgo de sesgo– Visión más pragmática de los efectos de la

intervención

Cochrane Cochrane HandbookHandbook 16.216.2

¿Alguien ha oído el término¿Alguien ha oído el término“análisis por intención de tratar”?“análisis por intención de tratar”?

¿Alguien sabe lo que significa?¿Alguien sabe lo que significa?

•• No hay una definición claraNo hay una definición clara•• No hay una definición universalmente aceptadaNo hay una definición universalmente aceptada

•• Se utiliza de forma inconsistente (Hollis. Se utiliza de forma inconsistente (Hollis. BMJBMJ 1999; 319: 6701999; 319: 670--4)4)

Page 27: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

27

Principios del análisis Principios del análisis por intención de tratar:por intención de tratar:

1. Mantiene TODOSTODOS los participantes en la rama del estudio a la que fueron aleatorizados, independientemente de la intervención que en la práctica recibieron.

2. Mide la variable de resultado en TODOSTODOS los participantes

3. Incluye TODOSTODOS los participantes aleatorizados en el análisis

Cochrane Cochrane HandbookHandbook 16.216.2

Propuesta del CH:Propuesta del CH:

• Considerar un AIT sólo cuando cumpla los 3 puntos

El cumplimiento de los El cumplimiento de los 3 principios es difícil:3 principios es difícil:

1. Mantener los participantes en la rama del estudio a la que fueron aleatorizados:

–– Siempre se puedeSiempre se puede– Implica que los sujetos que, en la práctica, no recibieron la

intervención asignada por aleatorización sean considerados como que recibieron dicha intervención

2. Medir la variable de resultado en TODOS los parti cipantes:•• Casi siempre es imposible (desgaste)Casi siempre es imposible (desgaste)

3. Incluir todos los participantes aleatorizados en el análisis:� Incluir en el análisis todos los participantes, incluidas las pérdidas�� Punto polémicoPunto polémico

Punto polémico:Punto polémico: incluir todos los participantes aleatorizados en el análisis

Aleatorización

Gru

po in

terv

enci

ónG

rupo

con

trol

?

?

?

Aunque el artículo describa el análisis como por IT no debemos aceptarlo: debemos estudiarlo con detall e

Causas de DIVICausas de DIVI

A. Pérdidas de datos para la variable de resultado (“Attrition”)

B. Exclusiones del análisis

C. “Resultados condicionados” a la presencia de determinadas características

Page 28: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

28

Pregunta “para nota”:

• Estudio pretende determinar la eficacia de un trata miento de fertilidad

•• Unidad de aleatorización: Unidad de aleatorización: –– MujerMujer que pretende tener un niño – Las mujeres son aleatorizadas al grupo intervención o al grupo control

•• Variable de resultado elegida:Variable de resultado elegida:– “Proporción de embarazadas que tuvieron un embarazo exitoso”

¿Es una variable adecuada?¿Es una variable adecuada?

¡Debemos incluir todos las participantes ¡Debemos incluir todos las participantes aleatorizadas en el análisis!aleatorizadas en el análisis!

Aleatorización

Gru

po in

terv

enci

ónG

rupo

con

trol

Inconvenientes de esta variable:

• El análisis sólo incluye las embarazadas• El análisis excluye algunas pacientes aleatorizadas

• Propuesta:– Redefinir la variable de resultado, de forma que

considere todas las pacientes aleatorizadas:•• Proporción Proporción de mujeresde mujeres que tuvieron un “embarazo que tuvieron un “embarazo

exitoso”:exitoso”:– Se quedaron embarazadas y alcanzaron como

mínimo las 24 semanas de embarazo

Datos de resultado incompletos

Atender a los denominadores

DominiosDominios1. Generación aleatoria de la secuencia de asignación

2. Ocultación de la asignación

3. Cegamiento de los participantes y del personal

4. Cegamiento de los evaluadores de los resultados

5. Datos de resultado incompletos

6. Notificación selectiva de los resultados

7. Otros sesgos

Valoración del riesgo de Valoración del riesgo de sesgo derivado de DIVI sesgo derivado de DIVI

• No hay normas fijas :– Ej: “el análisis debe ser por intención de

tratar”– Ej: “las pérdidas deben ser inferiores al 80%”

• ¡Depende de muchos factores!

Page 29: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

29

A. Magnitud de los datos faltantes: ¿suficiente para distorsionar el efecto?

B. Razones de los datos faltantes

C. Estrategia de análisis empleada

Factores Factores a considerara considerar

• Proporción total de datos faltantes:– No hay reglas fijas

• Contexto clínico:– Resultados dicotómicos:

• Repercusión potencialmente mayor si el evento a estudio es poco frecuente (fecuencia grupo control)

– Resultados cuantitativos continuos:• Repercusión potencialmente mayor si la media del

outcome en los perdidos es extrema

• Distribución de los datos faltantes:– Pérdidas asimétricas sugieren sesgo

A) Magnitud de los datos faltantes: ¿suficiente para distorsionar el efecto?

• No preocupante: “Pérdidas aleatorias”:– No relacionadas con el resultado

• Ej: abandono de pacientes por cambio de residencia

– No importa su magnitud

– No asocian sesgo: • Los participantes perdidos no se diferencian de manera sistemática

de los retenidos

• Preocupante:– Pérdidas asociadas al resultado de interés:

• Ejemplo: recuperación, efectos adversos

– “Asimetría de motivos”

B) Razones de los datos faltantes

• Un ensayo clínico evalúa la eficacia del ejercicio frente a no realizar ejercicio para adelgazar

• Misma proporción de pérdidas en cada rama del estudio

• Motivos de las pérdidas similares: – “Rechazo de participar en el estudio”

Precaución: motivos semejantes para abandonar un estudio pueden no implicar lo mismo

Motivo de las pérdidas: Motivo de las pérdidas: “Rechazo de participar en el estudio”“Rechazo de participar en el estudio”• El mismo motivo puede tener implicaciones distintas

según el grupo

• Grupo intervención (hacer ejercicio):–– “Rechazo de participar en el estudio porque odio hace r ejercicio”“Rechazo de participar en el estudio porque odio hace r ejercicio”

• Grupo control (no hacer ejercicio):–– “Rechazo de participar porque quiero hacer ejercicio”“Rechazo de participar porque quiero hacer ejercicio”

•• Consecuencias:Consecuencias:– Grupo intervención (hacer ejercicio): se quedan los activos– Grupo control (no hacer ejercicio): se quedan los sedentarios

• Repercusión global: –– SobreestimaciónSobreestimación del efecto de la intervencióndel efecto de la intervención

Los pacientes con comorbilidad tienden a sufrir más Los pacientes con comorbilidad tienden a sufrir más efectos secundarios derivados del tratamientoefectos secundarios derivados del tratamiento

• Ensayo clínico: Fármaco A vs placebo

• Criterios de inclusión: sujetos > 70 años

• Grupo intervención presenta más abandonos que el grupo control

• Motivo de los abandonos: – Efectos adversos derivados del tratamiento

•• ¿Qué impacto pueden tener estas pérdidas sobre el ¿Qué impacto pueden tener estas pérdidas sobre el efecto de la intervención?efecto de la intervención?

Page 30: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

30

A. Magnitud de los datos faltantes: ¿suficiente para distorsionar el efecto?

B. Razones de los datos faltantes

C. Estrategia de análisis empleada

Factores a considerar

• Estrategia de análisis de elección:– Análisis por intención de tratar

• Estrategias de análisis susceptibles de generar ses go (si hay desviación considerable de la aleatorización ):– Análisis por protocolo:

• Los no cumplidores son excluidos– “As treated analysis”:

• Análisis en el grupo de la intervención recibida– Imputación de valores faltantes

C) Estrategia de análisis

Población diana

Asignación

Grupo intervenión Grupo control

Evaluaciónde resultado

Evaluaciónde resultado

Publicación de los resultados del estudio

cochrane training

1.1.--SelecciónSelección

3.3.-- DetecciónDetección

4.4.-- DesgasteDesgaste

2.2.--RealizaciónRealización

5.5.-- NotificaciónNotificación

Fuentes de sesgo de un ensayo clínico

DominiosDominios1. Generación aleatoria de la secuencia de asignación

2. Ocultación de la asignación

3. Cegamiento de los participantes y del personal

4. Cegamiento de los evaluadores de los resultados

5. Datos de resultado incompletos

6. Notificación selectiva de los resultados

7. Otros sesgos

“Notificación selectiva de resultados”“Notificación selectiva de resultados”

• Selección de un subgrupo de las variables de resultado medidas en un estudio, en función de los resultados obtenidos, para su presentación en el informe del estudio.

Hutton. Journal of the Royal Statistical Society Series C 2000;49: 359-70

Notificación selectiva de resultados:Notificación selectiva de resultados:

• Se suele manifestar como la tendencia a presentar en el informe los resultados estadísticamente significativos o los resultados de mayor magnitud.

Page 31: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

31

Relevancia de la descripción Relevancia de la descripción selectiva de resultadosselectiva de resultados

• Tradicionalmente no se ha evaluado

• Estudios recientes sugieren que es un sesgo frecuente y relevante

• 3 estudios relevantes sobre este sesgo:– Chan AW, et al. JAMA 2004; 291:2457-5– Chan AW, et al. CMAJ 2004; 171:735-40– Chan AW, et al. BMJ 2005; 330:753

• El 40-62% de los informes de ECAstuvieron al menos una variable de resultado primaria que fue modificada, introducida u omitida con respecto a lo planificado en el protocolo del estudio

Dwanet al, PLoS ONE 2008

EjemploEjemplo

Estudio 2Estudio 2

Estudio 3Estudio 3

EstudiosEstudios

Estudio 1Estudio 1

Número de caídas

Número de caídas

Número de caídas

Estudio 4Estudio 4

Número de caídas

InformesInformes

Número de caídas

Número de caídas

MetanálisisMetanálisis--EstudiosEstudios

MetanálisisMetanálisis--InformesInformes

Disminución estadíst.. significativa del número de caídas

No se detectan diferencias estadíst. significativas sobre el número de caídas

Estudio 2Estudio 2

Estudio 3Estudio 3

Estudio 1Estudio 1

Estudio 4Estudio 4

Formas de valorar la presencia de Formas de valorar la presencia de descripción selectiva de resultadosdescripción selectiva de resultados

• Busca el protocolo del estudio:– Compara el protocolo del estudio con la

información presentada en el artículo• Lee la sección de métodos del artículo:

– Compara la sección de métodos del artículo con las sección de resultados

• Busca estudios semejantes:– Compara los resultados presentados en un

conjunto de estudios• Juicio clínico

(ORBIT (ORBIT classificationclassification systemsystem))

• El protocolo del estudio está disponible y todos los resultados preespecificados (primarios y secundarios) del estudio que son de interés para la revisión se describieron de una manera preespecificada

• El protocolo del estudio no está disponible pero está claro que las publicaciones incluyen todos los resultados esperados, incluidos los que se preespecificaron (puede ser poco frecuente la presencia de texto convincente de esta naturaleza).

Notificación selectiva de resultados:Notificación selectiva de resultados:Bajo riesgo de sesgoBajo riesgo de sesgo

• No se describieron todos los resultados primarios del estudio preespecificados;

• Uno o más resultados primarios se describieron con mediciones, métodos de análisis o subgrupos de datos (p.ej. subescalas) que no se prespecificaron;

• Uno o más resultados primarios no se prespecificaron (a menos que se proporcione una clara justificación para detallarlos, como un efecto adverso inesperado);

• Uno o más resultados preespecificados de interés para la revisión se describieron de forma incompleta, por lo que no fue posible introducirlos en un metanálisis;

• La publicación del estudio no incluyó resultados para un resultado clave que era de esperar que se describiera para esta clase de estudios

Notificación selectiva de resultados:Notificación selectiva de resultados:Alto riesgo de sesgoAlto riesgo de sesgo

Page 32: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

32

• No hubo información suficiente para permitir una evaluación de “Bajo riesgo” o “Alto riesgo”.

• Es probable que la mayoría de los estudios se incluya en esta categoría.

Notificación selectiva de resultados:Notificación selectiva de resultados:Incierto riesgo de sesgoIncierto riesgo de sesgo

DominiosDominios1. Generación aleatoria de la secuencia de asignación

2. Ocultación de la asignación

3. Cegamiento de los participantes y del personal

4. Cegamiento de los evaluadores de los resultados

5. Datos de resultado incompletos

6. Notificación selectiva de los resultados

7.Otros sesgos

Otros sesgosOtros sesgos

• Justificar la elección, preferiblemente en el protocolo

• No considerar:• Imprecisión (tamaño mestral)

• Heterogeneidad

• Cuestiones éticas

• Financiación

OtrosOtros sesgossesgos

Bajo riesgo• Estudio parece libre de otras fuentes de sesgo

Alto riesgo• fuente potencial de sesgo relacionada con el

diseño específico utilizado en el estudio; – “Sesgo de reclutamiento” en estudios por

conglomerados

• Desequilibrio inicial extremo

Sesgo de reclutamiento• Puede ocurrir cuando los individuos se

reclutan en el ensayo después que los grupos se asignaron al azar: – El conocimiento de si cada grupo es un grupo

“intervención” o “control” pudiera afectar el tipo de participantes reclutado.

Ej propuesto por Isabelle Boutron, RoB Workshop, Lo ughborough

Page 33: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

33

5.- Presentación de las evaluaciones del riesgo de sesgo

1.1.--Tabla de riesgo de sesgoTabla de riesgo de sesgo

2.2.-- Gráfico del riesgo de sesgoGráfico del riesgo de sesgo3.3.-- Figura resumen Figura resumen del riesgo de sesgodel riesgo de sesgo

Page 34: Taller de revisiones sistemáticasupchmed.pe/red_cochrane_peru/wp-content/uploads/... · 1. Formulación de la pregunta 2. Planificación de los criterios de elegibilidad 3. Planificación

34

Mensajes

• Estudios primarios sesgados pueden llevar a revisiones sesgadas

• 7 dominios a valorar

• Describe qué sucedió y formula un juicio

• Valora los posibles efectos

Wound healing with honey –a randomised controlled trial

Referencia:• Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8:

Assessing risk of bias in included studies . In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.

Agradecimientos :• The Cochrane Bias Methods Group

• The Cochrane Trainers' Network

¡Muchas gracias por vuestra atención!

Jesús López Alcalde

Centro Cochrane Iberoamericano-Agencia Laín Entralgo

[email protected]