Evaluación de Impacto Una mirada desde la Epidemiología

Fernando Muñoz, MSCE Escuela de Salud Pública de la Universidad de Chile Santiago, 10 de Abril de 2013

La presentación

• Algo de historia • El ensayo clínico y sus sesgos • Alternativas a los ensayos

clínicos • Causalidad • La lectura crítica y la evidencia

2

Primeros ensayos clínicos • 562 AC Libro de Daniel. Nabucodonosor, Rey de

Babilonia. Ensayo de dieta vegetariana versus carne en soldados.

• 1537. Ambroise Paré. Tratamiento de heridas de guerra con mezcla no convencional (….”dado que me quedé sin aceite, a algunos soldados les apliqué una mezcla de yema de huevo, aceite de rosas y trementina. Esa noche no pude dormir, temiendo que por falta de cauterización, iba a encontrar a estos heridos muertos por envenenamiento………sin embrago los encontré con menos dolor e inflamación y habiendo dormido mejor…”)

3

Primeros ensayos clínicos (2) • 1747. James Lind. (“ el 20 de mayo de 1747, en alta

mar, seleccioné a 12 pacientes con escorbuto a bordo del Salisbury…. A 2 les di una dieta con un cuarto de Sidra al día, 2 recibieron 25 gotas de elixir de vitriolo tres veces al día, 2 se trataron con 2 cucharadas de vinagre tres veces al día, 2 con agua de mar, 2 con 2 naranjas y 1 limón al día, los dos restantes recibieron un tratamiento electivo recomendado por un cirujano ……La consecuencia fue que los efectos más rápidos se observaron en los que recibieron naranjas y limones, quienes a los seis días estaban en condiciones de volver a trabajar…..después de ellos, creo que la sidra fue la que tuvo mejores efectos…”)

• Solo 50 años después, la Armada Británica introdujo el jugo de limón como parte obligatoria de la dieta de los marinos.

4

Jean Baptiste Van Helmont 1579-1644

Jean-Baptiste van Helmont desafía a expertos como él a probar la efectividad de la “Sangría” (Tratamiento basado en la extracción de grandes cantidades de sangre): “Tomemos desde los hospitales…….200 o 500 pobres que tengan fiebres, pleuresías. Dividámoslos en mitades, cast lots (*), de manera que a la mitad de ellos la trate yo y a la otra ustedes. Yo los curaré sin sangrías y ustedes la harán como están acostumbrados…..Veremos cuantos funerales nos tocan a ambos.

(*) Formar grupos al azar

Primeros ensayos clínicos (3)

Primeros ensayos clínicos (4)

Cien años después, Benjamin Rush (Cirujano y firmante de la Declaración de la Independencia de los EEUU) seguía pontificando acerca de las ventajas de la sangría, y uno de sus discípulos mató a Jorge Washington extrayéndole 2,6 litros de sangre para tratarlo por una infección de la epiglotis. En 1816, cirujanos del ejército asignaron a 366 soldados enfermos a ser tratados con o sin sangría. El grupo con sangría tuvo 10 veces mas muertes que el grupo de comparación.

6

Benjamin Rush 1746-1813

7

Samuel Hahnemann 1755 -1843

El Dr. Samuel Hahnemann, padre de la homeopatía, pontificó a inicios del Siglo XIX, acerca de la efectividad de la belladona (atropina) para prevenir la escarlatina. Era tan prestigiado que, rápidamente, su remedio había sido adoptado por médicos alópatas y homeópatas.

Primeros ensayos clínicos (5)

8

En 1854, Thomas Graham Balfour ( a la sazón cirujano en un orfanato y que luego llegaría a ser Presidente de la Sociedad Real de Estadística) realizó un test durante una epidemia de escarlatina en el asilo, por la vía de formar lotes al azar y asignarlos a recibir belladona o no. (Diría después en su informe, que lo había hecho así “para evitar el efecto de la selección”). La droga no se mostró efectiva en prevenir los casos entre los contactos de los pacientes. Brillantemente, Balfour concluyó también que: “Si le hubiera dado la droga a todos los niños, probablemente le habría atribuido a ella el fin de la epidemia”.

Primeros ensayos clínicos (6)

Primeros ensayos clínicos (7) • 1863. El Placebo

– El médico estadounidense Austin Flint realiza el primer ensayo clínico comparando un remedio “dummy” con un tratamiento activo para el reumatismo. A partir de ahí el tratamiento, que resultó efectivo en varios pacientes, fue conocido como “ el remedio placeboico”.

– La palabra placebo es la primera persona de singular del futuro de indicativo del verbo latino placere, que significa ‘complacer’. La palabra placebo se encuentra en latín en la biblia Vulgata, en el Salmo 114 y en el 116 (acción de gracias por haber sido liberado de la muerte) de la biblia en español. Esta palabra se usaba en la Edad Media para designar los lamentos que proferían las plañideras profesionales en ocasión del funeral de alguna persona. En el siglo XVIII, el término fue definido en un diccionario médico como medicamento común y, en una edición posterior, como algo que simula ser un medicamento.

9

Primeros ensayos clínicos (8)

• 1943. El primer Ensayo Clínico Controlado y Doble Ciego – Patulina (Extracto de Penicillium patulinum) para

el tratamiento del Resfrío Común. Ensayo realizado por el Medical Research Council del Reino Unido. Quizás el último ensayo con asignación no aleatoria o cuasi aleatoria de los sujetos de estudio (los pacientes se asignaron alternadamente a los dos grupos por una enfermera). Se realizó en más de mil trabajadores británicos. No mostró efecto alguno de la droga.

10

Los primeros ensayos clínicos (9)

• 1946. El primer ensayo con asignación aleatoria. Estreptomicina en el tratamiento de la Tuberculosis. Sir Austin Bradford Hill, utilizó la aleatorización en lugar de la asignación alternada. Hoy este es el procedimiento estándar.

11

El marco ético de los ensayos clínicos

• El código de Nuremberg (1947) • La tragedia de la Talidomida (1962) y el

consentimiento informado • La declaración de Helsinki (1964), el uso de

placebo y el acceso a la terapia post ensayo • La FDA y la exigencia de ensayos clínicos bien

construidos para el registro de nuevos medicamentos

12

La historia sigue……

Más recientemente, y para contradecir la creencia en el cambio radical del carácter científico de la práctica médica todavía hay ejemplos muy importantes de prácticas sin base en experimentación, que posteriormente se demostraron inefectivas (by pass coronario, estrógenos en la post menopausia, reposo en la Hepatitis de tipo A, cortisona en el TEC, etc.)

13

Los ensayos clínicos en el mundo profano

14

De acuerdo a las nuevas políticas de la Clínica, a Ud. le ha correspondido ingresar al grupo control del estudio de cirugía gástrica, por lo tanto va a ser operado por

los neonatólogos.

SESGO

• El sesgo es un proceso en cualquier estado de la inferencia, que tiende a producir resultados que se apartan sistemáticamente de los valores verdaderos. Sesgos de selección. Cuando las comparaciones se hacen

entre grupos de pacientes que difieren en otros determinantes del resultado, distintos al que está en estudio

Sesgos de medición. Cuando se usan distintos métodos de medición en los diferentes grupos de pacientes

Sesgos de confusión. Cuando dos factores están asociados (“viajan juntos”) y el efecto de uno es distorsionado por el efecto del otro

Sesgos frecuentes • Efecto Hawthorne. Las personas tienden una tendencia a cambiar su

conducta cuando son el blanco de la atención especial de un estudio • Sesgo del voluntario. Los voluntarios difieren de la población general.

Muchas veces se muestran ansiosos de complacer al investigador “ayudándole” a obtener el resultado que busca

• Efecto placebo. Los placebo (maniobra usada en el grupo control, indistinguible de la maniobra de interés para el participante), tienen efecto. Este efecto representa la línea base contra la que se mide la eficacia (impacto) de la maniobra de interés.

• Sesgo de Berkson. Cuando la combinación de la exposición y la enfermedad en estudio aumentan el riesgo de ser ingresado al hospital, esto lleva a una mayor exposición entre los casos hospitalarios respecto a los controles del mismo ambiente.

• Sesgo de Neyman. La selección de casos incidentes o prevalentes no es indiferente ya que en este ultimo caso, los factores de riesgo pueden asociarse a la mortalidad mas que al riesgo de enfermar.

17

MUESTRA

SESGO DE SELECCION

MUESTRA

MEDICION, SESGO DE CONFUSION

AZAR

CONCLUS ION

MUESTREO

VALIDEZ EXTERNA

VALIDEZ

INTERNA

Todos los pacientes con la condición de interés

?

?

VALIDEZ INTERNA Y EXTERNA

Validez y confiabilidad

Ensayos Clínicos

Muestra de Pacientes

Grupo tratado

Grupo control

1 2 3

4

4

POBLACION

Criterios de inclusión

MUESTRA

Asignación aleatoria

INTERVENCION RESULTADO

SI

NO

NO

SI

El uso del ciego (o enmascaramiento)

Para controlar el efecto Hawthorne, en los ensayos de intervenciones terapéuticas se usa el ciego (de los sujetos de estudio) y el doble ciego (de los que recolectan la información).

21

¿Será posible cegar a investigadores y participantes respecto a la intervención recibida en estudios de impacto de políticas públicas?

Alternativas a los ensayos clínicos

22

INVESTIGACION EPIDEMIOLOGICA DE RIESGOS Y TERAPIAS

HOY

Casos y controles

Factores de riesgo

Comparación de la exposición en ambos grupos

Cohortes Comparación de la incidencia de enfermedad en ambos grupos

Prevalencia de enfermedad en distintos grupos

pasado futuro

REGISTROS EXISTENTES

REGISTROS CREADOS ESPECIALMENTE

Estudios de cohorte

El problema del seguimiento

• Estudios de cohorte – Todos los miembros de la cohorte:

• ¿Ingresan al comienzo del seguimiento? (De otra manera, aquellos a quienes les va inusualmente mejor o peor no serán incluidos en el resultado)

• ¿Están en riesgo de desarrollar el resultado? • ¿En un punto similar en el curso de la enfermedad? (El pronóstico

varía de acuerdo al punto en el curso de la enfermedad en el que uno comienza a contar los eventos de resultado)

– ¿Hay un seguimiento completo para todos los participantes? Los perdidos pueden sesgar los resultados si su comportamiento es peor o mejor que el del promedio.

– ¿Se determinaron los desenlaces con la misma intensidad en todos los miembros de la cohorte? (De otra manera las diferencias en las tasas de incidencia podrían ser producto de sesgos de selección)

– ¿Están libres de sesgos las comparaciones? (Las variables confundentes deben repartirse por igual en los grupos que se comparan para atribuir el desenlace a la variable de interés)

Guías básicas para determinar la validez de estudios clínicos (Fletcher, 1996)

POBLACION

CASOS

NO CASOS

CASOS

CONTROLES

MUESTRAS

SELECCIONADA AL AZAR

Todos o una muestra

Muestra aleatoria

CASOS Y CONTROLES

CASOS

CONTROLES

Análisis de datos

Casos No casos (Controles)

Expuestos a b

No expuestos

c d

RR = (a/a+b)/(c/c+d)

OR= (a x d)/ (b x c) Cohortes

Casos y Controles

Guías básicas para determinar la validez de estudios clínicos (Fletcher, 1996)

• Estudios de casos y controles – Los casos ¿Entraron al comienzo de la

enfermedad? (Los factores de riesgo para casos prevalentes pueden relacionarse con factores asociados a la duración de la enfermedad

– ¿Los controles son similares a los casos salvo respecto a su exposición? (Una evaluación válida del riesgo relativo depende de este hecho)

– ¿Se hizo los mismos esfuerzos para detectar la exposición entre los casos y los controles? (La medición sesgada de la exposición puede aumentar o disminuir la estimación del riesgo relativo)

• Ensayos clínicos – ¿Se respetan las guías de validez de los estudios de cohorte?

(Los ensayos clínicos SON estudios de cohorte) – ¿Se asignaron al azar los pacientes a los grupos de

tratamiento y control? (Es la UNICA forma efectiva de hacer comparaciones libres de sesgo)

– ¿Se enmascaró a los pacientes, tratantes e investigadores respecto al grupo al que pertenecen? (El enmascaramiento ayuda a evitar sesgos)

– ¿Las cointervenciones fueron similares en ambos grupos? (Testear a los grupos de forma diferente puede destruir la comparabilidad alcanzada gracias a la randomización)

– ¿Se describió los resultados de acuerdo al tratamiento asignado o al realmente recibido? (Si no es así hay dos tipos de análisis distintos: El de “Intención de tratamiento” si se compara de acuerdo al tratamiento asignado, y el de “Eficacia” si se compara de acuerdo al tratamiento recibido)

Guías básicas para determinar la validez de estudios clínicos (Fletcher, 1996)

Evaluación de pruebas diagnósticas

REALIDAD

ENFERMOS NO ENFERMOS

DETECCION

SI

NO

VERDADEROS

POSITIVOS FALSOS POSITIVOS

FALSOS NEGATIVOS

VERDADEROS NEGATIVOS

SENSIBILIDAD ESPECIFICIDAD

VALOR PRED. POSITIVO

VALOR PRED. NEGATIVO

Por indicación expresa del Director de la Clínica, estamos haciendo una evaluación de pruebas diagnósticas. Por favor identifiquen en una escala ordinal, la probabilidad

que este paciente no nos pueda acompañar en la visita de la próxima semana...

Guías básicas para determinar la validez de estudios clínicos (Fletcher, 1996)

• Para estudios de test diagnósticos – ¿Se describe claramente el test, incluyendo el punto de corte? (La

utilidad del test cuyo resultado puede caer en un rango de valores, varía de acuerdo con la elección del punto de corte)

– ¿Se estableció la presencia o ausencia de la enfermedad en todos los pacientes? (Se necesitan datos para todas las celdas de la tabla de 2x2)

– El espectro de pacientes con y sin la enfermedad ¿Se asemeja a las características de los que se incluyen en el estudio? (A menudo, la sensibilidad se afecta por la severidad de la enfermedad y la especificidad por las características de aquellos participantes del estudio que están libres de la enfermedad)

– La determinación del resultado del test y de la ausencia o presencia de enfermedad ¿ Estuvo libre de sesgos? (Si el resultado del test se define a sabiendas del status de enfermedad, o viceversa, se produce un sesgo)

– El valor predictivo que se reporta ¿Se relaciona con la prevalencia de la enfermedad en un ambiente clínico relevante? (Si los enfermos y no enfermos se eligen separadamente, sin relación con la prevalencia del ambiente clínico real, el valor predictivo resultante no tiene sentido)

34

Sir Austin Bradford Hill

CAUSALIDAD

35

Criterios de causalidad (Sir Austin Bradford Hill, 1965 )

De validez interna (propios del estudio) Fuerza de asociación: A mayor intensidad de la relación entre dos variables, mayor es la probabilidad de que exista una relación. Secuencia temporal: Aunque en ocasiones es difícil establecerlo, la causa debe preceder al efecto. Es el único criterio considerado por algunos autores como condición sine qua non. Efecto dosis-respuesta: Cuanto mayor es el tiempo y/o dosis de exposición al factor causal, mayor es el riesgo de enfermedad. De coherencia científica Consistencia: Los resultados de un estudio deben mantenerse constantes y ser reproducibles por cualquier investigador en cualquier lugar. Plausibilidad biológica: La relación causal sugerida debe mantener la línea de los principios científicos aceptados en el momento, es decir, creemos más en una relación causal si conocemos su mecanismo patogénico.

36

Significación clínica y significación estadística

La significación estadística solo nos dice cuan probable es que hayamos cometido un error de tipo 1, pero la diferencia encontrada con un intervalo de confianza “significativo” al 95 o al 99%, puede ser muy baja como para que implique un cambio de decisión clínica o de salud pública. La mínima diferencia que nos hará cambiar de decisión es la que nos interesa encontrar. Esa es la significación clínica (o de salud pública).

Meta-análisis

LISTA DE LAS PRIMERAS PUBLICACIONES QUE CONTRIBUYERON AL ACP JOURNAL CLUB

Publicación No de artículos con resúmenes

Número de artículos que satisfacen los criterios

Número de artículos resumidos en ACPJC

N Engl J Med 254 43 (16.9) 34 (13.4)

JAMA 303 37 (12.2) 20 (6.6)

Ann Intern Med 246 33 (13.4) 18 (7.3)

Lancet 410 30 (7.3) 16 (3.9)

Arch Int Med 262 27 (10.3) 13 (5.0)

BMJ 283 24 (8.5) 17 (6.0)

J Int Med 157 17 (10.8) 3 (1.9)

Niveles de evidencia (Según la US Agency for Health Research and Quality)

• Ia: La evidencia proviene de metaanálisis de ensayos controlados, aleatorizados,

bien diseñados.

• Ib: La evidencia proviene de, al menos, un ensayo controlado aleatorizado.

• IIa: La evidencia proviene de, al menos, un estudio controlado bien diseñado sin aleatorizar.

• IIb: La evidencia proviene de, al menos, un estudio no completamente experimental, bien diseñado, como los estudios de cohortes. Se refiere a la situación en la que la aplicación de una intervención está fuera del control de los investigadores, pero cuyo efecto puede evaluarse.

• III: La evidencia proviene de estudios descriptivos no experimentales bien diseñados, como los estudios comparativos, estudios de correlación o estudios de casos y controles.

• IV: La evidencia proviene de documentos u opiniones de comités de expertos o experiencias clínicas de autoridades de prestigio o los estudios de series de casos.

Un chiste viejo para terminar • Tres niños de 4, 6 y 8 años respectivamente, ven a un

hombre y a una mujer desnudos en la cama, a través de una ventana de su casa. Dicen:

• El de 4 años: ¡Miren a ese hombre y a esa mujer! ¡Están luchando!

• El de 6 años: No tonto, están haciendo el amor. • El de 8 años: Si, y bastante mal, por lo demás. Espero que este curso contribuya a que ustedes sean a partir de el evaluadores de impacto y encuestadores de al menos 6 años.

40

41

MUCHAS GRACIAS

“La odds ratio”

• Odds = Probabilidad del evento/1- probabilidad del evento

• Probabilidad del evento= odds/1+odds

• Ej. Las “odds” están 4 a 1

• P = 4/1+4 = 0,8

• Odds = 0,8/1-0,8 = 0,8/0,2 = 4/1

La “odds” ratio en la practica

Lo que se explica por:

ODDS de exposición entre los casos

(a/a+c)/1-(a/a+c)

Como (a/a+c)+(c/a+c)=1

Las ODDS de exposición entre los casos son

(a/a+c)/(c/a+c) = a/c

De igual forma, las ODDS de exposición entre los controles son

b/d

Como por definición, la ODDS ratio es la razón entre las ODDS de exposición de los casos y las ODD de exposición entre los controles, la OR resulta ser (a/c)/(b/d), lo que es lo mismo que a*d/b*c

Intervalos de confianza

Prevalencia y Valor Predictivo Vive con VIH

No vive con VIH

Total

Test + 98 999 1097

Test - 2 98901 98903

Total 100 99900 100000

Test de Elisa (Sensibilidad 98%, Especificidad 99%)

Aplicado en población general adulta (Prevalencia de VIH (+) = 100 * 100.000

Vive con VIH

No vive con VIH

Total

Test + 980 990 1970

Test - 20 98010 98030

Total 1000 99000 100000

Test de Elisa (Sensibilidad 98%, Especificidad 99%)

Aplicado en población consultante en policlínico de ETS (Prevalencia de VIH (+) = 1000* 100.000

VP (+) = 98:1097= 0,089= 8,9%

VP (-) = 98901:98903= 0,99= 99%

VP (+)= 980: 1970= 0,49= 49%

VP (-)= 98010:98030=99%

Curvas ROC