revisiones sistematicas y realistas avv midis v2

Revisiones sistemáticas y realistas para la gestión basada

en evidencias

Anibal Velásquez, MD, MSc DGSYE Viceministerio de Políticas y Evaluación Social del MIDIS

Vice Ministerio de Políticas y Evaluación Social

Dirección General de Seguimiento y Evaluación



Objetivo de la presentación

• Presentar la metodología y el uso de las revisiones sistemáticas y realistas para la gestión basada en videncias

14/04/23 2



Contenido

• Marco conceptual y metodológico de las revisiones sistemáticas, meta-análisis y revisiones realistas

• Niveles de evidencia y recomendación

• Ejemplos de su uso en la gestión de programas sociales

14/04/23 3



¿Qué es evidencia?

• Certeza clara y manifiesta de una cosa, de tal forma que nadie puede dudar de ella ni negarla

• Diccionario de la Lengua Española

14/04/23 4



Política basada en evidencias (I)

• "La elaboración de políticas basada en la evidencia se refiere a un proceso político que ayuda a los planificadores a tomar decisiones mejor informadas, poniendo la mejor evidencia disponible en el centro del proceso político ".

• Evidencia: puede incluir la información producida mediante el control integrado y sistemas de evaluación, la investigación académica, la experiencia histórica y "buenas prácticas"

14/04/23 5



Política basada en evidencias (II)

14/04/23 6

Cap

acid

ad té

cnic

a

Proceso político

Basada en opiniones

Influenciadapor

evidencia

Basada en evidencia



Política basada en evidencias (III)

14/04/23 7

Pruebas piloto

Internet Expertos

Evaluaciones

Revisiones sistemáticas

Uso de la evidencia para las decisiones del alcance, objetivos y metas de políticas

Decisión de la finalidad, alcance, objetivos y metas

de la política

Recursos/ grupos de

interés/opi-nión pública

Evidencia/ cono-

cimiento

Ideología/ experiencia/a

utoridad



DGSYE y el ciclo del diseño e implementación de políticas y

programas con base en evidencias

Gestión de la

información y la

evidencia



La jerarquía de la evidencia

Rango• Revisiones sistemáticas y

metanálisis• Experimentos controlados

aleatorizados• Estudios de cohortes• Encuestas transversales • Reportes de casos• Opinión de expertos• Anécdotas

14/04/23 10

Los m

ás robustos y objetivos



Investigación por revisión

• Revisión narrativa• Revisión sistemática• Meta-análisis• Revisiones realistas

14/04/23 11



Revisión narrativa

• Es una investigación NO sistemática, NO reproducible.

• Comparar y analiza los resultados de varios estudios, SELECCIONADOS POR EL AUTOR, sin criterios explícitos.

14/04/23 12



Revisión sistemática

• Es una investigación sistemática reproducible que permite comparar y analizar los resultados de varios estudios

• Tiene un protocolo que define los pasos de la revisión:– La estrategia de búsqueda de información– Los criterios para evaluar la calidad de las

evaluaciones o investigaciones

14/04/23 13



Meta-análisis

• Es una revisión sistemática en el cual se combinan los resultados de varios estudios que examinan la misma pregunta

• Se trata de resumir en un valor numérico toda la evidencia relacionada a un tópico específico, mediante la combinación estadística de los resultados de estudios previos.

14/04/23 14



¿Para qué sirven las revisiones sistemáticas y meta-análisis?

• Para resumir la evidencia en forma precisa y válida

• Ayudan a tomar decisiones• Ayudan a presentar pruebas sobre

beneficios, daños y riesgos de intervenciones

• Es una fuente para conocer las necesidades de nuevas investigaciones

14/04/23 15



Ventajas de las RS y meta-análisis

• Aporta un resultado global sobre el tamaño del efecto de un tratamiento o la tendencia de su efecto protector o de riesgo

• Detecta y explora las contradicciones aparentes en los resultados

• La combinación de los estudios incrementa la potencia estadística y mejora la precisión en la estimación de la magnitud del efecto

• Facilita las decisiones menos subjetivas y reduce sesgos atribuibles al investigador

14/04/23 16



Sesgos de publicación

• Los estudios “negativos” o que no muestran diferencias significativas son más difíciles de publicar que los estudios positivos o que muestran resultados con diferencias estadísticamente positivas

• Los resultados de los meta-análisis pueden estar influenciados por el sesgo de publicación

14/04/23 17



Pasos para realizar una RS

• Especificación del problema: definición de las preguntas

• Especificación de los criterios de inclusión y exclusión de los estudios

• Formulación del plan de búsqueda de la literatura • Selección y recuperación de los estudios que

cumplen los criterios• Valoración crítica de la calidad científica de los

mismos• Combinación de los resultados • Formulación de las conclusiones y

recomendaciones14/04/23 18



Principal recurso

• Horas investigador• El tiempo requerido depende:

– del tema– del número de estudios– de los métodos utilizados (por ejemplo,

la magnitud de tiempo utilizado para obtener información no publicada)

– la experiencia de los revisores y el tipo de apoyo de expertos



Decisiones clave

• ¿Cuál es el alcance de la revisión?• ¿Cuáles intervenciones?• ¿Qué poblaciones?• ¿Qué lugares?• ¿Qué resultados?



Estrategia PICO para ayudar a formular las preguntas de la RS

• P= población. Definición del grupo de participantes

• I=intervenciones o exposición• C=comparación. Grupo de control• O= outcomes. Efectos de la

intervención o exposición • Tipo de diseño del estudio

14/04/23 21



Preguntas amplias o restringidas?

• Las revisiones restringidas pueden no ser generalizables a entornos diversos o a distintas poblaciones

• La búsqueda de datos para las preguntas muy amplias resulta más lenta y costosa, y la síntesis e interpretación de los datos es un desafío

Fuentes de sesgo

Fuentes de sesgo

Población

Asignación Sesgo de selección (diferencias sistemáticas entre los grupos de comparación)

Grupo de intervención Grupo control

Expuesto a la intervención No expuesto a la intervención Sesgo de realización (diferencias sistemáticas en la provisión de la intervención)

Seguimiento Seguimiento Sesgo de detección (diferencias sistemáticas en la medición de los resultados)

Resultados Resultados

Criterios para evaluar la calidad de RCT

Para estudios controlados aleatorizados (RCT) y ensayos clínicos controlados (CCT) Criterios de evaluación Si No ¿La asignación del grupo de tratamiento y el de control han sido realmente aleatorizada?

¿La aleatorización ha sido ciega? ¿La pérdida fue grande que afecta la validez del estudio? ¿El porcentaje de pérdidas fue similar en el grupo de estudio y grupo control? ¿Los resultados de las pérdidas se describen y se incluyen en el análisis? ¿Los que realizaban la medición de los efectos del tratamiento fueron ciegos a la asignación del tratamiento?

¿El grupo experimental y el control fueron similares al inicio del estudio? ¿Los grupos de estudio fueron separados desde la intervención?



Métodos para resumir la calidad de los estudios

Riesgo de sesgos Interpretación Relación a los criterios A. Bajo riesgo de sesgos Los sesgos no alteran

seriamente los resultados Todos los criterios se cumplen

B. Riesgo moderado de sesgos

Los sesgos generan alguna duda sobre los resultados

Uno o más de los criterios no se cumplen

C. Alto riesgo de sesgos Los sesgos debilitan seriamente la confianza en los resultados

Uno o más de los criterios no se cumplen



Nivel de calidad de evidencia

14/04/23 26

Diseño del estudio Calidad de la evidencia Más baja si Más alta siRiesgo de sesgo Magnitud del efecto- 1 Serio +1 Grande-2 Muy serio +2 Muy grande

Inconsistencia Respuesta a la dosis- 1 Seria-2 Muy seria

Relación indirectaPosibles confusiones por variables endógenas

- 1 Seria-2 Muy seria

Imprecisión- 1 Seria-2 Muy seria

Sesgo de publicación- 1 Serio-2 Muy serio

+1 Sugeriría un efecto espurio cuando los resultados no muestran efecto

Muy baja

+1 Reducirían un efecto demonstrado o

BajaEstudio observacional

Experimento aleatorio Alta

+1 Evidencia de una gradiente

Moderada



GRADE Grupo de los grados de evidencia

• De alta calidad: más investigación es muy poco probable que cambie nuestra confianza en la estimación del efecto.

• Calidad moderada: La investigación adicional es probable que tenga un impacto importante en nuestra confianza en la estimación del efecto y puede cambiar la estimación

• De baja calidad: La investigación adicional es muy probable que tenga un impacto importante en nuestra confianza en la estimación del efecto y es probable que cambie la estimación

• De muy baja calidad: los resultados no son válidos

14/04/23 27



Niveles de recomendación

• GRADE (Grading of Recommendations Assessment,

Development and Evaluation): dos tipos: fuerte y débil recomendación

• Fuerte: para administrar o no una intervención, si los beneficios superan los riesgos y los costos

• Débil: si los beneficios y los riesgos son similares, o existe apreciable incertidumbre sobre la magnitud de los beneficios y los riesgos.

14/04/23 28



Ejemplo de RS: objetivo

• Realizar una revisión sistemática sobre la eficacia de las intervenciones de reducción de la pobreza en la desnutrición de ámbitos rurales y pobres de países en desarrollo.

14/04/23 29



Ej: Metodología

• Se realizó la búsqueda en la base de datos “PubMed” de publicaciones registradas antes de diciembre 2005. Se emplearon las siguientes palabras clave:

• Effectiveness malnutrition evaluation• Malnutrition & level income• Malnutrition & economic interventions

• Se hizo una búsqueda adicional de artículos relevantes en la Biblioteca “Cochrane” para identificar revisiones sistemáticas sobre la relación de los ingresos y la nutrición

14/04/23 30



Tabla 1. Resultado de la búsqueda en la base de datos de PubMed, 2005

14/04/23 31

Palabras claveNo. de

publicaciones en PubMed

No. de resúmenes seleccionados

Effectiveness malnutritionevaluation

157 11

Malnutrition & level income 125 17

Malnutrition & economicinterventions

113 12

Total 395 40



14/04/23 32

Búsqueda en PubMed

Palabras clave:

395 títulos

81 títulos seleccionados

Criterio: estudios sobre intervenciones que reducen la pobreza o sobre

factores/determinantes de la desnutrición

40 resúmenes seleccionados

Criterio: estudios sobre intervenciones de reducción de la pobreza y

desnutrición y/o estudios sobre factores relacionados a la

disponibilidad, acceso, ingesta o desnutrición

31 artículos en texto completo9 artículos no disponibles

(4 estudios transversales y 5 revisiones)



14/04/23 33

Filtro: países en desarrollo o áreas pobres, las intervenciones deben ser relacionadas a la mejora de los ingresos y los

factores/determinantes estudiados deben ser económicos

6 artículos sobre factores/

determinantes

5 artículos sobre intervenciones

11 artículos sobre factores/

determinantes

15 artículos adicionales de las referencias de los

articulos completos y de las revisiones

encontradas

31 artículos en texto completo

11 artículos sobre intervenciones

20 artículos sobre factores o

determinantes

11 estudios sobre factores/

determinantes

3 estudios sobre intervenciones

Evaluación de la calidad de la investigación

3 categoría A3 categoría C

2 categoría A1 categoría B2 categoría C

4 categoría A4 categoría B4 categoría C



Ejemplo: evaluación de la calidad de

cada investigación

14/04/23 34

¿Ade

cuad

a se

cuen

cia d

e ge

nera

ción?

¿Ocu

ltam

ient

o de

asig

nació

n?

¿Ceg

amie

nto

(pac

ient

es)'

¿Ceg

amie

nto

(Méd

icos)

¿Man

ejo

de d

atos

de

resu

ltado

s inc

ompl

etos

?(E

ficac

ia d

e re

sulta

dos)

¿Man

ejo

de d

atos

de

resu

ltado

s inc

ompl

etos

?(S

egur

idad

de

resu

ltado

s)

¿Rep

orte

libre

o se

lecti

vo?

¿Lib

re d

e ot

ros s

esgo

s?

Genovese 2005

Kremer 2003

Kremer 2006

Moreland 2002

Schiff 2008

Weinblatt 2006

Weinblatt 2007

+ + + + + + +

+

+

+

+

+

+

++

++++

+ + + +

+

+

+

+ +

+ +

+ +

+

+

+ +

+++

++ +? ?

- -

-

-

- -

-

-

-

-

-

-

-



Formato para las conclusiones de la

revisión• Formato para la presentación de informes y

recomendaciones de investigación ("EPICOT ‘)E (evidencia): ¿Cuál es la evidencia actual?P (Población)

• I (intervención): tipo, frecuencia, dosis, duración, factores pronósticos.

C (Comparación): Placebo, control con asignación aleatoria, control cuasiexperimental

• O (Resultado)• T (de fecha y hora): Fecha de la búsqueda en la literatura o

recomendación

14/04/23 35



Proceso para desarrollar recomendaciones

36

Análisis de calidad

Análisis de calidad



Crítica a la gestión basada en evidencias

• La gestión basada solo en las evidencias estaría deliberadamente divorciada del pensamiento crítico.

• Usualmente no responde el “¿porqué?” • Por lo tanto es necesario una combinación

del trabajo basado en evidencias, el análisis crítico basado en una teoría y revisiones realistas

14/04/23 37



Revisiones realistas (Realistic review)

• Análisis explicativo sobre qué trabaja? Para quién? En qué circunstancias? En qué aspectos? Y cómo?

• El primer paso es hacer explícito la teoría del programa, sobre las hipótesis de cómo trabaja el programa

• Combina comprensión teórica y evidencia empírica

• Busca la relación entre el contexto en el cual la intervención es aplicada, los mecanismos por el cual trabaja y los resultados que se producen

• Aporta información a los tomadores de decisión sobre cómo implementar intervenciones más efectivas

14/04/23 38



Revisión realista

14/04/23 39

Contexto económico y

social

Mecanismos de conducta

Valores, creencias y experiencias

Eficacia de las

intervenciones probadas

científicamente

Resultados:Estado

nutricional

14/04/23 40

La gestión basada en evidencias es ahora un proceso que integra la pericia o experiencia del que toma decisiones con la mejor evidencia y las expectativas de la población beneficiaria

Ejemplo del uso de revisiones sistemáticas y realistas para el

programa de alimentación escolar

14/04/23 41



Referencias

•Alimentación escolar para mejorar la salud física y psicosocial de estudiantes en desventaja (revisión sistemática) - Kristjansson B, Petticrew M, Mac Donald B, Krasevec J, Janzen L, Greenhalgh T, Wells GA, Mac Gowan J, Farmer AP, Shea B, Mayhew A, Tugwell P, Welch V (2009).

•Revisión realista para entender la eficacia de programas de alimentación escolar - Trisha Greenhalgh, Elizabeth Kristjansson, y Vivian Robinson (2007).

•Reconsiderando la alimentación escolar. Programas de protección social, desarrollo infantil y el sector educativo – Banco Mundial: Donald Bundy, Carmen Burbano de Lara, Margaret Grosh, Aulo Gelli, Matthew Jukes y Lesley

Revisión sistemática

PRINCIPALES HALLAZGOS

Revisión realista



Recomendación 1: Se sugiere optimizar la organización de las escuelas -tanto logística como de infraestructura- como parte de una cadena de distribución eficiente.

EVIDENCIA

Las responsabilidades adicionales para los profesores en los modelos descentralizados de alimentación escolar donde estos, a veces, compran la comida, tienen implicaciones negativas para la educación de los niños. Trabajos de campo en la India han demostrado que los profesores a cargo de las actividades de la alimentación escolar necesitan una media de dos o tres horas al día para estas tareas, tiempo en el que no pueden dar clases. (Bundy et al., 2009)

Ejemplo 1: Lineamientos de gestión articulada para la reducción de la DCI



Metodología para el diseño de políticas con

base en evidencias

Metodología para el diseño de políticas con base en evidencias

Decisión de la finalidad, alcance, objetivos y metas

de la política

Recursos/ grupos de

interés/opi-nión pública

Evidencia/ cono-

cimiento

Ideología/ experiencia/a

utoridad

Instrumentos Proceso de implementación de la Política

Planificación/ programación

Operación Evaluación y seguimiento

Normativos Lineamientos de articulación interesctorial e intergubernamental

Directivas técnicas para la entrega de las intervenciones efectivas

Directivas para los proyectos de inversión que implementan intervenciones efectivas

Directivas de seguimiento y evaluación de la política

Metodológicos Guía metodológica para la programación presupuestal multisectorial

Guía metodológica para evaluar restricciones o cuellos de botella para expandir las coberturas de las intervenciones efectivas

Guía metodológica para desarrollar tableros de control del desempeño de la política

Operativos Software para la programación presupuestal

Software para establecer metas de coberturas y resultados

Estudio de costos de las intervenciones efectivas

Manual de operaciones y estándares de calidad de los servicios que entregan intervenciones efectivas

Manual e supervisión de la calidad de la entrega de las intervenciones efectivas

Acuerdos de gestión Fondo de incentivos por el

cumplimiento de resultados

Diseño e implementación de sistemas de información para el seguimiento de usuarios de las intervenciones efectivas

12 meses 24 meses 36 meses

Intervenciones nutricionales generales 21.7% 17.8% 15.5%

Intervención con micronutrientes 10.3% 15.9% 17.4%

Intervenciones control de enfermedades 3.7% 2.9% 2.7%

99% de cobertura de todas las intervenciones 33.1% 35.8% 35.5%



Reducción relativa de la prevalencia de la desnutrición crónica

¿DÓNDE? AREAS PRIORIZADAS

Los Lineamientos del MIDIS tienen como objetivos:

•Definir ámbitos a ser priorizados.

•Definir las intervenciones efectivas para reducir DCI.

Se han identificado 1,400 distritos empleando cuatro criterios de selección.



Intervenciones Efectivas



Efecto de las intervenciones en la reducción de la desnutrición crónica de niños menores de 36 meses Lancet 2008; 371: 417–

40

Mayor asignación de recursos

Gestión eficaz y eficiente

Incremento cobertura

intervenciones efectivas

Reducción DCI

Diseño de herramientas de gestión para la reducción de la DCI basadas en intervenciones efectivas: San Martín y Cusco.

Los Ministros de Estado y Consejo Directivo ANGR han acordado establecer metas de cobertura y estrategias que faciliten el incremento de los niveles de cobertura de intervenciones efectivas.

Política basada en evidencias



Metodología para establecer metas de reducción de DCI con base en

intervenciones efectivas



Uso del software Spectrum (módulo LiST) para estimar la reducción de

DCI

Un sistema para apoyar el desarrollo de políticas y planificar para mejorar la salud



Metodología

Niños desnutridos evitados =(linea de base de número de DCI) x (efectividad de la

intervención) x (cambio en la cobertura)

• Con base a esta metodología y con mayores ajustes se desarrolló el software List el cual fue incluido en el software SPECTRUM

Desnutrición Bajo peso al nacer

Detección de sífilis

Mosquiteros

Alimentacion complementaria

Suplemento de alimentos y educación

Incidencia diarrea

Agua a menos de 30 minutos

Lavado de manos con jabon

Agua intradomiciliaria

Letrina y baño

Disposición excretas niños

Lactancia materna

Promoción de lactancia maternaLiST: Modelo causal de DCI

Suplemento de alimentos y micronutrientes madre

Caso san martin



¿Dónde se va hacer? 33 Distritos priorizados

DISTRITOPorcentaje de

niños desnutridos

Número de niños desnutridos

Población Total <5años

SAN MARTIN DE ALAO 32,0 477

1490

SHATOJA 30,5 109 358

HUIMBAYOC 30,4 180 593

POLVORA 24,0 308 1284NUEVA CAJAMARCA 23,0 984

4273

MOYOBAMBA 21,7 1.677 7729

Se seleccionaron 29 distritos con Porcentajes de desnutrición más altos (rurales) y 4 distritos por el número absoluto de niños desnutridos (urbanos)

Fuente: Mapa de pobreza INEI 2010



San Martín 2009

Meta año 2014

a) Estrategias para mejorar la ingesta de nutrientes y micronutrientes1 Suplemento energizante balanceado (dieta calórica y protéica) para gestantes

desnutridas0 100

2 Suplemento de micronutrientes múltiples (hierro, ácido fólico, vitamina A) 83.8 953 Promoción de la lactancia materna exclusiva (todas las madres que tienen parto

institucional)30 80

4 Consejería sobre alimentación complementaria 50 1005 Consejería sobre alimentación complementaria y entrega de alimentos 40 1006 Vitamina A para prevención 5 907 Zinc para prevención 0 90b) Estrategias de prevención de enfermedades8 Uso de fuente de agua a menos de 30 minutos del hogar* 58.9 959 Uso de la conexión de agua* 56.7 8010 Alcantarillado o letrina* 25.6 9511 Lavado de manos con jabón 25 9012 Eliminación higiénica de las heces infantiles 25 9013 Planificación familiar (demanda satisfecha de Planificación familiar) 93.1 10014 Parto institucional 69.6 9015 Atención postparto (puerperio) 69.6 9016 Vacunas:

Vacuna contra rotavirus 62 95Vacuna contra el sarampión 85.2 95Vacuna Hib 93.8 95Vacuna antineumocócica 85.2 95Vacuna DTP 78.5 95Vacuna antipoliomielítica 74.5 95Vacuna BCG 88.2 95

c) Estrategias para el manejo de enfermedades 17 Suero de rehidratación oral (SRO) 29 9018 Antibióticos para la disenteria 70 10019 Zinc para tratamiento de diarreas 0 10020 Tratamiento de neumonia con antibióticos 37.9 8021 Alimentación terapéutica (rehabilitación nutricional de desnutrición aguda) 0 100*El plan de implementación será realizado en coordinación con la Dirección de Vivienda y Saneamiento

Intervenciones efectivas

Uso de SPECTRUM para establecer metas de DCI con base en

evidencias



Impacto del 90% de cobertura de las intervenciones efectivas en la

desnutrición de San Martín

<1 año 1 año 2 años 3 años 4 años Desnutridos

evitados

Prevalencia en la Región

SM

Reducción de la

desnutrición Basal 28.2% 0.0%

Año 1 638 638 27.4% 0.8%Año 2 638 1,154 2,429 25.3% 2.9%Año 3 638 1,154 1,109 5,329 21.9% 6.3%Año 4 638 1,154 1,109 1,143 9,373 17.0% 11.2%Año 5 638 1,154 1,109 1,143 935 13,145 12.6% 15.6%



Costos per cápita* de IE por grupos de interés del programa

(*)Incluye: 100% de RH, Materiales y Medicamentos, no incluye biológicos de vacunación ni anticonceptivos

Costo per-cápita Población Costo total

Gestante 435 13,819 6,005,105

< 1 año 560 11,054 6,194,101

1 año 268 10,954 2,938,137

2 años 200 10,889 2,176,355

3 años 127 10,846 1,380,146

4 años 129 10,824 1,400,089

Presupuesto adicional para expandir IE en San Martín

Ejemplo del estimado de financiamiento: Financiamiento adicional (Nuevos Soles) requerido para el programa de reducción de la desnutrición infantil en la Región San Martín mediante la expansión de coberturas de intervenciones efectivas en cohortes de niños de 33 distritos priorizados, durante 5 años de programa.

<1 año 1 año 2 años 3 años 4 años

Año 1 2,117,245 4,821,193 6,938,438

Año 2 2,117,245 4,821,193 3,121,939 10,060,377

Año 3 2,117,245 4,821,193 3,121,939 2,646,765 12,707,142

Año 4 2,117,245 4,821,193 3,121,939 2,646,765 1,638,532 14,345,674

Año 5 2,117,245 4,821,193 3,121,939 2,646,765 1,638,532 1,667,235 16,012,910

Presupuesto anual

Edad de los niños Gestantes



Meta de reducción de DCI en San Martín basada en expansión de IE en áreas priorizadas y en cohortes de edad



SAN MARTIN: evolución de DCI

El año 2012 San Martín ya llegó a su meta: 18.1%



GRACIAS…

Hospital

revisiones sistematicas y realistas avv midis v2

Documents