bloque i: concepto de salud 1.4 evaluación y...

Nuria Sempere Rubio (Coord.)Sara Cortes AmadorRaquel Faubel Cava

Bloque I: Concepto de Salud 1.4 Evaluación y evidencia en Salud

Pública


Índice del Tema1. ¿Qué es la evidencia?

2. ¿Por qué evaluar?

3. ¿Qué es la evaluación?

4. Realización de evaluación

5. Tipos de evaluación•5.1 Evaluación de proceso•5.2 Evaluación de resultado•5.3 Evaluación de efectividad

6. Diseños en Salud Pública

7. Necesidad de evidencia

8. Evidencia en Salud Pública

9. Salud Pública basada en la evidencia•9.1 Guías de Práctica Clínica•9.2 Revisiones sistemáticas•9.3 Buscadores de evidencia•9.4 Bases bibliográficas•9.5 Lectura crítica

10. Toma de decisiones

11. Bibliografía


1. ¿Qué es la evidencia?

“Es necesario tomar decisiones basadas en información suficiente para actuar, aunque insuficientes para satisfacer el intelecto”.

Immanuel Kant


1. ¿Qué es la evidencia?

Manera para probar que “algo” ha ocurrido con certeza y claridad. Rychetnik, et al.

• Implica causalidad y comprobación• Insuficiente evidencia no significa que la intervención

no es efectiva, sino que no podemos demostrar claramente que lo es.


1. ¿Qué es la evidencia?La evidencia en Salud Pública presenta características específicas:• Dificultad para construir un modelo de complejidad: muchas variables intervienen y no se

puede anticipar cuáles deben ser incluidas en el modelo• Difícil medición de variables: algunas tienen características de no linearidad• Los resultados esperados, en algunos casos, aparecen solo a largo plazo• Existen variables de confusión no reconocidas • Dificultad para seleccionar grupo control, evitar contaminación y asegurarla validez de

información• Dificultad para dar cuenta del contexto o escenarios sociales, organizacionales y políticos

en donde se implementa y evalúa la intervención

Intervenciones no siempre tienen el mismo éxito: el efecto causal, aunque real en el sitio original, pueda que no tenga éxito en otro momento o lugar.

Se requiere un amplio entendimiento del fenómeno que produce los datos observados, no sólo técnicas cuantitativas



• ¿Cómo se decide si un medicamento, una intervención o un programa de salud pública es un éxito?



En Salud Pública:• ¿cómo sabemos si estos programas están

realmente funcionando? • ¿cómo podemos perfeccionarlos para que se

desempeñen mejor en las comunidades locales?• ¿cómo puede una organización tomar decisiones

inteligentes sobre cuáles programas prometedores funcionarán mejor en su comunidad?



• orientar correcciones y cambios a medio curso de los programas o políticas

• ayudar a determinar si el programa o política ha sido efectivo y cuánta de esa efectividad se debe a la intervención o a otras intervenciones simultáneas

• proveer información para planear el próximo programa o política.



• Conocer si una intervención establece una diferencia (¿esto funciona?)

• Conocer si la diferencia vale su coste (¿Cuál es el costo efectividad o el valor del dinero?)

• Mejorar el servicio (tener mejores resultados, usar menos recursos)

• Verificar si las personas han hecho lo que tenían que hacer



La relevancia de la evaluación no reside sólo en su carácter de investigación científica, sino muy especialmente en sus notables implicaciones políticas y económicas.

El propósito de la evaluación es ayudar a tomar decisiones y contribuir al conocimiento científico.


3. ¿Qué es evaluación?

Numerosas definiciones:• «el juicio sobre el valor o utilidad de una

intervención». Suchman et al. Se basa en los resultados de la intervención.

• «esfuerzos dirigidos a determinar de forma sistemática y objetiva la efectividad y el impacto de las actividades realizadas para alcanzar objetivos de salud, teniendo en cuenta los recursos asignados». Last. Más amplia.



• “valoración sistemática y objetiva de un proyecto, programa o política que se está desarrollando o se ha completado, teniendo en cuenta el diseño, la implementación y los resultados. La evaluación debe brindar información creíble y útil, que posibilite la incorporación de las lecciones aprendidas en el proceso de toma de decisiones” (OECD, 1998).

• En términos generales, la evaluación se define como la comparación y valoración del cambio de un evento en relación con un patrón de referencia y como consecuencia de una determinada intervención.



La evaluación tiene:• Un fin: Producir información válida y útil • Dos procesos: Producción de información desde la

perspectiva de la ciencia y desde la toma de decisiones y cambio social

• Varias perspectivas: El de los investigadores, políticos, e implementadores de políticas y programas



• Preparación: Cuáles son las limitaciones de la evaluación (tiempo, recursos, datos). Cuáles son las partes interesadas. Qué criterios serán usados para juzgar el valor del programa o servicio. Cuál es el alcance de la evaluación

• Planeamiento del diseño (objetivo de la intervención, resultados esperados, datos de resultado pueden ser recogidos, resultados no esperados, variables confusoras)

• Elección del diseño (evaluación del impacto, evaluación económica, evaluación del proceso…)

• Planeamiento de las actividades • Recolección de los datos • Análisis de los datos

Nuria Sempere Rubio (Coord.)Sara Cortes AmadorRaquel Faubel CavaCDC Evaluation Working Group



• Reunir personas interesadas• Describir el programa• Definir el diseño de la evaluación• Reunir evidencia confiable• Justificar conclusiones• Asegurar el uso y divulgación de lo aprendido



Para asegurar la calidad de las actividades de evaluación:• Utilidad• Viabilidad• Adecuación• Precisión


5. Tipos de evaluación

Evaluación según el nivel • De estructura: adecuación de los recursos a las necesidades • De proceso: adecuación de las actividades y de los servicios a los objetivos y al protocolo • De resultados: consecución de los objetivos del programa • Estratégica: evaluación de los objetivos (¿son pertinentes?)

Evaluación según la finalidad • Formativa: evaluación que se realiza en la fase de desarrollo de un programa (prueba piloto)

para explorar su factibilidad y mejorarlo • Sumativa (de impacto): valoración de la eficacia o efectividad de un programa consolidado

Evaluación según la perspectiva • De desarrollo: análisis de la ejecución de las actividades y de los servicios • De gestión: evaluación orientada a conocer y mejorar los programas y sus efectos • Experimental: valoración de los resultados del programa en condiciones controladas • Económica: estudio de la relación entre los costes y los resultados de la intervención


5.1 Evaluación de proceso

• Finalidad: conocer la cobertura y la calidad de las intervenciones. Verificar si el programa ha alcanzado la población diana y los subgrupos relevantes, y si se han realizado las actividades previstas con la calidad necesaria.

• Indicadores principales: cobertura del programa, en el conjunto de la población diana y en los diversos subgrupos, y la calidad de la intervención. Medidos por diversos indicadores que se comparan con estándares previos o con parámetros establecidos ad hoc por el protocolo del programa.


5.2 Evaluación de resultados

• Verificar si se han alcanzado los objetivos establecidos mediante distintos modelos evaluativos:

Experimental Cuasiexperimental No experimental Observacional


5.3 Evaluación de resultados


5.4 Evaluación de efectividad

• es la medición, descripción y valoración o juicio de la asociación entre dos o más variables, en este caso intervención y resultados, producidos en contextos específicos.

• Atribución de resultados establecida no solamente por la confirmación de asociaciones estadísticas, sino por la de asociaciones lógicas, producto del estudio sistemático del proceso y de la interacción de los factores que influencian tanto la implementación de la intervención como los resultados.



El uso de ensayos clínicos en Salud Pública presenta limitaciones por:• alto coste• motivos éticos• puesta en práctica no es factible• limitada validez externa (considera muestras de sujetos, ámbitos

e intervenciones poco generalizables); • desvincula la intervención de su contexto habitual de aplicación

(eliminando, por tanto, la probable influencia del contexto en los resultados de la intervención)

• no tiene en cuenta el proceso de implementación de la intervención



Uso de otros diseños evaluativos: • Buscar evidencias de efecto combinando la identificación

de indicadores de cambio con la valoración de la atribución del cambio a la intervención.

• El primer paso sería la demostración de que se ha producido un efecto o cambio (lo que se ha llamado adecuación de la intervención), y a continuación deberíamos investigar hasta qué punto podemos atribuir con un cierto grado de certeza el cambio observado a la intervención, lo que podríamos llamar plausibilidad.



¿Cómo traducir la evidencia en acción?• ¿Cuándo es suficiente la evidencia para tomar

decisiones?

• Investigadores y decisores en dos mundos diferentes

• A mayor información, mejores decisiones y mejores políticas



• Gordon Guyatt, en el año 1991, introduce en la literatura médica el término de Medicina Basada en la Evidencia (MBE), que consiste en basar la toma de decisiones clínicas en las mejores pruebas procedentes de la investigación publicadas en la literatura médica.



• Complejidad (integradas por diversos componentes, interrelacionados entre sí y difícilmente delimitables

• Vinculación de su efectividad al contexto en el que se aplican

• Presentar variables de resultado más complejas• Ligadas a políticas de salud (polémica, p.e.

regulación antitabaco)



• Se suele decir que las intervenciones en SP son complejas porque está construida por una serie de componentes, los cuales pueden actuar en forma independiente o interdependiente

• La complejidad según Shield et al., (2008), tiene dos significados: el primero como una propiedad de la intervención y el segundo, como propiedad del sistema en el que la intervención es implementada. Un sistema complejo es aquel que se adapta a los cambios en el ambiente local, está compuesto por múltiples subsistemas complejos y se comporta en forma no lineal. Las intervenciones en estos escenarios pueden ser simples o complejas, pero el enfoque de sistemas complejos


9. SP Basada en evidencia

• Uso consciente, explícito y juicioso de la mejor evidencia en la toma de decisiones sobre la atención a comunidades y poblaciones en el campo de la protección de la salud, la prevención de la enfermedad y el mantenimiento y mejora de la salud”


9. SP Basada en la evidencia

• Enfoque tradicional: PICO. • Patients/Intervention/Control/Outcomes• Enfoque Salud Pública: SPICE• SPICE: Enclave (Setting), Perspectiva, Intervención,

Comparación, Evaluación.• Por ejemplo, ¿Cuál es el impacto del cribado de

diabetes (intervención) para población general adulta (perspectiva), sobre la morbilidad, complicaciones y costes (evaluación), frente al cribado selectivo (comparación) en Atención Primaria (enclave)?


9.1 Guías de Práctica ClínicaNICE. http://www.nice.org.uk/guidance

CDC (Center of Disease Control) www.cdc.gov

USPSTF (United Status Preventive Services Task Force) http://www.ahrq.gov/clinic/uspstfix.htm

CTFPHC (Canadian Task Force on Preventive Health Care) (http://www.ctfphc.org/

SIGN (Scottish Intercollegiate Guidelines Group) www.sign.ac.uk

PAPPS (Programa de Actividades Preventivas y de Promoción de la Salud). www.papps.org

Guiasalud www.guiasalud.es


9.2 Revisiones sistemáticasEPPI Centre http://eppi.ioe.ac.uk/cms

Cochrane Plus www.update-software.com/Clibplus/ClibPlus.asp

Hamilton Public Health http://old.hamilton.ca/phcs/ephpp/ReviewsPortal.asp

Evidence Network http://evidencenetwork.org/index.html

Colaboración Campbell www.campbellcollaboration.org/

HEN (Health Evidence Network) www.euro.who.int/HEN

CRD (centre for Reviews and Dissemination) www.york.ac.uk/inst/crd


9.3 Buscadores de evidencia

TRIP database www.tripdatabase.com

SUMSEARCH http://sumsearch.uthscsa.edu/

Exploraevidencia www.easp.es/exploraevidencia


9.4 Bases bibliográficas

MEDLINE: www.ncbi.nlm.nih.gov/sites/entrez?db=pubmed

Healthy People 2010 Information Access Project http://phpartners.org/hp/ [consultada el 25-01-08]

EMBASE www.embase.com [consultada el 25-01-08]

CINAHL http://www.cinahl.com/

BVS (Biblioteca Virtual de la Salud) http://bvsmodelo.bvsalud.org/php/index.php

http://www.cinahl.com/


9.5 Evaluación crítica

TREND (Transparent Reporting of Evaluations withNon randomized Designs):• permite evaluar con rigor las publicaciones sobre

intervenciones en Salud Pública.

MOOSE (Meta-analysis Of Observational Studies in Epidemiology):• lectura de metaanálisis de estudios observacionales

STROBE (STrenghtening the Reporting of OBservational studies in Epidemiology):• estudios de cohortes y casos y controles



Decisores no solo requieren información sobre si la intervención fue efectiva, sino sobre los factores que la hicieron funcionar, la distribución de los beneficios y el impacto de la inversión.



Dificultades del uso de la evidencia para toma de decisiones:• Uso de lenguaje técnico • Desconocimiento de formas de comunicación de los

públicos.• Transmisión descontextualizada de necesidades de usuarios• Conocimiento válido, proveniente de un solo tipo de

resultados (investigación positivista)• Sobrevaloración de publicaciones para transferir

conocimiento, y de tecnologías como únicos medios de comunicación



• Informar y dar recomendaciones de forma que sea útil para la toma de decisiones

• planificada desde el principio de la evaluación y producirse en diferentes momentos del proceso y no sólo al final, lo cual demanda la utilización de diversas estrategias y medios (Tiana, 1997).

• Identificación de los decisores y de sus necesidades de información



• Es bastante habitual que haya situaciones en las que las intervenciones han de ser implementadas y evaluadas en ausencia de evidencias sólidas o con pruebas parciales acerca de aquéllas.

• Aplicación del “principio de prevención”: deben esperarse efectos positivos de determinadas intervenciones aunque no puedan verificarse de forma absoluta.

• Su implementación es más razonable que dejar los problemas como están por la imposibilidad de evaluar las soluciones.

• Aún así, hay que obtener la máxima evidencia posible



Fuente: Ligia Salazar


11. Bibliografía

• Rychetnik L, Hawe P, Waters E, et al. A glossary for evidence based public health. J Epidemiol Community Health. 2004;58:538-45.

• Last JM. A dictionary of public health. Oxford: Oxford University Press; 2007. • Suchman E. Evaluative research. New York: Rusell Sage Foundation; 1967. • CDC Evaluation Working Group. Recommended framework for program

evaluation in public health practice. Atlanta; 1999.• Guyatt GH. Evidence-based medicine 1991. ACP Journal Club (A-16).• Jenicek M. Epidemiology, evidenced-based medicine, and evidence-based public

health. J Epidemiol 1997;7:187-97• Morales Asencio JM et al. Salud pública basada en la evidencia. Recursos sobre

la efectividad de intervenciones en la comunidad. Rev Esp Salud Pública 2008; 82: 5-20

• Malagón de Salazar L. Reflexiones y posiciones alrededor de la evaluación de intervenciones Complejas. Santiago de Cali: Programa Editorial Universidad del Valle; 2011.

• Nebot M et al (eds). Evaluación en salud pública. Gac Sanit. 2011;25 (Supl 1)

bloque i: concepto de salud 1.4 evaluación y...

Documents