evaluación de programas/iniciativas en salud mental/adicciones. curso sobre salud mental y...
TRANSCRIPT
Evaluación de Evaluación de Programas/Iniciativas en Programas/Iniciativas en Salud Mental/Adicciones.Salud Mental/Adicciones.
Curso sobre Salud Mental y Adicciones en Atención Primaria
Chile– Perú (Enero-Abril, 2011)
Semana Presencial, 10-14 de Enero de 2011.
Dr. Jaime C. SapagSpecial Advisor/Project Coordinator
CAMH’s Office of International Health
Cronograma
1. Necesidad de Evaluación y Definiciones.
2. Niveles y Tipos de Evaluación.
3. La Matriz de Evaluación.
4. Algunas Consideraciones Técnicas y Metodológicas en Evaluación.
5. Recolección de Datos.
6. Gestión y Logística en Proyectos de Evaluación.
7. Gestión del Conocimiento en Evaluación.
1. Necesidad de Evaluación y Definiciones.
Salud Mental/Adicciones: La Necesidad de Evaluar.
Problemas de salud mental/adicciones representan un desafío central para la Salud y para los Servicios de Salud en el mundo, así como en Chile y Perú.
Se asocian a índices de mortalidad/morbilidad y de discapacidad y afectan la calidad de vida.
Problema en individuos, familias y comunidades.
Ustedes trabajan directamente con usuarios que necesitan ayuda en lo relativo a salud mental/adicciones.
Se requiere evaluar iniciativas orientadas a prevenir, promocionar la salud, detectar, tratar y rehabilitar personas que enfrentan problemas de salud mental/adicciones.
La Evaluación de Servicios y Sistemas de Salud Mental y Adicciones
¿Por qué necesitamos evaluar lo que hacemos?
¿Qué desafíos y temores tenemos?
¿Qué nos puede ayudar a enfrentar/superar esos desafíos?
PAUSA
De vez en cuando hay que hacer una pausa
contemplarse a sí mismo sin la fruición cotidiana
examinar el pasado rubro por rubro etapa por etapa
baldosa por baldosa y no llorarse las mentiras
sino cantarse las verdades.
¿Qué Dicen los Poetas?
Mario Benedetti
OPS: Estrategia y Plan de Acción Sobre Salud Mental en la Región. (2009)
Área estratégica No. 1: Formulación y ejecución de políticas, planes y leyes nacionales de salud mental
Área estratégica No. 2: Promoción de la salud mental y prevención de los trastornos psíquicos, haciendo hincapié en el desarrollo psicosocial de la niñez
Área estratégica No. 3: Prestación de servicios de salud mental centrados en la atención primaria de salud. Definición de condiciones prioritarias y ejecución de las intervenciones
Área estratégica No. 4: Fortalecimiento de los recursos humanos
Área estratégica No. 5: Fortalecimiento de la capacidad para producir, evaluar y utilizar la información sobre salud mental
¿Qué Entendemos por Evaluación?
¿Qué les parece este bus?
¿Qué les parece este camión?
¿Cuál es el mejor bolso?
12
3 4
¿Qué Entendemos por Evaluación?
La evaluación consiste en la recogida sistemática de retroalimentación acerca de un programa o intervención.
La retroalimentación se utiliza en la toma de decisiones.
Proporcionar información de la cual se deriven criterios útiles para la toma de decisiones en relación con la administración y desarrollo del programa, proyecto o estrategia a evaluar.
¿Por Qué y Para Qué Evaluar?Las razones varían, dependiendo de los grupos dentro del contexto
¿Quién está interesado/a en la evaluación?
- ¿Agencias sostenedoras: (estado/fundación privada)?
- ¿Directores o administradores de programas – proyectos de
programas?
- ¿Profesionales de un programa?
- ¿Consultores de programas (académicos/profesionales)?
- ¿Científicos/académicos/investigadores?
- ¿Público/opinión pública?
La retroalimentación puede ser sobre muchas cosas
Necesidades comunitarias en relación a los objetivos y prioridades del programa
Naturaleza y calidad respecto a la implementación u operación del programa
Cómo los/as participantes se sienten con el programa
El impacto - los resultados alcanzados
El costo del programa
Los resultados en relación a los costos del programa
Potenciales Barreras para Evaluación
Falta de interés entre los co-trabajadores u otras personas clave; no suficiente prioridad para evaluación
Preocupación acerca de la exactitud del proceso de evaluación, la gente puede preferir no ser honesta (para evitar que se conozcan los problemas)
Falta de claridad respecto a qué tipo de evaluación (expectativas no concordantes)
Necesidad de habilidades de evaluación; parece complicado – no se sabe por
dónde empezar
Miedo a la evaluación (preocupación por malas noticias; preocupación por ser personalmente evaluado)
Falta de tiempo y de recursos
2. Niveles y Tipos de Evaluación.
¿Qué se Evalúa?Niveles de Evaluación.
Caso único: se focaliza en un caso individual en la práctica clínicapráctica clínica, para generar un feedback continuo que permite correcciones respecto al tratamiento inicialmente diseñado.
Actividad: evaluación de un tratamiento o técnica específicos (p.ej., determinado fármaco, prevención de recaídas, etc.).
Programa: evaluamos el tratamiento ofertado por un servicio o programa específico (p. ej., Plan Primera Respuesta, Plan Ambulatorio, Residencial, programa depresión APS. etc.).
Servicio: constituye la evaluación de todos aquellos servicios prestados por una mismo Servicio de salud.
Sistema: se trata del nivel más complejo y con mayor trascendencia socio-política.
¿Evaluación Interna o Externa?
¿Interna?o Planificada y ejecutada por miembros del equipo de
trabajo
¿Externa?
o Ejecutada por personas que no han participado en el programa
Principales Tipos de Evaluación
Necesidades: previa a la planificación e implementación del programa de tratamiento. ¿Qué necesidades existen en la comunidad, relacionadas con el problema?.
Proceso: ¿cómo está desarrollándose el programa de tratamiento?. ¿Hasta qué punto está realizándose según se planificó?.
Resultados: ¿cómo han cambiado los pacientes y en qué medida son atribuibles estos cambios al tratamiento?.
Satisfacción: ¿cuál es la visión del tratamiento, por parte del paciente?.
Costos: ¿cuál es el costo de cada componente del tratamiento?. ¿Y el total?.
Económica: ¿el tratamiento es más eficiente que otras opciones?
Marsden et al., 2000
evaluación de necesidades
evaluación de proceso
satisfacción usuaria
evaluación de resultados
evaluación económica
Estableciendo una Cultura Saludable de
Evaluación Interna
Justificación – Eficacia – Eficiencia – Efectividad – Destinatarios
• Evaluación ex ante o de diseño• Evaluación de término medio o de
proceso• Evolución ex post
Relación entre Planificación y Evaluación
Necesidades identificadas/ priorizadas
Metas y objetivos
establecidos
Diseño de programa/sistema
Implementación
Evaluación
Re-diseño/ mejoría
El Seguimiento/Monitoreo vs. la Evaluación
Ambos sirven para medir resultados/procesos, pero…
El seguimiento/monitoreo:
Enfoque en la ejecución del proyecto y la probabilidad de éxito en lograr los objetivos
Típicamente manejado internamente
La evaluación:
Proporciona información más detallada sobre los temas visto antes (justificación/pertinencia, eficiencia, eficacia, destinatarios, impacto)
Manejada interna o externamente
Calidad en la Evaluación
1. Utilidad – debe servir los requerimientos de los destinatarios
2. Viabilidad / Factibilidad – en cuanto a tiempo y recursos disponibles
3. Ética – que la evaluación siga los marcos legales/éticos, que tome en cuenta el bienestar de los involucrados
4. Fidelidad – selección de indicadores, métodos de análisis apropiados, interpretación de resultados, recomendaciones
Teoría y marcos de evaluación: una perspectiva histórica.
Diferentes, pero no mutuamente excluyentes etapas (Shadush, 1991):
1. “Métodos de investigación tradicionales" (1960-1980): promueve formas muy precisas para definir, implementar y evaluar las intervenciones, y está representado por evaluadores como Scriven (1991) y Campbell (1969).
2. “Modelos alternativos de evaluación” (1970-1985), que básicamente aboga por la integración de métodos cualitativos y el uso de resultados de la evaluación de la acción y el cambio social.
3. Enfoque de integración (1985 hasta ahora) de las teorías anteriores y la adición de nuevas perspectivas, como los del pensamiento sistémico ( (Jackson, 2003; Williams & Imán, 2007).
Algunos Modelos Teórico-Algunos Modelos Teórico-Conceptuales de EvaluaciónConceptuales de Evaluación
1. La evaluación clásica
2. La evaluación basada en asociados (o partes interesadas
3. La evaluación participativa
4. La evaluación naturalística
En la práctica…
Típicamente se decide en un modelo para guiar la evaluación, adaptando conceptos y metodologías de los otros modelos
Importancia de incorporar marco teórico pertinente
Aday et al. Marco para Aplicar Investigacion de Servicios de Salud en la Evaluación de Políticas de Salud.
Broemeling et al. Modelo para Medir “Performance” en Atención Primaria.
3. La Matriz de Evaluación.
Diseño de una Evaluación
Preguntas iniciales:
¿ Ya está en marcha el programa, o recién se piensa implementarlo?
¿ Cuál forma de evaluación mejor se adecua a los intereses de las partes interesadas? - ¿de Proceso? ¿de Impactos?
¿ Cuáles recursos están disponibles?
Diseño de una Evaluación
¿ Cuál es el área geográfica y jurisdicción o jurisdicciones del programa a ser evaluado?
¿ Ya existe una base de datos sobre el alcance o resultados del programa?
¿ Ya existe una evaluación de un programa similar en otra jurisdicción?
¿ Es relativamente fácil, o difícil, identificar el grupo meta de la intervención?
1. Definición del problema El propósito general …..
2. Preguntas de evaluación Preguntas específicas..
3. Indicadores Información específica que se necesita….
4. Datos requeridos Datos necesarios por cada indicador ….
5. Fuentes de datos Información existente o nueva - dónde..
6. Métodos de recolección de datos Cómo la información es recolectada..
7. Análisis Cómo la información es examinada para responder las preguntas…
8. Responsabilidad Quién es responsable de qué ….
9. Tabla con la estimación de tiempo de cada tarea
Cada tarea mayor y debiera considerar cuándo …. Las piedras principales son …
La Matriz de Evaluación
Matriz de Evaluación
El Marco Lógico de Programa (MLP)
- NO es la Matriz de Evaluación.
- Permite visualizar/comprender y definir más detalladamente el “objeto” de evaluación.
Desagregando la “lógica” de Desagregando la “lógica” de iniciativas de salud mental y iniciativas de salud mental y adiccionesadicciones
Insumos Actividades ProductosEfectos Directos
Impactos
5 personas, T/C;4 medicos, T/P;7 horas atención medica/día
Detección de personas con depresión;diagnóstico;tratamiento;seguimiento
800 personastratadas y evaluadas por año.
65% de usuarios pudieronidentificarunoo mas cambios positivos en su vidadebido altratamiento
Índice de remisiónde síntomas bajó en un prom-edio anualde 3%.
Caso Hipotético Caso Hipotético
4. Algunas Consideraciones Técnicas y Metodológicas en Evaluación.
Medición, Diseño y Recolección de Datos
Están Estrechamente Conectados
¿Qué se necesita medir y qué indicadores utilizar?
¿Cómo organizaremos y recolectaremos los datos?
• Problemas de validez y confiabilidad
• Viene el chequeo de realidad: ¿Tenemos los recursos?
Respondiendo las Preguntas de Evaluación con Variables, Indicadores y Datos
• Variables son las cosas/conceptos que Uds. están interesados en medir (ej. uso de droga)
• Indicadores son las formas en las cuales Uds. medirán las cosas o conceptos (ej. cantidad consumida por día, frecuencia por semana, problemas relacionados con el uso)
• Datos son las observaciones reales que obtienen (mediciones de los/as participantes del programa u otras fuentes)
Confiabilidad y Validez
Estas son propiedades importantes de sus mediciones. Resultan críticas para la confianza que Uds. y otros tendrán en sus resultados.
Confiabilidad: muchos tipos de confiabilidad, pero habitualmente se refiere a qué tan consistentemente Uds. medirán la variable con el indicador o la herramienta de medición en particular ( ej. qué tan consistente en el tiempo, considerando varios observadores… )
Validez: la habilidad/capacidad del indicador o herramienta de medición para realmente medir lo que se está pensando que se está midiendo (ej. ¿le has apuntado o has perdido el blanco?)
Aproximaciones Cuantitativa versus? Cualitativa
Se puede usar una como complemento de la otra
Amplitud versus profundidad
cuantitativa
cualitativa
Cuantitativa:
• Buscando la comprensión amplia a través de mucha gente
• Usualmente, toma menos tiempo para poder ser reportada
• La generalización es importante
• A menudo, se ajusta mejor con las expectativas de la gente que usará los resultados (especialmente evaluación de resultados)
• Buenos instrumentos de medición disponibles
Ejemplos de Aproximaciones Cuantitativas
Cuantitativos• Encuestas cuantitativas (ej. ítems estructurados, y categorías de
respuestas)• Bases de datos del programa / sistema de información• Observación y escalas de rating• Evaluación directa
Cualitativa
• Busca la profundidad de la comprensión
• Puede identificar los aspectos clave para focalizar posteriormente las mediciones cuantitativas
• No tiene interés en la generalización
• Si tienen el tiempo para el análisis de datos (ej. dos analistas)
• No tiene tamaño muestral o mediciones razonables cuantitativas
• Si se trata de una evaluación de resultados, tener una audiencia bien informada para el reporte
• La expertise debería estar disponible, especialmente al usar una aproximación cualitativa para la evaluación de resultados
Examplos de Aproximaciones Cualitativas
Cualitativas• Grupos focales• Observación y notas de campo• Entrevistas semi-estructuradas• Revisión de documentación del programa
¿Cuándo cada aproximación funcionará “mejor” para Ustedes?
No hay una regla dura y rápida, pues es posible usar cualquier aproximación en casi todas las situaciones
Es preferible usar métodos mixtos más que elegir uno u otro
Guías generales…..
Implicancias para Proyectos de Evaluación
Intente identificar indicadores que podrían ayudarles a responder sus preguntas de evaluación
Use indicadores tanto cuantitativos como cualitativos, cuando sea posible
Use la matriz de estrategia de evaluación para registrar sus ideas
5. Recolección de Datos.
La Encuesta/Cuestionario
Puede ser muy útil tanto para el componente cuantitativo como el cualitativo de una evaluación
Elementos Clave en el Diseño de un Cuestionario
(1) Coherencia con los objetivos del estudio y el diseño de evaluación
(2) Las preguntas propiamente tales
(3) El formato de respuestas y las categorías
(4) Cualquier instrucción especial que aparezca en el cuestionario
(5) La longitud de la encuesta
(6) El formato de la encuesta, en su conjunto
Aplicación de la Encuesta
En Persona vs. Auto-administrada Medios:
Por teléfono Por correo Por Internet
Avisos Previos y Seguimiento de Respuesta Importancia de preparación de entrevistadores Seguimiento y control de calidad Importante: Estrategias para alcanzar la máxima tasa de
respuesta posible.
Algunas Consideraciones para el Manejo de Información Cuantitativa en Evaluación1. Revisar los datos.
2. Definir cual será el manejo de los datos “missing”.
3. Resguardar las bases de datos.
4. Tabular adecuadamente la información.
5. Para “ratings” y “ rankings” considerar los promedios para cada pregunta. Por ejemplo, para una pregunta “x”, la respuesta promedio fue 2,4; que puede tener mas sentido que indicar cuantas personas respondieron 1 o 2 o 3 en esta pregunta.
6. Considerar la integración de alternativas para presentar los resultados. Por ejemplo: 20% bueno y muy bueno.
Entrevistas con Informantes Claves Comprenden preguntas con respuestas abiertas que motiven
unas respuestas detalladas en cuanto a las experiencias, percepciones, opiniones, sentimientos y conocimientos del entrevistado.
Las entrevistas pueden ser estructuradas, semi-estructuradas o libres de estructura.
Normalmente proporcionan una buena explicación del fenómeno y una descripción adecuada del contexto, desde el punto de vista del entrevistado.
La información proveniente puede servir como contexto para la posterior elaboración de encuestas a ser aplicada a una población o muestra más grande.
Grupos Focales
Sirven como espacio para que un grupo de invitados compartan sus pensamientos, preocupaciones, sentimientos, actitudes e ideas sobre un tema o sobre varios temas.
Tal como las entrevistas con informantes claves, los grupos focales pueden respaldar a datos recaudados mediante los métodos cuantitativos. Ayudan en la posterior formulación de encuestas y también pueden retroalimentar el análisis de datos provenientes de una encuesta estructurada.
Su éxito depende en parte de la facilitación por un moderador que puede asegurar una alta participación en la discusión sobre los asuntos importantes y dentro del periodo de tiempo planificado.
Para aprovechar el tiempo al máximo, se debe considerar la entrega de encuestas breves a los participantes en los grupos focales en el momento de su llegada mientras que esperan la llegada de los demás participantes.
Reuniones Grandes
Sirven para obtener un sinopsis del contexto o de la problemática.
Se puede considerar desagregar la reunión grande en grupos focales después de unas rondas preliminares de discusión.
Por ejemplo, se podría desagregar un grupo de 50 personas en 5 grupos focales. Además, las presentaciones en plenaria y el uso de herramientas audio-visuales sirven para comunicar la información y estimular la participación.
Este foro requiere de un facilitador para captar los puntos de vista de los grupos o representados.
Observación Directa
Anotar las impresiones acerca de las actividades, comportamientos, relaciones interpersonales, eventos organizacionales o comunitarios, y cualquier otra experiencia humana relacionada al sujeto de investigación que se puede observar.
Las observaciones sirven para retroalimentar el proceso de triangulación que busca un consenso y/o las relaciones entre los hallazgos provenientes de las distintas fuentes de datos.
Por ejemplo, si una familia dá los datos sobre su ingreso anual mediante una encuesta, puede ser que la observación de su condición de vida verifique o contradiga la respuesta. Puede ser necesario hacer más preguntas para aclarar la situación.
Dependiendo de la situación, se puede considerar el uso de cámaras fotográficas si enriquecen las observaciones.
Análisis de Documentos y Artefactos Consiste en realizar una revisión sistemática de varios
documentos relacionados al tema de análisis, incluyendo informes oficiales o informales de la organización o el programa, fotografías, y correspondencia.
Sirve para entender los cambios que ha experimentado una organización o un programa durante su evolución.
Se debe considerar formular un cuadro para poder captar la información proveniente de documentos en forma sistemática para facilitar un análisis posterior y su integración a los demás hallazgos.
Métodos Mixtos
Una oportunidad
Importante considerar el propósito de la investigación, la factibilidad, las capacidades del equipo, el contexto local, lo que esperan quienes solicitan la evaluación, etc.
Diferentes maneras de aplicar métodos mixtos y de integrar/analizar sus resultados
Aplicación de los Métodos que Sean Apropiados para Sus Proyectos de
Evaluación…
Análisis de Datos
Es un elemento fundamental en el proceso evaluativo.
Varía según si se trata de una aproximación cuantitativa, cualitativa o mixta.
Es esencial pensar en el análisis antes de iniciar el proceso de recolección de datos.
Los objetivos/hipótesis del estudio así como la muestra están íntimamente ligados al tipo de análisis que se debe realizar, en cada caso.
6. Gestión y Logística en Proyectos de Evaluación.
Dimensiones de un Proyecto
Dimensión técnica: se aplican conocimientos/competencias específicas de diversas disciplinas, de acuerdo al problema en cuestión y a los objetivos del proyecto.
Dimensión humana: las relaciones humanas son parte esencial
del desarrollo de un proyecto o proceso evaluativo, existiendo múltiples áreas relevantes e intereses al respecto.
Dimensión gestión: es aquello invisible que facilita el que las dimensiones técnicas y humanas, en un contexto especifico, con recursos limitados, se expresen armónicamente para alcanzar los objetivos de la propuesta.
Fases en la Gestión de un Proyecto
Fase de planificación. Aquí la pregunta es cómo el equipo de trabajo se prepara para satisfacer las exigencias del proyecto, incluyendo las actividades, la definición del presupuesto, etc.. Una planificación detallada facilita el desarrollo del proyecto y previene la aparición de “sorpresas” no gratas.
Fase de ejecución. Representa el conjunto de tareas y actividades que
suponen la realización propiamente dicha del proyecto, la ejecución de la obra de que se trate. Implica la gestión cotidiana y dinámica de los recursos en la forma adecuada para desarrollar el proyecto.
Fase de entrega. Todo proyecto está destinado a finalizarse en un
plazo predeterminado, culminando en la entrega a los receptores predeterminados. En este caso, se trata del reporte de evaluacion, de acuerdo a los estándares esperados, alcanzando los objetivos propuestos.
Planificación
Es muy importante incorporar en la planificación: Roles y Responsabilidades. Actividades e hitos del proyecto / Plazos. Presupuesto detallado. Mecanismos de seguimiento. Posibilidades de falla, retrasos, etc. Visión realista.
Es fundamental que esto sea explicito y de conocimiento de quienes están involucrados en la propuesta evaluativa.
Aspectos Críticos para la Gestión de un Proyecto de Evaluación.
Estos cuatro aspectos están interconectados estrechamente. Es fundamental buscar la mejor “ecuación” para su adecuado
equilibrio.
Acciones / Actividades
Recursos (humanos, económicos, etc.)
Tiempo
Calidad
Equipo
El Equipo de Evaluación
Definición de roles y responsabilidades. Estilo de trabajo en equipo. Comunicación. Menejo de conflictos. Clima de trabajo.
El Factor Humano
La gestión exitosa de proyectos, independientemente de la estructura organizativa, es sólo tan buena como lo sean los individuos y
líderes que gestionen las funciones básicas(Kerzner, 1998).
Tiempo Necesario.
Depende de varios factores...
Es necesario ser cuidadosos en su estimación y activos en el seguimiento.
Considerar: Aprobación ética. Formación del equipo. Definición de instrumentos. Piloto. Proceso de recolección de datos. Procesamiento de datos. Análisis. Discusión. Diseminación de resultados.
Presupuesto
La definición y asignación de los recursos suele ser, en la práctica, uno de los aspectos que más complicaciones produce.
Implica prever, al menos, tres elementos: qué tipo de recursos se van a usar; en qué cantidad; durante cuánto tiempo.
Realismo / Posibilidades de financiamiento.
Capacidad de priorizar.
Prevenir Posibles Dificultades
Conflictos en el equipo.
Dificultades financieras.
Falta de disponibilidad de información.
Inadecuada estimación de tiempos.
Dificultades en la comunicación.
Problemas éticos inesperados.
Desorden en la gestión.
Insuficiente sistema de seguimiento y control.
Otros.
7. Gestión del Conocimiento en Evaluación.
Es esencial tener un plan de intercambio de conocimiento global de los resultados de su evaluación con el fin de facilitar la efectividad de su uso para el futuro de las intervenciones eficaces.
Hay diferentes modelos para intercambio de conocimientos.
Es importante considerar un enfoque integral de intercambio de conocimientos (CIHR, 2008; CIHR, 2004) en un ciclo continuo dinámico.
Incluir una síntesis y aplicación éticamente racional de conocimiento dentro de un sistema complejo de interacciones entre investigadores/evaluadores y usuarios-para acelerar la captura de los beneficios de la evaluación.
Proceso continuo
Considerar tomadores de decisiones, actores comunitarios...
Recomendaciones que surgen de la evaluación.
Modelo de Intercambio de Conocimiento
Evaluation
Knowledge Movement
Knowledge
Management
Knowledge Generation
Linkage and Exchange
Implementation
Escondido dentro de este modelo de intercambio de conocimiento hay una distinción crítica
Práctica informada por la evidencia …. Típicamente a partir de investigación revisada por pares, financiada por grants, guiada por teoría, metodológicamente muy sólida, cara, demandante de tiempo e increíblemente importante…
Aprendizaje basado en la práctica …. Un nuevo concepto que integra aspectos de evaluación y el intercambio de conocimiento relacionado.
Aprendizaje basado en la práctica
Permite el mejoramiento continuo de las intervenciones y el aprendizaje a partir de ellas en contextos de práctica de la vida real
Puede sonar mucho como “investigación de servicios de salud”, pero es mucho más sobre ir generando evidencia desde contextos de práctica
El aprendizaje basado en la práctica es una variación que incluye la generación de evidencia, y también enfatiza la utilización de evidencia a través de procesos de intercambio de conocimiento
Conclusiones e invitación a integrar progresivamente con más fuerza
evaluación en la práctica.
Reconocimiento y Agradecimiento Parte importante de esta presentación se basa en los materiales
del Programa de Entrenamiento de CAMH:
“Hacia el fortalecimiento de los Sistemas de Salud: Desarrollo de Capacidades Institucionales en Evaluación de Iniciativas de Salud Mental y Adicciones”
que han sido preparados por (en orden alfabético):
Brian Rush, Judith Scharager, Susan Healey, y Jaime Sapag.
Referencias Aday, A., Begley, C.H., Lairson, D.R., & Balkrishnan R. (2004). Evaluating the healthcare system: effectiveness, efficiency and equity. Chicago:
AHR. AJCSEE (American Joint Committee on Standards for Educational Evaluation). (1994). The program evaluation standards, 2nd Edition. Newbury
Park, CA: Sage Publications. Alvarado, R., Vega, J., Sanhueza, G., & Muñoz, M.G. (2005). Evaluación del programa para la detección, diagnóstico y tratamiento integral de la
depresión en atención primaria, en Chile. (Evaluation of the program for depression detection, diagnosis, and comprehensive treatment in primary care in Chile.) Rev Panam Salud Publica 18(4/5), 278–286.
Araya, R., Rojas, G., Fritsch, R., Gaete, J., Rojas, M., Simon, G., & Peters, T.J. (2003). Treating depression in primary care in low-income women in Santiago, Chile: a randomized controlled trial. The Lancet 361 (9362), 995-1000.
Barnsley, J., Berta, W., Cockerill, R., MacPhail, J., & Vayda, E. (2005). Identifying performance indicators for family practice: assessing levels of consensus. Can Fam Physician, 51, 700-1.
Bickman, L., Guthrie, P.R., Foster, E.M., Lambert, E.W., Summerfelt Wm.,T., Breda, C.S., & Heflinger, C.A. (1995). Evaluating managed mental health services: The Fort Bragg experiment. New York and London: Plenum Press.
. Broemeling, A.M., Watson, D.E., Black, Cm., & Reid, R.J. (2006). Measuring the performance of primary health care: existing capacity and future
information needs. University of British Columbia. Centre for Health Services and Policy Research. Cabrera, D., & Trochim, W. (2006). A protocol of systems evaluation. In: D Cabrera (ed). Systems evaluation and evaluation systems whitepaper
series. Ithaca BY: Cornell University National Science Foundation Systems Evaluation Gran No. EREC-0535492. Caldas de Almeida, J.M., & Horvitz-Lennon, M. (2010). Mental health care reforms in Latin America: An overview of mental health care reforms in
Latin America and the Caribbean. Psychiatr Serv, 61, 218-221. CDC (1999). Framework for Program Evaluation in Public Health. Morbidty and Morbality Weekly Report, 48 No. RR-11. CFPC (College of Family Physicians of Canada) and CPA (Canadian Psychiatric Association). (2000). Shared mental health care in Canada:
Current status, commentary and recommendations. Retrieved from http://www.cfpc.ca/local/files/Mental/sharedmentalcare.pdf (Last access: January 13, 2010).
CIHR (Canadian Institute of Health Research). (2004). The CIHR Knowledge Translation Strategy 2004-2009: Innovation in Action. CIHR (Canadian Institute of Health Research). (2010). About Knowledge Translation. Retrieved from http://www.cihr-irsc.gc.ca/e/29418.html (Last
access: October 19, 2010). Craven, M.A., & Bland, R. (2006). Better practices in Collaborative Mental Health Care: An analysis of the evidence base. Canadian Journal of
Psychiatry, 51, 7S-72S. Creswell, J.W., Fetters, M.D., & Ivankova, N.V. (2004). Designing a mixed methods study in primary care. Ann Fam Med, 2, 7-12. Cronbach, L.J. (1982). Designing evaluations of educational and social programs. San Francisco, CA: Jossey-Bass. Fetterman, D.M., Kaftarian, S.J., & Wandersman, A. (Eds.). (1996). Empowerment evaluation: Knowledge and tools for self-assessment &
accountability. California: Sage Publications. Finn, T. (2007). A Guide for Monitoring and Evaluating Population-Health-Environment Programs. USAID-Measure Evaluation. Freire, P. (1970). Pedagogy of the oppressed. New York: Seabury.
Gask, L., Sibbald, B., & Creed, F. (1997). Evaluating models of working at the interface between mental health services and primary care. The British Journal of Psychiatry, 170, 6-11.
Haggerty, J., Martin, C. (2005). Evaluating Primary Health Care in Canada: The Right Questions to Ask! Retrieved from
http://www.apps.hc-sc.gc.ca/hcs-sss/phctf-fassp.nsf/lkAttachments/533D140C997460098525728F006976C6/$File/65E_FS_EvaluatingPHC.pdf (Last access: January 13, 2010)
Haggerty, J.L., Yavich, N., & Báscolo, E.P. (2009) A framework for evaluating primary health care in Latin America. Rev Panam Salud Publica, 26(5), 377-384.
House, B. (1980). Evaluating with validity. Beverly Hills, CA: Sage. Kates, N., Gagne, M.A., & Melville Whyte, J. (2008). Collaborative mental health care in Canada: Looking back and looking ahead. Canadian
Journal of Community Mental Health, 27(2), 1-4. Katon, W.J., Schoenbaum, M., Fan, M.Y., et al. (2005). Cost-effectiveness of improving primary care treatment of late-life depression. Arch Gen
Psychiatry, 62, 1313–1320. Kennedy, E., & Griffiths, H. (2003). Mental health ‘collaborative’ challenges care culture. Psychiatric Bulletin, 27,164-166. Minoletti, A., Toro, O., & Castillo, M. (2008). Chile: integrated primary care for mental health in the Macul District of Santiago. In: WHO and
WONCA. Integrating mental health into primary care: a global perspective. p 57-67. Olney, C.A. (2005). Using evaluation to adapt health information outreach to the complex environments of community-based organizations. J Med
Lib Assoc, 93 (4), S57-S67. PAHO (2009). Strategy and Plan of Action on Mental Health for the Americas. 49th Directing Council CD49/11, PAHO, Washington, D.C., USA, 28
September-2 October 2009. Patton, M. Q. (1994). Developmental evaluation. Evaluation Practice, 15(3), 311-319. Patton, M.Q. (2007). Evaluation focus options: Developmental evaluation and other alternatives. In: Utilization – focused evaluation. SAGE, USA.
p.271-305. Patton, M.Q. (2010). Developmental evaluation: Applying complexity concepts to enhance innovation and use. New York: The Guilford Press. Porteous, N.L., Sheldrick, B.J., & Stewart, P.J. (1999). Enhancing managers’s evaluation capacity: A case study from Ontario Public Health. The
Canadian Journal of Program Evaluation, Special issue, 137–154. Prince, M., Patel, V., Saxena, S., Maj, M., Maselko, J., Phillips, M., & Rahman, A. (2007). No health without mental health. Lancet, 370
(9590), 859 – 877. Punch, Keith. (2005). An Introduction to Social Research: quantitative and qualitative approaches. London: Sage Publications. Rodríguez, J., Barret, T., Narvaez, S., Caldas, J.M., Levav, I., & Saxena, S. (2007). Sistemas de salud mental en El Salvador, Guatemala y
Nicaragua: resultados de una evaluación mediante el WHO AIMS. (Mental health systems in El Salvador, Guatemala and Nicaragua: AIMS-WHO results). Rev Panam Salud Publica, 22(5), 348-357.
Rodriguez, J.J., Kohn, R., & Aguilar-Gaxiola, S. (Eds.). (2009). Epidemiologia de los trastornos mentales en America Latina y El Caribe. Washington, D.C.: PAHO.
Rogers, E. (2003). Diffusion of Innovations, 5th ed. New York: The Free Press.
Rush B, Sapag JC, Chaim G, Quinteros C. (Accepted on October 12, 2010). Client Characteristics within the The Chilean National Youth Addiction Treatment Demonstration System. Journal of Substance Abuse Treatment.
Rush, B. (2003).The Evaluation of Treatment Services and Systems for Substance Use Disorders. R. Psiquiatr. RS, 25(3), 393-411.
Rush, B., Urbanoski, K., Bassani, D., Castel, S., Wild, T.C., Strike, C., Kimberley, D., Somers, J. (2008). Prevalence of co-occurring substance use and other mental disorders in the Canadian population. Can J Psychiatry, 53(12), 800–809
Saldivia, S., Vicente, B., Kohn, R., Rioseco, P., & Torres, S. (2004). Use of mental health services in Chile. PsychiatricServices, 55: 1; 71-6.
Saraceno, B., van Ommeren, M., Batniji, R., Cohen, A., Gureje, O., Mahoney, J., Sridhar, D., & Underhill, C. (2007). Barriers to improvement of mental health services in low-income and middle-income countries. Lancet, 370 (9593), 1164-1174.
Saxena, S., Maulik, P.K., O’Connell, K.,& Saraceno, B. (2002). Mental health care in primary and community settings: results from WHO’s Project Atlas [editorial]. Int J Soc Psychiatry, 48(2), 83-85.
Schoenbaum, M., Unützer, J., McCaffrey, D., et al. (2002). The effects of primary care depression treatment on patients’ clinical status and employment. Health Serv Res, 37, 1145–1158.
Shield, T., Campbell, S., Rogers, A., Worrall, A., Chew-Graham, C.,& Gask, L. (2003). Quality indicators for primary care mental health services. Qual Saf Health Care 12, 100-106. Simon, G. (2008). Collaborative care for mood disorders. Current Opinion in Psychiatry, 22:37–41. Starfield, B. (1998). Primary care: balancing health needs, services and technology. New York: Oxford
University Press. Stufflebeam, D.L., & Shinkfield, A.J. (2007).Evaluation theory, models, and applications. San Francisco,
USA: Jossey-Bass. Thornicroft, G., & Tansella, M. (1999). The mental health matrix. Cambridge: Cambridge University Press
Dr. Jaime Sapag Asesor Especial / Coordinador de Proyectos
Oficina de Salud InternacionalCAMH
MUCHAS GRACIAS!