externa final de evaluación de período de ejecución ... · sector 5 / fernando de los ríos...

Sector 5 / Fernando de los Ríos Martín Informe de Evaluación

1

VERSIÓN: final de 05/10/2012

Evaluación externa final Informe de Evaluación Proyecto Fortalecimiento del Sistema de Salud del distrito de Erati Programa de Salud de Erati Componente III, Fase III Lugar de intervención Mozambique, provincia de Nampula, distrito de Erati Período de ejecución evaluado 01/01/2011 al 29/02/2012 Financiación Generalitat Valenciana Ejecutor Consejo Interhospitalario de Cooperación ‐ Mozambique Informe elaborado por: Sector5, Soc. Uni. Lda Fernando de los Rios Martín Av. Paulo Samuel Kankhomba 487 Maputo Mozambique e‐mail: [email protected] Fecha de la evaluación: Mayo‐Agosto 2012

Fortalecimiento del Sistema de Salud del distrito de Erati / Programa de Salud de Erati, Componente III, Fase III Erati, provincia de Nampula, Mozambique Consejo Interhospitalario de Cooperación Generalitat Valenciana

Fernando de los Ríos Martín Sector5 Informe de Evaluación externa final

i

ÍNDICE INFORME DE EVALUACIÓN ________________________________________________________1 0. Resumen Ejecutivo ___________________________________________________________1

0.1. Objetivos de la evaluación _________________________________________________1 0.2. Contexto ______________________________________________________________1 0.3. Metodología ___________________________________________________________2 0.4. Plan de Trabajo _________________________________________________________3 0.5. Conclusiones y Recomendaciones ____________________________________________3 0.6. Lecciones aprendidas _____________________________________________________7

1. Introducción________________________________________________________________8 1.1. Objetivo e informe de evaluación ____________________________________________8 1.2. Preguntas y criterios de evaluación: definición___________________________________8 1.3. Equipo de evaluación ____________________________________________________10

2. Descripción resumida de la intervención evaluada ___________________________________11 2.1. Resumen de contexto, organización y gestión __________________________________11

3. Metodología utilizada en la evaluación ___________________________________________13 3.1. Metodología y técnicas aplicadas ___________________________________________13 3.2. Restricciones y límites del estudio realizado ___________________________________13

4. Análisis de las informaciones recogidas y evidencias__________________________________14 4.1. Pertinencia ___________________________________________________________14 4.2. Eficiencia _____________________________________________________________16 4.3. Eficacia ______________________________________________________________18 4.4. Sostenibilidad _________________________________________________________21 4.5. Coherencia ___________________________________________________________22 4.6. Alineamiento__________________________________________________________24 4.7. Impacto______________________________________________________________24 4.8. Participación __________________________________________________________26 4.9. Cobertura ____________________________________________________________27

5. Conclusiones y recomendaciones________________________________________________27 5.1. Pertinencia ___________________________________________________________27 5.2. Eficiencia _____________________________________________________________28 5.3. Eficacia ______________________________________________________________28 5.4. Sostenibilidad _________________________________________________________29 5.5. Coherencia ___________________________________________________________30 5.6. Alineamiento__________________________________________________________31 5.7. Impacto______________________________________________________________31 5.8. Participación __________________________________________________________32 5.9. Cobertura ____________________________________________________________32

6. Lecciones aprendidas ________________________________________________________32 ANEXOS_____________________________________________________________________1 ANEXO 1: Agenda de trabajo de campo _______________________________________________1 ANEXO 2: Fuentes consultadas (selección) _____________________________________________2 ANEXO 3: Cuestionarios de entrevistas _______________________________________________3 ANEXO 4: Términos de Referencia __________________________________________________12



ii

ACRÓNIMOS

AECID Agencia Española de Cooperación Internacional para el Desarrollo APE Agentes Polivalentes Elementales CIC Consejo Hospitalario de Cooperación CS Centro de Salud

MISAU Ministerio de Salud (Mozambique) MM Medicus Mundi PESS Plan Estratégico del Sector de Salud PSE Programa de Salud de Erati

SADC Comunidad de Desarrollo de África Austral SDSMAS Servicios Distritales de Salud, Mujer y Acción Social

TARV Tratamiento Antirretroviral TdR Términos de Referencia



1

INFORME DE EVALUACIÓN

0. Resumen Ejecutivo

0.1. Objetivos de la evaluación El presente informe trata sobre los resultados de la evaluación externa final realizada a la fase III del proyecto de “Fortalecimiento del Sistema de Salud del distrito de Erati”, incluido en el Programa de Salud de Erati, financiado principalmente por la Generalitat Valenciana e implementado por la ONG Consejo Interhospitalario de Cooperación (Componente III) a lo largo de 14 meses, desde el 01/01/2011 al 29/02/2012 (14 meses). La evaluación ha hecho una valoración del desempeño de la intervención, analizando la ejecución de las actividades, la obtención de los resultados previstos, los factores que han podido condicionar tanto la ejecución de las actividades como la obtención de estos resultados, las estrategias sobre las que se ha asentado el proyecto y los recursos utilizados. A la luz de todo esto, se valoró el diseño de la intervención, aportando datos sobre la evolución de las necesidades y políticas de los beneficiarios, la adecuación a las estrategias de los donantes (Generalitat Valenciana) y la complementariedad con otras intervenciones en la misma zona y especialmente con las acciones de los otros miembros del Consorcio de implementación (Action Aid y MM). Se evaluó igualmente el impacto obtenido, tomando en consideración la trayectoria de implementación del Programa de Salud de Erati desde el inicio, relacionando los datos obtenidos con las acciones propias de la intervención cuando sea posible. Por último se identificaron las lecciones aprendidas y se formularon recomendaciones que podrán servir para la toma de decisión en relación a próximas intervenciones y planteamientos, tanto para la entidad ejecutora (CIC) como para los otros intervinientes (donantes y socios locales).

0.2. Contexto

El proyecto “Fortalecimiento del Sistema de Salud del distrito de Erati” forma parte del Programa de Salud de Erati, una intervención que tuvo su inicio en agosto de 2005 dirigida al fortalecimiento del sistema sanitario del distrito de Erati, implementada por un consorcio de ONGs (Action Aid, Consejo Interhospitalario de Cooperación y Medicus Mundi) y financiada por la Generalitat Valenciana. Inicialmente estaba previsto que esta intervención se llevara a cabo en 2 fases de 2 años de duración cada una. La primera fase tuvo una duración de 25 meses (agosto 2005 a agosto 2007) y la segunda fase 28 meses (noviembre 2008 a febrero de 2011) con una fase intermedia entre ambas. Antes del término de la segunda fase, fue aprobada una última fase con el objetivo de que sirviera de cierre que tendría una duración de 2 años pero con intervenciones anuales. En este momento el primer año de la tercera fase ya ha finalizado (la que se evalúa en estos momentos) que ha correspondido a un periodo de 14 meses, desde enero de 2011 a febrero de 2012. Inicialmente el PSE tenía 4 componentes, (1) salud comunitaria y prevención del VIH, (2) fortalecimiento del desarrollo de la Atención Primaria, (3) apoyo a la Atención Secundaria y (4) apoyo al centro de formación de la provincia de Nampula. Durante las fases I y II, Medicus Mundi implementó las acciones de las componentes 2 y 4, mientras que Action Aid implementó la 1 y CIC la 3. En la fase II fue incluido el distrito de Memba, además del de Erati, en las acciones de la componente 2 (Atención Primaria – implementado por MM) con el objeto de diseminar las buenas prácticas realizadas en Erati en las anteriores fases y al término de esta misma fase, se decide suprimir la componente 4 (Apoyo al Centro de Formación). Como el propio nombre indicada, la intervención está dirigida al distrito de Erati, aunque se incluye Memba en la componente II ejecutada por Medicus Mundi a partir de la Fase II.



2

La intervención evaluada En esta fase III, CIC da pasos adelante en la implementación de la componente III del PSE enfocando sus atenciones al refuerzo de la gestión y administración del Hospital Rural de Namapa, su equipamiento y la mejora de los servicios puestos a disposición de los usuarios, especialmente el servicio de TARV, incluyendo los de las unidades satélites de Alúa y Mirrote. Los beneficiarios directos se corresponden con los profesionales de salud, el personal de apoyo y de gestión/administración de la red sanitaria del distrito (SDSMAS de Erati), los usuarios del Hospital Rural de Namapa y los alumnos y alumnas en prácticas en el Hospital Rural. También se podría incluir aquí como beneficiarios directos (aunque no está en la formulación), los grupos de jóvenes que se benefician de sesiones de información y sensibilización y mujeres de Erati que son apoyadas en la creación de grupos. Como beneficiarios indirectos se considera a toda la población de Erati pues todos ellos se podrán beneficiar potencialmente de los beneficios de la intervención y el personal de la Dirección Provincial de Nampula. El presupuesto total de la intervención fue de 423.436,71 Euros (para 14 meses), financiados al 48% por la Generalitat Valenciana (la parte restante corresponde fundamentalmente a valorizaciones del socio local). CIC cuenta en el terreno desde el inicio del PSE con 1 oficina (en Namapa, sede del distrito de Erati) y otra en Maputo, sede de la Representación en Mozambique. La composición del equipo en el terreno es de 1 expatriado, asumiendo las tareas de coordinación del proyecto, más personal de apoyo local. La oficina de representación nacional, en Maputo, da cobertura al equipo de implementación en varios ámbitos: coordinación, administración, representación institucional a nivel nacional, etc. CIC se relaciona directamente con los Servicios de Salud del distrito donde se ejecuta el proyecto (SDSMAS), dependientes de la Dirección Provincial de Salud de Nampula y ésta, a su vez, del Ministerio de Salud de Mozambique (MISAU), instituciones con las cuales se establecen los acuerdos marco, se coordinan y existe transmisión de información. Por otro lado, y dado la característica principal de este programa, se establece una particular relación con las otras ONGs participantes en el consorcio de implementación (Medicus Mundi y Action Aid) presentes en el terreno.

0.3. Metodología

La Metodología aplicada se basó en los siguientes pilares: Objetividad: en la medida de lo posible, todas las conclusiones están basadas en el análisis de

evidencias contrastables. Participación y aprendizaje: los intervinientes se incorporaron a la evaluación en las diferentes fases

del trabajo. Alineamiento con lo establecido en los TdR: El trabajo de consultoría siguió las premisas establecidas

en los TdR dando respuesta a las necesidades del CIC Uso de diferentes herramientas: fueron utilizadas diferentes herramientas para la obtención de los

datos necesarios para realizar los análisis correspondientes. Según la fase de evaluación, éstas fueron:

En la primera fase: revisión documental, tanto la documentación de base del proyecto, como la generada a partir de la ejecución y otra documentación relacionada con el proyecto (Políticas, Estrategias, etc.).



3

En la fase de campo: revisión de documentos específicos, como planificaciones, Acuerdos establecidos localmente, procedimientos, informes de seguimiento, fuentes de verificación, etc. Se realizaron también entrevistas semiestructuradas con los socios locales, con los beneficiarios y representantes de otras organizaciones y actores de cooperación. Se realizó, asimismo, observación directa en los locales de la intervención.

En la fase de elaboración del informe: fue realizado el análisis de los datos y la información obtenida a partir de los informantes clave y la observación directa, así como en los encuentros de discusión de los datos preliminares.

0.4. Plan de Trabajo

El trabajo de consultoría fue realizado en 3 fases: Fase inicial de preparación: de 2 semanas de duración, dedicadas a la revisión documental inicial,

preparación de las herramientas de recogida de datos y cierre de la agenda definitiva del trabajo de campo.

Fase de recogida de evidencias e información en el terreno: de 2 semanas de duración, durante los cuales se visitaron las zonas de intervención, se tuvieron las entrevistas con los informantes clave y se recogió la información relevante para la evaluación de los criterios.

Fase de elaboración del informe de evaluación, revisión y obtención de los comentarios por parte de la entidad contratante y elaboración del informe final.

0.5. Conclusiones y Recomendaciones

Pertinencia La percepción de los problemas más prioritarios por parte de los beneficiarios se orientan más al

corto plazo: más recursos financieros para el funcionamiento normal de los servicios y más infraestructuras y equipamientos. La intervención se dirige más al largo plazo y los efectos sobre el fortalecimiento institucional.

Las estrategias y planes de desarrollo en Mozambique, engloban una gran cantidad de objetivos y áreas de mejora por lo que la pertinencia de una intervención cualquiera podrá fácilmente estar asegurada en estas estrategias nacionales. No obstante, se encuentran de manera explícita en estos documentos las acciones y los resultados esperados en la intervención, por lo que se puede concluir que el proyecto contribuye a alcanzar los objetivos y visión representada en aquéllos.

En relación a la política de cooperación al desarrollo de España y de la Comunidad autónoma de Valencia, la intervención recoge específicamente aquello que constituye la estrategia sectorial en salud, y los principios transversales de enfoque de derechos, equidad de género y preservación del medio ambiente. Recomendaciones:

Incidencia en el largo plazo Para una mayor comprensión de los objetivos de la intervención por parte de los beneficiarios y su orientación efectiva a la consecución del mayor impacto y no sólo a la realización de las actividades, los ejercicios de evaluación de la planificación y la propia planificación de actividades deberán dejar claro la influencia sobre la mejora de los indicadores propuestos y la monitoria de sus tendencias.

Eficiencia No existen desviaciones importantes en las partidas del presupuesto en relación a lo ejecutado. La

mayor desviación se produce en la partida de evaluación pero que en términos absolutos no representa un valor elevado. Otra partida que se desvía es la de personal local, pero que está determinada por el coste de los salarios de las personas precontratados y que está fijado por el Ministerio de Salud, por lo que no había mucho margen de maniobra.

Las mayores partidas corresponden con gastos de inversión (equipamiento) y personal local (precontrataciones), cuya transformación en resultados no sólo es evidente sino que no podrían haber sido más económica, por lo que su eficiencia es óptima.

Los costes de gestión (personal expatriado) son los adecuados tomando en consideración la media de gasto que supone esta partida. Además, con solo el 10% del presupuesto se consiguen alcanzar los restantes resultados (a parte del equipamiento y aquel referido a las precontrataciones) por lo que refuerza el carácter efectivo de la intervención.



4

La colaboración institucional favorece el cumplimiento de las metas. Esta colaboración se ve favorecida por la presencia en el terreno del personal de gestión de la intervención por lo que resulta fácil establecer mecanismos de comunicación tanto formales como informales.

Los recursos humanos, a pesar de lo exiguo del equipo, ha respondido a las necesidades y se ha podido realizar todo el plan de actuaciones sin merma de calidad.

Eficacia Algunos de los indicadores propuestos relacionados con el Sistema de Información Sanitaria no sirven

adecuadamente para medir la contribución y el alcance de los resultados y objetivos de la intervención de CIC, una vez que se ven afectados por muchos factores, gran parte de los cuales sin influencia efectiva a partir de esta intervención. Por esta razón, la mejora o empeoramiento de estos indicadores no implican un mejor o peor desempeño por lo que en algunos casos es difícil hacer una valoración efectiva del cumplimiento o no de las metas propuestas. Esto se refleja especialmente en la medida del alcance del objetivo específico.

En otros casos, los indicadores definidos no ofrecen medida de la calidad o extensión de los mismos por lo que, aún alcanzándose el resultado, no refleja el grado de mejora todavía necesario. Está referido sobre todo al fortalecimiento de la gestión y organización interna del Hospital Rural de Namapa, pues aunque se obtienen los productos esperados tales como el reglamento interno y los protocolos de los servicios, éstos todavía tienen un espacio de mejora grande.

El resultado del equipamiento del Hospital podía haber estado integrado dentro de la mejora de la prestación de servicios del Hospital, una vez que la existencia de equipamiento tiene implicaciones en la capacidad de prestar servicios.

Los servicios TARV se consolidan una vez que las actividades para alcanzar este resultado ya vienen siendo ejecutadas desde anteriores fases del PSE. No obstante no se puede hacer una valoración completa del cumplimiento de las metas por Unidad Sanitaria al no disponer de los datos por cada una de ellas.

No se han detectado dificultades de acceso a los servicios apoyados durante la intervención por parte de los beneficiarios, una vez que todas las actividades fueron incluidas en la planificación de actividades de los Servicios de Salud del distrito. Por otro lado, en relación a los usuarios del Hospital Rural, fueron implementados diversos mecanismos de incentivos para favorecer, por un lado, la adherencia al parto institucional (a las madres) y al tratamiento TARV (a los activistas encargados de las búsquedas de abandonos).

La proximidad del equipo de gestión de la intervención al local de ejecución y de los beneficiarios ha favorecido también la implementación de las actividades y, por tanto, la consecución de los resultados.

Existen acciones tendentes a la mayor equidad de género si bien, sus efectos sólo deberán verse en próximos ejercicios ya que sirvieron para sentar las bases necesarias para la programación de actividades de promoción de esa equidad. Nos referimos sobre todo al estudio sobre las dificultades de acceso de las mujeres a los servicios de salud, cuyo impacto deberá comenzar a sentirse una vez se definan actividades y se incluyan en las planificaciones anuales. Este estudio, no obstante, es básico y fundamental para que esto se produzca. Recomendaciones:

Definición de indicadores que reflejen la obtención de resultados relacionados con la intervención: El uso de indicadores del Sistema de Información Sanitaria sólo podrá ser válido cuando se mida el alcance del objetivo general siempre y cuando se tenga una referencia del impacto en las tendencias de otros factores sobre los cuales no se trabaja pero que influyen en su mejora o empeoramiento. Para los indicadores del objetivo específico se tienen que definir indicadores que midan de manera directa la influencia de la intervención y que se puedan relacionar sin duda con los logros del proyecto. Si no se realiza de esta manera, los datos obtenidos en la lectura de los indicadores podrán dar lecturas erradas en relación a los efectos de la intervención evaluada.

Definición de resultados con indicación de su extensión: En esta recomendación lo que se quiere decir es que en resultados que indican mejora o refuerzo, se debe hacer mención a la extensión de esta mejora puesto que si no el concepto es tan vago que el mero cumplimiento de los indicadores no da una medida exacta de en qué punto se produce esa mejora, si



5

todavía queda un gran margen de mejora o si por el contrario el refuerzo ya ha llegado a límites deseados o previstos.

Integración de los equipamientos suministrados en la mejora de los servicios: Los equipamientos tienen siempre una función clara de mejorar los servicios por lo que el mero suministro de estos equipamientos no implica siempre una mejora de aquéllos (por ejemplo si no se ponen en funcionamiento, si no se usan adecuadamente, etc.). Por este motivo, éstos tienen que llevar siempre asociado la mejora de los servicios en los cuales se aplica y la obtención de los resultados serán las mejoras en los servicios que con ellos se alcanza.

Revisión del sistema de incentivos: Los incentivos tienen que tener un efecto “llamada” para conseguir que ciertas actitudes o acciones se lleven a cabo posteriormente una vez que se compruebe el beneficio que con ellas se obtiene. Cuando se valora sólo el incentivo, quiere decir que el incentivo no ha servido para mucho. Es necesario aplicar estrategias para que no se valore solamente el incentivo por si mismo sino que se pueda ver más allá y conseguir la adherencia a servicios o actividades sin la necesidad de perpetuar éste.

Integración de actividades que promuevan la equidad de género en la planificación distrital: Una vez que se ha elaborado un estudio sobre las dificultades de acceso de las mujeres a los servicios de salud se debería fomentar la definición de actividades para incorporar a la planificación anual de actividades de los Servicios distritales de salud y así hacer valer el esfuerzo realizado.

Sostenibilidad Una parte de las actividades realizadas podrá perder calidad en su ejecución y disminuir la frecuencia

de su realización o la participación con la que venían siendo realizadas. No obstante, los beneficios a largo plazo son perfectamente sostenibles pues implican un aumento de capacidades.

Las precontrataciones de personal son sostenibles porque su inclusión en el Sistema Nacional fue uno de los condicionantes previos para su realización.

Los equipamientos adquiridos y suministrados responden a las necesidades y su mantenimiento deberá ser asegurado por el equipo de personas que para tal existe en el Hospital y que fue apoyado a lo largo del PSE. A pesar de que sus capacidades (técnica y financiera) todavía están lejos de las necesidades, asegurará mínimamente el cumplimiento de la vida útil de estos equipamientos.

La componente financiera de los servicios de salud juega un papel crucial en la sostenibilidad de los beneficios alcanzados, una vez que será necesaria para poner en práctica todas las rutinas y capacidades adquiridas.

Se ha trabajado siempre en clave de refuerzo institucional, evidenciado por la inclusión de todas las actividades de la intervención en la planificación anual de los Servicios de Salud. El liderazgo de la intervención, por tanto, ha recaído siempre en los Servicios de Salud y esto favorece su refuerzo como institución proveedora de servicios.

No existen riesgos de impacto ambiental reseñables a excepción de la generación de residuos por parte del Hospital Rural. Se han realizado actividades (fuera de lo previsto) que favorecen la gestión de estos residuos en instalaciones propias dentro del Hospital Rural (construcción de fosas según los criterios establecidos por el MISAU) y por tanto, minimizan los riesgos de impacto ambiental. Recomendaciones:

Dimensionamiento de la capacidad financiera real: Sería muy interesante poder realizar un ejercicio de dimensionamiento de la capacidad financiera de los distritos en relación a los fondos disponibles (y las proyecciones de crecimiento o disminución esperadas) y a los ritmos de desembolso normales. Esto ayudaría a poder definir el nivel de continuidad de las acciones financiadas durante la intervención (tanto en la propia realización de las mismas como en el grado de participación y calidad) y a planificar correctamente éstas en los planes anuales.

Coherencia La intervención es coherente con el proceso de implementación del Programa de Salud de Erati y en

particular, con la componente llevada a cabo por CIC a lo largo de los años de su ejecución. En esta fase se centra el refuerzo de la atención secundaria más en los aspectos de equipamiento y la mejora de la gestión y capacidades de los servicios.

Los aspectos financieros, todavía un gran problema para dar respuesta a las necesidades y dar valor a las capacidades potenciales existentes, no se trabajan mucho en la intervención. Si bien es cierto que



6

es una componente de estricta responsabilidad del Estado (mejora de la capacidad financiera), se podrían mejorar los aspectos de optimización de recursos y eficiencia de las actividades.

La complementariedad de esta acción con otras está garantizada desde que forma parte de un consorcio de ONGs para la realización de un plan conjunto de mejora de la situación sanitaria del distrito de Erati. Además, en esta fase se ha hecho un evidente esfuerzo de definir actividades en conjunto para hacer valer el valor añadido que cada unas de las ONGs tiene dentro del Consorcio.

Existe todavía un potencial de establecimiento de sinergias grande, compartiendo por ejemplo un marco lógico común para todas las intervenciones y compartiendo la estructura de gestión en terreno, por poner algunos ejemplos. Recomendaciones:

Refuerzo de la optimización de recursos y eficiencia de los Servicios de Salud: Una vez que la componente financiera es responsabilidad del Estado y en esto poco se podrá influir, se recomienda hacer acciones que favorezcan la maximización de los recursos existentes (insumos, uso de vehículos, personal, etc.) con el fin de mejorar la eficiencia de los servicios y poder sacar el máximo provecho con los recursos que se poseen.

Intervención con un único marco lógico para todas las componentes: Para mejorar la coherencia de la intervención, debería ser definido un único marco lógico en la que todos los intervinientes del Consorcio aplicasen sus acciones específicas, pero en la que todos ellos contribuyesen con sus especificidades para la obtención de los mismos resultados y objetivos. Esto favorecería el establecimiento de sinergias y la eficiencia de la intervención.

Mayor complementariedad con otras acciones de la zona: A parte de la relación entre las ONGs participantes del Consorcio del PSE, se deberían establecer mayores relaciones con otras ONGs presentes en la zona, con interesantes intervenciones sobre todo en el área comunitaria y HIV (SCIP e ICAP fundamentalmente)

Alineamiento La intervención se alinea con la política sectorial nacional y reflejo de esto son los Acuerdos subscritos

entre CIC y la DPS de Nampula. Así mismo, la autorización de CIC para trabajar en Mozambique depende del informe favorable de la DPS de Nampula, por lo que si no estuviera alineada con la política, probablemente vería revocada su autorización de trabajo.

Por otro lado se alinea con los procedimientos administrativos locales y prueba de ello es el esfuerzo realizado en esta fase para poder incluir las actividades de la intervención en la planificación anual de los Servicios de Salud que se realiza 6 meses antes del inicio del año.

Impacto El mayor impacto obtenido en la intervención es aquél referido a la cobertura TARV en los pacientes

que lo necesitan, llegando a las metas establecidas por el MISAU cuando al inicio del PSE estaban todavía muy lejos de alcanzarse. En los otros indicadores revisados las tendencias son erráticas (mortalidad materna y número de consultas por habitante). Esto implica que en el ámbito de TARV se han verificado 2 circunstancias: (1) se ha trabajado en la intervención en factores especialmente determinantes en la mejora de los indicadores y (2) los otros factores se han comportado de manera positiva lo que ha propiciado que el punto (1) tuviese un efecto positivo. En los otros casos, nos inclinamos por pensar que los factores adicionales sobre los que no se ha trabajado influyen en gran manera en la tendencia de los indicadores y esta influencia ha sido negativa, haciendo que las mejoras de los aspectos en los que sí se ha trabajado hayan quedado apantallados y sin efecto patente sobre los indicadores.

No se puede hablar de impactos negativos en la intervención aunque la posible paralización de los incentivos dados a las madres que acuden al Hospital para dar parto y a los activistas del sistema TARV podría generar una disminución de la tasa de adherencia a estos servicios todavía por verificar.

CIC consiguió suministrar cierto equipamiento que está teniendo un impacto muy positivo (no previsto iniciamente). Por un lado la máquina de lavar industrial y por otro, la construcción de una zona de eliminación de residuos. Otro efecto imprevisto y muy positivo fue la incorporación de personal de otros Hospitales de la provincia en los cursos de gestión hospitalaria. Recomendaciones:

Definición de indicadores de impacto más adecuados: Una vez verificado que la medida del alcance del objetivo general no se realiza bien a partir de los indicadores sanitarios, deberían



7

definirse otros indicadores más adecuados para poder en lo posible concretar este impacto. La influencia de muchos factores externos, unos más objetivos que otros, hacen de los índices del SIS unos indicadores poco adecuados. Tal vez se podrían aislar ciertos indicadores del SIS sobre los cuales se realizaría un estudio detallado de las influencias de otros factores sobre su mejora para tenerlos en cuenta a la hora de realizar la medida del impacto.

Estrategia de incentivos: Para evitar que se valore en exceso el incentivo en vez de los beneficios que se pretenden dar a conocer con los mismos, es necesario revisar la estrategia de los incentivos o incluso suprimirlos porque podría “apantallar” los verdaderos efectos beneficiosos de las acciones que se quieren promover. Por otro lado se podrían procurar alternativas de financiación de los mismos para mantenerlos en el tiempo, a pesar de que esto nunca daría una total garantía de continuidad y quizás los efectos no tan beneficiosos que traen consigo persistirían.

Participación Todos los participantes definidos en la formulación del proyecto han sido beneficiarios de las

acciones de la intervención, incluso otros grupos que no estaban ahí incluidos lo fueron. Entre ellos están los jóvenes de la localidad de Namapa que participaron en acciones de sensibilización sobre prevención de HIV y grupos de mujeres que fueron apoyadas para tener encuentros de discusión de ideas y soluciones de sus problemas.

El personal de salud (trabajadores del hospital y de los SDSMAS) son los que más han participado en las fases de identificación, monitoria y evaluación. En la ejecución de las actividades lo han hecho todos con un papel preponderante de nuevo de los responsables de los SDSMAS de Erati una vez que todas las actividades formaban parte de la planificación anual de estos servicios.

La presencia del equipo de gestión de CIC en el terreno ha favorecido la participación continua de los intervinientes y el establecimiento de canales de comunicación formales (informes, comunicaciones escritas, etc.) e informales.

Cobertura La intervención ha alcanzado a todos los colectivos esperados incluso a otros que no estaban en

principio incluidos en la formulación del proyecto. Sólo se ha tenido que promover el acceso a algunas actividades puesto que la mayor parte de ellas

formaba parte de la planificación de los servicios de salud y, por tanto, su realización era interés de los mismos. Estas actividades a las que se facilitó el acceso por parte de los beneficiarios fueron aquellas en las que se definieron incentivos y que corresponden, como ya se ha mencionado, a las madres parturientes para realizar el parto en la Unidad Sanitaria y los activistas, para realizar las búsquedas activas de pacientes en tratamiento TARV que lo hubieran abandonado.

0.6. Lecciones aprendidas

La percepción de los problemas por parte de los beneficiarios se sitúa en el plano del corto plazo, por lo que hay que insistir siempre en el papel de refuerzo institucional orientado al medio y largo plazo.

Las estrategias de incentivos deben ser aplicadas con mucho cuidado orientando siempre los esfuerzos hacia la valoración de los beneficios que obtienen con los servicios que son ofrecidos que con los propios incentivos.

Los datos SIS no ofrecen mucha ayuda como indicadores por la influencia de multitud de factores externos.

El establecimiento efectivo de sinergias depende en cierta medida en la definición de un único marco lógico donde se incorporen todos los actores.



8

1. Introducción

1.1. Objetivo e informe de evaluación El presente informe trata sobre los resultados de la evaluación externa final realizada a la fase III del proyecto de “Fortalecimiento del Sistema de Salud del distrito de Erati”, incluido en el Programa de Salud de Erati, financiado principalmente por la Generalitat Valenciana e implementado por la ONG Consejo Interhospitalario de Cooperación (Componente III) a lo largo de 14 meses, desde el 01/01/2011 al 29/02/2012 (14 meses). La evaluación ha hecho una valoración del desempeño de la intervención, analizando la ejecución de las actividades, la obtención de los resultados previstos, los factores que han podido condicionar tanto la ejecución de las actividades como la obtención de estos resultados, las estrategias sobre las que se ha asentado el proyecto y los recursos utilizados. A la luz de todo esto, se valoró el diseño de la intervención, aportando datos sobre la evolución de las necesidades y políticas de los beneficiarios, la adecuación a las estrategias de los donantes (Generalitat Valenciana) y la complementariedad con otras intervenciones en la misma zona y especialmente con las acciones de los otros miembros del Consorcio de implementación (Action Aid y MM). Se evaluó igualmente el impacto obtenido, tomando en consideración la trayectoria de implementación del Programa de Salud de Erati desde el inicio, relacionando los datos obtenidos con las acciones propias de la intervención cuando sea posible. Por último se identificaron las lecciones aprendidas y se formularon recomendaciones que podrán servir para la toma de decisión en relación a próximas intervenciones y planteamientos, tanto para la entidad ejecutora (CIC) como para los otros intervinientes (donantes y socios locales). El informe de evaluación consta de un Resumen Ejecutivo, donde se recoge la información esencial de todo el trabajo de consultoría aquí presentado. A continuación se incluye la introducción (punto 1) que ofrece el contexto dentro del cual fue llevado a cabo el trabajo, completado por la descripción resumida de la intervención evaluada (punto 2) y la metodología utilizada (punto 3). El punto 4 ofrece un resumen del análisis de las cuestiones planteadas de forma específica en esta evaluación, intentando dar respuesta a cada una de ellas. El punto 5 recoge las conclusiones obtenidas y las recomendaciones por cada criterio de evaluación a partir del análisis realizado en el punto anterior. Por último, en el punto 6 se recogen las lecciones obtenidas Se incluye como anexos, la agenda de trabajo de campo (ANEXO I), las fuentes consultadas (ANEXO II) y los Términos de Referencia de la presente evaluación (ANEXO III).

1.2. Preguntas y criterios de evaluación: definición

Los criterios de evaluación que se siguieron para la realización del trabajo respetaron lo determinado en los Términos de Referencia y desarrollados en la propuesta de trabajo, e inciden en la pertinencia de la intervención, la eficiencia y eficacia de las acciones en la relación al alcance de los resultados, el impacto obtenido, la sostenibilidad de los resultados, el alineamiento de la intervención con los procedimientos y políticas de las instituciones locales, la apropiación obtenida por parte de éstas en todas las fases del proyecto, la participación y la cobertura. A partir de estos criterios y las preguntas de evaluación asociadas (criterios de análisis), se construyó una matriz con indicadores que sirviesen para analizar los datos existentes y sirviesen para extraer conclusiones. Los criterios, las preguntas clave y sus indicadores se exponen a continuación: Información procurada indicadores Pertinencia: Adecuación de los resultados y objetivos de la intervención al contexto en que se realiza. A través de este análisis, se puede apreciar la calidad del diagnóstico que sustenta la intervención, juzgando su correspondencia con las necesidades observadas en la población beneficiaria ¿Se corresponde la intervención con las prioridades y necesidades de la población beneficiaria?

Coincidencia de las prioridades de los beneficiarios (en la identificación y actualmente) con los objetivos del proyecto.

¿Fue el diseño de la intervención lógico, coherente y relevante? Árbol de problemas y causas bien definida y completa



9

Existe relación directa entre los problemas identificados y sus causas La estrategia de intervención adoptada asegura el alcance de los objetivos propuestos. Inclusión de los objetivos de la intervención en las estrategias nacionales de reducción de la pobreza y de la salud Inclusión de los objetivos de la intervención en las estrategias de desarrollo de la Generalitat Valenciana y AECID para Mozambique

¿Se ha adaptado la intervención a los posibles cambios desde el momento de la definición de la intervención y durante la misma?

Los indicadores fueron actualizados o mejorados Existencia de cambios relevantes que pudieran afectar a la intervención

Eficiencia: estudio y evaluación de los resultados alcanzados en comparación con los recursos utilizados ¿Se han respetado los presupuestos establecidos inicialmente en el documento?

Cumplimiento de la planificación propuesta (presupuesto)

¿Se han respetado los cronogramas y tiempos previstos?

Cumplimiento de la planificación propuesta (cronograma)

¿Ha sido eficiente la transformación de los recursos en los resultados?

Relación entre la ejecución presupuestaria y la obtención de resultados. Existencia de alternativas más eficientes Identificación de actividades no eficientes

¿En qué medida la colaboración institucional y los mecanismos de gestión articulados han contribuido a alcanzar los resultados de la intervención?

Existencia de protocolos y Acuerdos de colaboración institucional. Cumplimiento de los Acuerdos establecidos Adecuación de los mecanismos de gestión a la realidad de los beneficiarios

¿Los recursos humanos han sido suficientes y con las capacidades adecuadas para la ejecución de la intervención?

Las cargas de trabajo han sido adecuadas La calidad de la ejecución del trabajo (en relación a los recursos humanos) ha sido la esperada.

Eficacia: grado de consecución de los objetivos inicialmente previstos, participación y calidad de la gestión. ¿Cuál es el grado de ejecución en relación a los indicadores previstos?, ¿Se podrán alcanzar los resultados en el plazo previsto?

Revisión de los indicadores previstos para la medida de la obtención de alcance de los resultados Adecuación de los indicadores para la correcta medición de los resultados

¿Cuál es el grado de alcance del objetivo específico de acuerdo con los indicadores definidos?

Revisión de los indicadores previstos para la medida del alcance de los resultados Adecuación de los indicadores para la correcta medición de los resultados

¿Se han logrado otros efectos no previstos?, ¿cuáles son las razones?

Resultados no previstos. Causas externas e internas

¿Han encontrado dificultades los destinatarios para acceder a las actividades de la intervención?

Acceso a los servicios por parte de los beneficiarios Facilidad de gestión de las acciones

¿Se están produciendo algunos efectos sobre la equidad de género?

Inclusión de estrategia de género y sus efectos sobre la equidad de género y acceso a los servicios

Sostenibilidad: valoración de la continuidad en el tiempo de los efectos de la intervención una vez retirada la ayuda externa. ¿Se mantendrán los beneficios de la intervención una vez retirada la ayuda externa?

Coste de continuidad de los servicios apoyados asumible por los Servicios de Salud Las nuevas exigencias en gestión y capacidad técnica introducidas durante la intervención están consolidadas y podrán seguir siendo aplicadas

¿Se siguen generando los recursos necesarios para el mantenimiento de las actividades?

Fuentes de financiación adecuadas Coste de los nuevos servicios adecuados al nivel de financiación Capacidades de gestión de las actividades presente

¿Se ha influido positivamente sobre la capacidad institucional?

Liderazgo de la intervención Actividades incluidas en la planificación anual de los Servicios de Salud Los Servicios de Salud asumen nuevas prácticas o consolidan aquellas que ya estaban en marcha.

¿Se ha velado por la protección del medio ambiente?

Existencia de impactos medioambientales de las actividades del proyecto Generación de impactos medioambientales a partir del funcionamiento de realizaciones del proyecto, particularmente de las infraestructuras Existencia de protocolos de minimización de impactos ambientales



10

Coherencia: a nivel interno, la articulación de los objetivos con los instrumentos propuestos para lograrlos. A nivel externo, la compatibilidad del proyecto con otras estrategias y programas – sinergias y complementariedad. ¿Se corresponden los problemas identificados con los objetivos propuestos? ¿Son adecuadas las actividades programadas para lograr los objetivos de la intervención?

Adecuación del diseño de la intervención a la Lógica del proyecto

¿Complementa la intervención a otras estrategias o programas aplicados en el mismo territorio, sector o población objetivo por otros agentes de cooperación, donantes y el país socio?

Existencia de otras intervenciones en salud. Puntos de completo, coordinación y objetivos

¿Se aprovechan las sinergias que se puedan establecer entre estos programas y la intervención?

Existencia de Acuerdos de colaboración Existencia de rutina de encuentros de coordinación e intercambio de información Existencia de sobreposición de actuaciones Realización de actividades de incidencia sobre el Sector Salud de manera conjunta.

Alineamiento: participación en las estrategias de desarrollo, sistemas de gestión y procedimientos de los países receptores. ¿Se han tenido en cuenta las estrategias y programas de desarrollo del país donde se ejecuta el proyecto?

Adecuación de los resultados y objetivos del proyecto a la política nacional de salud, sus procedimientos y sus prioridades.

¿La intervención se adapta a los procedimientos administrativos y de gestión de las entidades locales?

Inclusión de las actividades y presupuesto de la intervención en la Planificación Anual del Sector Salud en los distritos y provincia. Existencia de puntos de conflicto o fricciones en relación a los procedimientos de gestión.

Impacto: valoración de los efectos más generales y menos inmediatos de la intervención sobre las necesidades de sus beneficiarios, separando los que son directamente atribuibles a la intervención de los que se producen por evolución normal del contexto. ¿Se está contribuyendo al alcance del objetivo general?, ¿En qué medida?

Revisión de los indicadores propuestos en el proyecto Existencia de factores externos que influencian la evolución de los indicadores

¿Se han producido impactos positivos no previstos sobre la población beneficiaria? ¿Se han producido impactos negativos no previstos sobre los beneficiarios?

Existencia de impacto sobre los beneficiarios, tanto del esperado a partir de la intervención como no, incluyendo posibles impactos negativos. Acceso de los beneficiarios al impacto general obtenido

¿Existen factores externos que dificultan o favorecen el impacto final de la intervención?

Análisis de las causas y factores de influencia en los indicadores de impacto, y valoración de aquellos ajenos a la intervención Medición del grado de influencia de los factores de mejora de los indicadores.

Participación: ¿Se ha delimitado claramente quiénes van a participar en el proyecto, y cómo?

Revisión formulación y cruce con los beneficiarios finales de la intervención.

¿Qué actores han participado en cada fase de la intervención?, ¿en qué medida?

Revisión de intervinientes en las diferentes fases. Cómo y cuándo.

¿Han sido eficaces los canales de participación establecidos? Comunicación, coordinación e información de las actividades y resultados de acuerdo con las exigencias y necesidades de los intervinientes. Existencia de canales de comunicación

Cobertura: ¿Las actuaciones desarrolladas en la intervención han alcanzado a todos los colectivos destinatarios?

Descripción de los beneficiarios de la intervención, cruce con los previstos en la formulación del proyecto, o aquellos esperados por los socios locales.

¿Se han establecido mecanismos para facilitar a los beneficiarios el acceso a los servicios de la intervención?

Existencia de medidas de acceso a los servicios Uso de los servicios por parte de los destinatarios

1.3. Equipo de evaluación

La evaluación fue realizada por la empresa SECTOR5, Soc. Uni. Lda., con sede en Maputo, Mozambique. El equipo de evaluación estuvo compuesto por un consultor con experiencia en evaluación de proyectos de cooperación al desarrollo, en especial del sector salud por espacio de más de 10 años. A continuación, un resumen de su CV:



11

Fernando de los Ríos Martín Formación Académica:

Master en Cooperación Internacional e Inmigración. Universidad del País Vasco. 2005‐2006 Licenciado en Química. Universidad Oviedo. 1991‐1996

Conocimientos y experiencia relevantes para este trabajo: Experiencia en evaluación de proyectos de cooperación, durante 10 años en países como Mozambique, Angola, Malawi y Kenya.

Director de equipo de evaluación en evaluaciones similares Experiencia como coordinador de varios proyectos y programas de cooperación en Mozambique para varias ONGs.

Conocimiento profundo de la realidad africana y en particular de la de Mozambique (más de 12 años de trabajo y residencia en este país)

Fluente en español (lengua materna), portugués e inglés. Años de experiencia profesional: 13 Nacionalidad: española Tareas / roles / asignados para este trabajo:

Consultor principal, participando en todas las fases del trabajo: diseño, trabajo de campo y elaboración de productos finales

2. Descripción resumida de la intervención evaluada

2.1. Resumen de contexto, organización y gestión Programa de Salud de Erati El proyecto “Fortalecimiento del Sistema de Salud del distrito de Erati” forma parte del Programa de Salud de Erati, una intervención que tuvo su inicio en agosto de 2005 dirigida al fortalecimiento del sistema sanitario del distrito de Erati, implementada por un consorcio de ONGs (Action Aid, Consejo Interhospitalario de Cooperación y Medicus Mundi) y financiada por la Generalitat Valenciana. Inicialmente estaba previsto que esta intervención se llevara a cabo en 2 fases de 2 años de duración cada una. La primera fase tuvo una duración de 25 meses (agosto 2005 a agosto 2007) y la segunda fase 28 meses (noviembre 2008 a febrero de 2011) con una fase intermedia entre ambas. Antes del término de la segunda fase, fue aprobada una última fase con el objetivo de que sirviera de cierre que tendría una duración de 2 años pero con intervenciones anuales. En este momento el primer año de la tercera fase ya ha finalizado (la que se evalúa en estos momentos) que ha correspondido a un periodo de 14 meses, desde enero de 2011 a febrero de 2012. Inicialmente el PSE tenía 4 componentes, (1) salud comunitaria y prevención del VIH, (2) fortalecimiento del desarrollo de la Atención Primaria, (3) apoyo a la Atención Secundaria y (4) apoyo al centro de formación de la provincia de Nampula. Durante las fases I y II, Medicus Mundi implementó las acciones de las componentes 2 y 4, mientras que Action Aid implementó la 1 y CIC la 3. En la fase II fue incluido el distrito de Memba, además del de Erati, en las acciones de la componente 2 (Atención Primaria – implementado por MM) con el objeto de diseminar las buenas prácticas realizadas en Erati en las anteriores fases y al término de esta misma fase, se decide suprimir la componente 4 (Apoyo al Centro de Formación).

Zona geográfica Como el propio nombre indicada, la intervención está dirigida al distrito de Erati, aunque se incluye Memba en la componente II ejecutada por Medicus Mundi a partir de la Fase II.



12

La intervención evaluada En esta fase III, CIC da pasos adelante en la implementación de la componente III del PSE enfocando sus atenciones al refuerzo de la gestión y administración del Hospital Rural de Namapa, su equipamiento y la mejora de los servicios puestos a disposición de los usuarios, especialmente el servicio de TARV, incluyendo los de las unidades satélites de Alúa y Mirrote.

Objetivo General: Fortalecimiento del sistema sanitario del distrito de Erati contribuyendo a la reducción de la pobreza

Componente I: Salud Comunitaria (implementada por Action Aid)

Componente II: Atención Primaria (implementada por Medicus Mundi)

Componente III: Atención Secundaria (implementada por CIC) OE1: Fortalecer la capacidad de gestión y la capacidad asistencial del HRN. Objetivo Específico: OE2: Consolidar el programa de tratamiento ARV en el Distrito de Erati.

Resultados: IIR1:

IIR2:

IIR3:

IIR4:

Se ha fortalecido la capacidad de gestión y de organización interna de la directiva del Hospital Rural de Namapa Consolidada la prestación de servicios del HRN, especialmente en las áreas de salud materno‐infantil, mejorando la capacidad técnica del personal. Completado el equipamiento del Hospital Rural de Namapa para la prestación de todos los servicios previstos asegurando la capacidad de mantenimiento de los mismos Consolidado el funcionamiento del servicio TARV en Namapa y las unidades satélites de Alúa y Mirrote

Los beneficiarios directos se corresponden con los profesionales de salud, el personal de apoyo y de gestión/administración de la red sanitaria del distrito (SDSMAS de Erati), los usuarios del Hospital Rural de Namapa y los alumnos y alumnas en prácticas en el Hospital Rural. También se podría incluir aquí como beneficiarios directos (aunque no está en la formulación), los grupos de jóvenes que se benefician de sesiones de información y sensibilización y mujeres de Erati que son apoyadas en la creación de grupos. Como beneficiarios indirectos se considera a toda la población de Erati pues todos ellos se podrán beneficiar potencialmente de los beneficios de la intervención y el personal de la Dirección Provincial de Nampula. El presupuesto total de la intervención fue de 423.436,71 Euros (para 14 meses), financiados al 48% por la Generalitat Valenciana (la parte restante corresponde fundamentalmente a valorizaciones del socio local). CIC cuenta en el terreno desde el inicio del PSE con 1 oficina (en Namapa, sede del distrito de Erati) y otra en Maputo, sede de la Representación en Mozambique. La composición del equipo en el terreno es de 1 expatriado, asumiendo las tareas de coordinación del proyecto, más personal de apoyo local. La oficina de representación nacional, en Maputo, da cobertura al equipo de implementación en varios ámbitos: coordinación, administración, representación institucional a nivel nacional, etc.



13

CIC se relaciona directamente con los Servicios de Salud del distrito donde se ejecuta el proyecto (SDSMAS), dependientes de la Dirección Provincial de Salud de Nampula y ésta, a su vez, del Ministerio de Salud de Mozambique (MISAU), instituciones con las cuales se establecen los acuerdos marco, se coordinan y existe transmisión de información. Por otro lado, y dado la característica principal de este programa, se establece una particular relación con las otras ONGs participantes en el consorcio de implementación (Medicus Mundi y Action Aid) presentes en el terreno.

3. Metodología utilizada en la evaluación

3.1. Metodología y técnicas aplicadas

La Metodología aplicada se basó en los siguientes pilares: Objetividad: en la medida de lo posible, todas las conclusiones están basadas en el análisis de

evidencias contrastables. Participación y aprendizaje: los intervinientes se incorporaron a la evaluación en las diferentes fases

del trabajo. Alineamiento con lo establecido en los TdR: El trabajo de consultoría siguió las premisas establecidas

en los TdR dando respuesta a las necesidades del CIC Uso de diferentes herramientas: fueron utilizadas diferentes herramientas para la obtención de los

datos necesarios para realizar los análisis correspondientes. Según la fase de evaluación, éstas fueron:

En la primera fase: revisión documental, tanto la documentación de base del proyecto, como la generada a partir de la ejecución y otra documentación relacionada con el proyecto (Políticas, Estrategias, etc.).

En la fase de campo: revisión de documentos específicos, como planificaciones, Acuerdos establecidos localmente, procedimientos, informes de seguimiento, fuentes de verificación, etc. Se realizaron también entrevistas semiestructuradas con los socios locales, con los beneficiarios y representantes de otras organizaciones y actores de cooperación. Se realizó, asimismo, observación directa en los locales de la intervención.

En la fase de elaboración del informe: fue realizado el análisis de los datos y la información obtenida a partir de los informantes clave y la observación directa, así como en los encuentros de discusión de los datos preliminares.

3.2. Restricciones y límites del estudio realizado

La valoración a los criterios de evaluación se han basado en datos objetivos tomados durante todo el proceso de trabajo, lo cual incluye la revisión de los documentos producidos, otros documentos relacionados con el proyecto producidos por otras instituciones, datos obtenidos durante el trabajo de campo, opiniones extraídas durante las entrevistas mantenidas con personas clave de la implementación y verificación in situ de las actividades realizadas y de los resultados producidos. Todas las opiniones recogidas han sido cruzadas posteriormente con datos objetivos en la medida de lo posible, para minimizar errores provocados por el sesgo de la información dada. Asimismo, las conclusiones relacionan información de los resultados de la valoración de los criterios con datos objetivos. No obstante, la interpretación de ciertos resultados, la visión personal del equipo de evaluación, la falta de información completa y otros factores inherentes a un trabajo de corta duración como este, pueden inducir a conclusiones que necesariamente necesitarán ser contrastadas posteriormente con la inclusión de nuevos datos.



14

4. Análisis de las informaciones recogidas y evidencias

PE Pregunta de evaluación IN Indicadores EV Evidencias analizadas VA Valoración

4.1. Pertinencia

PE

IN

EV

Correspondencia prioridades y necesidades de la población beneficiaria con la intervención Coincidencia de las prioridades de los beneficiarios (en la identificación y actualmente) con los objetivos del proyecto Formulación del proyecto Informes anuales1

La percepción de los beneficiarios (Servicios de salud a nivel distrital y responsables del Hospital Rural de Namapa y Unidad Sanitaria de Alúa) de sus problemas principales se centra en (1) la falta de recursos financieros (actividades y de inversión), (2) la falta de equipamiento (en medios de transporte e equipamiento hospitalario), y (3) la falta de recursos humanos. La intervención de CIC a lo largo de todos los años de implementación del PSE y en particular en esta fase, se centra en el fortalecimiento de las capacidades del Hospital Rural de Namapa (técnica y de gestión) así como en la consolidación específica del programa de tratamiento ARV en el distrito (en el propio HRN y en las US de Alúa y Mirrote). Este fortalecimiento de capacidades ha tenido una componente importante (menor en esta tercera fase) de inversiones (infraestructuras y equipamiento) y otras, no menos importante, dirigidas a la formación y consolidación de rutinas. También se ha apoyado la incorporación de personal en el Hospital Rural, a pesar de que sólo se pudo incluir personal de apoyo al servicio/administrativo y no personal técnico como hubiera sido deseable (por solicitación de los Servicios distritales de salud, al no haber capacidad financiera para asumir otro tipo de personal).

PE

IN

EV

Diseño de la intervención: lógico, coherente y relevante Estrategia de intervención asegura el alcance de los objetivos. Inclusión de los objetivos de la intervención en las estrategias nacionales Inclusión de los objetivos de la intervención en las estrategias de desarrollo de la Generalitat Valenciana y AECID para Mozambique Formulación del proyecto Estrategias y políticas nacionales Estrategias Gen. Valenciana y AECID

Estrategia dirigida al alcance de los objetivosEn la contribución al objetivo general del PSE (El desarrollo del sistema de salud del distrito de Erati), se incluyen dos aspectos como en las anteriores fases: el fortalecimiento de las capacidades del Hospital Rural de Namapa (atención secundaria del distrito) y un aspecto muy específico referido al programa de tratamiento ARV en el distrito. En relación al fortalecimiento de la atención secundaria, y una vez concluidas las fases anteriores, se plantea un refuerzo en (1) gestión del Hospital, (2) equipamiento y (3) consolidación de servicios (personal y formación). Estas tres áreas, junto con la capacidad financiera (funcionamiento) son los pilares de la prestación de los servicios de salud esperados. No obstante, habría que tener en cuenta que (1) los aspectos financieros, de vital importancia, no se fortalecen (responsabilidad del Estado) y podría poner en riesgo los avances realizados, (2) no se espera poder completar la plantilla deseable del Hospital Rural, a pesar del paso realizado en la intervención y de alcanzar los mínimos establecidos, y (3) la capacidad del departamento de mantenimiento deberá ser reforzada de manera más decidida (e incluir capacidad financiera) para que el equipamiento incorporado a la unidad sanitaria tenga una mínima sostenibilidad (a pesar de que sí se incluye una línea de refuerzo de este departamento, aunque quizás demasiado pequeña como para garantizar sus capacidades). En relación a la consolidación del tratamiento de ARV en el distrito, no se expresa en el formulario del proyecto ninguna estrategia como tal, coincidiendo el resultado con el objetivo específico. A partir de las actividades se advierte que la línea de intervención es una consolidación de lo ya realizado en anteriores fases (y que consiguió buenos resultados) y la inclusión de actividades de sensibilización (en coordinación con Action Aid). De hecho, una vez que las acciones en fases previas consiguieron alcanzar los objetivos esperados, el refuerzo y consolidación de las mismas es una buena estrategia. Objetivos dentro de las políticas y estrategias nacionales Para la revisión de la adaptación de la intervención a las prioridades de desarrollo de Mozambique se analiza la estrategia global del país para la reducción de la pobreza PARP

1 Informe anual SDSMAS Erati 2011



15

(2011‐2014) y la estrategia específica para el sector salud (2007‐2012). Para analizar las prioridades del área de influencia, se tienen en cuenta las políticas incluidas en el Plan estratégico regional de la SADC. Mozambique PARP 2011‐2014: En el PARP se incluyen referencias expresas al sector de salud en el Objetivo General 3 (Desarrollo Humano y Social), y en particular en la prioridad 1 (Disponibilidad y equidad en el acceso a servicios sociales). Entre los objetivos estratégicos que se incluyen está la promoción de la equidad en el acceso a cuidados de salud y nutrición de la mujer, los niños y otros grupos vulnerables. Entre las acciones a implementar para alcanzar este objetivo se reseñan, entre otras, el fortalecimiento de las capacidades de gestión y planificación ( R1), la mejora del número y calidad de los servicios prestados ( R2) y la formación de los profesionales de salud par la mejora de los servicios y su humanización ( R2). PESS 2007‐2014: El Plan estratégico del Sector de Salud abarca todas las áreas de mejora del sector y, siendo éstas tan numerosas, nos encontramos con un plan en el que prácticamente tendría cabida todo. En el PESS están recogidos los objetivos de mejora la gestión de los servicios (O. 39, 41), mejora de las capacidades técnicas del personal sanitario (O. 56, 58 ), mejora de las instalaciones sanitarias (O. 30, 37) y mejora de programas específicos como el de tratamiento ARV (O. 41, 27) entre otros. De cualquier forma, esta intervención no podría haber sido realizada de no haber estado alineada con la estrategia nacional, una vez que no hubiera sido aprobada por parte de las autoridades del sector de salud. Contexto Regional SADC/UA Dentro del Contexto regional, podemos incluir las estrategias en el sector de salud de la Unión Africana (Estrategia de Salud en África 2007‐2015) y de la Comunidad de Desarrollo de África Austral (Plan Indicativo Estratégico de Desarrollo Rural Desarrollo Regional 2005‐¿?). Como se menciona en la parte introductoria del PESS 2007‐2014, la estrategia de salud en Mozambique se alinea con estas estrategias geográficas más amplias, por lo que cabría admitir de manera sencilla y directa, que la intervención de CIC se enmarca también dentro de las políticas del Contexto Regional de Mozambique. Objetivos en las estrategias de la Generalitat Valenciana y AECID En relación a la integración del proyecto en las estrategias de acción externa y cooperación del Estado español y de la Generalitat Valenciana, se analiza, de más general a más específico, el Plan Director de la Cooperación Española para el periodo 2009‐2012, el Plan África 2009‐2012 (política exterior de España) y el Plan Director de la Cooperación Valenciana 2008‐2011. Plan África 2009‐2012: este documento refleja la política exterior de España en relación a África como continente estratégico2, donde se plasman las estrategias bilaterales de cooperación para el desarrollo social, económico e institucional, así como la colaboración en las esferas y organismos multilaterales. El Objetivo 2 de esta política versa sobre la Contribución en la lucha contra la pobreza en África y contiene un capítulo centrado en el apoyo a los Servicios Sociales Básicos, entre ellos la salud. Se mencionan como puntos de intervención (1) la consolidación y sustentabilidad de Sistemas de Salud eficaces y equitativos ( R1), (2) el desarrollo de recursos humanos suficientes y motivados ( R2), (3) la adquisición y uso de tecnología y suministros sanitarios esenciales en el ámbito de la salud ( R3) y (4) entre otros, orientado a la contribución para la reducción de la carga de la enfermedad más prevalente soportada por los más vulnerables, entre ellos las mujeres ( R4, R2). Además las intervenciones de desarrollo deberán integrar de manera transversal los aspectos relacionados con el enfoque de derechos humanos, igualdad de género y sustentabilidad ambiental, todos ellos mencionados en la formulación del proyecto. Plan Director de la Cooperación Española 2009‐2012: la estrategia específica en materia

2 Plan África 2009‐2012. Ministerio de Asuntos Exteriores y Cooperación. Gobierno de España. 2008



16

de Cooperación al desarrollo en el ámbito de la salud contiene como líneas de trabajo específicas las de (1) mejora de los servicios básicos de salud con un enfoque basado en la Atención Primaria (en esta intervención ligada a la atención secundaria) y (2) el fortalecimiento institucional de los sistemas públicos de salud y de sus recursos humanos (Objetivo específico y Resultados). Como se puede apreciar, el PSE en general, y la componente de CIC se integra perfectamente en la estrategia de la Cooperación al Desarrollo española. Plan Director de la Cooperación al Desarrollo 2008‐2011 (Generalitat Valenciana): la estrategia de cooperación valenciana recoge la prioridad de la seguridad sanitaria incluyendo de manera transversal aquellos aspectos recogidos también en el Plan África y el Plan Director de la Cooperación Española relativamente al enfoque de derechos humanos, la equidad de género, la protección del medio ambiente y la reducción de la pobreza.

PE

IN

EV

Capacidad de adaptación a posibles cambios Los indicadores fueron actualizados o mejorados Existencia de cambios relevantes que pudieran afectar a la intervención Revisión implementación

En relación a los cambios realizados durante la intervención, para analizar la capacidad de adaptación a las nuevas circunstancias se podrían mencionar: (1) pre‐contratación de personal auxiliar y administrativo en vez de personal técnico, y (2) disminución significativa del equipamiento previsto de ser incorporado en el Hospital Rural de Namapa, cuya compra correspondía al MISAU. En el primer caso, CIC respetó la restricción de los Servicios distritales de Salud para poder pre‐contratar sólo personal auxiliar y no técnico, habida cuenta de la capacidad financiera del Sistema Nacional de Salud para absorberlos posteriormente, lo que se considera muy acertado. En el segundo caso, no había margen de acción para posibles cambios o adaptaciones, una vez que la responsabilidad por la compra de este equipamiento no era propiamente del CIC. Sí hubo una adaptación a lo largo de la intervención en relación al tipo de equipamiento a ser priorizado según las necesidades expresas de los responsables del Hospital, lo que nuevamente se considera como muy acertado. Por último reseñar que los Servicios de Salud del distrito han ido presentando a lo largo de la intervención diferentes necesidades sin estar previamente planificadas que han sido apoyadas con fondos del proyecto pero que se juzgaron pertinentes y encuadradas dentro de los resultados pretendidos. Esto implica también una capacidad de adaptación a las circunstancias que se encuentran y que ayudan, no sólo a cumplir los objetivos del proyecto, sino a reforzar el espíritu de colaboración entre las instituciones y el papel de liderazgo de los servicios de salud del distrito.

VA ALTA Puntos en destaque: Prioridades del proyecto en consonancia con las de los beneficiarios tal y como percibidas por ellos mismos en el ámbito de la atención secundaria.

Estrategia de acción adecuada aunque existen algunos aspectos de sustentabilidad cuestionables por la falta de recursos financieros para el funcionamiento posterior de los servicios.

Objetivos de la intervención integrados en la estrategia nacional de combate a la pobreza y estrategias de salud. Igualmente integrada en las estrategias de desarrollo de la Cooperación Española y de la Generalitat Valenciana.

Capacidad de adaptación adecuada a lo largo de la intervención

4.2. Eficiencia

PE

IN

Desviaciones de gasto respecto a lo establecido inicialmente Cumplimiento de la planificación propuesta (presupuesto)

De acuerdo con los datos disponibles, los gastos siguieron el presupuesto establecido a excepción de la partida referida a personal local (+10%) y evaluación (‐15%), referidos en todo caso, a los montos donados por la Generalitat Valenciana. La desviación del 15% en la partida de evaluación es, en cualquier caso, poco representativa en términos absolutos.



17

PE

IN

EV

Desviaciones en relación a cronograma Cumplimiento de la planificación propuesta (cronograma) Revisión implementación

Prácticamente todas las actuaciones son de carácter continuo, por lo que no cabe decir si fueron implementadas en el tiempo adecuado o no. Cabe mencionar la demora en la firma del acuerdo con los SDSMAS de Erati para la pre‐contratación del personal, debido a las solicitaciones previas necesarias para asegurar el encuadramiento posterior de los trabajadores, por lo que se considera justificado. También la tardanza en la entrega del Estudio sobre las dificultades de acceso a los servicios de salud por parte de la población femenina en lo relativo a la salud reproductiva (febrero de 2012). Todo ello, sin influencia en la consecución o no de los objetivos pretendidos. Las desviaciones más graves en cuando a ejecución planificada se refieren a actividades finalmente no realizadas por diferentes motivos como se verá posteriormente en este informe.

PE

IN

EV

Transformación de los recursos en resultados. Relación entre la ejecución presupuestaria y la obtención de resultados. Existencia de alternativas más eficientes Identificación de actividades no eficientes. Informes de ejecución

La valoración de la eficiencia de la transformación de recursos en resultados se hará de manera global, una vez que no se disponen de datos del presupuesto desagregado por resultado. Sin entrar a valorar los indicadores de obtención de resultados, que se hará más adelante en este informe, se puede advertir de manera rápida que todos los resultados fueron alcanzados a pesar de que muchos de ellos implican mejoras o refuerzos que en principio no estarán “completos” tan sólo en el periodo de esta intervención, sino que forma parte de un proceso de mejora y consolidación más amplio desde el punto de vista temporal. La partida más importante del proyecto ha sido la de equipamiento (casi un 40%) seguida de la de personal local / precontrataciones (con más del 20%). La otra partida importante ha sido la de personal expatriado (coordinador) que sumadas a las otras partidas llega al 90%. Las partidas de equipamiento y personal local han sido imprescindibles para la consecución de los resultados 1 y 3 (fortalecimiento gestión y organización, y equipamiento), cuyo coste no podría haber sido inferior ni existir alternativas más económicas. El equipamiento es el que fue definido por los SDSMAS y el coste de personal es aquel que está fijado por los Servicios de Salud. Esto quiere decir que con el restante 10% ha sido posible realizar las actividades necesarias para el alcance de los otros 2 resultados que incluye la formación del personal sanitario y las supervisiones del servicio TARV como principales acciones. El bajo gasto que ha comportado estas actividades teniendo en cuenta el alcance de los resultados dentro de los cuales están definidas implica que la eficiencia ha sido alta y difícilmente podrían haberse realizado a costes todavía inferiores. El coste de personal expatriado (personal de gestión fundamentalmente) es el esperado en cualquier acción de cooperación al desarrollo (30%) y asegura no sólo la implementación de las actividades sino su participación en aspectos técnicos como es en este caso.

PE

IN

Colaboración institucional y mecanismos de gestión. Existencia de protocolos y Acuerdos de colaboración institucional. Cumplimiento de los Acuerdos establecidos Adecuación de los mecanismos de gestión a la realidad de los beneficiarios

En relación a la colaboración institucional es importante tener en cuenta que esta intervención forma parte de una intervención más amplia y ya de largo recorrido (el PSE). Esto implica ya una experiencia en colaboración importante cuyos mecanismos de gestión se han ido adaptando a lo largo de sus fases y mejorando aquellos aspectos que quizás pudiesen entrañar alguna dificultad. En particular, la intervención se enmarca en el contexto de un Acuerdo de Colaboración subscrito con la Dirección Provincial de Salud de Nampula y se establecen acuerdos específicos para determinadas actividades (contratación de personal, adquisición de equipamientos, etc.). Estos Acuerdos son cumplidos en el marco de la monitoria continua de las actividades realizadas e incluidas en la planificación de los Servicios de Salud distritales. Esto implica que los mecanismos de gestión no sólo se adaptan a los de los beneficiarios sino que se integran en ellos, una vez que las actividades de la intervención pasan a ser actividades de los Servicios distritales de salud y la justificación de los gastos siguen los mismos criterios que los que siguen los propios servicios.

PE

IN

Suficiencia de los Recursos Humanos y su capacitación Las cargas de trabajo han sido adecuadas La calidad de la

El equipo de CIC ha sido mínimo (un coordinador en terreno + personal de administración y logística (2)). A pesar de la elevada carga de trabajo que esto conlleva no ha tenido implicaciones en la calidad de la acción, puesto que se han realizado todas las actividades que estaban previstas y se han podido llevar a cabo. Además, el coordinador también ha dado apoyo técnico dentro del sector sanitario cuando ha sido preciso. Esto ha permitido que la carga de la partida presupuestaria de gestión haya sido adecuada y al mismo tiempo se hayan realizados las actividades esperadas.



18

EV

ejecución del trabajo (en relación a los recursos humanos) ha sido la esperada. Informes de ejecución

VA ALTA Puntos en destaque: Desviaciones poco importantes en algunas partidas que llegan al 10‐15%. Eficiencia grande en la transformación de los medios en resultados debido al alcance de los resultados a la vez que se incurre en gastos absolutamente imprescindibles para la realización de las actividades definidas.

La firma de Acuerdos y la inclusión de las actividades dentro de la planificación de los servicios de salud del distrito aseguran la colaboración institucional efectiva en la intervención.

El monto total en recursos humanos es el adecuado, siendo el equipo de gestión muy reducido.

4.3. Eficacia

PE

IN

EV

Resultados: grado de ejecución y alcance. Revisión de los indicadores previstos para la medida del alcance de los resultados Adecuación de los indicadores para la correcta medición de los resultados Informes de ejecución. Verificación visual y documental

Para analizar el alcance final de los resultados se incluye a continuación una tabla con la valoración de los indicadores para después exponer los comentarios pertinentes. R Resultado Indicador Evaluación del indicador

Existencia de un reglamento de funcionamiento interno operativo

100%, a pesar de que el Reglamento Interno no es definitivo

R1 Se ha fortalecido la capacidad de gestión y de organización interna de la directiva del Hospital Rural de Namapa

Existencia de procedimientos protocolizados en los siguientes servicios: Servicio de Enfermería, servicio de Urgencias, Bloque quirúrgico, farmacia, laboratorio, almacén

80%. No elaborados los de laboratorio y almacén. Los existentes, más que protocolos, son listados de normas.

Alcanzada la plantilla mínima prevista para un Hospital Rural

100%, según las normas del MISAU, a pesar de que la responsable de SMI refiere la falta del personal necesario.

Incremento anual del 5% en la tasa de parto institucional

100%. De 2010 a 2011 se produce un incremento superior al 13%3

Tasa de mortalidad de menores de 5 años ≤ 125 x 1.000.

No evaluable

R2 Consolidada la prestación de servicios del HRN, especialmente en las áreas de salud materno‐infantil, mejorando la capacidad técnica del personal.

Ratio de mortalidad materna ≤ 310 x 100.000

No alcanzado. La tasa de mortalidad materna es de 378 x 100.000 nacimientos4, a pesar de que existe una disminución (11,63%) de 2010 a 2011.

Suministrado el equipamiento previsto por el MISAU

Alcanzado: lo que era responsabilidad del CIC.

R3 Completado el equipamiento del Hospital Rural de Namapa para la prestación de todos los servicios previstos asegurando la capacidad de mantenimiento de los mismos

Unidad de Mantenimiento Distrital operativa

100%, a pesar de que las capacidades todavía están lejos de las necesidades.

R4 Consolidado el funcionamiento del servicio TARV en Namapa y las unidades satélites de Alúa y Mirrote

Metas anuales alcanzadas en cada centro sanitario.

(Valorado globalmente para las 3 Unidades Sanitarias con servicio TARV) 90% de enfermos TB aconsejados y

testados para HIV: 95% (sólo para el HRN)

55% de las embarazadas HIV+ reciben TARV: (datos incoherentes – no evaluable)



19

35,4% de los adultos que necesitarían TARV lo reciben: 35,4%, alcanzado.

10,5% de embarazadas de 15 a 24 años son HIV+: 8,2% (sólo el 50% de las embarazadas fue testado, por lo que no es concluyente)

100 % de supervisiones a las unidades satélites realizadas

Alcanzado, supervisiones realizadas.

En primer lugar, habría que hacer algún comentario sobre los indicadores propuestos. Los indicadores relativos al SIS para medir el alcance del R2 (consolidación de los servicios prestados en el HRN) no son adecuados porque se ven influidos por un gran número de factores y no reflejan de manera directa la intervención de CIC. Tanto aquellos indicadores que se alcanzan como los que no, no implican necesariamente la obtención del resultado definido en la intervención. Sobre el alcance final de los Resultados, cabría decir que el Resultado 1 (gestión y organización del HRN) se ha alcanzado casi en su totalidad, a pesar de que todavía hay un espacio de mejora amplio. Los protocolos realizados a partir de las formaciones en gestión realizadas son en realidad “hojas de normas” a modo de lista, pero no protocolos en los que se indican tareas, responsabilidades, formularios, etc. Sobre el Resultado 2 (consolidación de prestación de servicios en el HRN), no puede ser medido adecuadamente como se ha mencionado anteriormente debido a los indicadores propuestos. Las actividades de equipamiento se podrían haber integrado en este resultado (actualmente constituyendo el Resultado 3) pues el equipamiento es una de las piezas fundamentales para la prestación de los servicios sanitarios. El equipamiento previsto (y otro posteriormente identificado) por el CIC fue suministrado, pero no así aquél que en principio iba a ser suministrado por el MISAU. Por otro lado, existe equipamiento ya instalado pero sin haber entrado en funcionamiento (Rayos X), lo que merma considerablemente la capacidad de prestar los servicios que estaban previstos. Otro de los aspectos debería haber sido la existencia de personal técnico específico adecuado en número y capacitación. A pesar de que la plantilla global es la adecuada en términos teóricos, el Servicio Materno Infantil carece del personal mínimo como sugerido por la propia responsable. En relación al Resultado 4 (consolidación servicios TARV), sí se puede decir que está consolidado una vez que las metas se alcanzan (a pesar de que algunas de ellas sólo medidas de manera global y no por Unidad Sanitaria) y la contribución del CIC en esta área ha sido de vital importancia a lo largo de todo el PSE.

PE

IN

EV

Grado de alcance del objetivo específico Revisión de los indicadores previstos para la medida del alcance de los resultados Adecuación de los indicadores para la correcta medición de los resultados Informes de ejecución. Verificación visual y documental

En relación a los objetivos de la intervención, se definen 2 objetivos específicos a pesar de que se podían haber englobado en uno sólo: fortalecimiento de la capacidad de gestión y asistencia del HRN. La consolidación del programa de TARV forma parte también de la cartera de servicios asistenciales del HRN aunque se separa para incorporar también los servicios prestados en las unidades de Alúa y Mirrote. Los indicadores propuestos se basan en la mejora de los indicadores sanitarios y, en particular, en las metas propuestas por el MISAU. Reflejan la mejora del sistema sanitario (en prestación de servicios) pero no de manera directa la intervención del CIC puesto que existe un número elevado de factores adicionales que influyen en la mejora de estos indicadores y sobre los cuales la intervención del CIC poca capacidad de influencia tiene. Así, de las 15 metas establecidas, sólo se han podido evaluar 11 (las otras carecen de datos), y sólo 5 de ellas se alcanzan: Indicador Meta 2011 Tasa de cobertura con DPTHepBHbi3 en menores de 1 año 90% 88,66% Ratio de consultas externas por habitante 1,3 1,34 % de enfermos con TB aconsejados y testados para HIV 90% 95% % de mayores de 15 años que reciben TARV respecto del total teórico

35,4% 35,4%

Ratio de habitantes por médico y técnico de salud 10.103 6.190



20

No obstante, en otras 5 se producen mejoras respecto al año anterior: Indicador Meta 2010 2011 Tasa de mortalidad institucional por desnutrición grave en < 5 años

7% 16,67% 10,81%

Tasa de cobertura de partos institucionales 63% 36% 41% Ratio de mortalidad materna 310 x 105 428 x 105 378 x 105 % de embarazadas que reciben al menos 2 dosis de TIP entre las que acuden a consulta prenatal

65% 38,59% 56,06%

Tasa de incidencia de malaria grave en menores de 5 años 33,6 x 105 126 x 105 93,27 x 105

Y por último, un indicador que muestra resultados todavía muy alejados de la meta y que apenas mejora en este último año: Indicador Meta 2011 2011 % de menores de 1 año completamente vacunadas 73% 14,36% 14,88%

Estos indicadores podrían servir como medida del impacto de la intervención, una vez que las acciones llevadas a cabo pueden (y deben) contribuir a la mejora de estos indicadores sanitarios si el objetivo final es éste. No obstante, no miden de manera directa el alcance del objetivo específico de esta intervención pues su medida debería corresponder de manera única a la influencia de las acciones llevadas a cabo por CIC. Como se puede advertir, todas estas metas se ven influidas por un número elevado de factores externos y no controlables a partir de esta acción (ni por la de los otros socios del consorcio), por lo que no reflejan la consecución del objetivo que se pretendía alcanzar.

PE

IN

Efectos no previstos Resultados no previstos. Causas externas e internas

No se pueden referir efectos no previstos que surjan a partir de la intervención de CIC dado que el espacio de intervención fue relativamente reducido. Únicamente se podría mencionar el aumento de personal de servicio dentro del HRN que no estaba previsto. Esto se debe, como ya fue explicado anteriormente, a las posibilidades reales de contratación por parte de los SDSMAS de Erati una vez concluye la financiación de CIC (que excluía la contratación de personal técnico). También se puede incluir en este punto la apertura dada a las formaciones en gestión hospitalaria para la inclusión de personal de otras unidades del distrito de Erati (Alúa) y de otros distritos de la provincia a petición de la Dirección Provincial de Salud (Moma, Monapo y Nacala). Los otros resultados alcanzados se pueden enmarcar dentro de la intervención esperada.

PE

IN

Dificultades de los destinatarios para acceder a las actividades de la intervención Acceso a los servicios por parte de los beneficiarios Facilidad de gestión de las acciones

Debido a la proximidad del equipo de gestión a los beneficiarios de la intervención (el Hospital Rural en Namapa) y por consiguiente a su accesibilidad, los destinatarios de las acciones no presentan dificultades en acceder a las mismas. Por otro lado, todas las actividades realizadas son planificadas con anterioridad y forman parte del plan de acción a realizar por los servicios del Hospital y de los SDSMAS (aquellas que le correspondan). La labor del CIC se entiende más como facilitador (y en algunos casos como financiador) por lo que no existe problema de acceso de los destinatarios a estas actividades ya que el peso real de las acciones recae sobre los propios destinatarios.

PE

IN

Efectos sobre la equidad de género Inclusión de estrategia de género y sus efectos sobre la equidad de género y acceso a los servicios

En relación a la equidad de género, se han realizado 2 acciones directamente dirigidas hacia su mejora. Por un lado se ha realizado un estudio sobre las dificultades de acceso de la mujer a los servicios de salud encargado a una consultora externa. Este estudio no tendrá un reflejo inmediato una vez que se socialice pero servirá para dirigir las acciones hacia una mayor inclusión de factores que favorezcan el acceso de las mujeres a los servicios de salud en los próximos años. Existe una disposición explícita del MISAU en incorporar los aspectos de equidad de género en los servicios de salud si bien que muchas veces se presenta una ausencia considerable de contenido y posibilidades de acción concreta. Este estudio servirá para cubrir esas lagunas, tanto a nivel del distrito de Erati como de la provincia. Por otro lado se ha apoyado la creación de un grupo de mujeres en la localidad de Namapa que sirva para discutir aspectos ligados a la mujer, sus problemas y sus posibles soluciones, en coordinación con Action Aid. El acompañamiento dado a este grupo durante la presente intervención quizás no sea suficiente para su continuidad, pero se ha



21

dado el primer paso y ahora dependerá de los miembros del propio grupo en valorar su utilidad.

VA MEDIO‐ALTO Puntos en destaque: Los resultados se alcanzan globalmente en grado elevado, a pesar de que la mejora de los servicios realizado a partir de la intervención no es medible a partir de la mejora de los indicadores sanitarios al influir un número elevado de factores sobre los que no se tiene control durante la ejecución.

El objetivo específico tampoco se puede medir de manera adecuada a partir de los indicadores sanitarios al estar influenciados por multitud de factores externos y la intervención dirigirse sólo a algunos de los factores que determinan su mejora.

La equidad de género se ve reforzada por la realización de un estudio sobre el acceso de la mujer a los servicios de salud que servirá para la planificación futura de acciones por parte de la DPS y los SDSMAS

4.4. Sostenibilidad

PE

IN

Capacidad de mantenimiento de los beneficios de la intervención una vez retirada la ayuda externa Generación de recursos para el mantenimiento de actividades Coste de continuidad de los servicios apoyados asumible por los Servicios de Salud Las nuevas exigencias en gestión y capacidad técnica introducidas durante la intervención están consolidadas y podrán seguir siendo aplicadas

La intervención trabaja en aspectos relacionados con la capacidad institucional fundamentalmente, financiando actividades que sirvan de aprendizaje y generación de rutinas, así como ayudas a la inversión en equipamientos. De esta manera, a pesar que algunas de las rutinas necesitarán de financiación posterior y, quizás, pueda mermar la calidad, la participación o la frecuencia con que se realizan por la falta de recursos financieros, las capacidades permanecen. En particular, la precontratación del personal de servicio se asegura con la incorporación efectiva del mismo en el Sistema Nacional de Salud. Esto en principio está garantizado a partir del Acuerdo entre CIC y los SDSMAS de Erati al inicio de la intervención en la que se aseguró que el presupuesto de personal cubriría este incremento para el año siguiente. A pesar de todo, hasta el momento de la realización de la evaluación, esta incorporación no se había producido de manera efectiva aunque estaba en marcha el proceso administrativo. El programa de formación seguirá en marcha apoyado por otros agentes de cooperación o por el propio Ministerio de salud, a pesar de que quizás no se lleguen a cubrir todas las necesidades formativas deseables. Los encuentros, reuniones, etc. son rutinas de trabajo que requieren de pocos recursos a pesar de que la participación del personal de las unidades sanitarias periféricas podrá ser menor. Los SDSMAS no podrán mantener en principio los incentivos dados a las madres parturientes (capulanas, calendarios, etc.) o a los activistas del servicio TARV (búsquedas activas, etc.), por lo que existe un riesgo de que los indicadores de partos institucionales o la tasa de abandono en los servicios TARV empeoren, a espera de que se confirme a partir de los datos del SIS de los próximos meses. Los recursos para tal no serán cubiertos por los SDSMAS a no ser que se encuentre a otra ONG que lo asuma dentro de sus programas. Hay que tener en cuenta que los incentivos están pensados para que tengan un efecto “llamada”, es decir, que sirvan para que los beneficios de los servicios puestos a disposición de los usuarios sean valorados en mayor medida que los incentivos recibidos. Esto quiere decir que no tendrían por qué mantenerse indefinidamente aunque sí haber conseguido previamente que la comprensión sobre estos beneficios (tener un parto seguro en una unidad sanitaria) es una realidad entre los usuarios (madres y familias en general). En el caso de los activistas, los incentivos tienen otra finalidad y es la de estimular el trabajo voluntario que realizan. En este caso, deberían ser encontradas soluciones para que los activistas realmente puedan seguir recibiendo una compensación por el tiempo que emplean en este servicio, ya sea a través de los servicios de salud, de los beneficiarios últimos (los pacientes en TARV) o de actividades de grupo en los que se genere un cierto rendimiento.

PE Influencia en la capacidad institucional

Como fue mencionado anteriormente, el proyecto está dirigido al fortalecimiento institucional, y sus logros se tendrán que medir necesariamente por esto. En primer lugar, todas las actividades de esta fase, junto con las de los otros socios del consorcio del PSE,



22

IN Liderazgo de la intervención Actividades incluidas en la planificación anual de los Servicios de Salud Los Servicios de Salud asumen nuevas prácticas o consolidan aquellas que ya estaban en marcha.

fueron integradas en la planificación de los Servicios de Salud del distrito, a pesar de que en el momento de realizar esta planificación todavía existían algunas dudas en relación al plan de actividades a financiar. Dada la experiencia y recorrido del PSE, así como de las intenciones para una tercera fase, se pudieron integrar sin mayores problemas. Desde este momento son los Servicios de Salud a asumir el liderazgo de su implementación y CIC asume el papel de colaborador (financiador en algunos casos). No existen como tal nuevas prácticas introducidas, sino el refuerzo de actividades ya previstas dentro del funcionamiento de los Servicios de salud que, en muchos casos, ya vienen siendo reforzadas desde el inicio del PSE. Por este motivo, no se pone en causa el hecho de que los Servicios las puedan asumir o no, puesto que, como se ha dicho, forman parte ya de las actividades que tienen que realizar como servicios de salud. Otra cosa bien diferente es que puedan realizarlas con la frecuencia o la participación con la que venían siendo hechas durante el tiempo de apoyo del CIC debido a los recursos necesarios para su organización. En cualquier caso, aun pudiendo perder algo en estos aspectos, no se espera que haya un corte en su realización. Por último, mencionar algunas actividades que comportaban incentivos (referidas anteriormente) que no podrán ser mantenidos en principio por los SDSMAS a no ser que éstos encuentre otra ONG que los financie u otras soluciones para suplir esta falta o la necesidad de seguir ofreciendo incentivos.

PE

IN

Protección del medio ambiente Existencia de impactos medioambientales de las actividades del proyecto Generación de impactos medioambientales a partir del funcionamiento de realizaciones del proyecto.

Las actividades realizadas o los servicios apoyados no presentan cualquier tipo de riesgo de impacto medioambiental. Únicamente los servicios sanitarios podrán generar residuos contaminados para lo cual se ha acondicionado un espacio dentro del HRN para su almacenamiento, algo que inexplicablemente no aparecía en el proyecto de construcción que fue realizado en fases anteriores.

VA MEDIA‐ALTA Puntos en destaque: La inclusión de las actividades del proyecto en la planificación anual de los Servicios distritales de salud asegura el liderazgo de las mismas por parte de estos servicios lo que incide en la continuidad futura de estas acciones.

Algunas actividades realizadas con financiación de esta intervención podrán mermar en calidad o participación posterior, aunque seguirán siendo realizadas porque forman parte de las actividades de rutina de los servicios de salud.

Los incentivos a las madres que acuden a dar parto al Hospital y a los activistas de los servicios TARV no serán en principio asumidos por los SDSMAS a no ser que alguna otra ONG los asuma o se encuentren otras soluciones para seguir financiándolos.

No hay riesgos de impacto ambiental en las actividades apoyadas, salvo la generación de residuos del HRN, para lo cual se ha acondicionado un espacio para su gestión.

4.5. Coherencia

PE

IN

Los problemas identificados se corresponden con los objetivos propuestos, y las actividades con los resultados esperados Adecuación del diseño de la intervención a la

Tras la mejora de las infraestructuras hospitalarias de Namapa era necesario mejorar la capacidad de gestión, equipar e incrementar el cuadro de personal para asegurar su correcto funcionamiento y hacer valer las mejoras y el aumento de capacidad potencial. El objetivo, por tanto, no solo es coherente con la situación previa al proyecto sino a la progresión del PSE referido a la Atención Secundaria implementada por CIC. El objetivo de consolidación del servicio TARV se separa de este principal para cubrir los servicios prestados en las unidades sanitarias de Alúa y Mirrote. En relación a las actividades tendentes a la mejora de la gestión y organización, se definen aquéllas relacionadas por un lado con el aumento del personal efectivo, su capacitación y



23

EV

lógica del proyecto Formulación del proyecto: Marco lógico

la elaboración de protocolos de los servicios. Seguramente hubiera sido necesaria formación específica en gestión hospitalaria, planificación y optimización de los recursos, que podrá realizarse posteriormente y mejorar/ampliar los protocolos elaborados. En cuanto a la consolidación de los servicios, en especial el de Salud Materno Infantil, se incluyen formaciones técnicas al personal del servicio y una serie de actividades complementarias que favorecen el acceso al servicio por parte de los usuarios. Estas últimas actividades realmente no se orientan a la consolidación de los servicios como tal, en cuanto a mejora de la calidad o de atención, a pesar de que son importantes dentro del contexto global del PSE para aumentar los indicadores relacionados con la Salud Materno Infantil. De nuevo aquí, se podrían haber incluido actividades relacionadas con la gestión del servicio, los recursos, el personal mínimo, tareas y responsabilidades que se diferencian en parte de los aspectos técnicos que fueron trabajados en las formaciones. En relación al equipamiento, no hay mucho que decir, pues se corresponde básicamente con la compra e instalación del equipamiento. También se ha tomado en consideración el refuerzo del departamento de mantenimiento, fundamental para la sostenibilidad de esta componente. Por último, para la consolidación de los servicios TARV se ha seguido el proceso iniciado anteriormente con los apoyos en supervisión del servicio y contratación de personal, así como el apoyo a activistas. Existe una componente común a todos estos resultados que daría una gran coherencia a toda la lógica y es el apoyo al refuerzo financiero, fundamental para la capacidad de prestar servicios. En este sentido, una vez que la intervención está diseñada en clave de refuerzo institucional y que la componente financiera debe ser garantizada por el propio Estado, se podría haber incorporado alguna actividad de optimización de los recursos, muy apropiada para un contexto de escasez permanente de los mismos: uso de vehículos, materiales fungibles, cuidados del equipamiento, etc.

PE

IN

Complementariedad con otras estrategias o programas en el mismo territorio, sector o población objetivo Existencia de otras intervenciones en salud. Puntos de completo, coordinación y objetivos

Esta intervención se enmarca dentro del Programa de Salud de Erati que, como se sabe, se trata de una acción global de apoyo y mejora al Sistema de Salud del distrito de Erati con varias componentes ejecutadas por un Consorcio de ONGs. Es de por si ya una intervención complementaria a las componentes de las otras 2 ONGs del consorcio, además de que en esta fase fueron definidas actividades con la inclusión explícita de la participación de algún otro miembro del consorcio, como las actividades de tipo “comunitario” con Action Aid. Por otro lado, existen en el distrito también otras ONGs como ICAP y SCIP con las cuales se pueden establecer relaciones de complementariedad, sobre todo en aquellas actividades relacionadas con los servicios TARV, y dentro de estos, los aspectos comunitarios (búsquedas activas, grupos de apoyo, etc.).

PE

IN

EV

Sinergias entre los programas y la intervención. Existencia de sobreposición de actuaciones Realización de actividades de incidencia sobre el Sector Salud de manera conjunta. Verificación in situ de acciones Correspondencia de actividades

Tal y como está diseñado todo el PSE, existe como es obvio una gran implicación entre las 3 intervenciones, aunque cada una de ellas tiene sus propios objetivos y actividades. Algunas de ellas se realizan de manera conjunta, lo que las hace más eficientes. No obstante, se está desaprovechando un potencial de sinergia importante al ser definidos resultados diferentes y cada una de las ONGs poseer una estructura propia y diferenciada. Si hubiera sido definido un único marco lógico, habría posibilitado seguramente una mayor interacción entre las ONGs y se podrían haber aprovechado mejor las interacciones entre todas ellas. Por otro lado, una estructura única y medios comunes hubieran posiblemente rebajado los costes de gestión y funcionamiento. En resumen, se puede decir que el potencial de trabajo en conjunto, no sólo de manera coordinada, podría haber sido aprovechado en mayor medida y se podría haber sacado mucho más partido del Consorcio.

VA MEDIA‐ALTA Puntos en destaque: La intervención no sólo es coherente con la realidad del distrito de Erati sino con el recorrido del Programa de Salud de Erati al cual pertenece.



24

Al ser una intervención enmarcada en un programa implementado por otras ONGs bajo la forma de consorcio, la complementariedad es alta, así como potencialmente con las intervenciones de otras ONGs en el ámbito de la salud comunitaria.

El potencial de obtención de sinergias con las otras ONGs del Consorcio podría haber sido aprovechado en mayor medida

4.6. Alineamiento

PE Alineación de los

resultados y objetivos con la política nacional y estrategias en el ámbito de la salud.

La alineación de la intervención con la política nacional se evidencia a partir de la firma de los Acuerdos de colaboración entre el MISAU/DPS de Nampula y CIC. Estos acuerdos son rubricados a partir del análisis de la intervención por parte de los responsables del Sistema de Salud y, por tanto, garantiza a priori que se alinea la intervención con la política nacional de salud. Por otro lado, la propia autorización de CIC a trabajar en Mozambique en el área de salud depende del visto bueno del MISAU y de los informes que se van generando de su trabajo en las diferentes áreas geográficas. La renovación bianual de esta autorización también muestra evidencias del alineamiento efectivo de esta intervención específica en el área de salud para la provincia de Nampula.

PE

Adaptación de los procedimientos presupuestarios y administrativos a las instituciones locales

En cuando a la alineación en relación a los procedimientos presupuestarios y administrativos, queda patente por la inclusión de las actividades de la intervención en la matriz de planificación de los distritos, que sirve de base para la elaboración de los planes económicos anuales de los servicios de salud provinciales y distritales (globales). A pesar de que los ritmos de financiación y aprobación de propuestas por parte de la Generalitat Valenciana (en este caso) y la elaboración de los planes anuales por parte de la Administración en Mozambique no coinciden, se ha realizado un importante esfuerzo para incluir todas las actividades de la Fase III en la planificación anual distrital realizada en mayo‐junio de 2010, cuando aún no se tenía una indicación clara de la continuidad o no del programa de salud de Erati.

VA ALTA Puntos en destaque: La firma de acuerdos de colaboración con el Ministerio de Salud y los servicios de salud a nivel provincial garantizan el alineamiento con la política nacional de salud.

La intervención está incluida en la planificación anual distrital

4.7. Impacto

PE

IN

EV

Contribución de la intervención en el alcance del objetivo general propuesto Factores externos sobre el impacto Revisión de los indicadores propuestos en el proyecto Existencia de factores externos que influencian la evolución de los indicadores Formulación del proyecto Datos SIS Informes anuales distritales y provincial

Para el análisis del alcance del objetivo general tomaremos en consideración los indicadores propuestos en el Programa de Salud de Erati que tienen una mayor relación con la intervención de CIC: Número de consultas por habitante: el número de consultas tiene relación con el número de profesionales en servicio y su capacidad de atención a los usuarios y el número y calidad de las unidades sanitarias fundamentalmente. En el distrito de Erati se obtiene un resultado para 2011 de 0,93, superior al valor de 2010, pero bastante inferior a los valores de 2006 y 2007 (1,4). De hecho estos valores tienen una tendencia decreciente durante todo el período de 2006‐2010, quebrando esta tendencia en el 2011. Mortalidad materna: la tendencia es completamente errática, si bien en el 2011 se alcanza la menor tasa de mortalidad con 1,6. No obstante, los niveles aumentan desde 2006 hasta alcanzar 3,48 en 2008, disminuyendo en 2009 y aumentando en 2010. Cobertura de TARV en pacientes que lo necesitan: en este caso, como ya se ha visto en otros puntos del informe, la proporción de pacientes VIH+ incluidos en el programa de tratamiento ha crecido hasta el punto de llegar a la meta establecida por el MISAU en 2011 (35,4%) desde el 6% del inicio del programa. Se puede notar que no se produce un gran impacto, a parte del indicador de TARV, lo cual implica que existen otros factores que afectan a la mejora de los indicadores aquí propuestos. Para el caso de las consultas, existe una clara influencia del número de recursos humanos



25

disponible en el distrito. En el caso de Erati, en 2011 había un 30% menos de personal que 2 años antes, a pesar de las precontrataciones incluidas en el proyecto ocurridas durante 2011. No obstante el número de recursos humanos es bastante superior al que había en el periodo 2005‐2009. A pesar de todo se da la paradoja de que los mayores niveles de atención se producen en los años 2006‐2007, por lo que todavía existen otros factores que afectan en mayor medida a este indicador y que, de alguna manera, no pueden ser medidos de manera sencilla. Entre ellos está la confianza de las comunidades en los servicios prestados en las unidades sanitarias, la propia motivación del personal sanitario, incluso la correcta gestión de los datos sobre la atención prestada (registro y compilación de datos). Parece que todos estos factores, con gran variabilidad según los años, tienen una influencia bastante acusada en el aumento de las consultas realizadas, por lo que habría que modificar este indicador como medida de la fortaleza del sistema de salud. La mortalidad materna se ve influenciada también por varios factores ajenos a la intervención de CIC, a pesar de que la creación de capacidades en el Hospital de Namapa y la posibilidad de realizar intervenciones (cesáreas) seguramente contribuye para su disminución. Estos factores externos poseen un peso específico superior a aquellos sobre los que efectivamente se ha trabajado. Por último, en relación al tratamiento TARV, a pesar de existir también condicionamientos externos importantes (disponibilidad de medicamentos, facilidad en la realización de pruebas diagnósticas, etc.) se consiguen alcanzar las metas esperadas gracias a que efectivamente se actúa sobre ciertos factores clave (organización, gestión) y el resto de los factores se comporta de manera positiva (suministros adecuados de medicamentos, etc.)

PE

IN

Impactos no previstos sobre la población beneficiaria: positivos y negativos Existencia de impacto sobre los beneficiarios, tanto del esperado a partir de la intervención como no, incluyendo posibles impactos negativos.

No se encuentran impactos negativos en la intervención sobre la población beneficiaria aunque la posible paralización de los incentivos dados a las madres que acuden al Hospital para dar parto y a los activistas del sistema TARV podría generar una disminución de la tasa de adherencia a estos servicios todavía por verificar. El impacto previsto de los incentivos dados a las mujeres para dar parto al Hospital tiene por objeto favorecer el aumento de la tasa de parto institucional, y efectivamente esto se ha verificado a lo largo de esta intervención. No obstante, a medio plazo se entiende que otras madres (o las que recibieron los incentivos cuando tengan que acudir de nuevo) irán a dar parto al Hospital convencidas de los beneficios que un parto seguro trae consigo gracias al testimonio de las primeras, sin necesidad de recibir cualquier incentivo (por otro lado simbólico). La responsable distrital del servicio de Salud Materno Infantil refiere durante la evaluación que quizás todavía es pronto para que esto suceda y que la paralización del sistema de incentivos a las madres podrá hacer disminuir la tasa de parto institucional, aunque todavía este dato se tendrá que confirmar. En el caso de los incentivos a los activistas del servicio de TARV se esperaba como impacto una disminución de la tasa de abandono del tratamiento y efectivamente también se produjo. Estos incentivos en este caso se entienden como compensación justa por el trabajo realizado, a pesar de que se realiza de forma voluntaria. En todo caso para los activistas acaba por ser su única fuente de rendimiento y es muy probable que dejen de realizar este servicio si no reciben el subsidio, como está sucediendo en el momento de la evaluación. Esto podrá tener un impacto negativo sobre la tasa de abandono del tratamiento. No obstante, los SDSMAS pretenden encontrar otras ONGs que puedan asumir el coste de estos activistas (todos o parte de ellos) y posiblemente exista esta posibilidad en el corto plazo. En cualquier caso, se deberían encontrar soluciones más permanentes que aseguren esta compensación una vez que la búsqueda de pacientes en TARV en caso de abandono es extremadamente importante para asegurar la eficiencia del servicio. En otro orden de impactos imprevistos se podrían mencionar aquellos derivados de la falta de suministro de equipamientos responsabilidad del Ministerio de Salud que estaba previsto que se hiciera. Esto conlleva que los servicios y el Hospital en general puedan no llegar al nivel de atención que se esperaba y del potencial que posee, tanto en infraestructuras como en personal. Por otro lado, y como impactos positivos no previstos referidos al equipamiento, CIC



26

consiguió suministrar cierto equipamiento que está teniendo un impacto muy positivo. Por un lado la máquina de lavar industrial y por otro, la construcción de una zona de eliminación de residuos, que era algo que incomprensiblemente no estaba incluido en el proyecto de construcción del Hospital. Otro efecto imprevisto y muy positivo fue la incorporación de personal de otros Hospitales de la provincia en los cursos de gestión hospitalaria. A petición de la DPS de Nampula y, aprovechando la oportunidad de tener a una formadora del MISAU en gestión de Hospitales, se abrió la posibilidad a que responsables de la gestión de otras unidades sanitarias participasen en el curso por lo que los beneficios se multiplicaron más allá de las metas establecidas en el proyecto.

VA MEDIO Puntos en destaque: El impacto medido a partir de los indicadores sanitarios parece ser pequeño debido a la influencia de gran número de factores sobre los que se tiene poca influencia a partir de la intervención.

La paralización de la prestación de incentivos genera una paralización de algunas actividades lo que puede hacer revertir la tendencia positiva de algunos indicadores en el futuro.

4.8. Participación

PE

IN

Delimitación de los participantes en la intervención Revisión formulación y cruce con los beneficiarios finales de la intervención.

Los participantes de la intervención (beneficiarios directos) se definen como los usuarios del HRN (como beneficiarios de la mejora de la asistencia sanitaria), el personal que allí trabaja (por la formación recibida y la mejora de las condiciones de trabajo), los SDSMAS de Erati (por la mejora en la capacidad de organización y gestión) y los alumnos y alumnas de los Centros de Formación de personal que allí hacen sus prácticas por la mejora de los servicios asistenciales y la posibilidad de que tengan experiencia en servicios de más calidad y mejor equipamiento. No están definidos tanto el personal de las unidades sanitarias de Alúa y Mirrote (servicios TARV) que recibieron asistencia en el servicio y supervisión por parte de CIC ni el grupo de activistas que allí eran apoyados para la realización de búsquedas activas. Tampoco está incluidos en la lista los jóvenes que participaron en diferentes actividades de sensibilización y las mujeres que irían a conformar los grupos que recibieron apoyo de CIC/Action Aid.

PE

IN

Participación en cada fase de la intervención Revisión de intervinientes en las diferentes fases.

En la fase de identificación han participado activamente los SDSMAS de Erati/personal del Hospital Rural/Alúa y Mirrote. Hay que tener en cuenta que esta intervención forma parte de un Programa con sucesivas fases y que en cada fase ha existido una evaluación participativa que ha servido a su vez para la definición de las fases siguientes. Su participación ha sido, por tanto, muy elevada a lo largo de todos los procesos de la intervención. El resto de los beneficiarios ha tenido una menor implicación en la definición de la intervención pero igualmente ha tenido un papel relevante durante la ejecución. En la evaluación final (la que ahora se presenta) se ha contado en particular con el personal sanitario.

PE

IN

Canales de participación establecidos Comunicación, coordinación e información de las actividades y resultados de acuerdo con las exigencias y necesidades de los intervinientes.

En relación a los canales de participación hay que decir que esta es una intervención liderada por los Servicios de Salud del distrito (SDSMAS) una vez que las actividades se incluyen en la planificación anual del distrito. Los principales canales de participación son precisamente las propias actividades las cuales se realizan de manera conjunta. Esto se ve favorecido por la presencia permanente del personal del CIC en el distrito. Existen por otro lado canales formales de comunicación como la asistencia a reuniones de monitoria de la planificación, de los indicadores sanitarios, etc, así como la elaboración de informes periódicos que se remiten sobre todo a la Dirección Provincial de Salud de Nampula. Por otro lado, se organizan también encuentros periódicos de coordinación junto con el resto de los socios del consorcio y con otras ONGs del sector, tanto a nivel de distrito como provincial. Por último se establecen también canales informales de comunicación ya que la proximidad con los beneficiarios, como se ha dicho, facilita la comunicación continua.

VA ALTA Puntos en destaque: No estaban incluidos algunos participantes de la intervención en el formulario del



27

proyecto, aunque los más importantes sí estaban indicados. La proximidad del equipo de gestión con los beneficiarios ayuda al establecimiento de mecanismos de comunicación, tanto formales como informales.

4.9. Cobertura

PE

IN

Alcance a todos los colectivos destinatarios previstos Descripción de los beneficiarios de la intervención, cruce con los previstos en la formulación del proyecto, o aquellos esperados por los socios locales.

A partir de la descripción y análisis de los puntos anteriores se puede ya advertir que la intervención alcanzó a todos los destinatarios previstos, incluso a grupos que no estaban incluidos inicialmente en el formulario del proyecto, como son los jóvenes y grupos de mujeres que participaron en algunas de las actividades. El personal de salud y los SDSMAS participaron en las actividades de mejora de la gestión hospitalaria, las formaciones y el equipamiento, así como de las supervisiones específicas a los servicios TARV. Los usuarios del Hospital, en realidad fueron destinatarios indirectos una vez que no participaron de forma específica en las actividades a excepción de las mujeres que dieron parto y que recibieron los incentivos. Los alumnos y alumnas de los Centros de Formación, a pesar de que no hubo actividades específicas dirigidas a ellos, sí que se beneficiaron de las actividades realizadas en los servicios del Hospital.

PE

IN

Mecanismos para la facilitación del acceso de los beneficiarios a los servicios de la intervención Existencia de medidas de acceso a los servicios Uso de los servicios por parte de los destinatarios

En relación al personal de salud no existen como tal mecanismos de acceso a los servicios de la intervención puesto que, como ya se ha mencionado en varias ocasiones, todas las actividades realizadas son lideradas por ellos mismos. En relación a los usuarios del Hospital Rural cabría mencionar el sistema de incentivos a las parturientes como forma de favorecer el acceso a los servicios de parto en la Unidad Sanitaria. Esto, como también se ha visto, efectivamente ha favorecido este acceso. También cabría destacar el mecanismo introducido para facilitar la adherencia del tratamiento para pacientes en TARV a partir de los activistas. Estos activistas se encargaban de realizar charlas informativas y de buscar de manera activa a aquellos pacientes que abandonaban el tratamiento. Esto también ha beneficiado el acceso a los servicios por parte de este grupo específico de usuarios.

VA ALTA Puntos en destaque: Se ha dado alcance a todos los destinatarios previstos incluso a grupos no definidos en el formulario del proyecto.

Los únicos mecanismos para favorecer el acceso a determinados grupos fueron el establecimiento de incentivos a las mujeres embarazadas que dieran parto en el Hospital y a los activistas del servicio TARV para dinamizar charlas informativas y buscar pacientes en riesgo de abandono del tratamiento.

5. Conclusiones y recomendaciones

5.1. Pertinencia La percepción de los problemas más prioritarios por parte de los beneficiarios se orientan más al corto plazo: más recursos financieros para el funcionamiento normal de los servicios y más infraestructuras y equipamientos. La intervención se dirige más al largo plazo y los efectos sobre el fortalecimiento institucional. No obstante, este fortalecimiento institucional potenciado a partir de la intervención se implementa fundamentalmente a partir de las acciones de rutina realizadas por los servicios de salud, por lo que en apariencia se atiende a las prioridades de los beneficiarios al mismo tiempo que se trabajan los aspectos que más incidencia pueden tener en el fortalecimiento de los servicios a largo plazo.

La estrategias y planes de desarrollo en Mozambique, tanto generales como del sector salud, engloban una gran cantidad de objetivos y áreas de mejora. Esto implica que la pertinencia de una intervención cualquiera podrá fácilmente estar asegurada en estas estrategias nacionales. No obstante, se encuentran de manera explícita en estos documentos las acciones y los resultados esperados en la intervención, por lo que se puede concluir que el proyecto contribuye a alcanzar los objetivos y visión representada en aquéllos.



28

En relación a la política de cooperación al desarrollo de España y de la Comunidad autónoma de Valencia, la intervención recoge específicamente aquello que constituye la estrategia sectorial en salud, y los principios transversales de enfoque de derechos, equidad de género y preservación del medio ambiente.

Recomendaciones: 1 Título: Incidencia en el largo plazo Para una mayor comprensión de los objetivos de la intervención por parte de los beneficiarios y su orientación efectiva a la consecución del mayor impacto y no sólo a la realización de las actividades, los ejercicios de evaluación de la planificación y la propia planificación de actividades deberán dejar claro la influencia sobre la mejora de los indicadores propuestos y la monitoria de sus tendencias.

5.2. Eficiencia No existen desviaciones importantes en las partidas del presupuesto en relación a lo ejecutado. La mayor desviación se produce en la partida de evaluación pero que en términos absolutos no representa un valor elevado. Otra partida que se desvía es la de personal local, pero que está determinada por el coste de los salarios de las personas precontratados y que está fijado por el Ministerio de Salud, por lo que no había mucho margen de maniobra.

Las mayores partidas corresponden con gastos de inversión (equipamiento) y personal local (precontrataciones), cuya transformación en resultados no sólo es evidente sino que no podrían haber sido más económica, por lo que su eficiencia es óptima.

Los costes de gestión (personal expatriado) son los adecuados tomando en consideración la media de gasto que supone esta partida. Además, con solo el 10% del presupuesto se consiguen alcanzar los restantes resultados (a parte del equipamiento y aquel referido a las precontrataciones) por lo que refuerza el carácter efectivo de la intervención.

La colaboración institucional favorece el cumplimiento de las metas. Esta colaboración se ve favorecida por la presencia en el terreno del personal de gestión de la intervención por lo que resulta fácil establecer mecanismos de comunicación tanto formales como informales.

Los recursos humanos, a pesar de lo exiguo del equipo, ha respondido a las necesidades y se ha podido realizar todo el plan de actuaciones sin merma de calidad.

5.3. Eficacia Algunos de los indicadores propuestos relacionados con el Sistema de Información Sanitaria no sirven adecuadamente para medir la contribución y el alcance de los resultados y objetivos de la intervención de CIC, una vez que se ven afectados por muchos factores, gran parte de los cuales sin influencia efectiva a partir de esta intervención. Por esta razón, la mejora o empeoramiento de estos indicadores no implican un mejor o peor desempeño por lo que en algunos casos es difícil hacer una valoración efectiva del cumplimiento o no de las metas propuestas. Esto se refleja especialmente en la medida del alcance del objetivo específico.

En otros casos, los indicadores definidos no ofrecen medida de la calidad o extensión de los mismos por lo que, aún alcanzándose el resultado, no refleja el grado de mejora todavía necesario. Está referido sobre todo al fortalecimiento de la gestión y organización interna del Hospital Rural de Namapa, pues aunque se obtienen los productos esperados tales como el reglamento interno y los protocolos de los servicios, éstos todavía tienen un espacio de mejora grande. Efectivamente se ha fortalecido la capacidad de gestión del Hospital aunque todavía es necesario realizar importantes mejoras en estos protocolos de los servicios para que su uso implique una mejora de la organización.

El resultado del equipamiento del Hospital podía haber estado integrado dentro de la mejora de la prestación de servicios del Hospital, una vez que la existencia de equipamiento tiene implicaciones en la capacidad de prestar servicios. CIC suministró todo el equipamiento previsto (y algún otro no previsto) pero el MISAU no fue capaz de suministrar su parte prevista, por lo que los servicios que se esperaba reforzar todavía no alcanzarán las capacidades previstas.

Los servicios TARV se consolidan una vez que las actividades para alcanzar este resultado ya vienen siendo ejecutadas desde anteriores fases del PSE. No obstante no se puede hacer una valoración completa del cumplimiento de las metas por Unidad Sanitaria al no disponer de los datos por cada una de ellas.



29

No se han detectado dificultades de acceso a los servicios apoyados durante la intervención por parte de los beneficiarios, una vez que todas las actividades fueron incluidas en la planificación de actividades de los Servicios de Salud del distrito. Por otro lado, en relación a los usuarios del Hospital Rural, fueron implementados diversos mecanismos de incentivos para favorecer, por un lado, la adherencia al parto institucional (a las madres) y al tratamiento TARV (a los activistas encargados de las búsquedas de abandonos).

La proximidad del equipo de gestión de la intervención al local de ejecución y de los beneficiarios ha favorecido también la implementación de las actividades y, por tanto, la consecución de los resultados.

Existen acciones tendentes a la mayor equidad de género si bien, sus efectos sólo deberán verse en próximos ejercicios ya que sirvieron para sentar las bases necesarias para la programación de actividades de promoción de esa equidad. Nos referimos sobre todo al estudio sobre las dificultades de acceso de las mujeres a los servicios de salud, cuyo impacto deberá comenzar a sentirse una vez se definan actividades y se incluyan en las planificaciones anuales. Este estudio, no obstante, es básico y fundamental para que esto se produzca. Recomendaciones: 2 Título: Definición de indicadores que reflejen la obtención de resultados relacionados con la

intervención El uso de indicadores del Sistema de Información Sanitaria sólo podrá ser válido cuando se mida el alcance del objetivo general siempre y cuando se tenga una referencia del impacto en las tendencias de otros factores sobre los cuales no se trabaja pero que influyen en su mejora o empeoramiento. Para los indicadores del objetivo específico se tienen que definir indicadores que midan de manera directa la influencia de la intervención y que se puedan relacionar sin duda con los logros del proyecto. Si no se realiza de esta manera, los datos obtenidos en la lectura de los indicadores podrán dar lecturas erradas en relación a los efectos de la intervención evaluada.

3 Título: Definición de resultados con indicación de su extensión En esta recomendación lo que se quiere decir es que en resultados que indican mejora o refuerzo, se debe hacer mención a la extensión de esta mejora puesto que si no el concepto es tan vago que el mero cumplimiento de los indicadores no da una medida exacta de en qué punto se produce esa mejora, si todavía queda un gran margen de mejora o si por el contrario el refuerzo ya ha llegado a límites deseados o previstos.

4 Título: Integración de los equipamientos suministrados en la mejora de los servicios Los equipamientos tienen siempre una función clara de mejorar los servicios por lo que el mero suministro de estos equipamientos no implica siempre una mejora de aquéllos (por ejemplo si no se ponen en funcionamiento, si no se usan adecuadamente, etc.). Por este motivo, éstos tienen que llevar siempre asociado la mejora de los servicios en los cuales se aplica y la obtención de los resultados serán las mejoras en los servicios que con ellos se alcanza.

5 Título: Revisión del sistema de incentivos Los incentivos tienen que tener un efecto “llamada” para conseguir que ciertas actitudes o acciones se lleven a cabo posteriormente una vez que se compruebe el beneficio que con ellas se obtiene. Cuando se valora sólo el incentivo, quiere decir que el incentivo no ha servido para mucho. Es necesario aplicar estrategias para que no se valore solamente el incentivo por si mismo sino que se pueda ver más allá y conseguir la adherencia a servicios o actividades sin la necesidad de perpetuar éste.

6 Título: Integración de actividades que promuevan la equidad de género en la planificación

distrital Una vez que se ha elaborado un estudio sobre las dificultades de acceso de las mujeres a los servicios de salud se debería fomentar la definición de actividades para incorporar a la planificación anual de actividades de los Servicios distritales de salud y así hacer valer el esfuerzo realizado.

5.4. Sostenibilidad



30

Una parte de las actividades realizadas podrá perder calidad en su ejecución y disminuir la frecuencia de su realización o la participación con la que venían siendo realizadas. No obstante, los beneficios a largo plazo son perfectamente sostenibles pues implican un aumento de capacidades fundamentalmente.

Las precontrataciones de personal son sostenibles porque su inclusión en el Sistema Nacional fue uno de los condicionantes previos para su realización. En este momento todavía no habían sido integrados aunque el proceso administrativo para tal está en marcha.

Los equipamientos adquiridos y suministrados responden a las necesidades y su mantenimiento deberá ser asegurado por el equipo de personas que para tal existe en el Hospital y que fue apoyado a lo largo del PSE. A pesar de que sus capacidades (técnica y financiera) todavía están lejos de las necesidades, asegurará mínimamente el cumplimiento de la vida útil de estos equipamientos.

A pesar de todo, la componente financiera de los servicios de salud juega un papel crucial en la sostenibilidad de los beneficios alcanzados, una vez que será necesaria para poner en práctica todas las rutinas y capacidades adquiridas.

Se ha trabajado siempre en clave de refuerzo institucional, evidenciado por la inclusión de todas las actividades de la intervención en la planificación anual de los Servicios de Salud. El liderazgo de la intervención, por tanto, ha recaído siempre en los Servicios de Salud y esto favorece su refuerzo como institución proveedora de servicios.

No existen riesgos de impacto ambiental reseñables a excepción de la generación de residuos por parte del Hospital Rural. No obstante, se han realizado actividades (fuera de lo previsto) que favorecen la gestión de estos residuos en instalaciones propias dentro del Hospital Rural (construcción de fosas según los criterios establecidos por el MISAU) y por tanto, minimizan los riesgos de impacto ambiental. Recomendaciones: 7 Título: Dimensionamiento de la capacidad financiera real Sería muy interesante poder realizar un ejercicio de dimensionamiento de la capacidad financiera de los distritos en relación a los fondos disponibles (y las proyecciones de crecimiento o disminución esperadas) y a los ritmos de desembolso normales. Esto ayudaría a poder definir el nivel de continuidad de las acciones financiadas durante la intervención (tanto en la propia realización de las mismas como en el grado de participación y calidad) y a planificar correctamente éstas en los planes anuales.

5.5. Coherencia La intervención es coherente con el proceso de implementación del Programa de Salud de Erati y en particular, con la componente llevada a cabo por CIC a lo largo de los años de su ejecución. En esta fase se centra el refuerzo de la atención secundaria más en los aspectos de equipamiento y la mejora de la gestión y capacidades de los servicios.

Los aspectos financieros, todavía un gran problema para dar respuesta a las necesidades y dar valor a las capacidades potenciales existentes, no se trabajan mucho en la intervención. Si bien es cierto que es una componente de estricta responsabilidad del Estado (mejora de la capacidad financiera), se podrían mejorar los aspectos de optimización de recursos y eficiencia de las actividades.

La complementariedad de esta acción con otras está garantizada desde que forma parte de un consorcio de ONGs para la realización de un plan conjunto de mejora de la situación sanitaria del distrito de Erati. Además, en esta fase se ha hecho un evidente esfuerzo de definir actividades en conjunto para hacer valer el valor añadido que cada unas de las ONGs tiene dentro del Consorcio.

No obstante lo anterior, existe todavía un potencial de establecimiento de sinergias grande, compartiendo por ejemplo un marco lógico común para todas las intervenciones y compartiendo la estructura de gestión en terreno, por poner algunos ejemplos. Recomendaciones: 8 Título: Refuerzo de la optimización de recursos y eficiencia de los Servicios de Salud Una vez que la componente financiera es responsabilidad del Estado y en esto poco se podrá influir, se recomienda hacer acciones que favorezcan la maximización de los recursos existentes (insumos, uso de vehículos, personal, etc.) con el fin de mejorar la eficiencia de los servicios y poder sacar el máximo provecho con los recursos que se poseen.



31

9 Título: Intervención con un único marco lógico para todas las componentes Para mejorar la coherencia de la intervención, debería ser definido un único marco lógico en la que todos los intervinientes del Consorcio aplicasen sus acciones específicas, pero en la que todos ellos contribuyesen con sus especificidades para la obtención de los mismos resultados y objetivos. Esto favorecería el establecimiento de sinergias y la eficiencia de la intervención.

10 Título: Mayor complementariedad con otras acciones de la zona A parte de la relación entre las ONGs participantes del Consorcio del PSE, se deberían establecer mayores relaciones con otras ONGs presentes en la zona, con interesantes intervenciones sobre todo en el área comunitaria y HIV (SCIP e ICAP fundamentalmente)

5.6. Alineamiento La intervención se alinea con la política sectorial nacional y reflejo de esto son los Acuerdos subscritos entre CIC y la DPS de Nampula. Así mismo, la autorización de CIC para trabajar en Mozambique depende del informe favorable de la DPS de Nampula, por lo que si no estuviera alineada con la política, probablemente vería revocada su autorización de trabajo.

Por otro lado se alinea con los procedimientos administrativos locales y prueba de ello es el esfuerzo realizado en esta fase para poder incluir las actividades de la intervención en la planificación anual de los Servicios de Salud que se realiza 6 meses antes del inicio del año, momento en el cual CIC todavía no tenía una total claridad sobre el proceso de financiación de esta tercera fase ni su duración.

5.7. Impacto El mayor impacto obtenido en la intervención es aquél referido a la cobertura TARV en los pacientes que lo necesitan, llegando a las metas establecidas por el MISAU cuando al inicio del PSE estaban todavía muy lejos de alcanzarse. En los otros indicadores revisados las tendencias son erráticas (mortalidad materna y número de consultas por habitante). Esto implica que en el ámbito de TARV se han verificado 2 circunstancias: (1) se ha trabajado en la intervención en factores especialmente determinantes en la mejora de los indicadores y (2) los otros factores se han comportado de manera positiva lo que ha propiciado que el punto (1) tuviese un efecto positivo. En los otros casos, nos inclinamos por pensar que los factores adicionales sobre los que no se ha trabajado influyen en gran manera en la tendencia de los indicadores y esta influencia ha sido negativa, haciendo que las mejoras de los aspectos en los que sí se ha trabajado hayan quedado apantallados y sin efecto patente sobre los indicadores.

No se puede hablar de impactos negativos en la intervención aunque la posible paralización de los incentivos dados a las madres que acuden al Hospital para dar parto y a los activistas del sistema TARV podría generar una disminución de la tasa de adherencia a estos servicios todavía por verificar.

Como impactos positivos no previstos referidos al equipamiento, CIC consiguió suministrar cierto equipamiento que está teniendo un impacto muy positivo. Por un lado la máquina de lavar industrial y por otro, la construcción de una zona de eliminación de residuos, que era algo que incomprensiblemente no estaba incluido en el proyecto de construcción del Hospital. Otro efecto imprevisto y muy positivo fue la incorporación de personal de otros Hospitales de la provincia en los cursos de gestión hospitalaria. A petición de la DPS de Nampula y, aprovechando la oportunidad de tener a una formadora del MISAU en gestión de Hospitales, se abrió la posibilidad a que responsables de la gestión de otras unidades sanitarias participasen en el curso por lo que los beneficios se multiplicaron más allá de las metas establecidas en el proyecto.

La política de incentivos se realiza como puerta de entrada o comienzo para que posteriormente, los beneficiarios, puedan ver el valor que tal o cual actividad tiene Recomendaciones: 11 Título: Definición de indicadores de impacto más adecuados Una vez verificado que la medida del alcance del objetivo general no se realiza bien a partir de los indicadores sanitarios, deberían definirse otros indicadores más adecuados para poder en lo posible concretar este impacto. La influencia de muchos factores externos, unos más objetivos que otros, hacen de los índices del SIS unos indicadores poco adecuados. Tal vez se podrían aislar ciertos indicadores del SIS sobre los cuales se realizaría un estudio detallado de las influencias de otros factores sobre su mejora



32

para tenerlos en cuenta a la hora de realizar la medida del impacto. 12 Título: Estrategia de incentivos Para evitar que se valore en exceso el incentivo en vez de los beneficios que se pretenden dar a conocer con los mismos, es necesario revisar la estrategia de los incentivos o incluso suprimirlos porque podría “apantallar” los verdaderos efectos beneficiosos de las acciones que se quieren promover. Por otro lado se podrían procurar alternativas de financiación de los mismos para mantenerlos en el tiempo, a pesar de que esto nunca daría una total garantía de continuidad y quizás los efectos no tan beneficiosos que traen consigo persistirían.

5.8. Participación Todos los participantes definidos en la formulación del proyecto han sido beneficiarios de las acciones de la intervención, incluso otros grupos que no estaban ahí incluidos lo fueron. Entre ellos están los jóvenes de la localidad de Namapa que participaron en acciones de sensibilización sobre prevención de HIV y grupos de mujeres que fueron apoyadas para tener encuentros de discusión de ideas y soluciones de sus problemas.

El personal de salud (trabajadores del hospital y de los SDSMAS) son los que más han participado en las fases de identificación, monitoria y evaluación. En la ejecución de las actividades lo han hecho todos con un papel preponderante de nuevo de los responsables de los SDSMAS de Erati una vez que todas las actividades formaban parte de la planificación anual de estos servicios.

La presencia del equipo de gestión de CIC en el terreno ha favorecido la participación continua de los intervinientes y el establecimiento de canales de comunicación formales (informes, comunicaciones escritas, etc.) e informales.

5.9. Cobertura Como se ha mencionado en el punto anterior, la intervención ha alcanzado a todos los colectivos esperados incluso a otros que no estaban en principio incluidos en la formulación del proyecto.

Sólo se ha tenido que promover el acceso a algunas actividades puesto que la mayor parte de ellas formaba parte de la planificación de los servicios de salud y, por tanto, su realización era interés de los mismos. Estas actividades a las que se facilitó el acceso por parte de los beneficiarios fueron aquellas en las que se definieron incentivos y que corresponden, como ya se ha mencionado, a las madres parturientes para realizar el parto en la Unidad Sanitaria y los activistas, para realizar las búsquedas activas de pacientes en tratamiento TARV que lo hubieran abandonado.

6. Lecciones aprendidas La percepción de los problemas por parte de los beneficiarios se sitúa en el plano del corto plazo, por lo que hay que insistir siempre en el papel de refuerzo institucional orientado al medio y largo plazo.

Las estrategias de incentivos deben ser aplicadas con mucho cuidado orientando siempre los esfuerzos hacia la valoración de los beneficios que obtienen con los servicios que son ofrecidos que con los propios incentivos.

Los datos SIS no ofrecen mucha ayuda como indicadores por la influencia de multitud de factores externos. El establecimiento efectivo de sinergias depende en cierta medida en la definición de un único marco lógico donde se incorporen todos los actores.



A-1

ANEXOS ANEXO 1: Agenda de trabajo de campo DIA LUGAR INSTITUCIÓN QUIEN 15/05/2012 Nampula DPS Sr. Sebastião Madeira, Jefe departamento de Planificación y

Cooperación Sr. Fonseca Jamal, Responsable de la sección de cooperación Sr. Antonio Quepa Taipa, Jefe del Departamento de Administración y Finanzas

16/05/2012 Namapa SDSMAS Erati Sr. António Muahaja, director 17/05/2012 Alúa CS Alúa Dr. Justino Jaime, Médico Jefe del CS 18/05/2012 Mirrote CS Mirrote Sr. Nelson José, Responsable CS 24/05/2012 Namapa SDSMAS Erati Sr. Alfredo da Silva, Responsable Estadística y Planificación

Sr. Lucinda Aleixandre, Responsable distrital SMI Sr. Faustino Carlos, Responsable Unidad de Mantenimiento Sr. Domingos Rico, Operador de radio

Action Aid Sra. Nadine Taimizira, Coordinadora AA Encontro de

devolução de impressões preliminares

Dra. Roquia Fernanda, Directora Hospital, Médica Chefe Sr. Airone João Manuel, Responsable Servicios TARV Sr. António Muahaja, director SDSMAS Ricardo Armando, Responsable Farmacia distrital Bejamin do Rosario, Salud Escolar Mariamo Rafael, Técnino de Laboratorio Gilberto José, Responsble TARV. Neus Peracaula, MM Silvia Gómez, CIC

25/05/2012 Nampula DPS Sr. Antonio Quepa Taipa, Jefe del Departamento de Administración y Finanzas

ICAP Dr. Eden Mucache, Reponsable Regional SCIP Dr. Luc, Responsable regional



A-2

ANEXO 2: Fuentes consultadas (selección)

Fuentes primarias Formulación del proyecto Informes de ejecución Fuentes de Verificación recogidas Evaluación Externa Fase II

Fuentes secundarias Estrategia Africana de Salud 2007‐2015. Unión Africana Plan Estratégico del Sector Salud 2007‐2012. MISAU. Gob Mozambique Plano Indicativo Estratégico de Desarrollo Regional 2005‐2012. SADC Plan de Acción de Reducción de la Pobreza III (2007‐2014). Gobierno de Mozambique

Plan Director Cooperación Española 2009‐2012. AECID Plan Director Cooperación Valenciana 2008‐2011



A-3

ANEXO 3: Cuestionarios de entrevistas NOTA: Los formularios contienen solicitaciones de información referidas a esta evaluación y la realizada a MM dentro del PSE. Para evitar duplicidades se estimó necesario realizar formularios conjuntos. AVALIAÇÃO externa do Programa de Saúde de Erati FASE III das componentes das ONGs CIC (Atenção Secundária) e Medicus Mundi (Atenção Primária) Maio 2012 Informante: SR. DIRECTOR DOS SDSMAS DE ERATI No âmbito da Avaliação Externa do Programa de Saúde de Erati, solicita‐se a informação seguinte: CRITÉRIO Evidencias

Perguntas Chave: Prioridades do distrito/Unidade Sanitária em relação aos problemas mais importantes na área de saúde, indicando os que correspondem com a Atenção Primária e os que se correspondem mais com a Atenção Secundária.

Prioridades em quanto a áreas geográficos: Centros de Saúde com maiores dificuldades... ou áreas do distrito sem cobertura adequada

Causas destes problemas prioritários

PERTINÊNCIA

Documentação a solicitar: Plano Económico e Social 2011 e 2012 Plano Estratégico Distrital vigente Relatório anual do SDSMAS de 2011 Perguntas Chave: Indique os mecanismos de gestão do programa e colaboração com a CIC e Medicus Mundi: periodicidade dos encontros, Acordos estabelecidos, relatórios recebidos.

Acha que estes mecanismos ajudaram a implementar o projecto? Qual é o grau de satisfação em relação à colaboração?

Acha que poderia haver alguma outra maneira melhor de colaborar com estas ONGs? Outras formas de trabalho, atitude, etc?

EFICIÊNCIA

Documentação a solicitar: Acordos de colaboração assinados das ONGs com os SDSMAS. Actas de encontros? Relatórios pontuais recebidos?

EFICÁCIA Perguntas Chave: Grau de execução e obtenção de resultados. Especificamente: Para o CIC:

Existência de regulamento de funcionamento interno do Hospital. Existe? É operativo? Existência de procedimentos dos serviços de enfermaria, urgências, bloco de operações, farmácia, laboratório, armazém. Existem? São operativos?

Recursos Humanos no Hospital: o HR tem o quadro mínimo necessário de pessoal? Falta alguém? Quem?

Qual foi o apoio salarial dado ao quadro do pessoal do HR? durante quanto tempo? Pre‐contratações realizadas? Já está integrado o pessoal precontratado?

Houve um plano de formação contínua para o pessoal do Hospital? O que foi feito? Há reuniões cada 15 dias da Direcção do Hospital com os responsáveis dos distrito? Houve uma campanha de promoção das actividades de SMI? Qual foi o resultado? Foi feito algum estudo sobre as dificuldades de acesso aos serviços de saúde por parte das mulheres relacionado com a CCR?

Existem grupos de encontro de mulheres em Namapa? Se realizam encontros trimestrais com os líderes comunitários da área de influencia do Hospital para



A-4

promover o uso adequado dos serviços de saúde? Foram formados técnicos de saúde e enfermeiros? Quantos? Que formações foram feitas? Incremento anual da taxa de parto institucional: evolução da taxa de parto nos últimos anos Diminuição morte materna: evolução da taxa de morte materna nos últimos anos Equipamento para o Hospital: foi fornecido o equipamento previsto por parte do MISAU ao Hospital Rural? Era o esperado? Falta alguma coisa importante? Qual foi o valor do equipamento recebido?

A Unidade de Manutenção Distrital tem pessoal fixo?, Este pessoal tem as qualificações necessárias?, Que meios de trabalho tem?, São suficientes?, Quantos serviços faz ao mês? Responde às necessidades?, Se não, por que?

Os técnicos de manutenção receberam formações específicas para uso do equipamento recebido? O Departamento de manutenção tem protocolos e procedimentos de intervenção? Serviço TARV consolidado: quais eram as metas de inclusão no sistema TARV para 2011? Foram atingidas? Qual foi o papel do CIC para alcançar estas metas? Houve constrangimentos? Quais?

Foram feitas actividades com os activistas da área de TARV? Quais? Foram feitas campanhas de sensibilização na área de HIV? Quantas e dirigidas a quem?

Para Medicus Mundi: Planificação distrital: houve algum apoio no melhoramento do procedimento de planificação? Qual? Foi feito algum Acordo para o apoio orçamental do distrito? Qual foi o volume de apoio orçamental recebido em 2011? Quantos fundos foram transferidos? Qual foi a dotação total dos SDSMAS em 2011 (orçamento do estado + fundo comum + apoios de ONGs)?

Foi feito algum Conselho Distrital em Erati? Quantos participaram? Medicus Mundi apoiou em que? Se organizam encontros de seguimento da planificação? Cada quanto tempo? Quem participa nestes encontros? Medicus Mundi apoia em que nestes encontros?

Se organizam encontros de avaliação dos dados SIS? Cada quanto tempo? Quem participa nestes encontros? Medicus Mundi apoia em que nestes encontros?

Reabilitações de infra‐estruturas: Que reabilitações foram feitas no ano 2011? Qualidade? Foi prioritário aquilo que foi feito? Quantas Unidades Sanitárias ainda se encontram sem equipamento ou a espera de reabilitações do total de Unidades Sanitárias?

Foram feitas instalações novas de radio em Unidades Sanitárias? E reparações de sistemas de radio? Em que unidades sanitárias? Existem actualmente problemas com as radios das Unidades Sanitárias?

Pre‐contratações: Quantas pessoas e em que posições foram pre‐contratadas? Destes quantos já estão integrados no sistema de saúde?

Existe um plano de formação em serviço? O que foi realizado por Medicus Mundi no âmbito deste programa?

Existe um plano de formação continua? O que foi realizado por Medicus Mundi no âmbito deste programa?

Quantas supervisões foram feitas no 2011? Medicus Mundi participou nestas supervisões e de que maneira?

Houve alguma mudança dos guiões de supervisão? Medicus mundi teve algum papel nisto? Programa de Envolvimento Comunitário do MISAU: Foi desenvolvida a estratégia em Erati de revitalizar os APEs? De que maneira? Qual foi a contribuição de Medicus Mundi nisto?

Existe um Comité de Morte materna no distrito? Cada quanto se reúne? Qual é o papel de Medicus Mundi?

Foi feito algum estudo das causas de morte materna no distrito? Grau de execução e obtenção de resultados. Especificamente: Qual é o grau de satisfação no trabalho com CIC e Medicus Mundi? Existiram problemas nas execução de actividades? O que proporia para melhorar o trabalho em conjunto e a obtenção de resultados?



A-5

Documentação a solicitar: Regulamento de funcionamento interno do HR Procedimentos dos serviços do HR mencionados Dados SIS:

Parto institucional dos últimos anos Mortalidade Materna dos últimos anos Taxa cobertura TARV e nivel de adherencia

Relatório 2011 do serviço de TARV Plano de Formação em serviço 2011 e relatórios das actividades Plano de Formação continua 2011 e relatórios das actividades Protocolos do Serviço de Manutenção Relatórios de seguimento do PESOD 2011 Perguntas Chave: O orçamento global do distrito (OE + Fundo Comun) será suficiente para realizar todas as actividades que se vinham fazendo no âmbito deste projecto (formações, visitas de supervisão, manutenção/reabilitação de infra‐estruturas, acompanhamento TARV, reuniões de planificação e seguimento, etc.? Quais actividades se reduzirão se não contassem com o apoio das ONGs? Quais seriam os maiores problemas se não tivessem o apoio das ONGs?

A eventual saída das ONGs do distrito, terá alguma influencia (positiva ou negativa) sobre o funcionamento e qualidade dos encontros dos Comités de Morte Materna, os encontros de seguimento da planificação, os encontros de análise dos dados SIS, etc... ?

Sobre que colectivos de usuários dos serviços de saúde tiveram maior impacto as actividades realizadas?

SOSTENIBILIDADE

Documentação a solicitar: Quadro de financiamento distrital nos últimos anos: Dotação orçamental nos últimos anos indicando OE, fundo comum e ONGs

ALINHAMENTO Perguntas Chave: As actividades de CIC e MM estiveram incluídas na planificação anual dos SDSMAS? Se não, como foram posteriormente encaixadas? Se fazem algumas actividades no incluídas na planificação? Se sim, por que?

Informante: SRA. DIRECTORA HOSPITAL DE NAMAPA No âmbito da Avaliação Externa do Programa de Saúde de Erati, solicita‐se a informação seguinte: CRITÉRIO Evidencias

Perguntas Chave: Prioridades do HR em relação aos problemas mais importantes na área de saúde Causas destes problemas prioritários

PERTINÊNCIA

Documentação a solicitar: Relatório de actividades do HR 2011 Perguntas Chave: Indique os mecanismos de gestão do programa e colaboração com a CIC e Medicus Mundi: periodicidade dos encontros, Acordos estabelecidos, relatórios recebidos.



EFICIÊNCIA

Documentação a solicitar: Actas de encontros? Relatórios pontuais recebidos?



A-6

Perguntas Chave: Grau de execução e obtenção de resultados. Especificamente: Para o CIC:

Existência de regulamento de funcionamento interno do Hospital. Existe? É operativo? Existência de procedimentos dos serviços de enfermaria, urgências, bloco de operações, farmácia, laboratório, armazém. Existem? São operativos?

Recursos Humanos no Hospital: o HR tem o quadro mínimo necessário de pessoal? Falta alguém? Quem?


Houve um plano de formação contínua para o pessoal do Hospital? O que foi feito? Há reuniões cada 15 dias da Direcção do Hospital com os responsáveis dos distrito? Houve uma campanha de promoção das actividades de SMI? Qual foi o resultado? Foi feito algum estudo sobre as dificuldades de acesso aos serviços de saúde por parte das mulheres relacionado com a CCR?

Existem grupos de encontro de mulheres em Namapa? Se realizam encontros trimestrais com os líderes comunitários da área de influencia do Hospital para promover o uso adequado dos serviços de saúde?

Foram formados técnicos de saúde e enfermeiros? Quantos? Que formações foram feitas? Incremento anual da taxa de parto institucional: evolução da taxa de parto nos últimos anos Diminuição morte materna: evolução da taxa de morte materna nos últimos anos Equipamento para o Hospital: foi fornecido o equipamento previsto por parte do MISAU ao Hospital Rural? Era o esperado? Falta alguma coisa importante? Qual foi o valor do equipamento recebido?


Os técnicos de manutenção receberam formações específicas para uso do equipamento recebido? O Departamento de manutenção tem protocolos e procedimentos de intervenção? Serviço TARV consolidado: quais eram as metas de inclusão no sistema TARV para 2011? Foram atingidas? Qual foi o papel do CIC para alcançar estas metas? Houve constrangimentos? Quais?


Para Medicus Mundi: Se organizam encontros de avaliação dos dados SIS? Cada quanto tempo? Quem participa nestes encontros? Medicus Mundi apoia em que nestes encontros?



Foi feito algum estudo das causas de morte materna no distrito? Grau de execução e obtenção de resultados. Especificamente: Qual é o grau de satisfação no trabalho com CIC e Medicus Mundi? Existiram problemas nas execução de actividades? O que proporia para melhorar o trabalho em conjunto e a obtenção de resultados?

EFICÁCIA

Documentação a solicitar: Regulamento de funcionamento interno do HR Procedimentos dos serviços do HR mencionados Dados SIS:


Relatório 2011 do serviço de TARV Plano de Formação em serviço 2011 e relatórios das actividades



A-7

Plano de Formação continua 2011 e relatórios das actividades Protocolos do Serviço de Manutenção

Perguntas Chave: O orçamento global do HR (OE + Fundo Comun) será suficiente para realizar todas as actividades que se vinham fazendo no âmbito deste projecto (formações, visitas de supervisão, manutenção/reabilitação de infra‐estruturas, acompanhamento TARV, reuniões de planificação e seguimento, etc.? Quais actividades se reduzirão se não contassem com o apoio das ONGs? Quais seriam os maiores problemas se não tivessem o apoio das ONGs?

A eventual saída das ONGs do distrito, terá alguma influencia (positiva ou negativa) sobre o funcionamento e qualidade dos encontros dos Comités de Morte Materna, os encontros de seguimento da planificação, os encontros de análise dos dados SIS, etc... ?


SOSTENIBILIDADE

Documentação a solicitar: Quadro de financiamento do HR nos últimos anos: Dotação orçamental nos últimos anos indicando OE, fundo comum e ONGs

ALINHAMENTO Perguntas Chave: As actividades de CIC e MM estiveram incluídas na planificação anual do HR? Se não, como foram posteriormente encaixadas? Se fazem algumas actividades no incluídas na planificação? Se sim, por que?

Informante: Responsável de SMI distrital No âmbito da Avaliação Externa do Programa de Saúde de Erati, solicita‐se a informação seguinte: CRITÉRIO Evidencias

Perguntas Chave: Prioridades do serviço de SMI em relação aos problemas mais importantes na área de saúde Causas destes problemas prioritários

PERTINÊNCIA

Documentação a solicitar: Perguntas Chave: Indique os mecanismos de gestão do programa e colaboração com a CIC e Medicus Mundi: periodicidade dos encontros, Acordos estabelecidos, relatórios recebidos.



EFICIÊNCIA

Documentação a solicitar: EFICÁCIA Perguntas Chave:

Grau de execução e obtenção de resultados. Especificamente: Para o CIC:

Houve uma campanha de promoção das actividades de SMI? Qual foi o resultado? Foi feito algum estudo sobre as dificuldades de acesso aos serviços de saúde por parte das mulheres relacionado com a CCR?

Existem grupos de encontro de mulheres em Namapa? Se realizam encontros trimestrais com os líderes comunitários da área de influencia do Hospital para promover o uso adequado dos serviços de saúde?

Foram formados técnicos de saúde e enfermeiros? Quantos? Que formações foram feitas? Incremento anual da taxa de parto institucional: evolução da taxa de parto nos últimos anos Diminuição morte materna: evolução da taxa de morte materna nos últimos anos

Para Medicus Mundi:



A-8

Se organizam encontros de avaliação dos dados SIS? Cada quanto tempo? Quem participa nestes encontros? Medicus Mundi apoia em que nestes encontros?

Existe um plano de formação em serviço? O que foi realizado por Medicus Mundi no âmbito deste programa?



Foi feito algum estudo das causas de morte materna no distrito? Grau de execução e obtenção de resultados. Especificamente:

Qual é o grau de satisfação no trabalho com CIC e Medicus Mundi? Existiram problemas nas execução de actividades? O que proporia para melhorar o trabalho em conjunto e a obtenção de resultados?

Documentação a solicitar: Dados SIS:


Plano de Formação em serviço 2011 e relatórios das actividades Plano de Formação continua 2011 e relatórios das actividades Perguntas Chave: A eventual saída das ONGs do distrito, terá alguma influencia (positiva ou negativa) sobre o funcionamento e qualidade dos encontros dos Comités de Morte Materna, os encontros de seguimento da planificação, os encontros de análise dos dados SIS, etc... ?


SOSTENIBILIDADE

Documentação a solicitar Informante: SR. Responsáveis US de Alua e Mirrote / Responsáveis dos Serviços TARV destas Unidades Sanitárias No âmbito da Avaliação Externa do Programa de Saúde de Erati, solicita‐se a informação seguinte: CRITÉRIO Evidencias

Perguntas Chave: Prioridades da Unidade Sanitária em relação aos problemas mais importantes na área de saúde Causas destes problemas prioritários

PERTINÊNCIA

Documentação a solicitar: Perguntas Chave: Indique os mecanismos de gestão do programa e colaboração com a CIC e Medicus Mundi: periodicidade dos encontros, Acordos estabelecidos, relatórios recebidos.



EFICIÊNCIA

Documentação a solicitar EFICÁCIA Perguntas Chave:

Grau de execução e obtenção de resultados. Especificamente: Para o CIC:

Serviço TARV consolidado: quais eram as metas de inclusão no sistema TARV para 2011? Foram atingidas? Qual foi o papel do CIC para alcançar estas metas? Houve constrangimentos? Quais?




A-9

Para Medicus Mundi: Participou algum trabalhador no plano de formação em serviço? O que foi realizado por Medicus Mundi no âmbito deste programa?

Participou algum trabalhador no plano de formação continua? O que foi realizado por Medicus Mundi no âmbito deste programa?

Quantas supervisões foram feitas no 2011? Medicus Mundi participou nestas supervisões e de que maneira?

Programa de Envolvimento Comunitário do MISAU: Foi desenvolvida a estratégia de APEs na zona de influencias desta Unidades Sanitária? De que maneira? Qual foi a contribuição de Medicus Mundi nisto?

Grau de execução e obtenção de resultados. Especificamente: Qual é o grau de satisfação no trabalho com CIC e Medicus Mundi? Existiram problemas nas execução de actividades? O que proporia para melhorar o trabalho em conjunto e a obtenção de resultados?

Documentação a solicitar: Perguntas Chave: A eventual saída das ONGs do distrito, terá alguma influencia (positiva ou negativa) sobre o funcionamento e qualidade das actividades que vinham fazendo em coordenação com CIC/Medicus Mundi?


SOSTENIBILIDADE

Documentação a solicitar Informante: SR. Responsável Departamento de Manutenção No âmbito da Avaliação Externa do Programa de Saúde de Erati, solicita‐se a informação seguinte: CRITÉRIO Evidencias

Perguntas Chave: Prioridades no melhoramento da Unidade de Manutenção distrital

PERTINÊNCIA

Perguntas Chave: Indique os mecanismos de gestão do programa e colaboração com a CIC: periodicidade dos encontros, Acordos estabelecidos, relatórios recebidos.



EFICIÊNCIA

Documentação a solicitar: Perguntas Chave: Grau de execução e obtenção de resultados. Especificamente: Para o CIC:


Os técnicos de manutenção receberam formações específicas para uso do equipamento recebido? O Departamento de manutenção tem protocolos e procedimentos de intervenção?

Para Medicus Mundi: Foram feitas instalações novas de radio em Unidades Sanitárias? E reparações de sistemas de radio? Em que unidades sanitárias? Existem actualmente problemas com as radios das Unidades Sanitárias?

Grau de execução e obtenção de resultados. Especificamente: Qual é o grau de satisfação no trabalho com CIC? Existiram problemas nas execução de actividades? O que proporia para melhorar o trabalho em conjunto e a obtenção de resultados?

EFICÁCIA

Documentação a solicitar:



A-10

Protocolos do Serviço de Manutenção Relatório de 2011 dos serviços de manutenção Perguntas Chave: A eventual saída das ONGs do distrito, terá alguma influencia (positiva ou negativa) sobre o funcionamento e qualidade dos serviços prestados pela Unidade de Manutenção?

SOSTENIBILIDADE

Informante: SR. Resp. do Departamento de Administração No âmbito da Avaliação Externa do Programa de Saúde de Erati, solicita‐se a informação seguinte: CRITÉRIO Evidencias

Perguntas Chave: Prioridades do distrito em termos financeiros em relação aos problemas mais importantes na área de saúde. Prioridades em quanto a áreas geográficos: Centros de Saúde com maiores dificuldades... ou áreas do distrito sem cobertura adequada

Causas destes problemas prioritários

PERTINÊNCIA

Documentação a solicitar Perguntas Chave: Indique os mecanismos de gestão do programa e colaboração com a CIC e Medicus Mundi: periodicidade dos encontros, Acordos estabelecidos, relatórios recebidos.



EFICIÊNCIA

Documentação a solicitar: Perguntas Chave: Grau de execução e obtenção de resultados. Especificamente: Para o CIC:


Para Medicus Mundi: Planificação distrital: houve algum apoio no melhoramento do procedimento de planificação? Qual? Foi feito algum Acordo para o apoio orçamental do distrito? Qual foi o volume de apoio orçamental recebido em 2011? Quantos fundos foram transferidos? Qual foi a dotação total dos SDSMAS em 2011 (orçamento do estado + fundo comum + apoios de ONGs)?

Grau de execução e obtenção de resultados. Especificamente: Qual é o grau de satisfação no trabalho com CIC e Medicus Mundi? Existiram problemas nas execução de actividades? O que proporia para melhorar o trabalho em conjunto e a obtenção de resultados?

EFICÁCIA

Documentação a solicitar: Perguntas Chave: O orçamento global do distrito (OE + Fundo Comun) será suficiente para realizar todas as actividades que se vinham fazendo no âmbito deste projecto (formações, visitas de supervisão, manutenção/reabilitação de infra‐estruturas, acompanhamento TARV, reuniões de planificação e seguimento, etc.? Quais actividades se reduzirão se não contassem com o apoio das ONGs? Quais seriam os maiores problemas se não tivessem o apoio das ONGs?

A eventual saída das ONGs do distrito, terá alguma influencia (positiva ou negativa) sobre o funcionamento e qualidade das actividades realizadas?

SOSTENIBILIDADE

Documentação a solicitar:



A-11

Quadro de financiamento distrital nos últimos anos: Dotação orçamental nos últimos anos indicando OE, fundo comum e ONGs

Informante: SR. Resp. da Área Estatística No âmbito da Avaliação Externa do Programa de Saúde de Erati, solicita‐se a informação seguinte: DADOS 2010‐2011 Taxa e incidência da malaria Taxa de incidência da diarréia Consultas por habitante Taxa de mortalidade materna general Cobertura de TARV en pacientes HIV+ Seguimiento de pacientes VIH+ Partos institucionais Consultas SMI Cobertura Vacinal Crianças menores de 1 ano totalmente vacinadas Consultas pré‐natais e pos‐ natais Casos de tétanos na gravidez e idade fértil Produtividade ESMI Mortalidade Materna Num de Unidades Sanitárias operativas Recursos Humanos / habitante Numero de rádios e ambulâncias operativas Num de agentes de farmácia no distrito Consultas / habitante UAS / Habitante Ratio Trabalhador sanitário / habitantes Habitantes / técnico de salud Taxa ocupação de camas Produtividade x sanitário em UAS Num de usuários em métodos de planificação familiar Unidades sanitários por 500.000 habitantes que prestam cuidados obstétricos de emergência básicos Consultas pos‐parto Prevalência HIV em mulheres grávidas Num de pessoas HIV+ desagregado por sexo



A-12

ANEXO 4: Términos de Referencia en documento separado

externa final de evaluación de período de ejecución ... · sector 5 / fernando de los ríos...

Documents