evaluación intermedia del proyecto

TERMINOS DE REFERENCIA

Evaluación Intermedia del proyecto:

“Fortalecimiento de Capacidades Locales para la implementación de medidas de adaptación al cambio climático” (Proyecto PER 1101)

I

CONTENIDO:

1. ANTECEDENTES ................................................................................................. 2

1.1. PRESENTACIÓN RÁPIDA DEL COMANDITARIO DE LA EVALUACIÓN ............................................ 2 1.2. PRESENTACIÓN DE LA EVALUACIÓN .......................................................................................... 3

1.2.1. Objetivos ................................................................................................................................. 3 1.2.2. Ubicación del proyecto ......................................................................................................... 3 1.2.3. Objetivos y resultados buscados por el proyecto ............................................................. 3 1.2.4 Tipo de evaluación ................................................................................................................. 3 1.2.5. Temas de la evaluación ....................................................................................................... 3

2. LA EVALUACIÓN ................................................................................................. 4

2.1. CONTENIDO DE LA EVALUACIÓN ................................................................................................ 4 2.1.1. PERTINENCIA............................................................................................................... 4 2.1.2. EFECTIVIDAD ............................................................................................................... 4 2.1.3. EFICIENCIA ................................................................................................................... 4 2.1.4. EFECTOS / IMPACTOS .............................................................................................. 5 2.1.5. SOSTENIBILIDAD ........................................................................................................ 5 2.1.6. Coherencia , complementariedad y coordinación, ................................................... 5 2.1.7. Temas de Welthungerhilfe para la evaluación .......................................................... 5

2.2. METODOLOGÍA .......................................................................................................................... 7 2.3. ESTRUCTURA DEL INFORME FINAL DE EVALUACIÓN ................................................................. 7 2.4. RECURSOS FINANCIEROS .......................................................................................................... 9 2.5. RECURSOS HUMANOS ............................................................................................................... 9 2.6. CALENDARIO REFERENCIAL DEL PROCESO DE EVALUACIÓN .................................................... 9 2.7. CRITERIOS DE VALORACIÓN A LAS PROPUESTAS ................................................................... 10

3. EL FORMATO DE LA PROPUESTA .................................................................. 10

1 - ANTECEDENTES ............................................................................................................................... 10 2 - PROPÓSITO DE LA EVALUACIÓN ....................................................................................................... 11 3 - ENFOQUE DE LA EVALUACIÓN .......................................................................................................... 11 4 - ALCANCE DE LA EVALUACIÓN ........................................................................................................... 11 5 - PREGUNTAS GUÍA DE LA EVALUACIÓN ............................................................................................. 11 6 - FASES DEL PROCESO DE EVALUACIÓN ............................................................................................ 11 7 - PRESUPUESTO (PROPUESTA ECONÓMICA) ...................................................................................... 11 8 - CRONOGRAMA .................................................................................................................................. 11

4. ANEXOS ............................................................................................................. 11

4.1. CURRICULUM VITAE DEL CONSULTOR .................................................................................... 11 4.2. CURRICULUM DE CONSULTORES ASISTENTES (SI CORRESPONDE) ........................................ 11

TDR Evaluación de Programa.

Versión, 2012. Página 2 de 19

1. ANTECEDENTES

1.1. Presentación rápida del comanditario de la evaluación

Welthungerhilfe, nace en 1962 como parte del Comité Nacional de apoyo a la Organización de las Naciones Unidas para la Agricultura y la Alimentación (FAO), en el marco de la campaña por la lucha contra el hambre. Tiene por visión: Un mundo en que todos tienen el derecho y la oportunidad de vivir una vida auto-determinada en dignidad y justicia, libre de hambre y pobreza. En Perú y desde el año 1969, coordina acciones e iniciativas de apoyo al fortalecimiento de la sociedad civil, la atención de desastres y la agricultura y nutrición. En ese marco y en alianza con Asociación Arariwa y el Centro Andino de Educación y Promoción CADEP implementa el proyecto “Fortalecimiento de Capacidades Locales para la implementación de medidas de adaptación al cambio climático”, el mismo que es co-financiado entre la Comisión de la Unión Europea (UE) y Welthungerhilfe.

Transcurridos dos año y medio de ejecución, en el marco del proyecto y ante el objetivo de determinar los efectos directos e impactos (a corto, mediano y largo plazo, previstos e imprevistos) originados por ellos, se asume la evaluación para la presente gestión (2012).

La evaluación se basa en las informaciones de la planificación del proyecto (formulación vigente del sistema de objetivos) de la Welthungerhilfe, el contrato con una entidad co-financiera, el monitoreo interno del proyecto, como también en las investigaciones de la evaluadora / del evaluador. Las bases de la evaluación son presentadas en el concepto temático “Evaluación orientada a efectos del trabajo de Welthungerhilfe1”. Por lo tanto, la evaluación se orienta en los criterios DAC (eficiencia, efectividad, pertinencia, efecto, sostenibilidad) así como en los estándares del DAC y de la DeGEval. Los datos generales más relevantes del proyecto se citan a continuación:

País: Perú Nombre del Programa: “Fortalecimiento de Capacidades Locales para la

implementación de medidas de adaptación al cambio climático”

Número del Programa: PER 1101, DCI-NSAPVD/2009/79 Titular del Programa: Welthungerhilfe con As. Arariwa y CADEP Monto aprobado: € 533.163 Co-financiera (Línea): Comisión de Unión Europea (Actores no estatales) Período del Programa: 01 de febrero de 2010 al 31 de enero del 2014

1Concepto temático “Evaluación orientada a efectos del trabajo de Welthungerhilfe”, cuarta edición

revisada y actualizada, Noviembre 2009.


1.2. Presentación de la evaluación

1.2.1. Objetivos

La evaluación se enmarcará en los siguientes objetivos específicos:

o Determinar cuáles son los efectos directos e impactos actuales y potenciales (a corto, mediano y largo plazo), previstos y no previstos originados por el Programa.

o Determinar y analizar la relevancia, eficiencia, efectividad, sostenibilidad y Coherencia, Complementariedad y Coordinación

o Identificar las lecciones aprendidas y plantear recomendaciones para futuras

intervenciones, que combinan el tema seguridad alimentaria y adaptación al

cambio climático incluyendo estratégicas en el marco de futuras iniciativas

temáticas (ver anexo), p.ej. Seguridad Alimentaria y Nutricional en Costa y

Sierra de Perú, Ecuador y Bolivia, elaborar un borrador de la misma

o Generar un mayor aprendizaje (en cuanto a los criterios DAC) en los equipos

de los socios directamente relacionados con el proyecto así como de los socios

de Welthungerhilfe en Bolivia y Perú.

o Elaboración de recomendaciones para el resto del proyecto, incluyendo

elemntos de una estrategia de sistematización y difusión

1.2.2. Ubicación del proyecto

País: Perú Departamento: Cusco Provincias: Paucartambo, Chumbivilcas Distritos: Paucartambo, Colquepata, Huancarani, Santo Tomás, Llusco, Quiñota

1.2.3. Objetivos y resultados buscados por el proyecto

Ver documento del programa en el anexo

1.2.4 Tipo de evaluación

Se trata de una evaluación: a) Intermedia y de carácter externo, b) Participativa, en la intención de contar con la perspectiva y opinión del grupo

meta del Programa, el equipo del Programa y otros socios de Welthungerhilfe. c) Formativa, porque está orientada a fortalecer las capacidades y conocimientos

de las organizaciones socias en el presente y otros Programas de Welthungerhilfe.

1.2.5. Temas de la evaluación

La evaluación deberá considerar los siguientes temas de manera transversal: a) Seguridad Alimentaria y Nutricional Adaptación al cambio climático b) Género


c) Interculturalidad

2. LA EVALUACIÓN 2.1. Contenido de la evaluación En conformidad con las directrices de la OCDE (Organización de Cooperación y Desarrollo Económico) y Welthungerhilfe, el/la evaluador/a se basará en 5 criterios CAD de evaluación, con un enfoque participativo.

Los criterios son los siguientes: Relevancia, eficiencia, efectividad, efectos/impactos y sostenibilidad. A ello se agrega el criterio Coherencia, Complementariedad y Coordinación.

Preguntas orientadoras se encuentran en el anexo.

2.1.1. PERTINENCIA

El criterio de pertinencia establece en qué medida los objetivos de una intervención para el desarrollo son congruentes con los requisitos de los beneficiarios, las necesidades del país, las prioridades globales y las políticas de los asociados y donantes.

2.1.2. EFECTIVIDAD

Es la medida en la que se logran o se espera lograr los objetivos de la intervención para el desarrollo, tomando en cuenta su importancia relativa.

La “efectividad” abarca un análisis cualitativo de los pasos de preparación, planificación, manejo y realización del Programa, así como un análisis de la entidad ejecutora.

2.1.3. EFICIENCIA

La eficiencia mide la relación recursos invertidos/resultados obtenidos. Para esto, el/la evaluador/a evaluará los medios establecidos e implementados por el Programa para su realización.

3. La evaluación deberá contestar también las siguientes preguntas orientadoras por parte de:

4. ¿Las entidades ejecutoras del proyecto lograron adecuar su estructura institucional al enfoque de efectos e impactos, para el logro de los resultados?

5. ¿Se han entregado los recursos de manera oportuna y adecuada a las entidades ejecutoras para implementar el proyecto?

6. ¿Qué medidas se han tomado en la planificación e implementación del proyecto para asegurar el uso eficiente de los recursos?

7. ¿Las actividades y productos del proyecto se hubiera podido ejecutar con menos recursos sin reducir su calidad y cantidad?


7.1.1. EFECTOS / IMPACTOS

El criterio de impacto mide los efectos de largo plazo, positivos y negativos, primarios y secundarios, producidos directa o indirectamente por una intervención para el desarrollo, intencionalmente o no.

7.1.2. SOSTENIBILIDAD

El criterio de sostenibilidad aprecia la continuación de los beneficios de la intervención para el desarrollo después de concluida la misma, la probabilidad de que continúen los beneficios en el largo plazo, la situación en la que las ventajas netas son susceptibles de resistir a los riesgos con el correr del tiempo.

7.1.3. Coherencia, complementariedad y coordinación,

1. ¿El marco lógico del proyecto tiene un diseño coherente para alcanzar el

objetivo del proyecto? 2. ¿Existe coherencia en la definición del objetivo general, especifico,

resultados y productos esperados? 3. ¿El proyecto considero una línea de base y mecanismos de monitoreo y

evaluación y como se podría mejorar los indicadores ya existentes?. 4. ¿Existen otras acciones no previstas en proyecto que coadyuvan en el uso

de los productos? 5. ¿Cómo es la coordinación entre las entidades ejecutoras para homogenizar

herramientas e instrumentos de gestión del proyecto?

7.1.4. Temas de Welthungerhilfe para la evaluación

La evaluación deberá considerar los siguientes temas de manera transversal:

a) Seguridad Alimentaria y Nutricional Preguntas orientadoras:

1. ¿El Proyecto contribuye a la disponibilidad de alimentos de calidad de los grupos meta?

2. ¿El Proyecto contribuye al acceso económico y físico de alimentos por parte de los grupos meta?

3. ¿El Proyecto contribuye a un mejor uso y consumo de alimentos por parte de los grupos meta?

4. ¿El Proyecto contribuye al fortalecimiento de organizaciones y capacidades individuales para que el grupo meta ejerza su derecho a una alimentación adecuada, ante las autoridades locales (cuando menos)?

b) Adaptación al cambio climático Se debería averiguar, dentro del marco de la evaluación, cuales son las experiencias que se hacen con los riesgos provocados por el cambio climático y con las incidencias extremas del tiempo durante la planificación e implementación del Proyecto.


Las siguientes preguntas de orientación deben facilitar este proceso de evaluación para las peritas y los peritos. Las respuestas deberían poder averiguarse a través de visitas de campo y consultas con los participantes del proyecto, sin necesidad de una investigación amplia.

1. Comprensión fundamental: Se puede notar un entendimiento básico respecto al

desafío del cambio climático entre la dirección de la Oficina Regional, la

coordinación del Proyecto y los socios? Como se desarrolla este entendimiento

básico?

2. Existe una política nacional de cambio climático por parte del gobierno

nacional/municipal del país socio? Es considerada en el Proyecto, sea para la

preparación o para la implementación local concreta?

3. ¿El Proyecto dispone de datos básicos o pronósticos del clima para la zona del

Proyecto? Estos son utilizadas por el Proyecto?

4. Medidas realizadas: ¿Parecen adecuadas las medidas realizadas respecto a la

adaptación al cambio climático? ¿Se están aplicando tecnologías favorables al

clima y eficientes en su consumo de energía y se está promocionando su

difusión?

5. Objetivo e impacto: ¿Se espera el logro de impactos sostenibles respecto la

adaptación al cambio climático? ¿Parece ser necesaria una adaptación de la

planificación, considerando el estado actual y los recursos disponibles? En el

caso afirmativo, ¿cómo debería ser estructurada aquella adaptación?

6. ¿El Proyecto ha contribuido a incrementar la capacidad de incidencia política

(ante autoridades locales cuando menos) de los grupos meta?

c) Género

Preguntas orientadoras:

1. ¿Los productos y actividades del Proyecto consideran y promuevan la participación de mujeres y jóvenes?

2. ¿El Proyecto promueve el liderazgo de mujeres y jóvenes en las estructuras locales?

3. ¿Los efectos e impactos del Proyecto alcanzan específicamente a mujeres y jóvenes?

d) Interculturalidad Preguntas orientadoras:

1. ¿Los productos y actividades del Proyecto consideran, respetan y promueven

la cultura de los grupos meta? 2. ¿Existen mecanismos de participación y consideración de las opiniones de los

grupos meta sobre los resultados, calidad y gestión del Proyecto?


7.2. Metodología

La evaluación deberá contemplar una metodología que sea participativa y formativa, es decir que:

a) Contemple las percepciones y opiniones del grupo meta, el equipo técnico del Proyecto y las organizaciones socias.

b) Permita el aprendizaje por parte del equipo técnico del Proyecto y otros socios de Welthungerhilfe respecto a procesos de evaluación bajo los criterios DAC.

7.3. Estructura del informe final de evaluación El Informe debe responder a la siguiente estructura: Índice Listado de Abreviaciones Registro de tablas, ilustraciones, casillas, etc. Agradecimientos y responsabilidades por el informe I. Resumen Ejecutivo 1. Resumen del Programa y de las condiciones básicas 2. Criterios DAC 3. Recomendaciones más importantes 4. Conclusiones generales y “lecciones aprendidas” II. Texto principal 0. Notas preliminares 0.1 Razón y objetivo de la evaluación 0.2 Desarrollo de la evaluación 0.3 Método de la investigación 1. Descripción de los Proyecto 1.1 Descripción resumida de los Proyecto 1.2 Condiciones marco 1.3 Grupos meta 2. Pertinencia 2.1 Pertinencia para los problemas centrales del grupo meta 2.2 Pertinencia para los objetivos de Welthungerhilfe 2.3 Pertinencia para los objetivos de la entidad ejecutora y del país contraparte 3. Efectividad 3.1 Consecución de los objetivos 3.2 Preparación del Proyecto


3.2.1 Calidad del análisis de los grupos meta, actores y de la situación 3.2.2 Consideración de enfoques y estructuras de autoayuda 3.3 Planificación del Proyecto 3.3.1 Calidad de la matriz de planificación 3.3.2 Análisis de las relaciones causa-efecto (cadena de resultados) 3.3.3 Realismo de los objetivos 3.3.4 Adecuabilidad de la planificación de personal, logística y recursos financieros 3.4 Análisis de la entidad ejecutora 3.4.1 Estructura institucional y campos principales de trabajo 3.4.2 Personal, equipamiento y logística 3.4.3 Gestión del Proyecto y administración financiera 3.5 Seguimiento por la Sede Central, Oficina Regional, y cooperación con la

entidad ejecutora 3.6 Calidad de la implementación del Proyecto 3.6.1 Descripción y evaluación de las actividades y de los servicios prestados por el

Proyecto (“output”) 3.6.3 Participación de los grupos meta y cooperaciones con otros 3.6.4 Evaluación global de la implementación del Proyecto 3.6.5 Ocurrencia de los supuestos y riesgos 4. Eficiencia 4.1 Relación costo – beneficio del Proyecto 4.2 Relación costo – beneficio de las diferentes medidas 4.3 Calidad del sistema de M&E interno del Proyecto 4.4 Otros aspectos 5. Efectos directos e impactos a corto, mediano y largo plazo 5.1 Efectos directos 5.1.1 Efectos económicos 5.1.2 Efectos socio-culturales 5.1.3 Efectos en el establecimiento de estructuras 5.1.4 Efectos ecológicos 5.2 Impactos 5.2.1 Impactos económicos 5.2.2 Impactos socio-culturales 5.2.3 Impactos en el establecimiento de estructuras 5.2.4 Impactos ecológicos 5.3 Contribución del Proyecto a los objetivos de desarrollo del milenio 5.4 Impacto al fortalecimiento institucional de lo socios 5.5 Otros aspectos 6. Sostenibilidad 6.1 Sostenibilidad económica-financiera / seguridad alimentaria y nutricional 6.2 Sostenibilidad socio-cultural 6.3 Establecimiento de estructuras 6.4 Sostenibilidad ecológica 6.5 Otros aspectos

7. Coherencia, Complementariedad y Coordinación 7.1. Coherencia con políticas y prioridades públicas 7.2. Complementariedad y sinérgias con esfuerzos de beneficiarios, instituciones

públicas u otras organizaciones y proyectos


7.3. Nivel de coordinación, cooperación y relacionamiento con los actores clave del entorno del proyecto (beneficiarios, autoridades locales y sectoriales, otros proyectos)

8. Recomendaciones y conclusiones específicas 8.1. Conclusiones específicas 8.2. Recomendaciones 9. Conclusiones y recomendaciones globales con importancia para otros

Programas 9.1 Supervisión y asesoría a los programas y los socios ejecutores por

Welthungerhilfe 9.2 Principales lecciones aprendidas 9.3 Ejemplos positivos del Proyecto (buenas prácticas) 9.4 Recomendaciones para el uso de los resultados de evaluación por Welthungerhilfe y socios 10. Temas específicas para Welthungerhilfe Anexos

Términos de referencia de la evaluación

Matriz de planificación del Programa

Itinerario del viaje y del trabajo

Fuentes (personas contactadas, documentos, estudios, etc.)

Ejemplos, particularidades

Acta de la reunión final con los socios

Mapas (si aplica)

Fotos, dibujos técnicos, explicaciones (si aplica)

Otros (si aplica) 7.4. Recursos financieros Tanto el pago del servicio de consultoría, como los aspectos logísticos de traslados, etc. Correrán a cargo de Welthungerhilfe como entidad contratante de la presente consultoría. 7.5. Recursos humanos Los que se propongan en la presente convocatoria.

7.6. Calendario referencial del proceso de evaluación

a) 10 de octubre: Convocatoria

b) 19 de octubre: Cierre para la presentación de propuestas

c) 24 de octubre: Evaluación de propuestas y comunicación de propuesta ganadora

d) 26 de octubre: Firma de contrato e inicio de actividades (revisión bibliográfica)


e) 05 de noviembre: inicio de las actividades de campo

Una semana ámbito Paucartambo, una semana ámbito Chumbivilcas

f) 17 de noviembre: Conclusión del proceso de evaluación en campo

g) 30 de noviembre: Entrega del primer borrador de informe de evaluación, Análisis y

discusión participativa de los resultados de la evaluación con las entidades ejecutoras y

Welthungerhilfe

h) 15 de diciembre 2012: entrega del Informe Final de Evaluación

7.7. Criterios de valoración a las propuestas

Para la valoración de las propuestas se aplicarán los siguientes criterios y porcentajes:

PROPUESTA TECNICA 40%

¿Hace explicación detallada de los fundamentos teóricos que sustentan su propuesta?

5%

¿Proceso metodológico explícito a desarrollar? 15%

¿Precisa los productos a entregar? 10%

¿Presenta Cronograma y plazos para desarrolla el proceso? 5%

OTROS 5%

PROPUESTA ECONOMICA (EUR) 24%

Costo total de la propuesta 18%

¿Incluye detalles por actividades o partidas especificas (viajes honorarios, otros) ?

3%

¿Incluye cronograma de pago? 3%

EXPERIENCIA PROFESIONAL EN TEMAS específicos (cambio climático, seguridad alimentaria, otros)

16%

Adaptación al cambio climático 5%

Seguridad alimentaria nutricional 5%

Género 3%

Interculturalidad 3%

EXPERIENCIA PROFESIONAL EN EVALUACIÓN DE PROGRAMAS

10%

Evaluación de Programas, lista de referencias sobre trabajos realizados

10%

CONOCIMIENTO Y FORMACION PROFESIONAL 10%

Estudio Profesional- Títulos 4%

Estudios post grado 4%

Otros 2%

Además es un requisito indispensable la presentación de comprobantes oficiales (factura o recibo por honorarios) para el desembolso del honorario acordado.

8. EL FORMATO DE LA PROPUESTA Para facilitar el análisis de las propuestas se solicita que los proponentes se rijan a la siguiente estructura de propuesta:

1 - ANTECEDENTES


2 - PROPÓSITO DE LA EVALUACIÓN 3 - ENFOQUE DE LA EVALUACIÓN 4 - ALCANCE DE LA EVALUACIÓN 5 - PREGUNTAS GUÍA DE LA EVALUACIÓN 6 - FASES DEL PROCESO DE EVALUACIÓN 7 - PRESUPUESTO (PROPUESTA ECONÓMICA) 8 - CRONOGRAMA

9. ANEXOS

9.1. Curriculum Vitae del Consultor

9.2. Curriculum de consultores asistentes (si corresponde)


Anexo: a) Explicaciones: Explicaciones generales acerca de la evaluación:

Durante la evaluación, el evaluador / la evaluadora elabora los siguientes productos: o Documentación de las constataciones y recomendaciones preliminares, así

como de la discusión final in situ (idioma oficial del país) o Informe principal de la evaluación (en español) o Versión para el Internet del resumen ejecutivo (en el idioma del informe

principal) o Versión resumida de los resultados de la evaluación para el Secretario

General (en español) En particular:

o Las principales constataciones y recomendaciones de los evaluadores / las evaluadoras son presentadas a la entidad / el equipo contraparte (en forma escrita) y discutidas. Los principales resultados de esta discusión final (consenso / divergencias) son protocolizados. El acta final es firmado por el evaluador / la evaluadora y el Director de la entidad contraparte o el jefe del Programa. En lo posible, un representante de la oficina regional deberá participar en esta discusión.

o El informe principal debe abarcar unas 35 páginas (sin anexos). Debe ser comprensible por sí mismo también por personas externas.

o El capítulo I. (resumen) del informe principal, conjuntamente con la carátula, es publicado en el internet por Welthungerhilfe2 (versión internet).

o El resumen de los resultados de la evaluación para el Secretario General se orienta en los contenidos del resumen del informe principal es redactado en alemán, limitándose a un volumen máximo de 3 páginas.

La evaluación debe orientarse a efectos e impactos. Eso no sólo debe ser evidente en el capítulo “efectos directos e impactos” (5), sino también en todos los demás capítulos donde se pondrá énfasis en la presentación de aspectos relevantes para los efectos.

La Welthungerhilfe muchas veces es denominada de otra manera en los idiomas locales. En el informe sólo debe ser utilizado el nombre en alemán “Welthungerhilfe” (por favor nunca utilizar abreviaciones).

La versión final del informe principal debe ser entregada, en lo posible, en el formato electrónico PDF y en un formato editable, sino, en forma impresa. El informe principal puede contener como mucho un máximo de 5 imágenes para la ilustración directa. Por lo demás, fotos o dibujos ilustrativos, mapas, etc. son siempre bienvenidos, pero deben ser presentados en un anexo separado.

2 Se debe tener en cuenta que por razones de protección de datos, no deben aparecer datos personales

en este capítulo. “Datos personales” son detalles acerca de las condiciones personales o materiales de una persona natural determinada o identificable (persona afectada).


Explicaciones específicas con respecto a diferentes contenidos del informe Referente a I. El resumen debe abarcar aproximadamente 3 páginas, redactadas en el idioma del informe principal, y debe concordar con el resumen en alemán elaborado para el Secretario General de Welthungehilfe. Referente a II. Texto principal, en detalle: Capítulo 0.: (0.2) Los siguientes puntos deben ser considerados: período de la evaluación, participación de la entidad ejecutora en la formulación de los términos de referencia y la ejecución, acontecimientos especiales, composición del equipo de evaluadores. Así como (0.3): Magnitud de la evaluación, qué métodos y, eventualmente, qué sondeos participativos fueron utilizados, y qué triangulación fue aplicada. Por ejemplo, sería razonable realizar una triangulación de “inspección in situ y análisis de evaluador / de la evaluadora”, “sondeo participativo acerca de la percepción del grupo meta” y “entrevistas con informantes clave” y “análisis de documentos”). Capítulo 1.: (1.1) Descripción muy resumida del Programa (máximo 2 páginas); indicación si el Programa es implementado por una entidad contraparte o por la Welthungerhilfe misma; en el caso dado, su ubicación en un programa (1.2) Las condiciones marco relevantes del Programa deben ser descritas con referencia a nivel nacional y nivel del Programa (1.3). Los grupos meta directos e indirectos también deben ser cuantificados. Capítulo 2.: (2.2)La pertinencia del Programa para los objetivos de la Welthungerhilfe se orienta en los respectivos objetivos estatutos institucionales, conceptos técnicos, conceptos y programas por país o región, y marcos orientadores de la Welthungerhilfe, (incluyendo la guía temática “Orientación a Efectos e Impactos3”), como también en los documentos de VENRO obligatorios para Welthungerhilfe (en los casos dados se acordará con la evaluadora / el evaluador cual de los documentos debe servir de base). ¿El Programa fue planificado conforme a estos documentos conceptuales y orientadores? Bajo el punto “otros aspectos” (2.4) por ejemplo debe ser precisado en el caso de Programas co-financiados por el Ministerio Federal de Cooperación Económica BMZ, denominada “concepto de fomento”) Capítulo 3.:El capítulo “efectividad” abarca un análisis cualitativo de los pasos de preparación, planificación, manejo y realización del Programa, así como un análisis de la entidad ejecutora. El capítulo comienza con una descripción del cumplimiento de los objetivos. En cuanto a efectos directos (outcomes) pueden producirse traslapes con el capítulo 5: En el capítulo 5 se debe hacer constar todos los efectos comprobables, en el capítulo 3.1 sólo aquellos efectos directos que habían sido descritos en el objetivo del Programa, y de manera muy resumida para evitar duplicidades (eventualmente se puede tabular el cumplimiento de indicadores). A continuación, todos los capítulos deben concentrarse en una descripción de los factores que habían tenido influencia positiva o negativa con respecto al logro de los objetivos. Bajo el punto “preparación del Programa” (3.2), entre otros, el análisis de problemas y potencialidades, la selección del grupo meta, así como la coordinación y complementariedad con las contrapartes deben ser analizados. La participación del grupo meta es un criterio de calidad en la evaluación de la preparación del Programa.

3 Welthungerhilfe, Guía “Orientación a efectos e impactos en los Programas y programas de

Welthungerhilfe”, 3 partes, Octubre 2008


Bajo el punto “matriz de planificación del Programa” (3.3.1) se debe analizar la calidad de la MPP (inclusive los indicadores y los aspectos de género4). En el análisis de las relaciones causa-efecto (3.3.2) se debe indagar acerca de las hipótesis de efectos que sostienen la MPP (las hipótesis que pueden ser derivadas de la MPP respectivamente), y la medida en la cual éstas corresponden con el parecer de los grupos meta y contrapartes, y los requerimientos locales. (3.4 y 3.5)En el caso de Programas que son implementados por la Welthungerhilfe misma, la noción “titular” se refiere al equipo local de la Welthungerhilfe (3.4). La evaluación de la entidad ejecutora debe abarcar los aspectos de género. (3.6.1)La descripción y calificación de los servicios del Programa se atiene a la MPP y los respectivos indicadores (planificado / realizado). Las eventuales subdivisiones del capítulo 3.6 deberían realizarse conforme a las áreas de prestación de servicios, pudiéndose resumir las principales actividades en forma de tablas. (3.6.4) La ocurrencia de supuestos y riesgos – esperados o inesperados – y los respectivos ajustes a la planificación y gestión que ello requiera deben ser discutidos. Capítulo 4.: En lo posible, las constataciones con respecto a la eficiencia deberían ser sustentadas con datos numéricos. El análisis de la relación costo – beneficio del Programa en general (4.1) se refiere a la relación entre los efectos e impactos y los recursos (insumos), mientras que el análisis costo – beneficio de las diferentes actividades (4.2) se refiere a la relación entre los productos y los recursos (insumos). En el análisis de la eficiencia de las diferentes actividades (4.2) se debería en lo posible considerar la rentabilidad de la actividad misma (dado el caso incluyendo cálculos de margen de cobertura). (4.3) En la apreciación de los sistemas internos de M&E se debe poner particular énfasis en la calificación del monitoreo de efectos e impactos. En ese caso no es suficiente constatar si los datos son registrados sistemáticamente, sino también si son utilizados para la gestión del Programa. (Los informes de evaluación deben proporcionar los datos necesarios para verificar el siguiente indicador general de monitoreo, nombrado en la estrategia 2007 – 2011 de Welthungerhilfe: En los programas del exterior los efectos e impactos de los Programas son registrados y analizados sistemáticamente,y las conclusiones contribuyen al mejoramiento de la gestión de Programas) Capítulo 5.: El capítulo “efectos directos e impactos” es la parte principal del informe Explicación: Un Programa de la Welthungerhilfe se concentra en el primer nivel de efectos, que normalmente equivale al objetivo del Programa: ¿Cómo son utilizados los productos del Programa por el grupo meta (use of output), y que efecto directo (outcome) es generado por el Programa? Este nivel debe ser analizado por el sistema interno de M&E, para ser utilizado en la gestión del Programa. Mas amplios impactos de desarrollo (impacts) pueden ser registrados – aunque no obligatoriamente - por el sistema interno de M&E. Entonces, deben ser analizados y calificados por el evaluador con instrumentos adecuados. En el caso de Programas de corto plazo para el alivio inmediato (menos de 12 meses), el “monitoreo de productos” tiene mayor importancia que el “monitoreo de efectos e impactos”. En este capítulo se diferencia entre (5.1) el uso de los productos y el efecto directo (“use of output”/”outcomes”) y (5.2) el impacto. El aspecto más importante es el uso de los productos del Programa por los respectivos beneficiarios y su utilidad. Se empieza con los “efectos económicos (5.1.1), “socio-

4 VENRO, “Género en la cooperación para el desarrollo”, Diciembre 2006


culturales” (5.1.2), “en el establecimiento de estructuras” (inclusive las capacidades de autoayuda promovidas5) (5.2.3) y “efectos e impactos ecológicos” (5.1.4). Los impactos pueden ser categorizados de igual manera (5.2.1 – 5.2.4). Sin embargo, si resulta demasiado difícil diferenciar entre ambas dimensiones, el/la evaluadora podrá simplificar la estructura del capítulo 5 consecuentemente. La presentación de estas dimensiones debe referirse a efectos e impactos previstos e imprevistos, positivos y negativos. El análisis de los efectos e impactos debe hacerse con un doble criterio: en relación a los indicadores de los objetivos de la MPP, y en relación a la percepción de los involucrados en el Programa, particularmente el grupo meta (con sensibilidad para aspectos de género6). En lo relacionado a los efectos directos (outcome) pueden existir traslapes con el capítulo 3.1: En el capítulo 5 todos los efectos e impactos identificables deben ser presentados, mientras que en el capítulo 3.1 sólo aquellos efectos directos que habían sido precisados en el objetivo del Programa. Para analizar los efectos e impactos desde el punto de vista de los grupos meta se debe utilizar métodos participativos adecuados (MAPP, PALSA, etc.). El siguiente indicador general de efectos, que está indicado en la estrategia 2007-2011 de Welthungerhilfe, debe ser respondido en base a los informes de evaluación: “En el 50 % de las evaluaciones relevantes se ha constatado efectos e impactos positivos en relación a por los menos tres factores de las condiciones de vida (“livelihoodfactors”). La mayoría de los Programas de la Welthungerhilfe se relacionan directamente con uno o varios de los objetivos de milenio (5.3), los efectos respectivos deben ser descritos. Para evitar duplicidades se puede hacer una simple referencia al capítulo respectivo. Si hay otras dimensiones de importancia, pueden ser mencionadas bajo (5.4). Capítulo 6.: El capítulo “sostenibilidad” debe ser desagregado de la misma manera como el capítulo “efectos e impactos”. Si se trata de Programas en curso, la sostenibilidad normalmente sólo puede ser descrita como “sostenibilidad” potencial. Dentro de las dimensiones mencionadas la sostenibilidad puede ser clasificada según diferentes criterios (por ejemplo orientada al Programa, a productos, a innovaciones, o a sistemas), en otras palabras: “¿continua el trabajo en el sentido de las medidas promovidas después de haber terminado el Programa?”, “¿las medidas son replicadas por otros actores?” así como “¿el grupo meta está en condiciones para seguir desarrollando las medidas en un contexto variado?”. (6.3) “Creación de estructuras” puede referirse tanto al mejoramiento de estructuras básicas (comités de agua, etc.) como al fomento deestructuras estatales. Capitulo 7: Coherencia, Complementariedad y Coordinación busca identificar de que forma los programas / proyectos se interrelacionan con su entorno, evitando ser “islas”. Capítulo 8.: Recomendaciones y conclusiones específicas Para evitar duplicidades las recomendaciones sólo son presentadas (conjuntamente con el resumen) en el capítulo 8. A través de referencias a los capítulos del texto principal (II) se debe establecer una clara relación entre la constatación y recomendación del caso. Las recomendaciones deben ser marcadas con una referencia a la constatación respectiva. Se sugiere estructurar las recomendaciones según los siguientes criterios: “¿A quien se dirige la recomendación (por ejemplo Welthungerhilfe o entidad ejecutora)?”, ¿Qué prioridad tiene su puesta en práctica?”, ¿En qué plazo debe ser puesta en práctica?”.

5 Para tal fin se debería utilizar el documento de trabajo de Welthungerhilfe “Ayuda para la Autoayuda en

la cooperación de Welthungerhilfe” 6 Para tal fin se debería utilizar el marco de orientación de VENRO “Género en la cooperación para el

desarrollo”


Capítulo 9.: Conforme a DAC las “lecciones aprendidas” (“lessons learned”) son: Generalizaciones basadas en las experiencias de evaluación de Programas, programas o políticas en circunstancias específicas, que se aplican a situaciones más amplias. Con frecuencia, las enseñanzas destacan los puntos fuertes o débiles en la preparación, el diseño y la puesta en práctica que afectan al desempeño, los resultados y el impacto. En este contexto también se debería mencionar aquellas lecciones aprendidas que el evaluador sólo califica como potencialmente relevantes, recomendando a la Welthungerhilfe que se les dé seguimiento con respecto a su idoneidad como “lecciones aprendidas consolidadas”. Capítulo 10.: Los temas específicos de Welthungerhilfe para la evaluación están contenidos en las “preguntas orientadoras”. Además de lo ya solicitado en éste capítulo, Welthungerhilfe solicita que toda evaluación contenga uno o dos breves ejemplos con un pequeño grupo, una familia o un individuo miembro del grupo beneficiario en el foco de atención, analizando en qué medida son involucrados o participan activamente en el Programa/programa, son beneficiados por el Programa, aportan a su evolución, o cómo ha cambiado su vida cotidiana por el Programa. El/la evaluador/a es libre de elegir los ejemplos que le parezcan interesantes para ser documentados. Es importante que los ejemplos sean “vivos” y con especial valor informativo con relación a la ubicación del Programa. No se prescribe una forma fija para la presentación de los ejemplos, el/la evaluador/a podrá decidir creativamente, concentrándose en unas pocas páginas, y adjuntar fotos, dibujos o mapas. Comentarios especiales acerca de la utilización de términos importantes en la Welthungerhilfe Los términos técnicos con relación a la cadena de efectos no son utilizados uniformemente por las organizaciones de cooperación al desarrollo. Es por eso que en las siguientes ilustraciones se pretende visualizar la utilización de los términos más importantes por la Welthungerhilfe, relativo a la cadena de efectos (gráfico 1) así como a la matriz de planificación (MPP / marco lógico) (grafico 2). (Los gráficos son extraídos de la guía “Orientación a efectos e impactos en los Programas y Programas de Welthungerhilfe”, 2008). Grafico 1: Visión general de la cadena de efectos

Grafico 2: Compilación de términos relativos a la lógica de la cadena de efectos y planificación de Programas (según el glosario DAC)


Explicaciones generales de los criterios DAC para la evaluación de Programas: Fuente: www.oecd.org/document/22: DAC criteria for Evaluating Development Assistance When evaluating programmes and projects it is useful to consider the following DAC Criteria, as laid out in the DAC Principles for Evaluation of Development Assistance: Relevance: The extent to which the aid activity is suited to the priorities and policies of the target group, recipient and donor. In evaluating the relevance of a programme or a project, it is useful to consider the following questions:

To what extent are the objectives of the programme still valid? Are the activities and outputs of the programme consistent with the overall goal

and the attainment of its objectives? Are the activities and outputs of the programme consistent with the intended

impacts and effects? Effectiveness: A measure of the extent to which an aid activity attains its objectives. In evaluating the effectiveness of a programme or a project, it is useful to consider the following questions:

To what extent were the objectives achieved / are likely to be achieved? What were the major factors influencing the achievement or non-achievement

of the objectives? Efficiency: Efficiency measures the outputs -- qualitative and quantitative -- in relation to the inputs. It is an economic term which signifies that the aid uses the least costly resources possible in order to achieve the desired results. This generally requires comparing alternative approaches to achieving the same outputs, to see whether the most efficient process has been adopted. When evaluating the efficiency of a programme or a project, it is useful to consider the following questions:

http://www.oecd.org/document/22


Were activities cost-efficient? Were objectives achieved on time? Was the programme or project implemented in the most efficient way compared

to alternatives? Outcomes: The likely or achieved short-term and medium term effects of an intervention’s outputs Impact: The positive and negative changes produced by a development intervention, directly or indirectly, intended or unintended (especially long term). This involves the main impacts and effects resulting from the activity on the local social, economic, environmental and other development indicators. The examination should be concerned with both intended and unintended results and must also include the positive and negative impact of external factors, such as changes in terms of trade and financial conditions. When evaluating the impact of a programme or a project, it is useful to consider the following questions:

What has happened as a result of the programme or project?

What real difference has the activity made Sustainability: Sustainability is concerned with measuring whether the benefits of an activity are likely to continue after donor funding has been withdrawn. Projects need to be environmentally as well as financially sustainable. When evaluating the sustainability of a programme or a project, it is useful to consider the following questions:

To what extent did the benefits of a programme or project continue after donor funding ceased?

What were the major factors which influenced the achievement or non-achievement of sustainability of the programme or project?

evaluación intermedia del proyecto

Documents