Guía del proceso

Actualizada en abril de 2017

Ev

alu

aci

ón

des

cen

tra

liza

da

pa

ra l

a t

om

a d

e d

ecis

ion

es b

asa

da

s en

da

tos

emp

íric

os

Sistema de garantía de calidad de las evaluaciones descentralizadas Oficina de Evaluación del PMA

Prólogo

La nueva función de evaluación en el PMA está delimitada por tres pilares fundacionales:

La Política en materia de evaluación (2016-2021), aprobada por la Junta Ejecutiva en noviembre de 2015, establece la visión, la orientación estratégica y la plantilla de la función de evaluación en el PMA, e incorpora la evaluación como parte integral de nuestra labor para reforzar la contribución del Programa a la erradicación del hambre en el mundo y al logro de los Objetivos de Desarrollo Sostenible (ODS) de la Agenda 2030.

La Carta de la función de evaluación en el PMA de la Directora Ejecutiva, publicada en mayo de 2016, confirma los términos de referencia y la estructura de gobernanza de la función de evaluación y establece las competencias y funciones exigibles al personal, así como las disposiciones institucionales para que la política sea operativa.

La Estrategia institucional en materia de evaluación para 2016-2021, que obtuvo el respaldo del Comité Directivo Superior en abril de 2016, presenta un plan de aplicación por etapas que comprende todos los elementos y actividades necesarios para crear una plantilla que combine la función de evaluación centralizada con aquella de la evaluación descentralizada basada en la demanda, que se ajuste a las normas y reglamentos vigentes en el sistema de las Naciones Unidas y permita hacer realidad la visión definida en la Política.

En estos tres documentos descubrimos nuevas características de la función de evaluación en el PMA, entre las que cabe destacar la adopción de la función de evaluación descentralizada basada en la demanda, que complementa la ya consolidada función de evaluación centralizada y responde al compromiso del Programa de mejorar la calidad de sus datos empíricos sobre los resultados de las realizaciones y la rendición de cuentas.

Todas las evaluaciones que se llevan a cabo en el PMA se basan en los principios de independencia, credibilidad y utilidad establecidos para la evaluación en el sistema de las Naciones Unidas. La observancia de estos principios garantiza la calidad de la evaluación, mejora la rendición de cuentas y la capacitación en todo el Programa, porque reafirma la confianza en las constataciones y recomendaciones formuladas en las evaluaciones, así como en las lecciones que de ellas se extraen para seguir mejorando en las realizaciones y los resultados del PMA. El principal medio de que dispone la Oficina de Evaluación para salvaguardar estos principios es el Sistema de garantía de calidad de las evaluaciones (DEQAS), esto es, un conjunto de herramientas y directrices que abarcan todas las fases del ciclo de evaluación y las evaluaciones de todo tipo.

La Oficina de Evaluación del PMA ha elaborado una serie de directrices sobre la evaluación descentralizada para apoyar y ofrecer orientación a las Oficinas del PMA en los Países, los Despachos Regionales y otras direcciones de la Sede en las funciones de planificar, encargar y gestionar una evaluación descentralizada. Este conjunto de normativas de apoyo y orientación sobre la evaluación descentralizada constituye un DEQAS destinado específicamente a las evaluaciones descentralizadas, del que la presente guía del proceso constituye una parte integral.

El proceso de elaboración del DEQAS se inició en 2015 y se puso a prueba en 2016, tras lo cual se rogará a los Despachos Regionales, las Oficinas en los Países y las direcciones de la Sede que formulen sus observaciones sobre las distintas fases del proceso para que el producto final se ajuste en la medida de lo posible a su cometido previsto. La guía ha sido revisada y finalizada teniendo en cuenta la retroinformación recibida sobre los ensayos hasta la fecha, así como las normas y estándares del Grupo de Evaluación de las Naciones Unidas (UNEG) actualizados en 2016.

Andrea Cook Directora de la Oficina de Evaluación Abril de 2017

Índice INTRODUCCIÓN 1 Antecedentes 1 ¿Qué se entiende por evaluación descentralizada en el PMA? 2 Finalidad y estructura de la guía del proceso de la evaluación descentralizada 4 Destinatarios de la guía del proceso 4 Funciones y responsabilidades 4 Principales términos utilizados 10 Otro material de orientación en la función de evaluación descentralizada 10 Cómo utilizar y consultar esta guía del proceso 10 Lista de símbolos utilizados en la guía 11 FASE 1: PLANIFICACIÓN 14 Introducción 14 ¿Cuándo planificar para una evaluación? 14 Normas mínimas en materia de cobertura de las evaluaciones en el PMA 15 Paso 1.1 Determinar el tipo, el alcance y el uso esperado de la evaluación 17 Paso 1.2 Estimar el presupuesto y el calendario 20 Paso 1.3 Vincular la planificación a un plan de seguimiento 23 Paso 1.4 Aclarar las disposiciones sobre imparcialidad e independencia 24 Paso 1.5 Acordar las funciones y las responsabilidades 26 Resumen 29 FASE 2: PREPARACIÓN 32 Introducción 32 Paso 2.1 Preparar los términos de referencia 32 Consulta con las partes interesadas 33 Comprobación de los preparativos para la evaluación y recopilación de documentos clave 34 Criterios y preguntas relacionados con la evaluación 35 Paso 2.2 Ultimar las disposiciones sobre imparcialidad e independencia 39 Paso 2.3 Garantizar la calidad, realizar consultas y ultimar los términos de referencia 40 Paso 2.4 Seleccionar al equipo de evaluación y ultimar el presupuesto 42 Paso 2.5 Preparar una biblioteca de documentos 47 Paso 2.6 Elaborar un plan de comunicación y aprendizaje 47 Resumen 48 FASE 3: INICIO 51 Introducción 51 Mapa del proceso 51 Paso 3.1 Orientar al equipo de evaluación 52 Paso 3.2 Realizar un examen documental 53 Paso 3.3 Organizar reuniones preliminares 54 Objetivo de las reuniones preliminares 54 Paso 3.4 Preparar el proyecto de informe inicial 56 Paso 3.5 Asegurar la calidad del informe inicial 57 Paso 3.6 Difundir, ultimar y aprobar el informe inicial 59 Resumen 60 FASE 4: RECOPILACIÓN DE DATOS 63 Introducción 63 Mapa del proceso 63 Paso 4.1 Preparar los trabajos de evaluación sobre el terreno 63 Paso 4.2 Realizar los trabajos sobre el terreno y un análisis preliminar 64

Paso 4.3 Preparar la sesión informativa de recapitulación al final de los trabajos sobre el terreno 66 Resumen 68 FASE 5: INFORME 70 Introducción 70 Mapa del proceso 70 Paso 5.1 Preparar el proyecto de informe de evaluación 70 Paso 5.2 Asegurar la calidad del proyecto de informe de evaluación 71 Paso 5.3 Difundir el proyecto de informe de evaluación entre las partes interesadas (para recabar observaciones) 72 Paso 5.4 Ultimar el informe de evaluación 74 Paso 5.5 Presentar, para su aprobación, el informe final 74 Resumen 76 FASE 6: DIFUSIÓN Y SEGUIMIENTO 79 Introducción 79 Mapa del proceso 79 Paso 6.1 Preparar la respuesta de la dirección y registrarla en los sistemas idóneos 79 Paso 6.2 Publicar el informe y la Respuesta de la Dirección 80 Paso 6.3 Difundir y utilizar los resultados de la evaluación 81 Paso 6.4 Seguimiento de la aplicación de las acciones de seguimiento de las recomendaciones 82 Resumen 83 Lista de siglas utilizadas en el presente documento 85

Lista de figuras

Figura 1: Documentos que delimitan la función de evaluación en el PMA 1 Figura 2: Tipos de evaluación 3 Figura 3: Mapa global del proceso de gestión de la evaluación – fases y pasos 12 Figura 4: Fase 1 Planificación – Mapa detallado del proceso y orientaciones de apoyo 13 Figura 5: Fase 1 – Mapa del proceso 16 Figura 6: Fase 2 Preparación – Mapa detallado del proceso y orientaciones de apoyo 31 Figura 7: Fase 2 – Mapa del proceso 32 Figure 8: Phase 3 Inception – Detailed Process Map and supporting guidance 50 Figura 9: Fase 3 – Mapa del proceso 51 Figura 10: Fase 4 Recopilación de datos – Mapa detallado del proceso y orientaciones de apoyo 62 Figura 11: Fase 4 – Mapa del proceso 63 Figura 12: Fase 5 Informe – Mapa detallado del proceso y orientaciones de apoyo 69 Figura 13: Fase 5 – Mapa del proceso 70 Figura 14: Fase 6 Difusión y seguimiento – Mapa detallado del proceso y orientaciones de apoyo 78 Figura 15: Fase 6 – Mapa del proceso 79

Lista de cuadros

Cuadro 1: Presupuesto indicativo para la evaluación por tamaño de las oficinas de país 21 Cuadro 2: Resumen de responsabilidades – Fase de planificación 29 Cuadro 3: Lista de comprobación para la fase de planificación 30 Cuadro 4: Ejemplos de preguntas relacionadas con los criterios de evaluación 36 Cuadro 5: Resumen de las responsabilidades – Fase de preparación 48 Cuadro 6: Lista de comprobación de la fase de preparación 48 Cuadro 7: Resumen de responsabilidades en la fase de inicio 60 Cuadro 8: Lista de comprobación de la fase inicial 60 Cuadro 9: Resumen de responsabilidades en la fase de recopilación de datos 68 Cuadro 10: Lista de comprobación de la fase de recopilación de datos 68

Cuadro 11: Resumen de responsabilidades en la fase de informe 76 Cuadro 12: Lista de comprobación de la fase de informe 76 Cuadro 13: Resumen de las responsabilidades en la fase de difusión y seguimiento 83 Cuadro 14: Lista de comprobación para la fase de difusión y seguimiento 83

Lista de recuadros

Recuadro 1: Características de las evaluaciones descentralizadas 3 Recuadro 2: Nota para los usuarios de la guía 3 Recuadro 3: Principales términos utilizados en la guía del proceso 10 Recuadro 4: Estructura del conjunto de medidas de orientación 10 Recuadro 5: Normas mínimas en materia de cobertura de la evaluación descentralizada 15 Recuadro 6: Planificación y el presupuesto a nivel país 16 Recuadro 7: Planificación y presupuesto a nivel país 20 Recuadro 8: Consejo – Medidas para reducir los costos de una evaluación 22 Recuadro 9 – Consejo: Modos adicionales de recopilación de datos para determinados tipos de evaluación 24 Recuadro 10: Incorporación en la presente guía de las disposiciones sobre imparcialidad e independencia establecidas en la política en materia de evaluación 25 Recuadro 11: Competencias y capacidades del responsable de la evaluación 26 Recuadro 12: Envolviendo a los donantes en las evaluaciones 28 Recuadro 13: Contenido de los términos de referencia 33 Recuadro 14: Principales fuentes de datos 35 Recuadro 15: Notas sobre los criterios de evaluación 36 Recuadro 16: Consideraciones sobre la incorporación de la cuestión de igualdad de género y empoderamiento de las mujeres en la evaluación 38 Recuadro 17: Finalidad y funciones del comité de evaluación 39 Recuadro 18: Finalidad y funciones del grupo de referencia sobre evaluación 40 Recuadro 19: Servicio externalizado de asesoramiento de apoyo a la calidad de las evaluaciones descentralizadas: valoración de los términos de referencia 42 Recuadro 20: Conflicto de intereses 44 Recuadro 21: Conjunto de competencias que deben reunir los evaluadores 45 Recuadro 22: Preguntas relacionadas con la selección del equipo de evaluación 45 Recuadro 23: Finalidad y contenido de las reuniones preliminares 55 Recuadro 24: Contenido del informe inicial 56 Recuadro 25: Servicio externalizado de apoyo a la calidad de las evaluaciones descentralizadas – valoración del informe inicial 58 Recuadro 26: Disposiciones sobre seguridad de los equipos de evaluación 64 Recuadro 27: Medidas para garantizar la imparcialidad e independencia durante la misión de evaluación 66 Recuadro 28: Recomendaciones sobre el contenido de la sesión de recapitulación 66 Recuadro 29: Servicio externalizado de apoyo a la calidad de las evaluaciones descentralizadas: valoración del informe de evaluación 72 Recuadro 30: Consejo – Sugerencias para facilitar el examen del informe 73 Recuadro 31: Consejo – Sugerencias a tener en cuenta durante a la revisión del proyecto del informe de evaluación por las partes interesadas 73 Recuadro 32: Guía para formatear el informe de evaluación 75 Recuadro 33: Consejo – Medidas eficaces para difundir las evidencias y los resultados de la evaluación 81

1

INTRODUCCIÓN

Antecedentes

1. En el transcurso de 2015 y a comienzos de 2016, el PMA adoptó su nueva Política en materia de evaluación (2016-2021), la Carta de la función de evaluación en el PMA, publicada en abril de 2016, y la Estrategia institucional en materia de evaluación para 2016-2021, que obtuvo el respaldo del Comité Directivo Superior (EMG) en mayo de 2016, demostrando así su renovado compromiso institucional con respecto a la recopilación de datos empíricos y la rendición de cuentas sobre los resultados (véase la Figura 1).

Figura 1: Documentos que delimitan la función de evaluación en el PMA

2. En estos tres documentos se define de manera explícita la adhesión del PMA a la función de evaluación descentralizada basada en la demanda. En la política de evaluación se establecen las normas mínimas institucionales en materia de cobertura1 a las que estarán sujetas las evaluaciones descentralizadas, cuyo número irá en aumento previsiblemente durante la vigencia de la política. Las evaluaciones descentralizadas complementarán aquellas de las políticas, estrategias, carteras de proyectos en los países y el impacto de actividades básicas que lleva a cabo la Oficina de Evaluación (OEV). En la estrategia institucional en materia de evaluación2 se explica la aplicación por fases de las normas sobre cobertura a lo largo del plazo de vigencia de la política.

3. Los documentos que delimitan la función de evaluación en el PMA se basan en tres principios fundamentales: independencia, credibilidad y utilidad.

La independencia da legitimad a la evaluación y reduce las probabilidades de que surjan conflictos de intereses como, por ejemplo, cuando los responsables de la formulación de políticas y los gestores sean también los encargados de evaluar sus propias actuaciones. La independencia requiere imparcialidad para que las evaluaciones estén libres de influencias que sesguen su selección, realización, sus constataciones, conclusiones y recomendaciones,

1 Véase WFP/EB.2/2015/4-A/Rev.1, Política en materia de evaluación (2016-2021). En el Cuadro 3 se definen las normas de cobertura a las que están sujetas las evaluaciones descentralizadas. 2 Véase PMA, 2016, Estrategia institucional en materia de cobertura para 2016-2021, párrafo 45.

Política en materia de evaluación

Carta de la función de evaluación

Estrategia en materia de evaluación

La estrategia: describe todos los elementos y líneas de trabajo necesarios para la aplicación por

fases

La política: establece la visión y la dirección estratégica de la nueva función

de evaluación en el PMA

La carta: establece un nuevomandato, la gobernanza, las

facultades y las disposiciones institucionales

2

así como la preparación del informe correspondiente. El PMA se ha comprometido a salvaguardar la independencia y la imparcialidad en todas sus evaluaciones.

La credibilidad es la medida en la que las constataciones y conclusiones de la evaluación son justas, imparciales y completas. Viene determinada por la independencia, la imparcialidad, la transparencia, la idoneidad y el rigor de la metodología empleada en las evaluaciones.

La utilidad es la medida en que las evaluaciones pueden ser aprovechadas por los responsables de la toma de decisiones y las partes interesadas para fundamentar las políticas, estrategias y programas, y responder a las necesidades de rendición de cuentas. Para dar mayor utilidad a sus evaluaciones, el PMA se ha comprometido a planificarlas y llevarlas a cabo con el deseo expreso de sacar provecho de sus resultados, llevarlas a cabo en el momento oportuno para que fundamenten la toma de decisiones y de garantizar que los resultados de la evaluación y los informes estén públicamente accesibles.

4. En la presente guía se han incorporado estos principios, aplicables por igual a todas las evaluaciones, sobre los que se amplían detalles en la Nota técnica sobre los principios de evaluación.

5. La OEV, en colaboración con la Dirección de Gestión y Seguimiento de las Realizaciones (RMP), ha elaborado un conjunto de orientaciones generales para apoyar al personal del PMA que deba decidir sobre si planifica y gestiona una evaluación descentralizada o lleva a cabo un examen de las intervenciones del PMA. La presente guía del proceso inherente a la evaluación descentralizada constituye un pilar del conjunto de orientaciones generales y está basada en el Sistema de garantía de calidad de las evaluaciones (DEQAS) en el PMA, su política en materia de evaluación, su Carta de la función de evaluación y su estrategia institucional en materia de evaluación. La guía incluye asimismo otros elementos, como plantillas, listas de comprobación de la calidad y notas técnicas.

6. El conjunto de orientaciones generales forma parte de otro Sistema más amplio de garantía de calidad de las evaluaciones descentralizadas (DEQAS) que, entre otras medidas, comprende un Programa de Aprendizaje en Evaluación para apoyar la utilización de la presente guía, un servicio externalizado de apoyo a la calidad y un sistema de evaluación independiente de la calidad a posteriori de todos los informes de evaluación finales. El DEQAS se basa en las normas y estándares de evaluación elaborados por el Grupo de Evaluación de las Naciones Unidas (UNEG)3. En los mapas detallados del proceso que aparecen al comienzo de cada fase se hace referencia a dichas normas y estándares, se especifica cuáles son pertinentes y se ofrece una breve explicación en la Nota técnica sobre normas y estándares para la evaluación descentralizada.

¿Qué se entiende por evaluación descentralizada en el PMA?

7. El PMA se adhiere a la definición de evaluación de las Naciones Unidas: Una valoración que sea lo más sistemática e imparcial posible. Incide principalmente sobre los logros esperados y alcanzados, examinando la cadena de resultados, los procesos, los factores contextuales y la causalidad, a fin de entender los logros o la ausencia de estos. Su objetivo es determinar la relevancia, la efectividad, la eficiencia y la sostenibilidad de las actividades, operaciones, estrategias y políticas del PMA, y su contribución a los procesos humanitarios y de desarrollo de los países destinatarios de la asistencia del PMA4.

8. En el PMA existen dos categorías principales de evaluaciones: las centralizadas, encargadas y gestionadas por la OEV, y las descentralizadas, encargadas y gestionadas por las Oficinas en los Países, los Despachos Regionales o las direcciones de la Sede distintas de la OEV. En el Recuadro 1 se señalan las principales características de las evaluaciones descentralizadas.

3 Normas y estándares del UNEG, 2016 4 Adaptación de la definición incluida en el mencionado documento sobre normas y estándares del UNEG, 2016.

3

Recuadro 1: Características de las evaluaciones descentralizadas

9. En la Figura 2 se explica la alineación de los tipos de evaluaciones que se llevan a cabo en el PMA con las categorías de evaluación centralizada y evaluación descentralizada.

Figura 2: Tipos de evaluación

10. No debemos olvidar que las evaluaciones descentralizadas son diferentes de otros ejercicios que se llevan a cabo en las Oficinas en los Países con distintas finalidades. En las evaluaciones descentralizadas se siguen enfoques y orientaciones propios, sobre los que se informa en las respectivas páginas web de la intranet del PMA:

Estudios de referencia

Evaluación de las necesidades

Análisis y cartografía de la vulnerabilidad

Auditoría interna

Examen

Seguimiento

Estudios de viabilidad

Examen estratégico del país previo a la elaboración del plan estratégico para el país

Recuadro 2: Nota para los usuarios de la guía

Estratégicas

De políticas

Cartera de

proyectos en

el país

Intervención ante

emergencias

Actividades

Proyectos piloto

Temas

Modalidades de

transferencia

Cualquier otra

esfera de

actuación

Impacto

Operación

conjunta

EVALUACIONES

CENTRALIZADAS

(gestionadas

por la OEV)

EVALUACIONES

DESCENTRALIZADAS

(no gestionadas

por la OEV)

Contribuyen al logro de los objetivos de rendición de cuentas y aprendizaje.

Pueden ser de ámbito nacional o subnacional, o abarcar varios países.

Pueden ser gestionadas íntegramente por el PMA o este puede participar en su realización en el marco de una evaluación conjunta con asociados.

En ellas se aplican criterios de evaluación internacionales y el estándar del Plan de Acción para Todo el Sistema de las Naciones Unidas sobre la Igualdad de Género y el Empoderamiento de las Mujeres (ONU-SWAP).

Su realización debe correr a cargo de consultores o entidades independientes.

Sus constataciones deben estar disponibles públicamente.

No son presentadas a la Junta Ejecutiva.

El sistema para facilitar la toma de decisiones denominado “Making the Choice: Decentralized Evaluations or Review?” [Tomar la decisión: ¿evaluación descentralizada o examen?] incluye información sistemática para facilitar la decisión sobre la conveniencia de una evaluación descentralizada o un examen, y ofrece garantías de que la opción elegida será la adecuada, teniendo en cuenta la finalidad, el objetivo y la utilización que se le quiera dar.

4

Finalidad y estructura de la guía del proceso de la evaluación descentralizada

11. En la guía del proceso se describen las seis fases que comprende la evaluación descentralizada, y se orienta al personal sobre cuestiones que van desde la planificación inicial, pasando por la preparación, el inicio, la recopilación de datos y la preparación del informe, hasta la difusión del informe de evaluación y la utilización de sus constataciones.

12. La estructura de la guía sigue las seis fases principales de la evaluación descentralizada, a saber:

13. Cada fase está desglosada en una serie de pasos, y en cada paso se indican las principales tareas y los resultados que se esperan alcanzar. Los siguientes elementos son comunes a todas las fases:

mapa del proceso y orientaciones de apoyo;

principales productos de la fase;

breve introducción;

pasos clave de la fase, con sus correspondientes decisiones y principales tareas;

resumen de las responsabilidades inherentes a cada paso, y

lista de comprobación de las actividades que deben llevarse a cabo durante la fase.

Destinatarios de la guía del proceso

14. Los principales usuarios previstos serán con toda probabilidad las Oficinas en los Países, por lo que la presente guía está enfocada hacia ese contexto. Su finalidad es serle útil al personal del PMA responsable de gestionar las evaluaciones descentralizadas. Con pequeñas adaptaciones podrán utilizarla asimismo los despachos regionales y las direcciones y dependencias de la Sede que deban gestionar y/o apoyar evaluaciones descentralizadas. También los equipos de evaluación deberán utilizar la guía y observar sus directrices durante todo el proceso de evaluación.

Funciones y responsabilidades

15. En la presente guía se explican las funciones y responsabilidades, además de las disposiciones institucionales, relacionadas con el proceso de gestión de las evaluaciones descentralizadas, principalmente cuando se realizan en Oficinas en los Países, así como las funciones de apoyo que sobrepasan el ámbito de la oficina5. Estas funciones y responsabilidades se pueden adaptar fácilmente cuando la evaluación descentralizada se lleve a cabo en despachos regionales o dependencias de la Sede.

16. A continuación se indican los protagonistas en la Oficina en el País y sus respectivas responsabilidades principales durante las seis fases del proceso.

La dirección de la Oficina en el País (Director en el País o Director Adjunto en el País)6

a. decide sobre el tipo y el alcance de la evaluación; b. vela por el cumplimiento de las disposiciones y garantías de imparcialidad establecidas en

la política de evaluación7;

5 En la Política en materia de evaluación (2016-2021) se incluye la lista completa de las funciones y responsabilidades relativas a la evaluación descentralizada, y en la Carta de la función de evaluación en el PMA se trata sobre las facultades y las disposiciones institucionales correspondientes. 6 Las principales responsabilidades de la dirección de la oficina en el país, que en esta sección aparecen en cursiva, han sido extraídos directamente de la “Carta de la función de evaluación en el PMA”, publicada en la Circular de la Directora Ejecutiva OED 2016/007. 7 Véase el Cuadro 1 de la Política en material de evaluación (2016-2021).

Fase 1. Planificación

Fase 2. Preparación

Fase 3. Inicio

Fase 4. Recopilación

de datos

Fase 5. Informe

Fase 6. Difusión y seguimiento

5

c. incluye en el diseño de las intervenciones planes de evaluación que sean conformes a las normas sobre cobertura de la política de evaluación, por ejemplo, los planes de trabajo de las oficinas, las evaluaciones de la actuación profesional y mejora de las competencias (PACE) y los sistemas de presentación de informes;

d. facilita el proceso de evaluación y el acceso a la información necesaria para llevar a cabo la evaluación;

e. asegura que la gestión de las evaluaciones esté libre de influencias indebidas y que los informes que se presenten sean imparciales y transparentes;

f. establece y preside un comité de evaluación (en determinadas circunstancias se podrá delegar en el Director Adjunto en el País la presidencia de la evaluación encargada) —véase la Nota técnica sobre el comité de evaluación;

g. establece y preside un grupo de referencia sobre evaluación (en determinadas circunstancias se podrá delegar en el Director Adjunto en el País la presidencia de cada evaluación encargada) —véase la Nota técnica sobre el grupo de referencia sobre evaluación);

h. nombra al responsable de la evaluación en consonancia con las directrices establecidas (véase el paso 1.5 de la presente guía);

i. adopta decisiones sobre el presupuesto destinado a la evaluación, la distribución de fondos y la selección del equipo de evaluación;

j. aprueba los términos de referencia, el informe inicial y el informe de la evaluación final; k. asegura que todas las evaluaciones descentralizadas sean realizadas por evaluadores

independientes cualificados y que estos firmen el Código de conducta para los evaluadores en el sistema de las Naciones Unidas;

l. asegura que los informes de las evaluaciones descentralizadas estén disponibles públicamente;

m. prepara la respuesta de la dirección y asegura que estas se den a conocer públicamente, y n. adopta medidas complementarias e informa al respecto, y se sirve de los datos empíricos

derivados de la evaluación descentralizada para revisar y elaborar nuevas políticas, programas, estrategias y otras intervenciones.

El responsable de la evaluación

Gestiona el proceso de evaluación en todas sus fases y, en este sentido:

a. prepara los términos de referencia; b. supervisa la selección del equipo de evaluación; c. presenta al Director en el País o Director Adjunto en el País, para su aprobación, el

presupuesto y el equipo de evaluación; d. es el principal interlocutor (en el PMA) del jefe del equipo de evaluación durante todo el

proceso de evaluación; e. convoca al grupo de referencia sobre evaluación y el comité de evaluación para elegir sus

respectivas presidencias; f. recopila el material para la biblioteca de información necesaria para la evaluación; g. asume la responsabilidad de atender las necesidades administrativas y logísticas del

proceso de evaluación; h. formula observaciones sobre la calidad, y garantiza que los productos de las evaluaciones

sean conformes al DEQAS —esto incluye a los servicios de apoyo a la calidad de la evaluación descentralizada;

i. presenta al Director en el País o Director Adjunto en el País, para su aprobación y tras haber comprobado su calidad, los términos de referencia definitivo, el informe inicial y el informe de evaluación final, y

j. podrá facilitar o apoyar las tareas de preparación de la respuesta de la dirección y difusión del informe de evaluación y de sus constataciones.

Los miembros del equipo de seguimiento y evaluación (SyE) son los candidatos idóneos para asumir la función de responsable de la evaluación (véase el paso 1.5 sobre las opciones para la gestión de la evaluación).

6

El equipo de SyE

a. junto con el equipo de programas, apoya la adecuada planificación y preparación del presupuesto para las evaluaciones, y ofrece asesoramiento a la dirección de la Oficina en el País en cuanto a ello;

b. aporta los datos de los indicadores de realizaciones al responsable de la evaluación para medir los logros obtenidos en la materia, así como los planes de seguimiento;

c. presta apoyo asesorando la evaluabilidad de la intervención / actividad, aportando los elementos de seguimiento / log frames más recientes;

d. clarifica el tipo de información / evidencia que puede ser obtenida de los sistemas y procesos de seguimiento, y el momento en el cual los resultados de la evaluación serán más útiles para los procesos de toma de decisiones y acciones correspondientes;

e. presta apoyo y hace extensiva la garantía de calidad a las evaluaciones, en particular en la preparación de los términos de referencia para que este sea conforme a la política en materia de evaluación, el DEQAS y las normas, estándares y principios de evaluación, y colabora en las tareas de valoración de los productos de la evaluación;

f. aporta los datos e informes de seguimiento y análisis disponibles para apoyar la evaluación; g. facilita cualquier otra información pertinente; h. presta el apoyo necesario durante todo el proceso de evaluación; y i. busca claridad sobre los requerimientos para asegurar que la evaluación es imparcial y

creíble.

El equipo de programas de la oficina en el país

a. ofrece asesoramiento a la dirección de la oficina en el país sobre los planes y requerimientos de evaluación y tienen en cuenta los requisitos de evaluación para los Planes Estratégicos de País y Planes Estratégicos de País interinos.

b. facilita información al equipo de evaluación en cuanto a las actividades / intervenciones incluidas en la evaluación;

c. se encarga de aportar los datos de referencia y de seguimiento para poder llevar a cabo la evaluación;

d. presta apoyo asesorando la evaluabilidad de la intervención / actividad, clarificando las teorías de cambio o ayudando a reconstruirlas en caso de que no existan;

e. presta apoyo a la elaboración del presupuesto; f. interactúa con el equipo de evaluación y presta el apoyo necesario durante todo el proceso

de evaluación; g. colabora en la preparación de la respuesta de la dirección, la difusión de las constataciones

y las medidas complementarias.

Otras dependencias de las oficinas en los países o las suboficinas

Equipo de Compras

a. ofrece asesoramiento a la dirección de la oficina sobre las opciones de compras y las implicaciones en términos de tiempo y esfuerzo necesarios para permitir las estimaciones de la duración de la evaluación;

b. ofrece asesoramiento al comité de evaluación sobre las implicaciones de las diferentes opciones de compras, basándose en los manuales de compras correspondientes y la Nota Técnica para emplear al equipo de evaluación;

c. presta apoyo técnico y asesora sobre los procedimientos de licitación y LTA a la dirección de la oficina;

d. revisa el informe de evaluación y aporta comentarios, especialmente en relación al análisis y la presentación de los datos de compras para asegurar que son correctos;

e. aporta la información necesaria al responsable de coordinar la preparación de la respuesta de la dirección.

7

Equipo de Recursos Humanos

a. ofrece asesoramiento al Comité de Evaluación sobre las estrategias de contratación, los Términos de Empleo, los Términos de Referencia, las aprobaciones necesarias y la coherencia con los manuales de Recursos Humanos y la Guía DEQAS;

b. aporta información al equipo de evaluación sobre elementos específicos a recursos humanos;

c. está disponible para reunirse con el equipo de evaluación y tratar temas relaciones con los sistemas y procesos de recursos humanos;

d. revisa el informe de evaluación y aporta comentarios; e. trata de temas estratégicos / sensibles incluidos en las recomendaciones de las evaluaciones

con la dirección de la oficina; f. contribuye a la preparación de la respuesta de la dirección, según sea necesario.

Equipo de Finanzas

a. ofrece asesoramiento a la dirección de la oficina sobre el presupuesto disponible; b. contribuye a los procesos de planificación y preparación del presupuesto; c. aconseja al Comité de Evaluación sobre la disponibilidad de fondos dentro del presupuesto

destinado a la evaluación, tal y como está indicado en la Nota Técnica para la planificación de evaluaciones y el presupuesto;

d. aporta documentación financiera para poder ser utilizada durante la preparación de los Términos de Referencia;

e. aporta datos financieros, informes y cualquier otro tipo de documentación necesaria o clarificación;

f. revisa el informe de evaluación y aporta comentarios, especialmente en relación al análisis y la presentación de los datos financieros para asegurar que son correctos;

g. contribuye a la preparación de la respuesta de la dirección, según sea necesario.

Equipo de VAM

a. aporta al equipo de evaluación la información necesaria sobre seguridad alimentaria y evaluaciones de las necesidades en las actividades / intervenciones evaluadas;

b. clarifica el tipo de información que VAM puede aportar; c. participa en las sesiones de información del equipo de evaluación en la fase de inicio y

recopilación de datos, aportando información sobre los informes, procesos y sistemas de evaluación de la seguridad alimentaria;

d. revisa el informe de evaluación y aporta comentarios, especialmente en relación al análisis y la presentación de los datos de seguridad alimentaria;

e. contribuye a la preparación de la respuesta de la dirección, según sea necesario.

17. Además de la oficina en el país, las partes interesadas que se indican a continuación también desempeñan funciones en el proceso de una evaluación descentralizada encargada por una oficina en el país.

Despacho Regional

i. El Director Regional8:

a. exige, en cumplimiento de la política en materia de evaluación, que se apliquen las disposiciones sobre imparcialidad en la función de evaluación descentralizada;

b. vela por que en el diseño de las estrategias e intervenciones se tengan en cuenta las evaluaciones descentralizadas y evaluaciones de portafolio de país previstas y se cumplan las normas mínimas en materia de cobertura de la evaluación;

8 Los elementos que aparecen en cursiva han sido extraídos directamente de la Carta de la función de evaluación en el PMA.

8

c. asegura la complementariedad entre las evaluaciones descentralizadas y las evaluaciones centralizadas y asesora sobre posibles sinergias y colaboraciones entre las oficinas en los países en el proceso de la evaluación descentralizada;

d. incorpora las funciones y responsabilidades en materia de evaluación en el sistema para la gestión de la actuación profesional de los directores en los países;

e. asegura que en el presupuesto se incluyan los recursos necesarios para sufragar la gestión y realización de evaluaciones descentralizadas independientes;

f. supervisa la aplicación del DEQAS; g. asegura que todos los informes de las evaluaciones descentralizadas estén disponibles

públicamente; h. asegura que se prepare la respuesta de la dirección a las evaluaciones descentralizadas,

que estas se den a conocer públicamente y se adopten las medidas complementarias pertinentes, y

i. asegura que los datos empíricos derivados de las evaluaciones fundamenten los nuevos programas y estrategias que se elaboren en la región.

ii. Los oficiales regionales de evaluación:

a. apoyan al Director Regional en sus responsabilidades en materia de evaluación, incluidas anteriormente;

b. apoyan a la dirección del despacho regional y la oficina de país a operacionalizar las provisiones de imparcialidad9;

c. contribuyen a los procesos de planificación de las evaluaciones y preparación del presupuesto;

d. aseguran la calidad de las evaluaciones descentralizadas y aportan apoyo técnico y soluciones a las oficinas de país, siendo los primeros interlocutores a los que acude el responsable de la evaluación para solicitar asesoramiento o apoyo durante la planificación y realización de la evaluación;

e. revisan la respuesta de la dirección de las evaluaciones descentralizadas en colaboración con el Oficial Regional de Programas y otros oficiales a nivel regional, y facilita la aprobación de la respuesta de la dirección por parte de la oficina regional;

f. facilitan discusiones y la aprobación de la respuesta de la dirección por parte de la oficina regional

g. aseguran que todos los informes de evaluaciones descentralizadas y las respuestas de la dirección estén disponibles públicamente;

h. aseguran que las oficinas de país que encargan evaluaciones forman parte del Programa de Aprendizaje de Evaluación;

i. aseguran que las respuestas de la dirección son actualizadas de forma periódica por las oficinas de país, y que se informa del estatus a dirección de la oficina de país y el despacho regional;

j. promueven el uso de las recomendaciones de las evaluaciones en el diseño de programe y su ejecución.

iii. Otro personal técnico del despacho regional pertinente podrá participar en el grupo de referencia sobre evaluación y/o, cuando proceda, hacer observaciones sobre los productos de la evaluación.

Oficina de Evaluación

a. establece el marco normativo para las evaluaciones descentralizadas; b. elabora y mantiene el DEQAS; c. a pedido del oficial regional de evaluación, apoya y asesora a la oficina en el país durante

la planificación y realización de la evaluación;

9 Véase la Política en materia de evaluación, Tabla 1.

9

d. facilita el acceso a un servicio externalizado de apoyo a la calidad, que proporcione en tiempo real la opinión de expertos sobre los proyectos de los términos de referencia, de informe inicial e informe final de la evaluación (véase el Recuadro 16),

e. garantiza una evaluación independiente a posteriori de la calidad de todos los informes de evaluación finales;

f. en nombre de la oficina de país, publica los términos de referencia de la evaluación, el informe de evaluación y la respuesta de la dirección; y

g. promueve el uso de las recomendaciones de las evaluaciones en el diseño de programes y su ejecución.

Otras dependencias de la Sede

a. prestan apoyo técnico y consejo sobre consideraciones claves estratégicas, elementos de política y programáticos en relación al tema de la evaluación para asegurar una buena comprensión desde el inicio de las evaluaciones descentralizadas, según sea necesario;

b. pueden participar en el grupo de referencia sobre evaluación en tanto que asesores para examinar y formular observaciones sobre el proyecto de informe de evaluación; Pueden ser entrevistados como informantes clave;

c. aportan información para la respuesta de la dirección cuando las recomendaciones están dirigidas a sus oficinas;

d. usan las observaciones de las evaluaciones descentralizadas para desarrollar guías y estrategias.

Partes interesadas externas

Fuera del PMA, muchas partes interesadas se interesarán, directa o indirectamente, en la evaluación y se convertirán en informantes clave. Uno de los primeros pasos obligados en este sentido es hacer una estimación de su nivel de interés (análisis de las partes interesadas) y planificar su participación —ya se trate de beneficiarios, gobiernos, otras entidades de asistencia humanitaria y ayuda al desarrollo, como las organizaciones no gubernamentales (ONG) nacionales e internacionales, los donantes y organismos de las Naciones Unidas y equipos en los países. Su grado de participación varía, pero puede incluir su participación en el grupo de referencia sobre evaluación (véase el Recuadro 16), colaborar en la preparación de los términos de referencia, el examen de los proyectos de informe y la formulación de observaciones, además de exponer sus puntos de vista e informar sobre las recomendaciones y su seguimiento. Las partes interesadas externas desempeñan una función mucho más relevante cuando las evaluaciones sean participativas o conjuntas.

Equipo de evaluación

El equipo estará integrado por evaluadores externos que no hayan tenido ninguna relación anterior con las intervenciones que vayan a ser evaluadas. El equipo realiza la evaluación en conformidad con los estándares y requisitos enunciados en el DEQAS y en el Código de conducta para los Evaluadores y las Normas y Estándares del UNEG10. El equipo diseña la metodología en función de los términos de referencia de la evaluación y, además de examinar los documentos, realiza entrevistas, encuestas, visitas sobre el terreno y organiza reuniones con vistas al análisis de datos y la redacción de informes.

10 Código de conducta del UNEG para la evaluación en el sistema de las Naciones Unidas (2008).

10

Principales términos utilizados

18. El glosario de términos comprende toda la terminología relacionada con las evaluaciones descentralizadas en el PMA (véase el Glosario de términos). En el Recuadro 3 se definen tres de los principales términos utilizados en la presente guía del proceso.

Recuadro 3: Principales términos utilizados en la guía del proceso

Otro material de orientación en la función de evaluación descentralizada

19. Además de esta guía del proceso, en el Recuadro 4 se definen otros elementos pertinentes que forman parte del conjunto de medidas de orientación para la evaluación descentralizada, y los enlaces previstos se indican en el mapa del proceso de cada fase.

Recuadro 4: Estructura del conjunto de medidas de orientación

Cómo utilizar y consultar esta guía del proceso

20. En el mapa global del proceso de la Figura 3 se ofrece un panorama general de todo el proceso de evaluación, desde la planificación hasta la difusión y el seguimiento. En él se indican las principales fases del proceso y los pasos concretos de cada fase. También se proponen plazos aproximados para la ejecución de cada fase de la evaluación descentralizada —si bien su duración variará en función del tipo y el alcance de la misma—. Al comienzo de cada sección, en los mapas detallados del proceso se proporcionan enlaces para acceder al material pertinente en cada fase. También se facilitan otros enlaces para consultar directrices internas y externas de mayor alcance sobre los procesos

Oficina contratante: la oficina del PMA (oficina en el país, despacho regional, oficina zonal, suboficina o dirección de la Sede) que encarga la evaluación descentralizada.

Responsable de la evaluación: es un miembro del personal del PMA que asume la responsabilidad de gestionar el proceso de evaluación, pero no de llevarla a cabo.

Intervención: puede ser cualquier operación, actividad, proyecto piloto, innovación u otra iniciativa de cuya ejecución se encargan las oficinas del PMA en los países.

1. Sistema para facilitar la toma de decisiones: ¿evaluación descentralizada o examen? Se utiliza cuando haya que decidir entre una evaluación descentralizada o un examen.

2. Guía del proceso, en la que se trata sobre las seis fases de la evaluación descentralizada (el presente documento).

3. Plantillas de productos de la evaluación (los términos de Referencia, el informe inicial y el informe de evaluación). Determinan la estructura de los principales productos de la evaluación, proponen contenidos e incluyen orientaciones sobre la preparación de las distintas secciones del documento. Su objetivo es fomentar la coherencia y mejorar la calidad de las evaluaciones. También existen plantillas de procesos, como el cuadro recapitulativo de observaciones, el presupuesto y el calendario de la evaluación y la respuesta de la dirección.

4. Listas de comprobación de la calidad de cada producto de la evaluación. Siguiendo la estructura de la plantilla, facilitan la valoración sistemática de los documentos de la evaluación. También ayudan a estructurar las observaciones sobre cada producto.

Notas técnicas. Proporcionan orientación adicional sobre determinados aspectos del proceso de evaluación o sobre los diferentes tipos de evaluación. Asimismo aportan información fundamental de referencia sobre aspectos concretos, como modalidades para contratar al equipo de evaluación, normas y estándares del UNEG y glosario de términos.

11

institucionales, como planificación y seguimiento, y orientaciones específicas sobre intervenciones concretas. Por ejemplo, en esferas de programación como nutrición, transferencias de base monetaria y alimentos para la creación de activos se han elaborado orientaciones expresas sobre las funciones de SyE. En el mapa del proceso también se indica de manera explícita cuáles son las normas de evaluación pertinentes y la atención que debe prestarse a los distintos pasos de cada fase. Por último, se enumeran los principales productos de cada fase.

21. La guía debe utilizarse conjuntamente con los otros elementos que aparecen en el Recuadro 4. De este modo se reforzará la calidad del proceso de evaluación descentralizada, y el personal dispondrá del material necesario para avanzar con mayor celeridad a través de las diferentes etapas.

22. Otras disposiciones para asegurar la imparcialidad de las evaluaciones descentralizadas. La Política en materia de evaluación (2016-2021) establece una serie de disposiciones para asegurar la imparcialidad de las evaluaciones descentralizadas, así como las funciones y responsabilidades de las distintas partes interesadas del PMA. En la Carta de la función de evaluación en el PMA se amplían detalles al respecto y se definen distintas disposiciones institucionales relativas a las evaluaciones descentralizadas. También en la presente guía se han incluido disposiciones sobre imparcialidad en todo el proceso, y en la Nota técnica sobre independencia e imparcialidad se ofrece orientación adicional.

23. Mecanismos para apoyar la calidad de las evaluaciones. La estrategia institucional en materia de evaluación determina una serie de mecanismos para asegurar la calidad de las evaluaciones descentralizadas, los cuales han sido incorporados directamente en la presente guía.

Lista de símbolos utilizados en la guía

Al comienzo de cada fase se indican, en un recuadro como este, los principales productos de esa fase en particular.

Al comienzo de cada paso se indican, en un recuadro como este, las decisiones que la dirección debe adoptar en ese paso. Su función es recordar al responsable

de la evaluación las aprobaciones que debe obtener.

En los recuadros sombreados como este se indican, de manera resumida, los principales aspectos que deben tenerse en cuenta y definiciones e información específica de otro tipo.

En el recuadro con la bombilla se indican consejos o sugerencias prácticas sobre un paso determinado o una medida en particular.

Este recuadro indica los productos que deben comunicarse al

despacho regional, la OEV y otras partes interesadas

12

Figura 3: Mapa global del proceso de gestión de la evaluación – fases y pasos11

11 El tiempo estimado para cada fase es únicamente indicativo y puede ser más corto y más largo en función de la complejidad de la evaluación.

1. Planificación Durante la etapa de

diseño de la intervención

•Determinar el tipo y el alcance de la evaluación •Estimar el presupuesto y el calendario•Vinculación con el plan de seguimiento •Aclarar las disposiciones sobre imparcialidad e independencia•Decidir sobre las funciones y responsabilidades

2. PreparaciónHasta un máximo de 9

semanas

•Redactar los términos de referencia•Ultimar las disposiciones para asegurar la imparcialidad e

independencia•Asegurar la calidad, consultar y ultimar los términos de Referencia •Seleccionar el equipo de evaluación y ultimar el presupuesto •Preparar una biblioteca de documentos•Elaborar el plan de comunicación y aprendizaje

3. Inicio Hasta un máximo de 7

semanas

•Orientar al equipo de evaluación•Realizar un examen documental de los documentos•Organizar reuniones iniciales •Preparar el proyecto de informe inicial•Asegurar la calidad del informe inicial •Difundir, ultimar y aprobar el informe inicial

4. Recopilación de datos

Hasta un máximo de 3 semanas

•Preparar el trabajo de evaluación sobre el terreno •Realizar el trabajo sobre el terreno y un análisis preliminar•Organizar una o varias sesiones recapitulativas sobre el final del

trabajo sobre el terreno

5. Informe Hasta un máximo de 11

semanas

•Preparar el proyecto de informe de evaluación•Asegurar la calidad del proyecto de informe •Difundir el proyecto de informe y recabar observaciones •Ultimar el informe de evaluación •Presentar, para su aprobación, el informe de evaluación final

6. Difusión y seguimiento

Hasta un máximo de 4 semanas

•Preparar la respuesta de la dirección •Publicar el informe de evaluación•Difundir y utilizar los resultados de la evaluación

13

Figura 4: Fase 1 Planificación – Mapa detallado del proceso y orientaciones de apoyo

1. Planificación

Elegir: ¿evaluación descentralizada o exámenes? – Sistema para facilitar la toma de decisiones

Notas técnicas por tipo de evaluación

Nota técnica sobre evaluación conjunta

Nota técnica sobre evaluación de operaciones

Nota técnica sobre evaluación del impacto

Nota técnica sobre evaluación de actividades

Nota técnica sobre evaluación temática

Nota técnica sobre evaluación de la modalidad de

transferencias

Nota técnica sobre evaluación piloto

Nota técnica sobre principios de evaluación

Nota técnica sobre normas y estándares para la

evaluación descentralizada

Nota técnica para involucrar a donantes en la

evaluación

Nota técnica sobre presupuesto y calendario

Nota técnica sobre la planificación y el presupuesto

para evaluaciones a nivel de país Nota técnica sobre el Fondo de Contingencia para

evaluaciones (CEF)

Plantilla para aplicar al CEF

Elementos de orientación en las evaluaciones descentralizadas

Vínculos con el Manual de instrucciones para la

elaboración de los programas y con recursos externos

Nota técnica sobre disposiciones para asegurar la

independencia e imparcialidad

Cómo planificar un estudio de

referencia

Requisitos mínimos del PMA en

materia de seguimiento

Procedimientos operativos

estándar del PMA para SyE

Normas 5 y 4 del UNEG sobre imparcialidad e independencia,

respectivamente

Nota técnica sobre evaluación del impacto

Nota técnica sobre métodos

Nota técnica sobre marcos lógicos, valores de

referencia y metas

Plantilla para los planes de seguimiento, evaluación y examen (RME)

Nota técnica sobre comité de evaluación

Nota técnica sobre grupo de referencia sobre evaluación

Nota técnica sobre análisis de las partes interesadas

Norma 7 del UNEG sobre

transparencia

1.5 Acordar las funciones y las

responsabilidades

1.1 Determinar el tipo y el

alcance de la evaluación

1.4 Especificar disposiciones

sobre imparcialidad e independencia

1.2 Estimar el presupuesto y el

calendario

1.3 Vincular la planificación a

un plan de seguimiento

Principales productos de la fase de planificación

Plan de seguimiento, evaluación y examen (RME), definido

Plan de evaluación, incorporado en los Planes Estratégicos para el País (CSP) o los Planes Estratégicos para el País interinos (ICSP), planes de trabajo y presupuestos

Tipo de evaluación, convenido

Calendario inicial y esbozo del presupuesto, establecidos

Responsable de la evaluación, designado

Comité de evaluación, establecido

14

FASE 1: PLANIFICACIÓN

Introducción

24. Cuando dé comienzo la etapa de planificación ya estará tomada la decisión de realizar la evaluación. La planificación de una evaluación descentralizada tiene cinco finalidades principales:

asegurar que la evaluación está incorporada dentro del ciclo del programa del PMA, contribuyendo así a un diseño y ejecución de los programas basado sobre evidencias (Política de Evaluación, resultado 1);

asegurar que las normas de cobertura para las evaluaciones son respetadas tal y como está establecido en la Política de Evaluación del PMA;

determinar previamente el tipo de evaluación que se necesita y los parámetros del ámbito de la evaluación;

asegurar que los costes de la evaluación son calculados adecuadamente en los Presupuestos de Portafolio de País;

incluir la evaluación en el programa para el futuro y los planes de trabajo de las principales partes interesadas, y asegurar que se asignen recursos humanos y financieros suficientes;

asegurar que la recopilación de datos de referencia y compaginar esta actividad con la recopilación de datos de seguimiento, de forma que la información este alineada con las preguntadas de la evaluación.

¿Cuándo planificar para una evaluación?

25. Una evaluación se debe planificar en la fase de diseño del Plan Estratégico para el País (CSP) o el Plan Estratégico para el País interino (ICSP). Estas decisiones iniciales (aunque sean generales) ayudaran a una planificar y asegurar recursos de forma temprana. La Oficina de País debe desarrollar un Plan de seguimiento, evaluación y examen (RME) que permita identificar los requisitos para los datos de referencia, los datos de seguimiento, examen y evaluación (consultar la figura a continuación y la plantilla en este enlace).

26. Teniendo en cuenta las circunstancias fluidas y de cambios rápidos que caracterizan el contexto en el que el PMA opera, algunas suposiciones realizadas durante la formulación del CSP tendrán que ser revisadas durante su curso. El Proceso Anual de Planificación y la preparación anual del Plan de Gestión de las Operaciones en el País (COMP) brindan la oportunidad de comprobar si la evaluación sigue siendo necesaria, si el momento es aún oportuno, si se elabora y reserva un presupuesto y, en su caso, si han cambiado las necesidades de datos empíricos o sus repercusiones para la evaluación planificad. El Plan de seguimiento, evaluación y examen tiene que ser actualizado en consecuencia y compartido con el Oficial Regional de Seguimiento y el Oficial Regional de Evaluación para ser reflejado en el Plan Regional de Evaluación. Dicho proceso permite asimismo tener en cuenta la asignación de responsabilidades relacionadas con la evaluación en los planes de trabajo anual individuales del personal pertinente de la oficina en el país y, en particular, del responsable de la evaluación (PACE).

27. La revisión presupuestaria brinda otra ocasión para comprobar si una evaluación sería la solución idónea o si se deben adoptar cambios en una evaluación ya planificada para adaptarla al enfoque de las revisiones presupuestarias.

Adj DSCImplemen-

tation

e.g. activity, thematic,

impact, etc

[if know it in advance] [if know it in advance]

[as per CSB]

End date

(approval

of final

Estimated total costs

e.g. school feeding,

vouchers (specify

[if know it in advance]

Centralized/

DecentralizedEvaluation Type Subject

Joint

(yes/no)

Evaluation

Manager

(for DE only)

Start date

(preparatio

n phase)

15

28. Una evaluación ad hoc tiene lugar cuando no se haya planificado previamente o no sea posible planificarla desde la fase de inicio —por ejemplo, en una situación de emergencia—. El debate sobre la planificación debe tener lugar a la mayor brevedad posible. Otras oportunidades de planificación se dan cuando se desarrollan propuestas de financiación. Cuando una necesidad de evaluación ad hoc o imprevista aparece, antes de iniciar la fase de preparación se hará una valoración para comprobar la disponibilidad de datos y recursos. El Director en el País es el responsable de adoptar la decisión final, para lo que deberá tener en cuenta toda la información preparada por el Oficial de Programas, el Oficial de SyE y la oficial regional de evaluación. Una vez tomada la decisión, la preparación y realización de la evaluación se hará conforme a lo dispuesto en la presente guía.

Normas mínimas en materia de cobertura de las evaluaciones en el PMA

29. La planificación de las evaluaciones tiene que ser realizada teniendo en cuenta las normas mínimas en materia de cobertura de las evaluaciones (ver Recuadro 5). Estas han sido establecidas para las evaluaciones centralizadas y descentralizadas en la Política de Evaluación del PMA (2016-2021), y deben de ser interpretadas teniendo en cuenta: i) el cambio de operaciones simples a Planes Estratégicos para el País en el marco de la Hoja de Ruta Integrada; y ii) los requisitos de la Política sobre Planes Estratégicos para el País que establecen que todos los CSP deben de ser evaluados hacia el final de su ejecución. En el marco de una función de evaluación descentralizada basada en la demanda, las oficinas de país tienen flexibilidad a la hora de priorizar las temáticas, intervenciones y el momento de las evaluaciones para poder alinearlos con las propias necesidades y los intereses de los donantes y/o colaboradores.

Recuadro 5: Normas mínimas en materia de cobertura de la evaluación descentralizada

30. Reconociendo que tomara tiempo desarrollar las capacidades, experiencia y cultura de evaluación en el PMA, la Estrategia Institucional en materia de Evaluación establece un enfoque por fases en la aplicación de las normas sobre cobertura.

Fase 1: todas las oficinas en los países deben realizar, como mínimo, una evaluación descentralizada en el periodo de 2016 a 2018 para fomentar la experiencia y las capacidades en gestionar evaluaciones descentralizadas. Esto es aplicable a todas las oficinas en los países sin distinción de si operan en el marco de una operación, un CSP o un ICSP. Esto también se aplica sin tener en cuento si las oficinas en los países han formado para de una evaluación centralizada durante el mismo periodo.

Fase 2 (2019-2021): todas las oficinas en los países tienen que asegurar que, como mínimo, la proporción del 50 % de la cartera de actividades de la oficina sea evaluada a través de una o varias evaluación(es) descentralizada(s) antes de 2021. La cartera de actividades se define en función de los recursos obtenidos en términos de dólares y los requisitos de ejecución. Las

La política en materia de evaluación (2016-2021) establece

Normas mínimas en materia de cobertura para las oficinas en los países:

evaluación de al menos el 50 % de la cartera de actividades de cada una de las oficinas en los países en lo que se refiere al valor en dólares EE.UU. de las necesidades sufragadas y actividades llevadas a cabo a través de operaciones o fondos fiduciarios en un plazo de tres años. Las evaluaciones podrán hacerse cada cinco años en los países donde haya un único proyecto de desarrollo o programa en el país (PP), y

de la totalidad de los programas en los países.

Se recomienda realizar una evaluación:

antes de ampliar la escala de los proyectos piloto, las innovaciones y los prototipos; en las intervenciones de alto riesgo, en las que el nivel de riesgo se establecerá de conformidad con la política del PMA en materia de gestión global de riesgos, y

antes de repetir por tercera vez una intervención de tipo y alcance similares.

16

evaluaciones regionales serán incluidas en los cálculos de la realización de las normas en materia de cobertura a nivel país teniendo en cuenta la proporción de la cartera de actividades que forma parte de la evaluación regional. De la misma forma, las evaluaciones centralizadas de impacto, de la cartera de actividades, y de nivel de emergencia L3 gestionadas por OEV contribuirán a la realización de las normas en materia de cobertura. La Nota técnica sobre la planificación y el presupuesto a nivel país puede ser consultada en el enlace siguiente para obtener más detalles sobre el cálculo y la comunicación de la cobertura de las evaluaciones.

Recuadro 6: Planificación y el presupuesto a nivel país

Mapa del proceso

31. El mapa del proceso sirve de orientación a través de los diferentes pasos y tareas que deben llevarse a cabo durante la presente fase. El mapa del proceso le guiara a través de los diferentes pasos y tareas que tienen que llevarse a cabo en cada fase. Si actualmente está preparando un CSP/ICSP, preste atención a las etapas 1.1, 1.2 y 1.3 a continuación. Antes de que empiece la evaluación (unos 6 meses antes aproximadamente), es aconsejable revisar las fases 1.4 y 1.5, así como 1.1 y 1.2. Si la evaluación empieza en los próximos 6 meses, debería de focalizarse en las etapas 1.1 a 1.5 a continuación.

Figura 5: Fase 1 – Mapa del proceso

Una Nota técnica sobre la planificación y el presupuesto a nivel país ha sido preparada (cubriendo ambas evaluaciones centralizadas y descentralizadas) para guiar a las oficinas de país involucradas en preparar planes de evaluaciones.

17

Paso 1.1 Determinar el tipo, el alcance y el uso esperado de la evaluación

Uso esperado

32. Antes de decidir el tipo y alcance de la evaluación, es útil considerar el uso esperado de la evaluación y tratar las preguntas a continuación, básicas pero también fundamentales:

¿Cuál es el propósito principal de la evaluación?

¿Cuáles son sus objetivos principales (balance entre rendición de cuentas y aprendizaje)?

¿Cuáles son las preguntas esenciales a considerar?

¿A qué necesidades e intereses responde?

¿Cómo será utilizada la evaluación? ¿Qué decisiones sobre la intervención podrían servir para la evaluación? ¿Cuándo se toman esas decisiones?

33. Esto se puede realizar a través de una discusión efectiva / breve, transparente y abierta con los equipos de programe y S&E, la dirección de la oficina de país y quizás partes interesadas externas. Una vez que estas respuestas sobre el uso esperado han sido respondidas, estará en una mejor posición para determinar qué tipo de evaluación y alcance son los más adecuados.

Tipo de evaluación

34. El equipo del programa pertinente y el equipo de SyE:

recabarán la información necesaria para facilitar la toma de decisiones en la fase de diseño (incluidas las normas mínimas en materia de coberturas de las evaluaciones, las necesidades de aprendizaje de la oficina de país, compromisos anteriores con los donantes o colaboradores; recomendaciones de evaluaciones anteriores y exámenes, etc.);

consultarán con el Asesor Regional de Evaluación y, cuando proceda, con la OEV. Es un paso importante habida cuenta de la función del despacho regional en la gestión del ciclo de programas y su conocimiento previo de las otras evaluaciones centralizadas previstas (encargadas por la OEV) y demás actividades que podrían repercutir en los planes de la oficina en el país;

consultarán con las partes interesadas externas —gobiernos y asociados, así como los donantes pertinentes—, y

recomendarán el tipo de evaluación idóneo a la dirección de la oficina en el país. En la etapa de diseño de las intervenciones, CSP y ICSP, habrá más opciones sobre el tipo de evaluación que deba llevarse a cabo. Si se deja pasar esta oportunidad, la flexibilidad sobre el tipo de evaluación podría verse reducida (por ejemplo, las evaluaciones del impacto deben planificarse en la etapa de diseño para asegurar una asignación presupuestaria adecuada —que puede ser más alta que para otros tipos de evaluación— y la disponibilidad de datos de referencia y datos del grupo de control).

35. El carácter de la intervención junto con otros factores, como las normas sobre cobertura, las exigencias de los donantes y las necesidades en materia de información, determinarán en buena medida el tipo de evaluación que debe llevarse a cabo, que podrá ser:

El Director en el País o Director Adjunto en el País decide el tipo de evaluación necesaria y su alcance en función del uso esperado

18

una evaluación de las operaciones12, en la que se valore una operación del PMA, como puede ser una intervención de emergencia, una OPSR, una OE, PP o un proyecto de desarrollo. En esta valoración se estudia la idoneidad, las realizaciones y los resultados de la operación, y se intenta aportar razones que justifiquen sus logros o carencias (véase la Nota técnica sobre evaluación de las operaciones);

una evaluación de las actividades, en la que se valore una actividad del PMA o un componente de un CSP/ICSP. Las evaluaciones de las actividades difieren de otros tipos de evaluación que se llevan a cabo en el PMA, porque en ellas se examina un componente específico y condicionado de una o varias operaciones o CSP/ICSP para averiguar si contribuye al logro de resultados en materia de desarrollo y, en caso afirmativo, en qué medida, cómo contribuye y por qué (véase la Nota técnica sobre evaluación de las actividades);

una evaluación de un proyecto piloto, en la que además de una iniciativa piloto, se valore una innovación o un prototipo nuevo o innovador cuando aún se desconocen los resultados y los efectos previstos de la intervención sobre una población determinada. La evaluación de un proyecto piloto es indispensable porque tiene la finalidad de comprobar y valorar su eficacia, su eficiencia y las ventajas, en general, de hacer las cosas de otro modo antes de reproducir dicho proyecto o ampliar su cobertura (véase la Nota técnica sobre evaluación de proyectos piloto), o

una evaluación de la modalidad de transferencia, en la que se valore la modalidad utilizada para distribuir recursos entre los beneficiarios seleccionados (alimentos en especie, cupones, transferencias de base monetaria o una combinación de estas). En las evaluaciones de la modalidad de transferencia se valora la elección y utilización de una modalidad concreta o la combinación de varias modalidades, su eficiencia y su eficacia en función de los costos (véase la Nota técnica sobre evaluación de la modalidad de transferencia).

36. Otras consideraciones pueden sugerir optar por un determinado tipo de evaluación o adoptar un enfoque concreto.

Evaluación del impacto. Se trata de un análisis en profundidad y riguroso de los cambios que las intervenciones del PMA hayan producido en las vidas de las personas. En las evaluaciones del impacto se trata principalmente de valorar los efectos que ha tenido una intervención concreta en los grupos destinatarios (familias, hogares y comunidades, hombres y mujeres, niños y niñas), en los sistemas institucionales, técnicos o sociales, y en el medio ambiente. Con las evaluaciones del impacto se intenta específicamente comprender cómo ha contribuido la iniciativa del PMA a los resultados. En estas evaluaciones, los datos (sobre los destinatarios de la intervención y los grupos de referencia que no se hayan acogido a la intervención), el diseño y los recursos deben ser de gran calidad. Este tipo de evaluación solo debe plantearse cuando exista una necesidad clara, esto es, cuando exista una fuerte demanda de datos empíricos y se disponga de recursos suficientes para llevarla a cabo con éxito (véase la Nota técnica sobre evaluación del impacto).

Evaluación temática. Las evaluaciones temáticas se encargan para agregar y aportar datos empíricos sobre cuestiones específicas importantes en una serie de intervenciones. En ellas se valora, por lo general, una muestra de intervenciones o enfoques de las intervenciones en un determinado sector o un aspecto transectorial de la labor del PMA, como pueden ser la igualdad de género y el empoderamiento de las mujeres, el desarrollo de las capacidades y la protección (véase la Nota técnica sobre la evaluación temática).

Evaluación conjunta. Este tipo de evaluación puede ser adecuado para valorar una intervención llevada a cabo en colaboración con otros organismos, obtener conocimientos compartidos sobre la calidad de las realizaciones y para medir el valor de la programación conjunta y la contribución del PMA en dichas colaboraciones. Las evaluaciones conjuntas suelen ser de utilidad en contextos humanitarios, cuando en una intervención de emergencia o

12 De conformidad con la Hoja de Ruta Integrada, las operaciones serán gradualmente reemplazadas por los CSP / ICSP.

19

de recuperación participan distintos organismos de asistencia humanitaria que colaboran estrechamente para alcanzar un objetivo común. También pueden ser de utilidad en los programas conjuntos dentro del Marco de Asistencia de las Naciones Unidas para el Desarrollo (MANUD) (véase la Nota técnica sobre evaluación conjunta).

Alcance de la evaluación

37. Durante la fase de planificación se determinarán, cuando menos, los criterios mínimos del alcance de la evaluación (qué elementos se incluirán o cuáles se excluirán), y las decisiones sobre los pormenores se dejarán para la Fase 2, cuando se prepare la evaluación.

38. El equipo encargado del programa y el equipo de SyE se ocuparán de:

determinar los criterios de ámbito general (teniendo en cuenta las consideraciones sobre imparcialidad), a saber:

finalidad principal de la evaluación (mantener el equilibrio entre los objetivos de aprendizaje y de rendición de cuentas);

qué intervenciones deben incluirse y cuáles deben excluirse;

el período de tiempo que se abarcará en la evaluación, y

la extensión geográfica que se cubrirá.

consultar con el Oficial Regional de Evaluación y las dependencias técnicas del despacho regional y de la Sede (según proceda) para evitar solapamientos y/o sincronizar los planes con vistas a maximizar la utilidad. Asimismo se tendrá en cuenta el plan de trabajo de la OEV en lo que se refiere a las evaluaciones centralizadas, con vistas a asegurar la coherencia, la complementariedad y el apoyo recíproco.

20

Paso 1.2 Estimar el presupuesto y el calendario

39. El equipo responsable del programa y el equipo de SyE:

prepararán un presupuesto indicativo para su inclusión en el presupuesto global para intervenciones. Si bien las cifras presupuestarias detalladas se elaboran en la siguiente fase (preparación), es importante establecer unos criterios mínimos en la etapa de diseño del ICSP, CSP e intervención (véanse la plantilla presupuestario y plantilla para establecer el calendario).

Recuadro 7: Planificación y presupuesto a nivel país

40. Los costos de una evaluación dependen de varios factores, entre los que se incluyen el alcance y la metodología. A continuación se indican los principales elementos que deben estimarse en esta etapa.

El equipo de evaluación: ¿cuántos miembros lo integran? ¿Cuáles son sus principales competencias? ¿Cuál es la combinación de actuaciones internacionales y/o nacionales y el número de días en total?

Tarifas diarias indicativas para cada miembro, y los costos derivados de la contratación del equipo;

Número de días de trabajo sobre el terreno que serán necesarios y los gastos de viaje para los desplazamientos hasta el país y en el interior del mismo, incluidas las dietas para los miembros del equipo de evaluación y los intérpretes;

Costos de recopilación de datos, como encuestas, talleres, reuniones y entrevistas, y

Costos previstos para sufragar las actividades de difusión, por ejemplo, el diseño, la impresión y la traducción del material de difusión, talleres de difusión, etc.

41. La Política de Evaluación del PMA no especifica indicaciones presupuestarias para las evaluaciones, pero la experiencia de evaluaciones recientes puede ser útil para elaborar un presupuesto global. Sobre la base de la experiencia acumulada durante la serie de evaluaciones de operaciones gestionadas por la OEV, se han elaborado han elaborado indicaciones presupuestarias generales, el costo medio de una evaluación en función del tamaño de las operaciones (tal y como está

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

1.1 Determinar el tipo y el alcance

de la evaluación

1.2 Estimar el presupuesto y

el calendario

1.3 Vincular la planificación a

un plan de seguimiento

1.4 Aclarar las disposiciones sobre

imparcialidad e independencia

1.5 Acordar las funciones y las responsabilidades

El Director en el País o Director Adjunto en el País aprueba el presupuesto indicativo de la evaluación y su calendario

La Nota técnica sobre la planificación y el presupuesto a nivel país ha sido preparada (cubriendo ambas evaluaciones centralizadas y descentralizadas) para guiar a las oficinas de país involucradas en el diseño de los CSP o ICSP y la preparación de un Presupuesto de Cartera a nivel País. Esta nota también es una referencia útil a considerar por las oficinas de país durante la revisión de sus planes de evaluación realizada durante el ciclo anual de planificación sobre los resultados y retro-información y la preparación del Plan de Gestión de las Operaciones en el País (COMP). Durante la preparación del CSP o ICSP, las oficinas de país tienen que desarrollar un Plan de seguimiento, evaluación y examen (RME) que permita identificar los requisitos para los datos de referencia, los datos de seguimiento, examen y evaluación, en coherencia con las teorías del cambio de los CSP (o el cuadro lógico). Las diferentes actividades de seguimiento, exámenes y evaluaciones tienen que estar alineadas en el tiempo para asegurar su complementariedad y sincronización, asegurando así un uso eficiente de los datos reunidos. La plantilla para desarrollar el Plan de seguimiento, evaluación y examen está disponible en el siguiente enlace.

21

reflejado en el presupuesto operacional total) como se indica en el cuadro 1 a continuación.13 Los Oficiales Regionales de Evaluación y otros oficiales que han gestionado evaluaciones anteriormente pueden ser consultados al respecto. El equipo de finanzas de la oficina del país puede también asistir con los costes. Un resumen de las tarifas diarias aprobadas con las compañías con las que se han establecido acuerdos de larga duración está disponible a continuación.

Cuadro 1: Presupuesto indicativo para la evaluación por tamaño de las oficinas de país

Tamaño de la operación en dólares EE.UU. por valor del total de fondos

Costo promedio

para realizar una

evaluación (dólares EE.UU.)

Costo promedio

para gestionar una

evaluación (dólares EE.UU.)

Número estimado de días por fase

Inicio

Trabajo sobre

el terreno

Preparación de informes

Total

Operación Grande (más de 275 millones de dólares)

152.742 21,025 36 97 58 191

Operación Mediana (entre 88 millones de dólares y 275 millones de dólares)

111,756 17,811 24 75 37 136

Operación Pequeña (menos de 88 millones de dólares)

92,301 13,274 22 56 36 114

Coste Promedio* 118,933 17,370 25 69 42 136

Fuente: Análisis de la serie de evaluaciones de las operaciones del PMA (2013-2016)

*Se recuerda que los promedios se calculan sobre la base del universo de auditoría de todas las operaciones.

42. Si la cantidad de fondos disponibles o esperados fuera desproporcionadamente baja respecto de la magnitud de la intervención (por ejemplo, una dotación presupuestaria de 20.000 dólares para cubrir todos los elementos de una intervención valorada en 500 millones de dólares), habrá que cuestionar la viabilidad de una evaluación que sea útil y creíble. Para que las evaluaciones sean de calidad y utilidad, la cobertura de las intervenciones que estén siendo evaluadas debe ser adecuada, para lo que será necesario disponer de recursos suficientes, en una proporción acorde con el alcance de la evaluación.

43. Si el costo estimado de la evaluación fuera exageradamente alto, se contemplará la adopción de medidas para reducirlo, siempre que estas no comprometan la calidad de la evaluación. En el recuadro a continuación se indican los factores que repercuten (reducen o aumentan) en los costos de una evaluación.

13 Datos extraídos de la serie de evaluaciones de las operaciones del PMA, establecida en 2013. Solo tienen carácter indicativo.

22

Recuadro 8: Consejo – Medidas para reducir los costos de una evaluación

Conseguir el equilibrio idóneo entre la contratación de evaluadores locales, regionales e internacionales, velando por que entre todos aporten los conocimientos necesarios.

Gestionar el alcance y la complejidad, y controlar así el número de días necesarios para cada fase de la evaluación: inicio, recopilación y análisis de datos y preparación del informe.

Sustituir una misión en la fase de inicio por sesiones informativas y debates por teleconferencia.

Si se vela por la eficacia en las fases de seguimiento y preparación de informes, se generará gran cantidad de datos, y se reducirán el volumen de datos primarios necesarios que debe recopilar el equipo de evaluación y los gastos conexos.

Buscar vínculos con otros ejercicios de recopilación de datos en el marco de otras actividades clave como, por ejemplo, seguimiento posterior a la distribución, evaluación de la seguridad alimentaria en emergencias o presentación de informes de los distintos módulos.

Llevar a cabo, siempre que sea posible, ejercicios conjuntos para compartir gastos.

44. Si la intervención que está siendo evaluada afronta problemas importantes de financiación, la Oficina de País puede aplicar al Fondo de Contingencia de Evaluación durante la fase de preparación. Sin embargo, para poder aplicar, la Oficina de País tiene que haber preparado un presupuesto adecuado para la evaluación en el marco de la operación o el Presupuesto de Cartera del País.

Calendario

45. El equipo responsable del programa y el equipo de SyE:

prepararán un calendario indicativo de la evaluación, que variará en función de si se trata de una evaluación de mitad de período o una evaluación final. El calendario pormenorizado se elabora en la fase de preparación, pero es importante establecer criterios mínimos en la fase de diseño (véanse la plantilla presupuestario y plantilla para establecer el calendario).

46. El momento idóneo para llevar a cabo la evaluación depende de varios factores. La intervención se habrá aplicado durante un tiempo suficiente y habrá generado datos empíricos que permitan realizar la evaluación. La elección del momento es fundamental para que el informe de evaluación coincida en el tiempo con la gestión de los programas y los procesos de toma de decisiones —en particular, cuando la evaluación sirva de base para diseñar la siguiente fase de la intervención, es decir, cuando su utilidad sea mayor. El momento de la evaluación se sincronizará asimismo, en la medida de lo posible, con los planes y calendarios de seguimiento, porque estos generan datos muy importantes para la función de evaluación. Por ejemplo, si está prevista la celebración de una encuesta sobre los efectos de la intervención, lo lógico sería esperar a que esos datos estén disponibles antes de iniciar la evaluación (véase también el paso siguiente sobre la vinculación con los planes y procedimientos de seguimiento).

47. Con la ayuda de estos criterios mínimos y el ciclo de programas de la intervención podemos estimar un calendario factible para la evaluación, es decir, el año y la fecha en que debe culminarse. También deben tenerse en cuenta otros factores para determinar si la época del año es importante, por ejemplo, durante el curso escolar o durante una estación en particular, cuando el acceso físico y la disponibilidad de las partes interesadas tienen una importancia decisiva.

48. Si contamos hacia atrás desde la fecha límite establecida para su culminación, podemos elaborar un calendario provisional con plazos estimados para cada fase (análisis y presentación de informes, incluido el tiempo necesario para la formulación de observaciones; los trabajos sobre el terreno; el inicio, incluido el perfeccionamiento de la metodología, y la preparación de la evaluación, incluidas las consultas con las partes interesadas, la preparación de los términos de referencia y la selección del equipo de evaluación) y una fecha aproximada para que dé comienzo. No conviene subestimar el tiempo necesario para cada fase y las tareas imprescindibles; pero también se evitará prolongar su duración en exceso, porque ello repercutiría en el importe del costo, en particular,

23

una vez contratado el equipo de evaluación. Los plazos aproximados para cada fase que se indican en la Figura 3 son estimaciones útiles con las que se puede comenzar a trabajar.

Paso 1.3 Vincular la planificación a un plan de seguimiento

49. El equipo responsable del programa y el equipo de SyE:

determinan los valores de referencia y las necesidades en materia de seguimiento, y

consultan con el Oficial Regional de Seguimiento y el Oficial Regional de Evaluación.

50. En la mayoría de los tipos de evaluación se especifica el punto de partida (base de referencia) previo a la intervención, que permita hacer una comparación entre “el antes” y “el después”. En las directrices sobre SyE en el PMA y los procedimientos operativos estándar de SyE se describe la definición de “base de referencia” (situación de riesgo previa a la operación) y cómo emprender un estudio de referencia (véase en la Figura 4 el mapa del proceso y las orientaciones de apoyo en la fase 1). En los procedimientos operativos estándar se estipula que en el marco del proceso de elaboración de proyectos se formularán bases de referencia para todos los indicadores de efectos.

51. La elección del momento idóneo para el estudio de referencia es importante para la futura evaluación. En dichos procedimientos operativos estándar de SyE se recomienda que las bases de referencia se elaboren en un plazo comprendido entre tres meses antes y tres meses después del comienzo de la intervención.

52. Las evaluaciones respaldadas por un sistema de seguimiento eficaz tienen más probabilidades de resultar creíbles y útiles, porque si queremos disponer de información válida para la evaluación, es fundamental obtener los resultados del seguimiento durante toda la ejecución de los programas. En la fase de diseño de las intervenciones deben activarse y utilizarse los requisitos mínimos del PMA en materia de seguimiento (véase el vínculo en el mapa del proceso de la Figura 4). Es importante sincronizar el calendario de la evaluación con los planes de seguimiento para no perder ninguno de los importantes datos que se recopilen. Asimismo, habida cuenta de que las personas que participan en las tareas de seguimiento y de evaluación pueden ser las mismas (por ejemplo, el Oficial de SyE), es aconsejable fusionar dichas actividades para evitar cualquier discrepancia.

53. En algunas evaluaciones puede ser necesario recopilar mayor cantidad de datos que los estipulados para el seguimiento institucional, que se centra especialmente en el proceso y los indicadores de productos y efectos, tal como se indica en el marco lógico y el plan de seguimiento de los proyectos. Algunas evaluaciones pueden necesitar un examen más amplio y minucioso de algunos aspectos de la intervención durante el ciclo del proyecto, o información adicional sobre asociaciones, proveedores de servicios, lugares de distribución, puntos de entrega, etc., porque es poco realista esperar dicha recopilación del equipo de evaluación durante la fase final del proceso. Es el caso, en particular, de las evaluaciones del impacto y la evaluación de innovaciones. En este sentido, deben especificarse los requisitos en la etapa de diseño de la intervención. En la Nota técnica sobre metodología y métodos de evaluación se amplía la información sobre los tipos de recopilación de datos y se explica la diferencia que existe entre las fuentes de datos primarios y las de datos secundarios.

54. Cuando se identifiquen las necesidades de seguimiento y de referencia, es necesario realizar planes para presentar los datos de seguimiento y de referencia desagregados y, cuando sea apropiado, cualquier otro dato específico sobre el género, en función del tipo de intervención.

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

1.1 Determinar el tipo y el alcance

de la evaluación

1.2 Estimar el presupuesto y

el calendario

1.3 Vincular la planificación a

un plan de seguimiento

1.4 Aclarar las disposiciones sobre

imparcialidad e independencia

1.5 Acordar las funciones y las responsabilidades

24

Recuadro 9 – Consejo: Modos adicionales de recopilación de datos para determinados tipos de evaluación

En algunas evaluaciones del impacto es necesario recopilar datos de un grupo de control o “de contraste”, además de aquellos sobre los grupos destinatarios (véase la Nota técnica sobre evaluación del impacto).

Los enfoques cualitativos pueden incluir la recogida de “historias del cambio” o estudios de caso para comprender mejor los cambios que se hayan producido, sus causas y de qué manera

(véase la Nota técnica sobre metodología y métodos).

Paso 1.4 Aclarar las disposiciones sobre imparcialidad e independencia

55. El equipo responsable de diseñar y llevar a cabo la intervención debe ser consciente de la importancia de asegurar que todos sus integrantes apoyen los mecanismos previstos para garantizar la imparcialidad, y los adopten en la gestión del proceso de evaluación.

56. El equipo de SyE, en su calidad de guardián de los datos y la información (es decir, informes de seguimiento, bases de datos, listas de lugares de ejecución de los proyectos, asociaciones, etc.), asegura que el equipo de evaluación tenga acceso a estos datos.

57. La OEV es responsable de adoptar disposiciones de ámbito institucional sobre imparcialidad, y los despachos regionales son responsables de que estas se apliquen en sus respectivas regiones, mientras que la oficina en el país velará por su cumplimiento en la evaluación específica.

58. La imparcialidad consiste en la ausencia de sesgos o mitigación en todas las etapas del proceso de evaluación. Este requisito tiene una importancia fundamental para la utilidad y credibilidad de las evaluaciones, tal como establecen la Política en materia de evaluación (2016-2021) y las normas y estándares del UNEG (véase el mapa del proceso en la Figura 4). La vigilancia contra posibles sesgos comienza con el inicio del proceso de evaluación y abarca todas las fases. La presente guía tiene la función de apoyar la adhesión a este principio durante todo el proceso de evaluación (véase la Nota técnica sobre las disposiciones sobre independencia e imparcialidad).

59. Los mecanismos específicos para garantizar la independencia e imparcialidad se adoptan en la fase de preparación, pero es aconsejable tenerlos presente ya en la fase de planificación. En caso de duda, consultar con el Oficial Regional de Evaluación.

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

1.1 Determinar el tipo y el alcance

de la evaluación

1.2 Estimar el presupuesto y

el calendario

1.3 Vincular la planificación a

un plan de seguimiento

1.4 Aclarar las disposiciones sobre

imparcialidad e independencia

1.5 Acordar las funciones y las responsabilidades

El Director en el País o Director Adjunto en el País asegura que el personal de la oficina en el país conozca y entienda las disposiciones sobre imparcialidad e independencia

25

Recuadro 10: Incorporación en la presente guía de las disposiciones sobre imparcialidad e independencia establecidas en la política en materia de evaluación

Disposiciones sobre independencia e imparcialidad de las evaluaciones

descentralizadas

Mecanismos sobre los que se informa en la presente guía

Diferenciación funcional entre el personal directivo que tome las decisiones en materia de evaluación y el personal que se encargue directamente de llevar a cabo las intervenciones que se estén evaluando.

La dirección de las oficinas en el país:

establece y preside un comité de evaluación (véanse la Nota técnica sobre el comité de evaluación y el paso 1.4), y

nombra, bajo determinadas condiciones, al responsable de la evaluación (véase el paso 1.5).

Mecanismos que garantizan que las evaluaciones estén libres de influencias indebidas y que los informes sean imparciales y transparentes —por ejemplo, los términos de referencia, el informe inicial y el informe de evaluación a cargo de un servicio externalizado.

Utiliza necesariamente el servicio externalizado de apoyo a la calidad, bajo la dirección de la OEV, que ofrece retroinformación sobre los términos de referencia, el informe inicial y el informe de evaluación (véase el paso 2.3 para primera referencia), y

establece y preside un grupo de referencia sobre evaluación, véase la Nota técnica sobre el grupo de referencia sobre evaluación.

Todas las evaluaciones estarán públicamente disponibles.

véase el paso 6.2.

La OEV asegura una valoración independiente de la calidad a posteriori.

Abarcará todas las evaluaciones descentralizadas.

Todas las evaluaciones son realizadas por evaluadores independientes.

Véanse el paso 2.4 y la Nota técnica sobre opciones para la contratación del equipo de evaluación.

Los posibles conflictos de intereses serán valorados antes de contratar al equipo de evaluación.

Todos los evaluadores firman el Código de conducta para los evaluadores en el sistema de las Naciones Unidas.

La Carta de la función de evaluación y la directiva sobre la difusión de información garantizan a los evaluadores el acceso a la información.

Estas disposiciones se han incorporado en distintos apartados de la guía, en particular en el paso 4.2.

El SGCE descentralizadas para una gestión transparente de la función de evaluación.

El sistema incluye la presente guía como uno de sus principales componentes.

Un servicio de asistencia. Bajo la dirección de la OEV, para apoyar el proceso de gestión de las evaluaciones descentralizadas a través de los despachos regionales.

Una línea directa. Servicio institucional cuya finalidad es dar respuesta a las preguntas o inquietudes de los miembros del personal o evaluadores en todo lo relacionado con la imparcialidad y la independencia. El Director de Evaluación se encargará de su gestión.

Integración de las funciones y responsabilidades en materia de evaluación en: i) el sistema del PMA para la gestión de la actuación profesional del personal, y ii) las declaraciones de fiabilidad en materia de control interno efectuadas por los directores.

No entran en el ámbito de la presente guía.

26

Paso 1.5 Acordar las funciones y las responsabilidades

60. El Director en el País o el Director Adjunto en el País:

nombra al responsable de la evaluación para que este planifique con la debida antelación la evaluación e incluya tales responsabilidades de gestión de la evaluación en su plan de trabajo para mantener cierta distancia de las intervenciones que serán objeto de la evaluación, como medida de prevención necesaria contra cualquier posible sesgo. Asimismo facilita la inclusión de las distintas funciones en los planes de trabajo individuales. La selección del responsable de la evaluación estará probablemente sujeta a una serie de consideraciones pragmáticas y de carácter técnico. En el Recuadro 11 se indican las capacidades principales que deberá reunir el responsable de la evaluación.

Recuadro 11: Competencias y capacidades del responsable de la evaluación

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

1.1 Determinar el tipo y el alcance

de la evaluación

1.2 Estimar el presupuesto y

el calendario

1.3 Vincular la planificación a

un plan de seguimiento

1.4 Aclarar las disposiciones sobre

imparcialidad e independencia

1.5 Acordar las funciones y las responsabilidades

El Director en el País o Director Adjunto en el País nombra al responsable de la evaluación

El Director en el País establece el comité de evaluación y el grupo de referencia sobre evaluación

Un buen responsable de la evaluación deberá reunir las siguientes competencias y capacidades:

capacidad para la gestión de relaciones;

capacidad para la resolución de problemas;

capacidad para interactuar con una amplia variedad de partes interesadas, y para solicitar su participación y su compromiso;

capacidad para trabajar en equipo y asumir la dirección del mismo;

conocimiento de los procesos vigentes en el PMA, incluidos los administrativos (para la gestión de contratos);

conocimiento del contexto del país o los países pertinentes, y

conocimiento de los conceptos y principios de la función de evaluación.

27

61. Las opciones para nombrar al responsable de la evaluación son cuatro:

Opción 2: un Oficial de Análisis y Cartografía de la Vulnerabilidad (VAM) o un Oficial de Programas de la oficina en el país

Solo y únicamente en el caso de que el Oficial de SyE no pueda ser el responsable de la evaluación, se nombrará al Oficial de VAM, Oficial de Programas u Oficial de Vigilancia de la Aplicación de las Normas que idealmente no haya participado directamente en la dirección ni la aplicación del programa o de las actividades que deban evaluarse.

Opción 1: un Oficial de SyE

La opción preferible es que sea el jefe o un miembro del equipo de SyE quien asuma la dirección de la función de evaluación. La ventaja es que ya conocerá el programa o las actividades objeto de la evaluación, sin que haya participado directamente en su gestión o aplicación (es muy probable que el equipo de SyE haya participado en actividades de seguimiento de las actividades que se estén evaluando, salvo en los casos en que las oficinas en los países dispongan de otros sistemas de seguimiento de las distintas operaciones). Esta opción sería factible para oficinas en los países de tamaño grande y muy grande, y para aquellas de tamaño mediano que tengan un puesto de Oficial de SyE.

Si la opción 1 no es factible porque en la oficina en el país no hay un puesto de SyE, o todo el personal ha participado directamente en la gestión o aplicación de las actividades que se estén evaluando o el personal de SyE no reúne las capacidades necesarias, el Director en el País o Director Adjunto en el País debe considerar la opción 2.

Opción 3: un Oficial de SyE de otra oficina en el país o un consultor externo

Si en la oficina en el país no hubiera nadie que pueda asumir la función de responsable de la evaluación, el Director en el País o Director Adjunto en el País estudiará la posibilidad de traer a alguien de otra oficina en el país mediante una asignación temporal. Solo podrán asumir la gestión de una evaluación que tenga lugar en una oficina ajena los miembros del personal que ya hayan gestionado una evaluación descentralizada, conforme a lo dispuesto en la presente guía, y/o hayan seguido el programa de aprendizaje en materia de evaluación, elaborado por la OEV. Esta opción podría no estar disponible hasta 2018. La gestión mediante asignación temporal puede llevarse a cabo, en parte, a distancia, y el responsable solo se personaría en la oficina en el país en los momentos decisivos del proceso de evaluación. Otra posibilidad sería que el Director en el País o Director Adjunto en el País contrate los servicios de un consultor externo para que asuma la gestión del proceso de evaluación. Esta gestión también podría realizarse a distancia, con una presencia en el país limitada o nula. Dada la naturaleza del proceso de evaluación, este contrato no sería a tiempo completo, sino un contrato de servicios efectivos, en el que se establezca un determinado número de días en función de las necesidades inherentes a cada fase. Si la evaluación se encargara a una empresa con la que la OEV mantenga un contrato a largo plazo, esta misma empresa podría prestar los servicios de gestión.

Si la opción 3 no es factible porque no hay personal disponible para la asignación temporal o la oficina en el país no puede asumir los costos para sufragar los servicios de gestión mediante la asignación temporal, la contratación de un consultor externo o la utilización del contrato de larga duración, el Director en el País o Director Adjunto en el País debe considerar la opción 4.

Opción 4: un Oficial Regional de Evaluación

Esta opción será el último recurso cuando ninguna de las otras tres sea factible, y solo es viable en oficinas de tamaño pequeño o muy pequeño. De hecho, no sería sostenible que el Asesor Regional de evaluación asumiera la gestión de todas las evaluaciones descentralizadas que se lleven a cabo en su región, especialmente en regiones donde existen numerosas oficinas en los países.

Si la opción 2 no es factible porque la oficina en el país no tenga un Oficial de SyE ni de Cumplimiento, o porque todos los oficiales de programas hayan participado directamente en la gestión de las actividades sean objeto de la evaluación, el Director en el País o Director Adjunto en el País debe considerar la opción 3.

.

28

62. El responsable de la evaluación, que haya sido nombrado en el marco de cualquiera de estas opciones, rendirá cuentas al Director en el País o Director Adjunto en el País sobre todas las cuestiones relacionadas con la gestión del proceso de evaluación. En el caso de que un responsable de evaluación deje su puesto antes de la finalización de la evaluación (por ejemplo, debido a una reasignación), a la persona que lo substituya tiene que ser nombrada siguiendo los mismos principios.

63. En esta fase de inicio se tratará sobre el establecimiento y la aclaración de la presidencia del comité de evaluación (véase la Nota técnica sobre el comité de evaluación) y del grupo de referencia sobre evaluación (véase la Nota técnica sobre el grupo de referencia sobre evaluación), y se acordará la participación del Director en el País o Director Adjunto en el País. De este modo podrán incluir esta función en sus planes de trabajo para el futuro, prestar el apoyo necesario en las sucesivas fases de la evaluación y planificar mejor el tiempo que dedicarán a estas funciones. La composición y los términos de referencia del comité de evaluación y del grupo de referencia sobre evaluación se ultimarán durante la siguiente fase, en el paso 2.2. El Oficial Regional de Evaluación formará parte del Grupo de Referencia de la Evaluación; también puede ser útil incluirlo/la en el Comité de Evaluación. El responsable de la evaluación tiene que ponerse en contacto con el Oficial Regional de Evaluación al inicio del proceso.

Recuadro 12: Envolviendo a los donantes en las evaluaciones

64. En la etapa de diseño de la intervención se determinarán las partes interesadas externas clave. Durante la fase de planificación se examinará este punto y se definirán los intereses de las partes interesadas internas y externas en la evaluación, junto con su posible capacidad de influir en ella o de verse influenciadas por ella. También se especificará su posible participación en la evaluación (véase la Nota técnica sobre análisis de las partes interesadas). Una vez que se hayan determinado las partes interesadas, se tratará sobre el calendario general de la evaluación y, cuando proceda, se les comunicará para facilitarles su propia planificación.

Se marcaron compromisos importantes en la Agenda 2030 y en el Foro Humanitario Mundial para aumentar las evidencias disponibles sobre los resultados y reforzar la transparencia, la eficiencia y la rendición de cuentas por parte de todas las partes comprometidas. En un contexto competitivo, complejo y lleno de actores, están aumentado las expectativas de los donantes para obtener evidencias del impacto del PMA sobre las personas a las que sirve. La evaluación juega un papel clave en este sentido. Esta nota es una guía para los Oficiales del PMA de Asociaciones Gubernamentales y con el sector privado, y los empleados de las Oficinas de País y Despachos Regionales que interactúan con los donantes sobre temas claves relacionados con la evaluación. Hay cuatro opciones para que los donantes se involucren en el proceso de evaluación:

1. Evaluaciones conjuntas o de sistema de las Naciones Unidas: las evaluaciones de sistema son consideradas como mecanismos eficientes de rendición de cuentas y aportan a los donantes el nivel de inclusión requerido para informar sobre los resultados a sus respectivos constituyentes. Al mismo tiempo, maximizan las oportunidades de aprendizaje. En estos casos, todas las organizaciones y donantes involucrados se asocian para preparar, recaudar fondos y encargar la evaluación conjunta.

2. En tanto que miembro del Grupo de Referencia de la Evaluación de una evaluación encargada por el PMA: el PMA puede proponer a ciertos donantes que hayan realizado contribuciones substanciales a un programa ser pare del Grupo de Referencia de la Evaluación. Esto debe ser decidido por el encargado de la evaluación al principio del proceso y reflejado en los Términos de Referencia.

3. Informante clave de una evaluación encargada por el PMA: los equipos de evaluación tienen que contactar sistemáticamente a las partes interesadas externas e internas, asegurando así resultados equilibrados y precisos que apoyen las recomendaciones.

4. Evaluación externa: los donantes pueden decidir encargar su propia evaluación externa que suele estar centrada en el apoyo dado, en términos generales, a un cierto país / región o iniciativa, dentro de la cual el PMA es una de las partes interesadas.

Una Nota Técnica sobre como involucrar a los donantes en las evaluaciones está disponible en tanto que guía para los Oficiales del PMA de Asociaciones Gubernamentales y con el sector privado a nivel de país, regional y en la sede, así como para los empleados de las Oficinas de País y Despachos Regionales que interactúan con los donantes sobre temas claves relacionados con la evaluación.

29

Resumen

Cuadro 2: Resumen de responsabilidades – Fase de planificación

Pasos y responsabi- lidades*

Director en el País o Director

Adjunto en el País

Equipo de programas

de la oficina en

el país

Equipo de SyE de la oficina en

el país

Otras dependencia

s de la oficina en el

país

Despacho regional

OEV

Otras dependen- cias de la

Sede

Partes interesadas

externas

1.1 Decidir el tipo y el alcance de la evaluación descentralizada

D L L S P S S S

1.2 Estimar el presupuesto y el calendario

D L L S S

1.3 Vincularla con el plan de seguimiento

L P - S

1.4 Especificar las disposiciones sobre imparcialidad

L P P P S

1.5 Acordar las funciones y las responsabilidades

D P P S

Clave: A/D: aprueba / decide L: dirige – asume la responsabilidad general de iniciar el paso

P: participa activamente en el paso S: apoya el proceso con tareas específicas, en caso necesario

* La estructura de las oficinas del PMA en los países puede variar de la presentación incluida aquí. Por ejemplo, hay oficinas en los países donde el equipo de SyE está integrado con el equipo de programas. Será necesario adaptar las funciones según proceda, sin olvidar el imperativo de imparcialidad, como se explica en el paso 1.4

30

Cuadro 3: Lista de comprobación para la fase de planificación

Actividades principales: Sí No Justificación

Paso 1.1: Decidir el tipo y el alcance de la evaluación descentralizada

¿Se ha determinado el tipo de evaluación, y se ha incluido está en el plan de monitoreo, examen y evaluación, el CSP/ICSP y el plan anual de realizaciones de la oficina en el país?

¿Se ha definido su alcance y el uso esperado, en líneas generales?

Paso 1.2: Estimar el presupuesto y el calendario de la evaluación

¿Está disponible el presupuesto indicativo, y se han adoptado las previsiones oportunas al respecto en el Presupuesto de Cartera de País?

¿Está disponible el calendario estimado de la evaluación?

Paso 1.3: Vincular la evaluación a un plan de seguimiento

¿Se han especificado los requisitos de referencia?

¿Se han determinado las necesidades en materia de seguimiento de la evaluación?

Paso 1.4: Especificar las disposiciones sobre imparcialidad e independencia

¿Son conscientes los compañeros pertinentes de la oficina en el país de la importancia de garantizar la imparcialidad, y conocen las disposiciones establecidas al respecto?

Paso 1.5: Acordar las funciones y responsabilidades

¿Ha nombrado el Director en el País o Director Adjunto en el País al responsable de la evaluación?

¿Se ha establecido un comité de evaluación?

¿Se ha establecido un grupo de referencia sobre evaluación?

¿Se ha especificado la función del Director en el País y el Director Adjunto en el País?

¿Se han especificado todas las demás funciones y responsabilidades de la oficina en el país o el despacho regional?

FASE DE PLANIFICACIÓN CONCLUIDA

Una vez concluida la fase de planificación:

la oficina en el país comparte con el despacho regional y la OEV los planes de evaluación.

31

Figura 6: Fase 2 Preparación – Mapa detallado del proceso y orientaciones de apoyo

2. Preparación

2.3 Asegurar la calidad, realizar

consultas y ultimar los términos de Referencia

2.5 Preparar la biblioteca de documentos

Plantilla de lo términos de referencia

Nota técnica sobre criterios y

cuestiones de la evaluación

Nota técnica sobre el Género en las evaluaciones, Control de Calidad, Guía

Rápida

Nota técnica sobre métodos

Nota técnica sobre análisis de las partes interesadas

Nota técnica sobre normas y estándares para la evaluación descentralizada

Plantilla de presupuesto y de calendario de evaluación

Norma 4 del UNEG sobre

independencia

Norma 5 del UNEG sobre

imparcialidad

Norma 7 del UNEG sobre

transparencia

Standard #4.2 del UNEG sobre evaluabilidad

Orientaciones del UNEG para la

incorporación de los derechos

humanos y la igualdad de género

en la función de evaluación

Nota técnica sobre disposiciones en materia de independencia e

imparcialidad

Nota sobre el grupo de referencia sobre

Evaluación

Nota técnica sobre como involucrar donantes en la evaluación

Elementos de orientación en las evaluaciones descentralizadas

Vínculos con el Manual de instrucciones para la elaboración de programas y con recursos externos

Lista de comprobación de la calidad de

los términos de Referencia

Plantilla de cuadro recapitulativo de observaciones

Norma 3 del UNEG sobre

competencias de evaluación

Código de conducta del UNEG para los

evaluadores

Directrices deontológicas del UNEG

Nota técnica sobre el análisis de las

partes interesadas

Plantilla de plan de comunicación y aprendizaje

Nota técnica sobre el Género en las

evaluaciones, Control de Calidad, Guía Rápida

Norma 14 del UNEG sobre utilización y seguimiento de las

evaluaciones

2.1 Términos de referencia

2.2 Ultimar las disposiciones

sobre imparcialidad e independencia

2.4 Seleccionar al equipo de evaluación y

ultimar el presupuesto

2.6 Elaborar el plan de

comunicación y aprendizaje

Nota técnica sobre las disposiciones en

materia de imparcialidad

Nota técnica sobre los tipos de

contratos para los equipos de

evaluación

Nota técnica sobre el Género en las

evaluaciones, Control de Calidad, Guía

Rápida

Plantilla para contratar a un responsable de evaluación externo

Norma 5 del UNEG sobre calidad

Principales productos de la fase de preparación

Términos de referencia

Retroinformación del servicio externalizado de apoyo a la calidad sobre los términos de Referencia

Cuadro recapitulativo de observaciones, terminado

Informe final, aprobado

Equipo de evaluación, contratado

Mandatos del comité de evaluación y del grupo de referencia sobre evaluación, disponibles

Plan de comunicación y aprendizaje, disponible

32

FASE 2: PREPARACIÓN

Introducción

65. La fase de preparación de una evaluación descentralizada tiene dos finalidades principales:

diseñar la evaluación, y

seleccionar, nombrar y contratar al equipo de evaluación.

66. La fase de preparación sigue a la fase 1 sobre planificación, en la que se habrán establecido, en líneas generales, el tipo de evaluación, su calendario provisional y una asignación de recursos orientativa, se habrán determinado las partes interesadas y su participación, así como los mecanismos para asegurar la imparcialidad e independencia del proceso de evaluación.

67. Las tareas en esta fase se llevarán a cabo con una antelación suficiente al momento previsto para el inicio de la evaluación, habida cuenta, en particular, del tiempo que será necesario para recabar retroinformación de las partes interesadas sobre los términos de referencia, asegurar la calidad y seleccionar al equipo de evaluación. La duración de la fase de preparación de una evaluación descentralizada suele durar hasta nueve semanas14.

Mapa del proceso

68. El mapa del proceso sirve de orientación a través de los diferentes pasos y tareas que deben llevarse a cabo durante la presente fase.

Figura 7: Fase 2 – Mapa del proceso

Paso 2.1 Preparar los términos de referencia

69. El responsable de la evaluación:

toma la iniciativa en la preparación de los términos de referencia;

consulta con el personal pertinente de la oficina en el país, el despacho regional y las partes interesadas externas;

se cerciora de que la oficina en el país está preparada para la evaluación;

determina la justificación general (finalidad) y los objetivos más pormenorizados de la evaluación (lo que se espera alcanzar), y especifica las cuestiones que se abordarán en la evaluación;

determina el diseño de la evaluación y el método que se seguirá;

decide sobre el idioma en que se redactarán los productos de la evaluación,

14 Esta estimación se basa en la experiencia acumulada en el marco de la serie de evaluaciones de las operaciones. La duración puede ser menor, en función de la modalidad elegida para contratar al equipo.

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

2.1 Preparar el proyecto de

mandato

2.2 Ultimar las disposiciones

sobre imparcialidad e independencia

2.3 Asegurar la calidad, realizar consultas y ultimar

el mandato

2.4 Seleccionar al equipo de evaluación y

ultimar el presupuesto

2.5 Preparar una biblioteca

de documentos

2.6 Elaborar un plan de

comunicación y aprendizaje

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

2.1 Preparar el proyecto de

mandato

2.2 Ultimar las disposiciones

sobre imparcialidad e independencia

2.3 Asegurar la calidad, realizar consultas y ultimar

el mandato

2.4 Seleccionar al equipo de evaluación y

ultimar el presupuesto

2.5 Preparar una biblioteca

de documentos

2.6 Elaborar un plan de

comunicación y aprendizaje

33

prepara la biblioteca de documentos, incluidos aquellos que se utilizarán como fuente de información para preparar los términos de referencia, y

prepara un calendario y un presupuesto detallados.

70. La preparación de los términos de referencia es probablemente el paso de mayor transcendencia de todo el proceso de evaluación. Este paso requerirá una amplia consulta y es un proceso iterativo, por lo que para su realización debe preverse un plazo adecuado que permita obtener resultados satisfactorios. En los términos de referencia se facilitan orientaciones adicionales sobre la estructura y el contenido.

71. Los términos de referencia para la evaluación es el documento de referencia maestro para todas las partes interesadas15. Es una garantía de que los licitadores reúnen los requisitos para llevar a cabo la evaluación y obtendrán los resultados previstos y, en última instancia, de que el equipo de evaluación y todas las partes interesadas reconocen las expectativas.

72. En los estándares 4.3 hasta 4.7 del UNEG se establecen los elementos clave que debe incluir un los términos de referencia bien diseñado, como una descripción clara de las intervenciones que serán objeto de la evaluación, el alcance, los objetivos y un seguimiento riguroso de la metodología que garantice una evaluación exhaustiva e imparcial (véase la Nota técnica sobre normas y estándares).

Recuadro 13: Contenido de los términos de referencia

Consulta con las partes interesadas

73. El responsable de la evaluación:

se encarga de realizar un análisis de las partes interesadas atento a cuestiones de género siguiendo las orientaciones formuladas en la Nota técnica sobre análisis de las partes interesadas, donde además se informa sobre qué partes interesadas participarán en el proceso de evaluación, cuándo deben hacerlo y cómo;

determina las partes interesadas que formarán parte del grupo de referencia sobre evaluación y se pone en contacto con ellas y aquellas otras con las que mantendrá encuentros

15 El informe inicial, sobre el que se trata en la fase 3, brinda asimismo la oportunidad de revisar los productos que se esperan obtener de la evaluación, su enfoque y sus principales líneas de investigación. Los términos de Referencia y el informe inicial constituyen conjuntamente una hoja de ruta para determinar los productos y resultados previstos de los equipos de evaluación.

Información sobre la finalidad, los objetivos y la justificación de la evaluación.

Información sobre las partes interesadas y usuarios de la evaluación, y sus funciones.

Información sobre las intervenciones que serán objeto de evaluación.

Información sobre el enfoque de la evaluación previsto, incluidos los principales criterios de la evaluación y las cuestiones clave, el alcance, la metodología prevista, la disponibilidad de datos, consideraciones para la integración en el diseño de la evaluación de temas de Igualdad de Género y Empoderamiento de las Mujeres, y el proceso de garantía de calidad.

Información sobre la organización del proceso de evaluación, incluidas las fases y los resultados previstos, el calendario, la realización, la composición y las competencias del equipo y las consideraciones en materia de seguridad.

Explicación de las funciones y responsabilidades de los diferentes países y partes interesadas principales.

Información sobre la disponibilidad y la calidad de datos.

Información sobre las previsiones para la comunicación de la evaluación y el aprendizaje que de ella se puede extraer.

Información sobre los parámetros presupuestarios. Información sobre las limitaciones (cuestiones relacionadas con el acceso y la seguridad, la

disponibilidad de los datos, la estacionalidad, etc.

34

durante los trabajos de evaluación sobre el terreno, para que se preparen y su participación en el proceso de evaluación sea satisfactoria, y

asegura que durante las consultas que se llevarán a cabo al comienzo de la fase de preparación se tengan en cuenta las necesidades y los intereses de las partes interesadas.

74. Medidas como buscar la participación de las partes interesadas desde un primer momento, mantenerlas informadas sobre los progresos realizados durante el proceso y brindarles oportunidades para que aporten ideas en las etapas clave (como preparación los términos de referencia, participación en sesiones informativas y examen de los productos previstos) contribuyen a consolidar su apoyo al proceso de evaluación y a reforzar su compromiso de utilizar las constataciones de la evaluación.

75. Las consultas iniciales con las partes interesadas pueden servir para documentar los términos de referencia y el plan de comunicación y aprendizaje y, en este sentido, se intentará centrar el debate en torno a los siguientes temas (véase el paso 2.6):

¿cuál es la finalidad principal de la evaluación?

¿cuáles son sus principales objetivos (buscar el equilibrio entre la rendición de cuentas y el aprendizaje)?

¿cuáles son las cuestiones principales que deben abordarse?

¿quién verá satisfechas sus necesidades y atendidos sus intereses con la realización de la evaluación?

¿qué utilización se hará de la evaluación? ¿quién la utilizará y cuándo?

Comprobación de los preparativos para la evaluación y recopilación de

documentos clave

76. El responsable de la evaluación:

examina el diseño del programa para averiguar si:

¿se han disipado todas las dudas respecto al problema que se pretendía resolver mediante el programa o la intervención?, y si

¿existe un marco lógico claro en el que se indiquen las metas, los productos, los efectos y los objetivos que se esperan alcanzar, y permita reconocer de una manera clara y explícita los cambios previstos?

77. Se examinará la claridad del diseño de la intervención y el marco lógico del programa para asegurar que su conocimiento sea suficiente para realizar una valoración eficaz de la intervención.

78. En el mejor de los casos, la intervención tendrá un marco lógico claro, que sirva al equipo de evaluación como referencia para valorar las realizaciones. Si no existiera dicho marco, el personal del PMA estudiará el modo de incorporar los resultados previstos y hacer una reconstrucción a partir de las fuentes disponibles; asimismo deberá estar dispuesto a colaborar con el equipo de evaluación en la realización de este ejercicio. También deben existir valores de referencia y metas, y en caso contrario puede ser necesario adoptar medidas correctivas: la inexistencia de estos datos no debe impedir la realización de la evaluación. Sobre este tema se pueden consultar directrices adicionales en la Nota técnica sobre utilización de los modelos lógicos.

79. El responsable de la evaluación:

recopila y examina los documentos clave, valora la disponibilidad de datos y considera si existen fuentes de datos pertinentes de las que se pueda hacer uso en la evaluación (véase el Recuadro 14).

empieza a construir la biblioteca de documentos para el equipo de evaluación, la cual será finalizada en la etapa 2.5.

35

Recuadro 14: Principales fuentes de datos16

80. Si fuera necesaria una recopilación adicional de datos, esta se determinará, presupuestará y aplicará en el marco del seguimiento previo a la evaluación o bien como parte integral de la propia evaluación. Cualquier otra carencia se hará constar en los términos de referencia y, de este modo, el equipo de evaluación podrá valorar las medidas correctivas oportunas y sus posibles repercusiones (por ejemplo, en el calendario).

Criterios y preguntas relacionados con la evaluación

81. En la preparación de una evaluación se seleccionarán los criterios adecuados para la misma en función de la finalidad y los objetivos que hayan sido acordados (véase el Recuadro 15). También se elaborarán preguntas en relación con la evaluación que estén en consonancia con los criterios. En la Nota técnica sobre criterios y preguntas relacionados con la evaluación se ofrecen explicaciones de los criterios que deben aplicarse, así como orientaciones sobre cómo establecer prioridades entre los mismos. También se proponen preguntas, a modo de ejemplo, con respecto a cada criterio.

16 Pueden depender de la intervención que esté siendo evaluada, del tipo al que pertenezca, etc.

Guía de orientación sobre el PMA

Documentos de operaciones clave, entre los que se incluyen documentos de programas, informes de seguimiento, informes normalizados de los proyectos, marcos lógicos del Instrumento de las oficinas en los países para una gestión eficaz (COMET), estudios realizados por las oficinas en los países y sus asociados, etc.

Datos relativos a los efectos y productos

Datos de VAM

Planes de seguimiento

Informes de envíos y distribución procedentes del PMA y sus asociados

Datos de los sistemas de análisis y gestión del movimiento de los productos (COMPAS) y de apoyo a la gestión logística (LESS)

Datos del Sistema de gestión de las operaciones de efectivo(SCOPE) sobre los beneficiarios

Datos financieros sobre desembolsos y transferencias destinados a los beneficiarios

Mapas (de las operaciones y la seguridad alimentaria)

Evaluaciones o exámenes realizados con anterioridad

Informes del programa (por ejemplo, cadena de suministro, necesidades previstas)

Actualizaciones sobre la disponibilidad de recursos y las contribuciones financieras

Notas para el registro de las reuniones de coordinación (módulo de acción agrupada, grupos de donantes, etc.)

Información relacionada con los asociados cooperantes (acuerdos de asociación sobre el terreno, memorandos de entendimiento, listas de asociados por actividad y ubicación).

Principales políticas y directrices pertinentes del PMA, como aquellas en materia de género, protección, transferencias de base monetaria y cupones

Otras operaciones pertinentes en curso

Información sobre la estructura de la oficina en el país: su ubicación, número de suboficinas, organigramas, etc.

Información sobre la comunicación prevista de la evaluación y las lecciones que se esperan extraer de las constataciones

Información sobre los parámetros del presupuesto

Información sobre las limitaciones (acceso y cuestiones de seguridad, disponibilidad de datos, estacionalidad etc.)

36

Recuadro 15: Notas sobre los criterios de evaluación

Cuadro 4: Ejemplos de preguntas relacionadas con los criterios de evaluación

Criterios Ejemplos de preguntas relacionadas con la evaluación

Relevancia

¿En qué medida está la intervención objeto de la evaluación en consonancia con las necesidades de los beneficiarios (mujeres y hombres, niños y niñas) y los asociados, incluidos los gobiernos?

¿En qué medida se ajustaba la intervención a las políticas y las prioridades del PMA, de los gobiernos asociados, organismos de las Naciones Unidas y donantes en el momento del diseño de la intervención, y cuál es su consonancia con el paso del tiempo?

¿En qué medida se basó la intervención en un análisis de género riguroso? ¿Se tuvo en cuenta la cuestión de GEEW en las fases de diseño y aplicación de la intervención?

Efectividad ¿En qué medida se cumplieron, o se cumplirán con toda probabilidad, los efectos u objetivos previstos de la intervención?

¿Qué factores principales influyeron en el cumplimiento o incumplimiento de los efectos u objetivos previstos de la intervención?

¿En qué medida propició la intervención el logro de resultados para mujeres y hombres, niños y niñas?

Eficiencia ¿Fueron eficaces las actividades en función de los costos?

¿Se aplicó la intervención en el marco de los plazos previstos?

¿Se aplicó la intervención de la manera más eficiente entre todas las opciones posibles?

¿Se puede deducir, a juzgar por la selección de beneficiarios de la intervención, que la asignación de los recursos fue eficiente?

Impacto ¿Qué efectos a largo plazo ha tenido la intervención en las vidas de los beneficiarios?

¿Tuvo algún efecto negativo para los beneficiarios?

¿Cuál fue su impacto en la cuestión de género? ¿Tuvo la intervención alguna repercusión en el contexto de la igualdad de género?

Sostenibilidad ¿En qué medida perduraron los beneficios de la intervención objeto de la evaluación una vez finalizadas las actividades del PMA? O

¿Cuáles son las probabilidades de que los beneficios de la intervención se mantengan una vez finalizadas las actividades del PMA?

¿Ha propiciado el proyecto algún cambio en las relaciones GEEW a medio o largo plazo?

¿En qué medida se incluyeron en las modalidades de ejecución de la intervención consideraciones en materia de sostenibilidad, como el traspaso de responsabilidades a los gobiernos (nacional y local), las comunidades y otros asociados?

En las evaluaciones que se llevan a cabo en el PMA se valoran las intervenciones del Programa con respecto a una serie de criterios y estándares convenidos internacionalmente para evaluar el desempeño. Los cinco criterios estándar más utilizados entre evaluadores del desarrollo en todo el mundo son: relevancia, efectividad, eficiencia, impacto y sostenibilidad, todos ellos componentes esenciales de la función de evaluación.

En sus evaluaciones, el PMA suele incluir además otros criterios humanitarios, como: idoneidad, articulación de los distintos componentes, coherencia y cobertura.

37

Criterios Ejemplos de preguntas relacionadas con la evaluación

Idoneidad ¿Se adoptó en la intervención el mejor enfoque posible para satisfacer las necesidades de los beneficiarios en materia de seguridad alimentaria y nutrición?

¿Fueron las modalidades de transferencia adoptadas la mejor opción para atender las necesidades de los beneficiarios?

¿Se cumplieron los requisitos en materia de protección?

¿En qué medida se basó la intervención en un análisis de GEEW riguroso? ¿En qué medida se tuvo en cuenta en el diseño y la aplicación de la intervención la cuestión de GEEW?

Cobertura17 ¿Permitió la intervención atender las necesidades humanitarias de los principales grupos destinatarios (mujeres y hombres, niños y niñas)?

¿Fue proporcionada la asistencia prestada por el PMA con respecto a las necesidades del contexto?

Coherencia ¿En qué medida fue coherente la intervención del PMA con las principales políticas y la programación de otros asociados que intervinieron en ese contexto?

¿En qué medida se tuvo en cuenta el principio de “no causar daño”?

Articulación de los distintos

componentes

¿Cuáles han sido los vínculos entre las fases de socorro y recuperación y de resiliencia de las intervenciones del PMA?

¿Cuáles han sido los vínculos, en su caso, entre las intervenciones paralelas del PMA?

¿Se ha situado la intervención objeto de la evaluación en el marco de un análisis de los problemas del contexto a más largo plazo e interrelacionados?

¿En qué medida se ha diseñado y ejecutado la intervención para que satisfaga las necesidades inherentes al entorno (de la región o el país) frágil y afectado por el conflicto?

Examen de las dimensiones de Igualdad de Género y Empoderamiento de las Mujeres (GEEW)

82. La igualdad de género y el empoderamiento de las mujeres (GEEW) son elementos que deben integrarse en los criterios y preguntas relacionados con la evaluación, de conformidad con lo establecido en el ONU-SWAP. Cuanto antes se incorporen estos elementos en el concepto de evaluación, mayores serán las probabilidades de que sean sometidos a un análisis exhaustivo y se informe sobre las constataciones. El PMA ha asumido un compromiso institucional con respecto a la igualdad de género y el empoderamiento de las mujeres, y en la Nota técnica sobre el Género en las evaluaciones, Control de Calidad, Guía Rápida se hace hincapié en los requisitos a que están sujetas todas las evaluaciones. Asimismo se pueden consultar las Orientaciones del UNEG sobre la integración de los derechos humanos y la igualdad de género en las evaluaciones.

17 Definiciones humanitarias de cobertura, coherencia y articulación de los distintos componentes recogidas en el Sistema de aprendizaje activo para la rendición de cuentas y el logro de resultados en la asistencia humanitaria (ALNAP) http://www.alnap.org/resources/

38

Recuadro 16: Consideraciones sobre la incorporación de la cuestión de igualdad de género y empoderamiento de las mujeres en la evaluación

Selección del diseño idóneo de la evaluación

83. El responsable de la evaluación:

esboza la metodología de evaluación (véase la Nota técnica sobre la metodología y los métodos) en los términos de referencia, de cuya preparación se encargará el equipo de evaluación en la fase de inicio.

84. En la mayoría de las evaluaciones que se llevan a cabo en el PMA se aplica una combinación de métodos diversos (recopilación de datos cuantitativos y cualitativos y enfoques analíticos) para tener en cuenta las distintas dimensiones inherentes a las intervenciones del Programa. El diseño dependerá de la finalidad, los objetivos, las cuestiones clave y los datos que ya estén disponibles antes de que dé comienzo la evaluación.

Elaborar un calendario realista, acordar el presupuesto y asegurarlo

85. El responsable de la evaluación:

especifica la duración prevista o el calendario de la evaluación, incluidos los plazos establecidos para la presentación de los resultados y las actividades de comunicación y difusión. El calendario debe ser factible y realista, aun así se determinarán también en esta etapa los riesgos previsibles en lo que respecta al cumplimiento de los plazos y, cuando proceda, se adoptarán medidas correctivas (véase la Plantilla de presupuesto y de calendario sin gastos de gestión externa y con gastos de gestión externa). El calendario se adjuntará a los términos de referencia en un anexo bajo el encabezamiento “Calendario de la evaluación”, y

ultima el presupuesto sobre la base del presupuesto inicial, estimado y asignado durante la fase de planificación. En la plantilla de presupuesto se especifican los principales factores determinantes del presupuesto, como el número de días que durará cada fase, el tiempo necesario para las actividades de recopilación de datos sobre el terreno, el número de personas que serán contratadas y las tarifas y comisiones que deberán costearse.

86. Las Oficinas de País que han planificado y preparado un presupuesto para una evaluación descentralizada, pero que estén enfrentándose a problemas de financiación auténticos, pueden aplicar al Fondo de Contingencia de Evaluación (CEF). La nota técnica del CEF describe la naturaleza y el objetivo del fondo, los criterios de elegibilidad y el proceso para candidatearse (véase la plantilla para aplicar al CEF). Se realiza una llamada a candidaturas al CEF cada 3 meses aproximadamente. Las Oficinas de País que desean enviar su candidatura tienen que finalizar los términos de referencia de la evaluación y el presupuesto correspondiente con antelación.

1. Asegurar que en la preparación de la evaluación se tenga en cuenta la cuestión de GEEW, es decir, que en el análisis de las partes interesadas y las preguntas y sub-preguntas relacionadas con la evaluación se haya integrado las consideraciones de GEEW y que el equipo de evaluación contratado esté familiarizado con este tema.

2. Asegurar que se contrata a un equipo culturalmente y geográficamente diverso, con un balance de género, y con la experiencia adecuada en cuanto a género.

3. Asegurar que en la metodología para la evaluación se tenga en cuenta la cuestión de género (que deberá ir más allá del desglose de datos por género y edad, para garantizar que, por ejemplo, en todos los indicadores utilizados (cuantitativos y cualitativos) se tenga en cuenta GEEW, y que las técnicas de recopilación y análisis de datos incorporan plenamente estas consideraciones).

4. Asegurar que en el informe de evaluación y su utilización se reflejen consideraciones de género, es decir, que en las constataciones, conclusiones y recomendaciones se abordan estas cuestiones donde sea apropiado, al igual que en el plan de comunicación y aprendizaje para la evaluación se considere la dimensión de género y una estrategia de diseminación que tenga en cuenta GEEW.

39

87. Una vez que se hayan especificado la metodología general, el calendario y el presupuesto estimado, el responsable de la evaluación, en consulta con el comité de evaluación (véase el paso 2.2 a continuación) puede abrir una llamada a expresiones de interés entre las empresas de evaluación que tienen un acuerdo de larga duración con el PMA, informar a una selección de empresas sobre la realización en breve de la evaluación e indicar una fecha aproximada en la que los términos de referencia deberá estar ultimado. Este aviso tiene una importancia decisiva, especialmente cuando se recurra a empresas con las que el PMA mantiene acuerdos a largo plazo, porque de este modo dispondrán del tiempo necesario para decidir si pueden realizar la evaluación dentro de los plazos previstos.

Paso 2.2 Ultimar las disposiciones sobre imparcialidad e independencia

88. El Director en el País o Director Adjunto en el País habrá iniciado los preparativos para el establecimiento del comité de evaluación durante la fase de planificación, y habrá especificado los términos de su presidencia. Es un mecanismo esencial de la gestión del proceso de evaluación. Este grupo, para que sea viable, debe integrar al jefe del programa, a miembros del personal responsable de la intervención objeto de la evaluación, al responsable de la evaluación y al jefe del equipo de SyE, en el supuesto de que este no sea el responsable de la evaluación. El Oficial Regional de Evaluación puede formar parte del comité de evaluación. El comité estudiará los términos de referencia, el presupuesto, el equipo de evaluación, el informe inicial y el informe final de evaluación, y la presidencia les dará su aprobación. (Véase la Nota técnica sobre el comité de evaluación).

89. El responsable de la evaluación:

prepara los términos de referencia del comité de evaluación en consonancia con las orientaciones de la Nota técnica sobre el comité de evaluación, que incluye una plantilla de dicho los términos de referencia (véase el Recuadro 17).

Recuadro 17: Finalidad y funciones del comité de evaluación

90. El presidente del comité de evaluación habrá establecido durante la fase de planificación un grupo de referencia sobre evaluación (ERG) integrado por partes interesadas internas y

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

2.1 Preparar el proyecto de

mandato

2.2 Ultimar las disposiciones

sobre imparcialidad e independencia

2.3 Asegurar la calidad, realizar consultas y ultimar

el mandato

2.4 Seleccionar al equipo de evaluación y

ultimar el presupuesto

2.5 Preparar una biblioteca

de documentos

2.6 Elaborar un plan de

comunicación y aprendizaje

El Director en el País o Director Adjunto en el País establece (en caso de que no lo haya hecho durante la fase de planificación) y preside el comité de evaluación y el grupo de referencia sobre evaluación

La finalidad general del comité de evaluación es asegurar un proceso de evaluación creíble, transparente, imparcial y de calidad, que se ajuste a la política en materia de evaluación (2016-2021) del PMA. Para alcanzar este objetivo, el comité prestará apoyo al responsable de la evaluación durante todo el proceso, examinará los borradores de los resultados previstos (términos de referencia, informe inicial e informe de evaluación) y los presentará para su aprobación al Director en el País o Director Adjunto en el País, que asumirá la presidencia del comité.

El Director en el País establece y preside un comité de evaluación para cada una de las evaluaciones que encargue su oficina, con el fin de:

prestar apoyo al responsable de la evaluación;

tomar decisiones sobre el presupuesto de la evaluación, la asignación de fondos, la selección del equipo de evaluación, y

aprobar los términos de referencia, el informe inicial y el informe de evaluación.

La función de la presidencia se podrá delegar en el Director Adjunto en el País, excepto en el caso en el que el Director Adjunto en el País es además Jefe de Programas. Los miembros del comité de evaluación constituyen un subgrupo del grupo de referencia sobre evaluación. Siguiendo el asesoramiento realizado por los miembros del comité de evaluación, el presidente del comité toma decisiones sobre los aspectos clave de la evaluación.

40

externas, del que asumirá su presidencia. Es un mecanismo importante para el asesoramiento y la dirección del proceso de evaluación, y para fomentar su independencia e imparcialidad (véase la Nota técnica sobre el grupo de referencia sobre evaluación).

91. El Oficial Regional de Evaluación tiene que formar parte sistemáticamente del ERG. Con el fin de asegurar que las dimensiones de GEEW están incluidas desde el principio en la evaluación, el punto focal de género de la Oficina en el País y/o el/la consejero/a de Género del Despacho Regional tienen que ser miembros del ERG.

92. La inclusión de miembros externos al PMA es obligatoria. La presencia de miembros externos refuerza la relevancia, el sentido de apropiación, la credibilidad y la utilidad de la evaluación, y contribuye a evitar sesgos. Es importante seleccionar a personas que estén dispuestas a asumir sus respectivas funciones y a añadir valor al proceso. La composición del grupo de referencia sobre evaluación debe ultimarse durante la fase de preparación y antes de la aprobación de los términos de referencia.

93. El responsable de la evaluación:

prepara el proyecto de los términos de referencia del grupo de referencia sobre evaluación en consonancia con las orientaciones de la Nota técnica sobre el grupo de referencia sobre evaluación, en la que se incluye también un breve plantilla de dicho los términos de referencia (véase el Recuadro 18).

Recuadro 18: Finalidad y funciones del grupo de referencia sobre evaluación

Paso 2.3 Garantizar la calidad, realizar consultas y ultimar los términos de referencia

94. Asegurar la calidad en todo el proceso de evaluación es una norma clave del UNEG (estándar 5) y uno de los principios por los que se rigen todas las evaluaciones en el PMA. Una vez que se hayan definido todos los elementos principales de los términos de referencia, queda sistemáticamente

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

2.1 Preparar el proyecto de

mandato

2.2 Ultimar las disposiciones

sobre imparcialidad e independencia

2.3 Asegurar la calidad, realizar consultas y ultimar

el mandato

2.4 Seleccionar al equipo de evaluación y

ultimar el presupuesto

2.5 Preparar una biblioteca

de documentos

2.6 Elaborar un plan de

comunicación y aprendizaje

El presidente del comité de evaluación (el Director en el País o Director Adjunto en el País) aprueba los términos de referencia final

La finalidad general del grupo de referencia sobre evaluación es apoyar un proceso de evaluación creíble, transparente, imparcial y de calidad, que se ajuste a la política en materia de evaluación (2016-2021) del PMA. Los miembros del grupo examinan los Términos de Referencia y los resultados previstos de la evaluación y formulan observaciones al respecto. Asimismo, actúan como expertos con funciones consultivas, pero sin responsabilidades de gestión. La responsabilidad de aprobar los productos de la evaluación recae en el Director en el País o Director Adjunto en el País, como presidente del comité de evaluación. El grupo de referencia sobre evaluación siempre incluye partes interesadas externas.

La presidencia del grupo recae en el Director en el País o Director Adjunto en el País (por delegación). La

presidencia del grupo se puede delegar en el responsable de la evaluación, si se considera que el puesto de

categoría superior que ocupa le permite interactuar con las partes interesadas externas.

Es importante recordar que la presidencia del grupo de referencia sobre evaluación NO SE PUEDE

DELEGAR en:

el Jefe de Programas, a menos que este sea el Director Adjunto en el País, ni

el Oficial de Programas que se encargue directamente de las actividades que se están evaluando.

41

garantizada la calidad del proyecto de los términos de referencia, que se ultimará en consonancia con el enfoque que se describe en la presente guía.

95. El responsable de la evaluación:

examina el proyecto de los términos de referencia18 para asegurarse que la estructura ha sido respetada, que estos incluyen el contenido principal y que no hay errores mayores en cuanto al contexto y/o los hechos (Véase la Lista de comprobación de la calidad de los términos de referencia);

si considera que los requisitos listados anteriormente son cumplidos, comparte el proyecto de los términos de referencia con el Oficial de Evaluación Regional para confirmar que estos incluyen los elementos mínimos para que puedan ser compartidos con el externalizado de apoyo a la calidad de las evaluaciones descentralizadas;

comparte el proyecto de los términos de referencia con el servicio externalizado de asesoramiento de apoyo a la calidad de las evaluaciones descentralizadas, que proporcionará retroinformación en el plazo de 4 días laborables sobre la calidad de los términos de referencia desde la perspectiva de evaluación (véase cómo acceder a este servicio en el Recuadro 19);

examina los términos de referencia en función de la retroinformación del servicio de asesoramiento de apoyo a la calidad para la evaluación descentralizada para presentar el proyecto de los términos de referencia definitivo;

si surgieran problemas o dificultades en relación con la retroinformación proporcionada por este servicio de apoyo a la calidad, el responsable de la evaluación pedirá consejo al Oficial Regional de Evaluación (y/o a la OEV, como último recurso);

informa sobre los términos de referencia definitivos al grupo de referencia sobre evaluación y al despacho regional para que lo examinen y formulen observaciones. Se podrán determinar examinadores adicionales, como las dependencias técnicas del despacho regional o de la Sede, las cuales pasarán a formar parte del grupo de referencia de la evaluación;

recopila todas las observaciones en un cuadro recapitulativo de observaciones (Véase la Plantilla de formulación de observaciones sobre los términos de referencia ) y explica cómo se propone abordarlas en la revisión de los términos de referencia ;

ultima los términos de referencia en función de las observaciones formuladas por el grupo de referencia sobre evaluación, el despacho regional y otras partes interesadas, y

presenta, para su aprobación, al comité interno de evaluación los términos de referencia definitivo.

18 En la lista de comprobación de la calidad se indican las expectativas (estructura y contenido) respecto a cada uno de los principales resultados previstos, que puedan ser de utilidad al responsable de la evaluación y el comité interno de evaluación.

42

Recuadro 19: Servicio externalizado de asesoramiento de apoyo a la calidad de las evaluaciones descentralizadas: valoración de los términos de referencia

96. El presidente del comité de evaluación:

aprueba los términos de referencia definitivo. Los términos de referencia no pueden ser aprobado por nadie que haya estado relacionado directamente con la gestión o la aplicación de la intervención. Si el Director Adjunto en el País es también el jefe del programa, no podrá presidir el comité de evaluación ni aprobar los términos de referencia.

Paso 2.4 Seleccionar al equipo de evaluación y ultimar el presupuesto

97. El responsable de la evaluación:

elige una de las 3 opciones de contratación y prepara un calendario para el proceso de selección;

determina y preselecciona al equipo de evaluación (para lo que comprobará las competencias que reúne con respecto a las exigencias de la evaluación en materia de aptitudes y su conformidad con los términos de referencia);

revisa el presupuesto como corresponda, y

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

2.1 Preparar el proyecto de

mandato

2.2 Ultimar las disposiciones

sobre imparcialidad e independencia

2.3 Asegurar la calidad, realizar consultas y ultimar

el mandato

2.4 Seleccionar al equipo de evaluación y

ultimar el presupuesto

2.5 Preparar una biblioteca

de documentos

2.6 Elaborar un plan de

comunicación y aprendizaje

El presidente del comité de evaluación (Director en el País o Director Adjunto en el País) aprueba la selección del equipo de evaluación y el presupuesto.

Conforme a lo dispuesto en la política del PMA en materia de evaluación, la OEV gestiona el servicio de apoyo a la calidad de las evaluaciones descentralizadas y ofrece puntualmente retroinformación sobre los términos de referencia. Los despachos regionales y las oficinas en los países pueden acceder directamente a este servicio mediante el procedimiento que se describe a continuación.

1. Comprobar si los términos de referencia incluyen todos los elementos previstos en la plantilla correspondiente del SGCE descentralizadas.

De no ser así, revisar los términos de referencia y cotejarlo con la lista de comprobación de la calidad.

En caso afirmativo, pasar al punto 2.

2. Compartir el proyecto de los términos de referencia con el Oficial Regional de Evaluación para confirmar que estos incluyen los elementos mínimos para que puedan ser compartidos con el externalizado de apoyo a la calidad de las evaluaciones descentralizadas;

3. Enviar por correo electrónico los términos de referencia que debe ser examinado y el formulario de solicitud del servicio (el formulario está disponible aquí):

a la dirección deqs@iodparc.com,

con copia a wfp.decentralizedevaluation@wfp.org y al Oficial Regional de Evaluación y el presidente del comité de evaluación.

4. IODPARC acusará recibo y confirmará la fecha en que remitirá la retroinformación.

5. IODPARC remitirá el formulario de retroinformación, debidamente cumplimentado, sobre los términos de referencia en el plazo de 4 días hábiles.

6. El responsable de la evaluación incorpora a los términos de referencia las modificaciones pertinentes con arreglo a la retroinformación recibida.

43

presenta su propuesta sobre el equipo y el presupuesto al comité de evaluación junto con un cuadro recapitulativo de decisiones.

98. El presidente del comité de evaluación:

aprueba el equipo de evaluación y el presupuesto para la evaluación.

99. Los términos de referencia definitivos es el documento de referencia para determinar y seleccionar al equipo. En este proceso se pueden seguir tres opciones, dependiendo de los conocimientos expertos que determine los términos de referencia y el número de expertos disponibles en el país o la región. Todos los integrantes del equipo deben ser consultores independientes, pero su contratación puede ser individual o por mediación de una empresa (véase la Nota técnica sobre las opciones para la contratación de los equipos de evaluación), y en este sentido:

contratación de consultores individuales: una vez que los términos de referencia han sido aprobados, el responsable de la evaluación prepara un anuncio de la vacante (VA) para cada miembro del equipo para recursos humanos, el cual es usado para identificar consultores a través de la Lista de Expertos en Evaluación del PMA (la cual incluye individuos pre-seleccionados para las posiciones de Jefe de Equipo, Evaluador Senior, Evaluador Intermedio, Evaluador, Evaluador Junior) o diversas redes de evaluación a nivel nacionales, regional o global. Orientación adicional sobre como acceder a la Lista de Expertos en Evaluación del PMA y las redes externas de evaluación se encuentra disponible en la Nota Técnica sobre las opciones de contratación de los equipos de evaluación.

contratación a través de los acuerdos a largo plazo (con empresas de consultoría e instituciones de investigación): OEV, en colaboración con el departamento de contratación de la sede, ha establecido acuerdos a largo plazo (LTAs) con empresas de consultoría e instituciones de investigación para la prestación de servicios de evaluación en todo el PMA. Los LTA han sido establecidos a través de un proceso de contratación abierto y competitivo. Las empresas / instituciones que han sido exitosas pueden ahora ofrecer servicios de evaluación en el PMA usando un proceso más agilizado. Las Oficinas de País pueden pedir propuestas a entre 2 y 4 empresas usando las plantillas disponibles. Este mini-proceso competitivo permite a la oficina que gestiona la evaluación comparar empresas y obtener la mejor oferta posible, teniendo en cuanta tanto los aspectos técnicos como financieros. No se trata de un proceso de oferta, por lo que no es necesario seguir las reglas de contratación, aunque esto se considera una buena práctica. Las tasas de consultoría diarias están fijadas en el LTA y por lo tanto no son negociables. Sin embargo, es esencial que el responsable de la evaluación examine la propuesta en función de varios parámetros incluidos en la Nota Técnica. Un resumen de las tasas de consultoría diarias en los LTA está disponible a continuación. Información adicional y orientaciones sobre como contratar a una empresa de consultoría o una institución de investigación que tiene un LTA con OEV se encuentra disponible en la Nota Técnica sobre las opciones para contratar equipos de evaluación a través del enlace siguiente.

un proceso de contratación competitivo (con empresas de consultoría e instituciones de investigación), “Tendering”: la Oficina de País usa los procesos y procedimientos estipulados para los servicios de adquisiciones con el objetivo de: publicar una solicitud para recibir ofertas (RFP); distribuirla a través de las redes de evaluación listadas en el Intranet de las evaluaciones descentralizadas; evaluar las respuestas al RFP; conceder y emitir el contrato. Acorde al manual de adquisiciones, el valor del contrato determinará si su aprobación recae en el marco de la autoridad que ha sido delegada al Director de País o si debe ser aprobado por la sede (esto se da únicamente en los casos en los que el presupuesto de evaluación supera los 500.000 dólares). Los procedimientos de adquisiciones serán también respetados y dirigidos por la unidad de adquisiciones para la recepción y la evaluación de las propuestas, la emisión del contrato y la notificación realizada a aquellos proveedores que no han obtenido un contrato. La contratación de un equipo puede tomar tiempo y debe ser realizada con bastante antelación al principio de la evaluación ya que los mejores consultores suelen estar ocupados.

44

100. Cada una de las tres opciones tiene implicaciones en cuanto a quien toma la decisión final sobre la selección del equipo / la compañía, el acceso a expertos en la materia, el tiempo necesario y el nivel de esfuerzo administrativo por parte del responsable de la evaluación. La Nota Técnica presenta los pros y los contras de cada opción, y lista algunas consideraciones clave a tener en cuenta.

101. Un requisito fundamental para asegurar la credibilidad y legitimidad de la evaluación es que el equipo de evaluación seleccionado sea imparcial e independiente, y que en el proceso de selección se adopten las medidas oportunas para evitar cualquier posible conflicto de intereses de los integrantes del equipo (véase la Nota técnica sobre las disposiciones sobre independencia e imparcialidad). El UNEG ha establecido una serie de requisitos que deben reunir los equipos de evaluación (véase la Nota técnica sobre normas y estándares) y ha elaborado un Código de conducta para los evaluadores, un marco de competencias de evaluación y Principios éticos a los que deberán adherirse todos los evaluadores que sean contratos por el PMA.

Recuadro 20: Conflicto de intereses

102. Para la credibilidad de la evaluación también es muy importante que el equipo de evaluación posea los conocimientos especializados necesarios y la experiencia suficiente para llevar a cabo la evaluación. Los requisitos en materia de aptitudes varían en función del tipo de evaluación, pero en cualquier caso forman parte del conjunto de competencias básicas que se indican en el Recuadro 21.

Un conflicto de intereses se produce cuando el historial laboral o las posibilidades de futuros contratos de un consultor o una empresa de consultoría comprometen su capacidad para garantizar la imparcialidad de un análisis. En el caso de las evaluaciones descentralizadas puede ocurrir que los consultores o las empresas de consultoría: i) influyan en el análisis o las recomendaciones para que sean coherentes con constataciones previamente formuladas por ellos mismos (conflicto de intereses preliminar), o ii) creen artificialmente condiciones que les sean favorables cuando se decida sobre una futura asignación de esta función (conflicto intereses ulterior). En la selección de consultores o empresas de consultoría se aplicarán las normas que se indican a continuación.

Los consultores o empresas de consultoría no podrán haber participado anteriormente ni tener familiares cercanos que hayan participado en las fases de diseño, aplicación, toma de decisiones o financiación de la intervención que está siendo evaluada.

Los consultores o las empresas de consultoría se comprometerán a no trabajar para la oficina en el país pertinente durante un período de seis meses a partir de la fecha en que finalice la evaluación.

45

Recuadro 21: Conjunto de competencias que deben reunir los evaluadores

Recuadro 22: Preguntas relacionadas con la selección del equipo de evaluación

¿Tiene el jefe de equipo la experiencia suficiente y ha demostrado su capacidad para dirigir al equipo?

¿Son creíbles los evaluadores en lo que respecta a su competencia y reputación? ¿Tienen una trayectoria sólida?

¿Reúne el equipo de evaluación la combinación y complementariedad de las capacidades necesarias, incluidas las aptitudes de evaluación, la experiencia y el conocimiento del país, que exige esta evaluación?

¿Tienen los evaluadores las aptitudes interpersonales adecuadas?

¿Tiene el equipo capacidad para mantener durante todo el proceso una actitud equilibrada, imparcial, objetiva y constructiva?

¿Han colaborado anteriormente los miembros del equipo en algún proyecto común? ¿Sabrán actuar con eficacia como equipo?

¿Es equilibrada la representación de ambos géneros en el equipo de evaluación? ¿Integra a miembros de los países o regiones pertinentes?

103. Los miembros del equipo de evaluación que sean seleccionados directamente en calidad de consultores individuales serán entrevistados, cuando menos, a través de una llamada telefónica o por Skype y se recurrirá a un jurado fidedigno para que constate sus referencias. El responsable de evaluación debe verificar las referencias en función de los últimos trabajos realizados y presentados en el curriculum. Si el consultor ha realizado anteriormente evaluaciones en el PMA, el responsable de evaluación debe contactar al responsable de tal evaluación.

Las competencias y cualificaciones que exige un proceso de evaluación varían en función de los sectores, el tipo de evaluación y las modalidades de ejecución, pero las consideraciones que se indican a continuación son importantes.

Conocimientos especializados en evaluación. Esta categoría incluye tener capacidad metodológica para diseñar y aplicar evaluaciones. También incluye aptitudes para la comunicación y la capacidad de presentar, de una manera fácilmente accesible, las constataciones al PMA y, posiblemente, a otros interesados, así como tener unos buenos conocimientos de las normas y los valores éticos vigentes en el sistema de las Naciones Unidas.

Conocimientos técnicos y sectoriales. Los requisitos en materia de conocimientos técnicos diversos varían entre una evaluación y otra (aunque todas requieren que los evaluadores tengan conocimientos en GEEW, incluidas perspectivas participativas y métodos analíticos) y deben especificarse en los Términos de Referencia.

Conocimiento del contexto. Habida cuenta de que muchas de las evaluaciones que se llevan a cabo en el PMA se centran en la función de aprendizaje para la oficina en el país, un buen conocimiento de la realidad local contribuirá a mejorar la calidad del aprendizaje y asegurar que el análisis es robusto.

Conocimiento de la organización del PMA. El conocimiento del PMA (y de su voluntad de cuestionar su organización sobre la base de datos empíricos) permitirá a los miembros del equipo sumergirse, sin pérdida de tiempo, en la intervención específica que es objeto de la evaluación y sin tener que empezar por conocer la organización.

Conocimientos lingüísticos. La capacidad para comunicarse en la lengua oficial del país.

Aptitudes interpersonales. La capacidad para comunicarse y relacionarse con distintas partes interesadas de manera que se fomente la credibilidad del proceso de evaluación.

46

104. Cuando la contratación del equipo se realice a través de una empresa, será esta quien asuma todos los controles de referencia y revise cuidadosamente la propuesta. En el caso en el que un miembro del equipo no responda a los requisitos exigidos, el responsable de evaluación puede pedir a la empresa que lo(s) cambie y presente una nueva propuesta. Aun así, el responsable de la evaluación también realizará indagaciones antes de dar su aprobación al equipo propuesto.

105. Asimismo, en el marco de la gestión del proceso de evaluación, el responsable de la evaluación observará el calendario de pagos y, de conformidad con los procedimientos administrativos y financieros vigentes en el PMA, exigirá la presentación de facturas en función del tipo de contratación que se aplique.

106. Cuando el presidente del comité de evaluación apruebe la composición del equipo y el presupuesto, las siguientes etapas dependerán de que opción de contratación se ha elegido. Para más información, véase la nota técnica sobre las opciones de contratación de los equipos de evaluación.

47

Paso 2.5 Preparar una biblioteca de documentos

107. El responsable de la evaluación, con la ayuda del personal pertinente de la oficina en el país o el despacho regional:

asegura que todas las fuentes de datos pertinentes estén a disposición del equipo de evaluación de una manera organizada.

108. Esta medida propicia el cumplimiento de las disposiciones sobre independencia e imparcialidad establecidas en la política de evaluación. Una vez que el equipo haya sido seleccionado, se le hará entrega de una exhaustiva biblioteca de documentos. Esta incluirá la Guía de orientación sobre el PMA en la que se ofrece información exhaustiva sobre el Programa. Se hará una recopilación de las fuentes en la forma de una biblioteca de información que se pondrá a disposición del equipo de evaluación (véase la directiva del PMA sobre divulgación de información CP2010/001). Este paso allana el terreno para el equipo de evaluación en lo que respecta a su preparación inicial y el conocimiento de la intervención que es objeto de la evaluación. El acceso a una biblioteca exhaustiva reduce a un mínimo la pérdida de tiempo y los comienzos fallidos ocasionados por la falta de pruebas documentales. El equipo de evaluación se servirá de estos documentos durante la fase de inicio.

Paso 2.6 Elaborar un plan de comunicación y aprendizaje

109. El responsable de la evaluación:

prepara, con la ayuda del equipo encargado del programa y el Oficial de Relaciones con los Donantes (o el Oficial de Información Pública), un plan de comunicación y aprendizaje que garantice una difusión suficiente de los resultados de la evaluación y el acceso a estos por parte de todas las partes interesadas pertinentes, internas y externas.

110. El plan se elabora, perfecciona y adapta durante todo el proceso de evaluación. Este paso tiene una importancia crucial para asegurar que la participación durante el proceso sea adecuada, al igual que el seguimiento y el fomento de los conocimientos (véase la Plantilla de plan de comunicación y aprendizaje y la Nota técnica sobre análisis de las partes interesadas). El plan debe despejar cualquier duda sobre las respectivas funciones y responsabilidades del equipo de evaluación y la oficina en el país, los plazos establecidos y los medios de comunicación. Asimismo, se determinarán los destinatarios internos y externos, se utilizarán medios de comunicación de fácil consulta y se determinarán las necesidades en materia de traducción.

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

2.1 Preparar el proyecto de

mandato

2.2 Ultimar las disposiciones

sobre imparcialidad e independencia

2.3 Asegurar la calidad, realizar consultas y ultimar

el mandato

2.4 Seleccionar al equipo de evaluación y

ultimar el presupuesto

2.5 Preparar una biblioteca

de documentos

2.6 Elaborar un plan de

comunicación y aprendizaje

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

2.1 Preparar el proyecto de

mandato

2.2 Ultimar las disposiciones

sobre imparcialidad e independencia

2.3 Asegurar la calidad, realizar consultas y ultimar

el mandato

2.4 Seleccionar al equipo de evaluación y

ultimar el presupuesto

2.5 Preparar una biblioteca

de documentos

2.6 Elaborar un plan de

comunicación y aprendizaje

48

Resumen

Cuadro 5: Resumen de las responsabilidades – Fase de preparación

Pasos y responsa- bilidades

Director en el País

o Director Adjunto

en el País

Equipo de programas

de la oficina en

el país

Equipo de SyE

Respon- sable de la evaluación

Otras dependencias de la oficina

en el país

Equipo de

evalua- ción

Des- pacho regio-

nal

OEV Otras depen- dencias

de la Sede

Partes interesadas

externas

2.1 Preparar el proyecto de los términos de referencia

S P P L P P S S

2.2 Ultimar las disposiciones sobre imparcialidad

D P P L P

2.3 Garantizar la calidad, realizar consultas y ultimar los términos de referencia

A P P L P S

2.4 Seleccionar al equipo de evaluación y ultimar el presupuesto

A P L P P S S

2.5 Preparar la biblioteca de documentos

P P L S S

2.6 Preparar el plan de comunicación y aprendizaje

S P P L P S

Clave: A / D: aprueba / decide L: dirige – asume la responsabilidad general de iniciar el paso

P: participa activamente en el paso S: apoya el proceso con tareas específicas, en caso necesario

Cuadro 6: Lista de comprobación de la fase de preparación

Actividades principales: Sí No Justificación

Paso 2.1 : Preparar el proyecto de los términos de referencia

¿Ha consultado el responsable de la evaluación con las partes interesadas pertinentes?

¿Ha valorado el responsable de la evaluación el estado de preparación para la evaluación?

Paso 2.2: Ultimar las disposiciones sobre imparcialidad e independencia

¿Está disponible los términos de referencia para el comité de evaluación, y se ha confirmado su composición?

¿Está disponible los términos de referencia para el grupo de referencia sobre evaluación, y se ha confirmado su composición?

49

Actividades principales: Sí No Justificación

Paso 2.3 Garantizar la calidad, realizar consultas y ultimar los términos de referencia de evaluación

¿Se ha hecho una valoración de los términos de referencia conforme al sistema de apoyo a la calidad de las evaluaciones descentralizadas, y está disponible el formulario para la retroinformación del servicio de apoyo a la calidad?

¿Se ha presentado los términos de referencia para consulta al grupo de referencia sobre evaluación y al despacho regional?

¿Ha completado el responsable de la evaluación el cuadro recapitulativo de observaciones?

¿Ha obtenido los términos de referencia la aprobación del presidente del comité de evaluación (Director en el País o Director Adjunto en el País)?

Paso 2.4: Seleccionar al equipo de evaluación y ultimar el presupuesto

¿Ha obtenido el equipo de evaluación la aprobación del Director en el País o Director Adjunto en el País?

¿Ha obtenido el presupuesto la aprobación del Director en el País o Director Adjunto en el País?

Paso 2.5: Biblioteca de documentos

¿Está disponible una biblioteca de documentos exhaustiva para el equipo de evaluación?

Paso 2.6: Preparar el plan de comunicación y aprendizaje

¿Está disponible el plan de comunicación y aprendizaje?

FASE DE PREPARACIÓN CONCLUIDA

Una vez concluida la fase de preparación:

La oficina en el país comparte con el despacho regional y la OEV los términos de Referencia definitivo, el

presupuesto y la composición del equipo.

50

Figure 8: Phase 3 Inception – Detailed Process Map and supporting guidance

3. Inicio

Principales productos de la fase de inicio

Proyecto de informe inicial

Retroinformación del servicio externalizado de apoyo a la calidad sobre el proyecto del informe inicial

Cuadro recapitulativo de observaciones, terminado

Informe inicial final, aprobado

3.2 Realizar un examen

documental

3.3 Organizar reuniones

preliminares

3.4 Preparar el proyecto de

informe inicial

3.6 Difundir, ultimar y aprobar el

informe inicial

Nota técnica sobre normas y estándares para la evaluación

descentralizada

Nota técnica sobre criterios y preguntas relacionados con la

evaluación

Nota técnica sobre metodología y

métodos

Nota técnica sobre el cuadro

recapitulativo de resultados de la

evaluación

Nota técnica sobre la utilización de

modelos lógicos

Elementos de orientación en las evaluaciones descentralizadas

Vínculos con el Manual de instrucciones para la elaboración de programas y con recursos externos

Lista de comprobación de la

calidad del informe inicial

Norma 4 del UNEG sobre

independencia

Norma 5 del UNEG sobre imparcialidad

Norma 7 del UNEG sobre

transparencia

Plantilla y cuadro recapitulativo

de observaciones

Nota técnica sobre el análisis de

las partes interesadas

3.1 Orientar al equipo de evaluación

3.5 Asegurar la calidad del

proyecto inicial

Plantilla de informe inicial

Estándar 5 del UNEG sobre calidad de la evaluación

Estándar 4.2 del UNEG sobre evaluabilidad

Norma 7 del UNEG sobre

transparencia

Normas y estándares del UNEG

Código de conducta del UNEG para

evaluadores

Principios éticos del UNEG

Integración de los derechos humanos y la igualdad de género en

las evaluaciones

51

FASE 3: INICIO

Introducción

111. La fase de inicio de una evaluación tiene dos finalidades principales:

asegurar que la oficina contratante, el equipo de evaluación y las partes interesadas que participen en la evaluación compartan un conocimiento profundo de los términos de referencia de evaluación, y

elaborar de común acuerdo el plan operacional de la evaluación, en el que se indiquen el enfoque, la metodología, el plan para el trabajo en equipo y el calendario de los trabajos sobre el terreno.

112. El informe inicial especifica el enfoque general que se adoptará en la evaluación y junto con los términos de referencia constituye la principal herramienta de referencia para orientar el proceso de evaluación y comprobar su evolución. Asimismo, permite despejar cualquier duda y fomenta la comprensión mutua entre las partes que participan en este proceso.

113. La fase de inicio comprende un análisis previo del material de referencia y la celebración de encuentros con las partes interesadas (estos encuentros podrán ser presenciales o virtuales, a través de videoconferencia o por Skype), y proporcionará al equipo de evaluación amplios conocimientos sobre la evaluación.

114. Los elementos esenciales del informe inicial son:

el cuadro recapitulativo de resultados de la evaluación (véase la Nota técnica sobre el cuadro recapitulativo de resultados de la evaluación);

la metodología y los pasos analíticos que se seguirán, y

los criterios aplicados para seleccionar los lugares que se visitarán.

115. El informe inicial específica, asimismo:

cómo se organizarán los trabajos;

quién llevará a cabo las distintas funciones;

qué se deberá producir;

cuándo estarán disponibles los resultados previstos, y

cuáles son las normas de calidad del PMA (establecidas de conformidad con las normas del UNEG y explicadas en el DEQAS en el PMA y en la presente guía).

116. La fase de inicio arranca una vez que los términos de referencia final hayan sido aprobados, el equipo de evaluación haya sido contratado y la biblioteca de documentos esté preparada. En una evaluación descentralizada, la fase de inicio suele durar entre seis y siete semanas, en función de la complejidad de la intervención que se esté evaluando.

Mapa del proceso

Figura 9: Fase 3 – Mapa del proceso

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

3.1 Orientar al equipo de evaluación

3.2 Realizar un examen documental

3.3 Organizar reuniones

preliminares

3.4 Preparar el proyecto de informe inicial

3.5 Asegurar la calidad del

informe inicial

3.6 Distribuir, ultimar y

aprobar el informe inicial

52

Paso 3.1 Orientar al equipo de evaluación

117. El responsable de la evaluación:

organiza una reunión de orientación —con asistencia presencial o a distancia— con el equipo de evaluación, el equipo encargado del programa y el equipo de SyE. Esta reunión tendrá lugar antes de la misión introductoria (en el supuesto de que esté prevista), e

informa sobre la biblioteca de documentos y los documentos internos clave para asegurar la calidad e imparcialidad del proceso de evaluación. El jefe de equipo será el responsable de determinar todos los documentos externos.

118. La finalidad principal de la reunión de orientación es presentar los términos de referencia y exponer las expectativas de la oficina en el país. En esta presentación se tratará, entre otros temas, sobre:

la finalidad y el objeto de la evaluación;

las fuentes de datos pertinentes (incluidas las políticas y estrategias institucionales, los datos de seguimiento, cualquier evaluación o examen anterior y cualquier fuente de datos sobre el contexto). Se aclarará si existe alguna deficiencia o limitación de datos, y se especificarán los datos a los que se dará prioridad en la consulta;

los resultados previstos, el calendario y los plazos;

mutuas expectativas de la oficina en el país y el equipo de evaluación, así como en el seno del equipo de evaluación el cual puede que no haya trabajado conjuntamente anteriormente (por ejemplo, en cuanto a la redacción del informe por cada miembro del equipo);

el examen de las normas de calidad del DEQAS, la plantilla de informe inicial, las listas de comprobación de la calidad y las disposiciones adoptadas para asegurar la calidad (incluida la finalidad y el proceso del sistema de calidad de la evaluación descentralizada);

las funciones y responsabilidades de todas las partes interesadas principales que participen en el proceso de evaluación;

las modalidades de comunicación y normas de colaboración, que incluirán:

a. destinatarios en el PMA de la información del equipo de evaluación, frecuencia con se presentará la información y los medios que se utilizarán;

b. la participación prevista del equipo de evaluación con las partes interesadas externas, y

c. modalidades para la solución de conflictos;

los destinatarios y usos previstos de la evaluación, incluidos los medios que se utilizarán para la publicación o difusión del informe, y

los siguientes pasos, que incluirán las responsabilidades relacionadas con la programación de reuniones introductorias, con indicación de fecha, hora y lugar de las reuniones.

119. El equipo de evaluación:

conoce todas las actividades del proceso de evaluación y las lleva a cabo de conformidad con los estándares del UNEG. En particular, se atendrá al cumplimiento de:

las normas y estándares del UNEG;

el Código de conducta para evaluadores;

los principios éticos para la evaluación, y

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

3.1 Orientar al equipo de evaluación

3.2 Realizar un examen documental

3.3 Organizar reuniones

preliminares

3.4 Preparar el proyecto de informe inicial

3.5 Asegurar la calidad del

informe inicial

3.6 Distribuir, ultimar y

aprobar el informe inicial

53

la integración de los derechos humanos y la igualdad de género en la evaluación – hacia una guía del UNEG.

120. El comité de evaluación, el grupo de referencia sobre evaluación y el equipo de evaluación:

conocen la existencia de la línea directa, de cuya gestión se encargará el Director de Evaluación. La línea entrará en funcionamiento a finales de 2017 y permitirá apelar en caso de incumplimiento de las disposiciones sobre independencia e imparcialidad durante todo el proceso de evaluación.

Paso 3.2 Realizar un examen documental

121. El equipo de evaluación:

realiza un examen documental y un análisis de los documentos que se guardan en la biblioteca de documentos y, en particular, aquellos señalados como prioritarios por el responsable de la evaluación. Es muy importante que todos los miembros del equipo de evaluación estén familiarizados con los documentos clave, de manera que el tiempo dedicado a la misión introductoria y al trabajo sobre el terreno pueda aprovecharse al máximo.

122. El responsable de la evaluación, con el apoyo de los equipos del programa y de SyE:

estará disponible para proporcionar apoyo y documentos adicionales. Aun cuando la mayoría de los documentos clave se encontrarán en la biblioteca de documentos, es probable que en algún momento del proceso el equipo de evaluación necesite información adicional sobre la intervención que está siendo evaluada para cubrir posibles lagunas y triangular la información.

123. El análisis de los documentos clave relacionados con el diseño y la aplicación de la intervención y, en particular, del marco lógico o marco de resultados (o de cualquier otra fuente alternativa en la que se indique la lógica aplicada) es muy importante, al igual que el reconocimiento y análisis de los supuestos formulados (véase la Nota técnica sobre utilización de los modelos lógicos). Sobre la base de este análisis se podrán establecer las consecuencias de la evaluación. Esta fase incluye asimismo un examen de la documentación específica al contexto (políticas, estrategias, informes de evaluación y programas del Gobierno), cuando proceda.

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

3.1 Orientar al equipo de evaluación

3.2 Realizar un examen documental

3.3 Organizar reuniones

preliminares

3.4 Preparar el proyecto de informe inicial

3.5 Asegurar la calidad del

informe inicial

3.6 Distribuir, ultimar y

aprobar el informe inicial

54

Paso 3.3 Organizar reuniones preliminares

124. El responsable de la evaluación:

organiza las reuniones preliminares para que el equipo de evaluación conozca a quienes serán sus compañeros de trabajo en la oficina en el país, el despacho regional o la dirección de la Sede, así como a las partes interesadas externas pertinentes. A estas reuniones podrá asistir, junto con el equipo de evaluación, el responsable de la evaluación, siempre que el jefe de equipo no se oponga a su presencia.

125. El Director en el País o Director Adjunto en el País:

da instrucciones al equipo de evaluación, al menos una vez, durante las reuniones preliminares.

Objetivo de las reuniones preliminares

126. Como parte de la fase de inicio, el response de evaluación puede decidir si prefiere celebrar reuniones por vía electrónica o cara a cara. Las reuniones en persona implican costos suplementarios en el caso en el que el jefe del equipo no se encuentre en el país. Sin embargo, estas pueden ser más efectivas para lograr los resultados esperados de la fase de inicio (véase recuadro 23). El objetivo de la fase de inicio es que los miembros del equipo de evaluación se conozcan unos a otros y se familiaricen con el proceso, de manera que todos sepan cuáles son los requisitos y aumenten las probabilidades de que el enfoque y el calendario que se adopten sean realistas y adecuados para la evaluación. El Oficial Regional de Evaluación puede aportar apoyo al responsable de evaluación participando en las reuniones clave con el equipo de evaluación y clarificando las expectativas.

127. Cuando las misiones introductorias están planificadas, se indicarán de forma explícita en los términos de referencia y se incluirán los costos conexos en el presupuesto.

128. Cuando se celebre una misión introductoria, el comité de evaluación y/o el grupo de referencia sobre evaluación deberán: a) dar instrucciones al comienzo de la misión, y b) recibir del equipo información a posteriori sobre la misión.

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

3.1 Orientar al equipo de evaluación

3.2 Realizar un examen documental

3.3 Organizar reuniones

preliminares

3.4 Preparar el proyecto de informe inicial

3.5 Asegurar la calidad del

informe inicial

3.6 Distribuir, ultimar y

aprobar el informe inicial

55

Recuadro 23: Finalidad y contenido de las reuniones preliminares

Explicar los Términos de Referencia;

tratar sobre las principales cuestiones técnicas y operacionales de interés para la oficina contratante y las partes interesadas;

realizar un análisis de las partes interesadas y de cómo se tendrán en cuenta sus perspectivas;

cuando proceda, conocer a las principales partes interesadas de la evaluación;

acordar los criterios para las tareas de cartografía y muestreo sobre el terreno, de manera que se pueda hacer una observación representativa de la intervención que está siendo evaluada;

tratar sobre el cuadro recapitulativo de resultados de la evaluación y cuestiones conexas (véase la Nota técnica sobre el cuadro recapitulativo de resultados de la evaluación y la Nota técnica sobre los criterios y cuestiones relacionados con la evaluación);

recopilar documentación y datos (informes de seguimiento, conjuntos de datos, etc.), y detectar posibles lagunas en materia de documentación;

determinar los métodos y herramientas que se utilizarán en la recopilación de datos;

detectar las limitaciones de los datos, cómo se abordarán estas y cuáles son sus posibles consecuencias;

acordar disposiciones administrativas y logísticas para la misión sobre el terreno (desplazamiento hasta los lugares sobre el terreno, necesidades en materia de traducción e interpretación, medios de transporte, etc.), y

tomar conciencia de las consideraciones sobre el acceso, la seguridad y la protección. En las sesiones informativas se tratará sobre los siguientes aspectos técnicos:

contexto en el que opera el PMA;

conocimientos lingüísticos —capacidad para comunicarse en la lengua oficial del país—;

aptitudes interpersonales —capacidad para comunicarse y relacionarse con las distintas partes interesadas de manera que se fomente la credibilidad del proceso de evaluación—;

aspectos de los programas del PMA en el lugar que guarden relación con la intervención que se está evaluando —nutrición, intervención de emergencia, transferencias de base monetaria, alimentación escolar, protección social, desarrollo de las capacidades, etc., y

disposiciones y procesos establecidos en materia de SyE. A las reuniones preliminares pueden asistir:

el personal del PMA que haya participado directamente en la ejecución de la intervención que está siendo evaluada;

el comité de evaluación y/o los miembros del grupo de referencia sobre evaluación;

el personal del despacho regional;

el personal de las direcciones pertinentes de la Sede;

el Director en el País o Director Adjunto en el País, y

otras partes interesadas, esto es, representantes del Gobierno (incluidos ministerios o instituciones con responsabilidad directa sobre GEEW como por ejemplo el Ministerio de la Mujer), de organismos de las Naciones Unidas, donantes o asociados cooperantes que tengan algún interés en la evaluación.

56

Paso 3.4 Preparar el proyecto de informe inicial

129. El jefe del equipo de evaluación:

prepara el proyecto de informe inicial para lo que contará con el apoyo del resto del equipo. El informe inicial asegura la apropiación del proceso por parte del equipo de evaluación. En su calidad de documento de trabajo, se destinará a uso interno en el proceso de evaluación (lo comparten los miembros del comité de evaluación y del grupo de referencia sobre evaluación, pero no se publica).

130. En la preparación del informe inicial se seguirán las instrucciones sobre estructura y contenido que se indican en la Plantilla de informe inicial, e incluirá los siguientes elementos (véase el Recuadro 24).

Recuadro 24: Contenido del informe inicial

131. El informe inicial, por consiguiente, deberá:

estar bien fundamentado – en un análisis de la documentación facilitada y la celebración de

sesiones informativas sobre aspectos técnicos y reuniones preliminares;

ser técnicamente correcto – con una metodología sólida (Nota técnica sobre metodología y

métodos) y respaldado por fuentes de datos fidedignos y triangulados;

ser factible y realista – basado en negociaciones iniciales en lo que respecta a cuestiones

como los recursos, el acceso, la seguridad, etc., y

dar pruebas de que todo está dispuesto – mediante la indicación de fuentes de datos

suficientes para que la evaluación pueda llevarse a cabo.

132. El jefe del equipo de evaluación:

asegura que el proyecto de informe inicial se ajusta a los estándares de calidad establecidos (véase la Lista de comprobación de la calidad del informe inicial).

133. Cuando el equipo de evaluación sea contratado por mediación de una empresa de consultoría, la empresa se encargará de comprobar la calidad del proyecto de informe inicial, antes de su presentación al responsable de la evaluación.

Introducción: descripción de la finalidad, los usuarios y el contexto estratégico de la evaluación;

contexto: visión general del contexto del país pertinente a la evaluación, incluidas las actualizaciones derivadas de los términos de referencia;

objeto de la evaluación: incorporación de los hechos destacados y una descripción de la intervención que está siendo evaluada, que incluya calendarios, objetivos, beneficiarios, marco lógico o teoría del cambio, asociados, recursos necesarios, y que refleje todas las actualizaciones de los términos de referencia;

partes interesadas: análisis de las partes interesadas, que incluya información sobre las partes interesadas que participarán en la evaluación, así como su justificación y metodología (véase la Nota técnica sobre análisis de las partes interesadas);

cartografía del lugar y muestreo: información sobre los lugares seleccionados para las visitas sobre el terreno;

enfoque y metodología de la evaluación: información detallada sobre el enfoque propuesto para llevar a cabo la evaluación y los métodos seleccionados para la recopilación y el análisis de datos;

cuadro recapitulativo de resultados de la evaluación (véase a continuación);

descripción de los mecanismos para asegurar la calidad del proceso y el producto;

organización de la evaluación, incluido el calendario de las fases y los resultados previstos de la evaluación, y, cuando proceda, las actualizaciones de los términos de referencia, así como el apoyo que prestarán al equipo de evaluación la oficina contratante y/o las partes interesadas, y

los anexos pertinentes, incluido un mapa de las operaciones.

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

3.1 Orientar al equipo de evaluación

3.2 Realizar un examen documental

3.3 Organizar reuniones

preliminares

3.4 Preparar el proyecto de informe inicial

3.5 Asegurar la calidad del

informe inicial

3.6 Distribuir, ultimar y

aprobar el informe inicial

57

134. El cuadro recapitulativo de resultados de la evaluación es la parte esencial del informe inicial. En él se desglosan las principales cuestiones de evaluación de los términos de referencia en cuestiones subordinadas clave, con indicadores, métodos y fuentes de datos, y se explica cómo el equipo de evaluación aplicará la metodología. Los interesados encontrarán orientaciones adicionales en la Nota técnica sobre el cuadro recapitulativo de resultados de la evaluación.

135. Además del cuadro recapitulativo de resultados de la evaluación, el informe inicial incluye también varios conjuntos de herramientas y anexos, entre los que cabe destacar:

calendario de la evaluación: en el informe inicial se actualiza el calendario resumido, elaborado en el marco de los términos de referencia, y se presenta con más detalle para fomentar la confianza en la viabilidad de la evaluación según lo previsto;

análisis de las partes interesadas: este análisis se basará en el análisis inicial incluido en los términos de referencia, al tiempo que lo confirma y profundiza en lo que respecta a quiénes son los beneficiarios y otras partes interesadas, y cuáles son sus intereses en la evaluación. Asimismo se asegurará que este análisis sirva de base para el cuadro recapitulativo de resultados de la evaluación, y lo convierta en métodos y herramientas que se utilizarán durante el proceso, e

información sobre la metodología y la organización de la evaluación: el enfoque metodológico general será el que se proponga en los términos de referencia. En el informe inicial se hará una presentación más minuciosa y detallada de la metodología, con un muestreo de los lugares para las visitas sobre el terreno convenido de mutuo acuerdo con el equipo de evaluación, el responsable de la evaluación y el comité de evaluación o grupo de referencia sobre evaluación. En el informe inicial se informa asimismo sobre las herramientas que se utilizarán en la recopilación de datos.

Paso 3.5 Asegurar la calidad del informe inicial

136. El responsable de la evaluación:

examina el proyecto de informe inicial con ayuda de la Lista de comprobación de la calidad del informe inicial para asegurarse de que se ha seguido la estructura de las plantillas, incluye todos los contenidos necesarios y está exento de errores contextuales y/o fácticos;

137. en el caso en el que considere que el proyecto del informe inicial no respeta los estándares presentados anteriormente, el response de la evaluación lo reenvía al jefe del equipo de evaluación para que sea revisado en acorde con los estándares;

138. en el caso en el que considere que los estándares presentados anteriormente son cumplidos, comparte el proyecto de informe inicial con el Oficial Regional de Evaluación el cual debe confirmar si se respetan los requisitos mínimos para compartirlo con el servicio externalizado de apoyo a la calidad de las evaluaciones descentralizadas;

comparte el proyecto de informe inicial con el servicio externalizado de apoyo a la calidad de las evaluaciones descentralizadas, que proporcionará dentro de un marco de 6 días retroinformación sobre la calidad del proyecto de informe inicial desde la perspectiva de evaluación (véase en el Recuadro 25 cómo acceder a este servicio). Al mismo tiempo, el responsable de la evaluación examina muy minuciosamente el proyecto de informe inicial con la ayuda de la lista de comprobación de la calidad del informe inicial y prepara comentarios sistemáticos y constructivos;

proporciona retroinformación al jefe del equipo de evaluación sobre la base de su examen y de la retroinformación del servicio externalizado de asesoramiento

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

3.1 Orientar al equipo de evaluación

3.2 Realizar un examen documental

3.3 Organizar reuniones

preliminares

3.4 Preparar el proyecto de informe inicial

3.5 Asegurar la calidad del

informe inicial

3.6 Distribuir, ultimar y

aprobar el informe inicial

58

de apoyo a la calidad de las evaluaciones descentralizadas. Si surgieran problemas o dificultades en relación con la retroinformación proporcionada por el servicio independiente de apoyo a la calidad, el responsable de la evaluación consultará con el Oficial Regional de Evaluación (y/o la OEV, como último recurso) antes de compartirla con el jefe del equipo de evaluación.

Recuadro 25: Servicio externalizado de apoyo a la calidad de las evaluaciones descentralizadas – valoración del informe inicial

139. El jefe del equipo de evaluación:

revisa el informe inicial con respecto a la retroinformación recibida del responsable de la evaluación y el mecanismo de apoyo a la calidad, y prepara un segundo proyecto de informe.

140. El responsable de la evaluación:

asegura que las observaciones han sido debidamente tenidas en cuenta y que la calidad del informe inicial es satisfactoria, antes de compartir el proyecto del informe inicial con el grupo de referencia sobre evaluación.

La OEV, conforme a lo dispuesto en la política del PMA en materia de evaluación, gestiona el servicio de apoyo a la calidad de las evaluaciones descentralizadas y ofrece puntualmente retroinformación sobre todos los proyectos de informe inicial. Los despachos regionales y las oficinas en los países pueden acceder a este servicio directamente siguiendo el procedimiento que se describe a continuación.

1. Comprobar que el proyecto de informe inicial incluye todos los elementos previstos en la plantilla correspondiente del SGCE descentralizadas.

De no ser así, devolver el proyecto de informe inicial al jefe de equipo para su revisión.

En caso afirmativo, pasar al punto 2.

2. Compartir el proyecto de informe inicial con el Oficial Regional de Evaluación para asegurar que contiene los requisitos mínimos para el servicio externalizado de apoyo a la calidad de las evaluaciones descentralizadas.

3. Enviar por correo electrónico el proyecto de informe inicial que debe ser examinado, los términos de referencia finales y el formulario de solicitud del servicio (el formulario de solicitud del servicio está disponible aquí):

a la dirección deqs@iodparc.com

con copia a wfp.decentralizedevaluation@wfp.org, al Oficial Regional de Evaluación y al presidente del comité de evaluación.

4. IODPARC acusará recibo y confirmará la fecha en que remitirá la retroinformación.

5. IODPARC remitirá el formulario de retroinformación debidamente cumplimentado sobre el proyecto de informe inicial en el plazo de 6 días hábiles.

6. El responsable de la evaluación comparte la retroinformación con el jefe del equipo de evaluación para introducir las modificaciones pertinentes con arreglo a la retroinformación recibida.

59

Paso 3.6 Difundir, ultimar y aprobar el informe inicial

141. El responsable de la evaluación:

difunde el proyecto de informe inicial entre el grupo de referencia sobre evaluación y las partes interesadas internas pertinentes. Las partes interesadas podrán formular observaciones en un plazo de entre cinco días y dos semanas, cuya duración dependerá de las circunstancias y del calendario de la evaluación.

142. El responsable de la evaluación:

incorpora las observaciones en un cuadro recapitulativo con ayuda de las Plantilla de observaciones que se facilita, y las desglosa en distintas categorías según la sección del informe a la que hagan referencia. Si existieran contradicciones dignas de consideración entre las distintas observaciones, el responsable de la evaluación consultará con el jefe del equipo de evaluación sobre la solución más adecuada;

comprueba si alguna de las observaciones parece ambigua, en cuyo caso el responsable de la evaluación pedirá, como primera medida, una aclaración del consultor, y

comparte las observaciones con el jefe del equipo de evaluación, con quien tratará sobre ellas en el marco de una reunión o teleconferencia para profundizar en el conocimiento mutuo de las cuestiones planteadas.

143. El jefe del equipo de evaluación:

registra en el cuadro recapitulativo de observaciones el tratamiento dado a cada observación, y sobre las que no se haya tratado, la justificación correspondiente. Una vez completado, este cuadro recapitulativo fomenta la transparencia y la credibilidad del proceso;

revisa y vuelve a presentar al responsable de la evaluación el informe inicial definitivo y el cuadro recapitulativo de observaciones completado.

144. El responsable de la evaluación:

examina el proyecto de informe inicial final y el cuadro recapitulativo de observaciones con respecto a la retroinformación recibida. Cualquier discrepancia entre el PMA, las partes interesadas y el equipo de evaluación debe abordarse y quedar resuelta antes de dar por concluido el informe inicial y seguir adelante con el proceso de evaluación. En caso de duda, el responsable de la evaluación consultará con el despacho regional y/o la OEV, como último recurso, y

presenta el proyecto de informe inicial definitivo al comité de evaluación para su examen final y para la aprobación del Director en el País o Director Adjunto en el País.

145. El presidente del comité de evaluación:

aprueba el informe inicial definitivo.

146. El responsable de la evaluación:

comparte el informe inicial final aprobado con el grupo de referencia sobre evaluación y el Oficial Regional de Evaluación, y

tramita los pagos pertinentes de conformidad con las cláusulas contractuales y el procedimiento de gestión de contratos.

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

3.1 Orientar al equipo de evaluación

3.2 Realizar un examen documental

3.3 Organizar reuniones

preliminares

3.4 Preparar el proyecto de informe inicial

3.5 Asegurar la calidad del

informe inicial

3.6 Distribuir, ultimar y

aprobar el informe inicial

El presidente del comité de evaluación (Director en el País o Director Adjunto en el País) aprueba el informe inicial

60

Resumen

Cuadro 7: Resumen de responsabilidades en la fase de inicio

Pasos y responsabi- lidades

Director en el País o Director Adjunto

en el País

Equipo de programas

de la oficina en

el país

Equipo de SyE de la

oficina en el país

Respon- sable de

evaluación de la

oficina en el país

Otras depen- dencias

de la oficina en el país

Equipo de

evalua- ción

Despa- cho

regional OEV

Otras depen- dencias

de la Sede

Partes intere- sadas

externas

3.1 Orientar al equipo

P P L P P

3.2 Realizar un examen documental

S S S L

3.3 Organizar reuniones preliminares

P P P L P P P

3.4 Preparar el proyecto de informe inicial

S L

3.5 Asegurar la calidad del proyecto de informe inicial

L P P S

3.6 Difundir, ultimar y aprobar el informe inicial

A P P L P S P

Clave: A / D: aprueba / decide L: dirige – asume la responsabilidad general de iniciar el paso

P: participa activamente en el paso S: apoya el proceso con tareas específicas, en caso necesario

Cuadro 8: Lista de comprobación de la fase inicial

Actividades principales: Sí No Justificación

Paso 3.1 : Orientar al equipo

¿Ha tenido lugar la reunión de orientación? ¿Se han compartido la biblioteca de documentos y los documentos sobre

la imparcialidad y calidad de la evaluación antes de las reuniones preliminares?

Paso 3.2: Realizar un examen documental (dirigido por el equipo de evaluación)

Paso 3.3 Organizar reuniones preliminares

¿Han tenido lugar las reuniones preliminares con partes interesadas internas y externas?

¿Ha informado el Director en el País o Director Adjunto en el País al equipo de evaluación?

Paso 3.4 Preparar el proyecto de informe inicial (dirigido por el equipo de evaluación)

Paso 3.5 Asegurar la calidad del proyecto de informe inicial ¿Ha sido valorado el proyecto de informe inicial por el servicio de

asesoramiento de apoyo a la calidad de las evaluaciones descentralizadas, y está disponible el formulario de retroinformación de este servicio?

61

Actividades principales: Sí No Justificación

¿Se ha tratado adecuadamente sobre todas las observaciones relacionadas con el informe inicial?

Paso 3.6 Difundir, ultimar y aprobar el informe inicial

¿Se ha difundido el informe inicial entre el grupo de referencia sobre evaluación y el despacho regional para recabar sus observaciones?

¿Ha completado el jefe del equipo de evaluación el cuadro recapitulativo de observaciones?

¿Se ha presentado el informe inicial al comité de evaluación? ¿Ha aprobado el presidente del comité de evaluación (Director en el País o

Director Adjunto en el País) el informe inicial?

FASE DE INICIO CONCLUIDA

Una vez concluida la fase de inicio:

La oficina en el país comparte con el despacho regional y la OEV el informe inicial definitivo.

62

Figura 10: Fase 4 Recopilación de datos – Mapa detallado del proceso y orientaciones de apoyo

4. Recopilación

de datos

Principal producto de la fase de recopilación de datos

Presentación de la sesión informativa de recapitulación al final de la fase, en la que se expongan de manera resumida las constataciones preliminares del equipo de evaluación que servirán como mecanismo de validación.

4.2 Recopilar datos

4.3 Preparar la sesión

informativa de recapitulación al final de los trabajos sobre

el terreno

Nota técnica sobre el análisis de las partes interesadas

Nota técnica sobre las

disposiciones para asegurar la

independencia y la imparcialidad

Nota técnica sobre los principios de evaluación

Plantilla de recapitulación al

final de los trabajos sobre el

terreno

Nota técnica sobre normas y

estándares para la evaluación

descentralizada

Norma 4 del UNEG sobre independencia

Norma 5 del UNEG sobre

imparcialidad

Norma 11 del UNEG sobre

principios éticos en la evaluación

Elementos de orientación en las evaluaciones descentralizadas

Vínculos con el Manual de instrucciones para la elaboración

de programas y con recursos externos

Norma 10 del UNEG sobre transparencia y consulta

4.1 Preparar la misión de evaluación

Norma 11 del UNEG sobre

principios éticos en la evaluación

Normas 5 y 6 del UNEG sobre

independencia e imparcialidad,

respectivamente

Nota técnica sobre el Género en las

evaluaciones, Control de Calidad,

Guía Rápida

63

FASE 4: RECOPILACIÓN DE DATOS

Introducción

147. La fase de recopilación de datos tiene dos finalidades principales:

facilitar al equipo de evaluación la función de recopilar y analizar datos que permitan crear una base de datos empíricos para realizar la evaluación y, en particular, comprobar el buen funcionamiento de la intervención sobre el terreno, y

acumular una cantidad de datos fidedignos suficiente que permitan dar respuesta a las cuestiones relacionadas con la evaluación.

148. La fase de recopilación de datos sigue a las fases de planificación, preparación e inicio, descritas anteriormente, y cuando esta dé comienzo, ya se habrá nombrado al equipo de evaluación y su informe inicial estará aprobado.

149. El equipo de evaluación es el principal responsable de llevar a cabo las tareas de recopilación y análisis pero, para asegurar la máxima eficacia posible, la oficina en el país le prestará apoyo en la organización de las visitas sobre el terreno y la preparación de la sesión informativa de recapitulación al final de los trabajos sobre el terreno. La recopilación de datos y los primeros análisis en esta fase suelen tener una duración de tres semanas.

Mapa del proceso

Figura 11: Fase 4 – Mapa del proceso

Paso 4.1 Preparar los trabajos de evaluación sobre el terreno

150. El responsable de la evaluación coordina con el equipo de evaluación las actividades necesarias para:

preparar el programa de visitas sobre el terreno, de conformidad con las condiciones estipuladas en el informe inicial;

organizar las reuniones (incluidas las informativas y las de recapitulación) y las visitas sobre el terreno;

determinar las partes interesadas pertinentes que deberán ser contactadas;

preparar las visitas sobre el terreno;

prestar a los miembros del equipo de evaluación todo el apoyo administrativo y logístico necesario, y

asegurar que se hayan adoptado las disposiciones logísticas pertinentes, incluida la toma de contacto con las dependencias y autoridades encargadas de la tramitación de billetes, pagos, desplazamientos, visados y autorizaciones, según proceda.

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

4.1 Preparar los trabajos de evaluación sobre el terreno

4.2 Realizar los trabajos sobre el terreno y un análisis preliminar

4.3 Presentar una recapitulación al final de los trabajos sobre el terreno

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

4.1 Preparar los trabajos de evaluación sobre el terreno

4.2 Realizar los trabajos sobre el terreno y un análisis preliminar

4.3 Presentar una recapitulación al final de los trabajos sobre el terreno

64

151. Se establecerán mecanismos de comunicación y coordinación entre el equipo de evaluación y el responsable de la evaluación durante todo el tiempo que duren las actividades de recopilación de datos, y todos deberán conocerlos desde el comienzo. Se recuerda que cuando el equipo de evaluación provenga de un país extranjero, el primer paso se llevará a cabo antes de su visita al país.

Disposiciones en materia de seguridad de los equipos de evaluación

152. Las disposiciones en materia de seguridad que se indican a continuación son pertinentes para los equipos de evaluación.

Recuadro 26: Disposiciones sobre seguridad de los equipos de evaluación

Paso 4.2 Realizar los trabajos sobre el terreno y un análisis preliminar

153. El equipo de evaluación:

lleva a cabo las tareas de recopilación de datos conforme al programa establecido conjuntamente con el responsable de la evaluación al comienzo de la fase de recopilación de datos.

154. El responsable de la evaluación:

organiza una reunión de presentación para que el equipo de evaluación entre en contacto con miembros clave del personal del PMA (y de las organizaciones asociadas, cuando la evaluación sea conjunta), que desempeñen funciones que puedan facilitar el proceso de evaluación.

155. En esta reunión informativa inicial se tratará sobre:

los planes y normas de trabajo, incluido el Código de conducta del UNEG y los estándares establecidos para los equipos de evaluación y consultores individuales;

una recapitulación de las expectativas mutuas entre la oficina en el país y el equipo de evaluación, pero también dentro del equipo de evaluación, cuyos miembros podrían no haber trabajado nunca juntos, por ejemplo, en la redacción de informes a cargo de distintos miembros del equipo;

el programa previsto para las visitas sobre el terreno;

el acceso a datos e informantes clave;

las fechas previstas y las expectativas para la reunión o las reuniones informativas de recapitulación al final de las visitas sobre el terreno (se facilitará al equipo de evaluación de

En el caso en el que el equipo haya sido contratado por una compañía, la compañía de evaluación es responsable de garantizar la seguridad de todas las personas que integren el equipo contratado, habida cuenta de su condición de “prestadores de servicios independientes”. Las medidas de seguridad adoptadas incluirán disposiciones adecuadas para una posible evacuación por motivos médicos o situacionales. Los proveedores independientes no pueden acogerse al sistema del Departamento de Seguridad y Protección de las Naciones Unidas (UNDSS) por no ser miembros del personal de las Naciones Unidas.

La oficina del PMA contratante adoptará, sin embargo, las medidas oportunas para reforzar la seguridad del equipo de evaluación durante su estancia en el país. Estas medidas pueden incluir una recomendación a los miembros del equipo para que sigan el curso de capacitación en línea de las Naciones Unidas antes de viajar al país, organizar para ellos una sesión informativa sobre seguridad tras su llegada al país y rogarles que observen todas las normas y reglamentos de las Naciones Unidas en materia de seguridad durante su estancia en el país.

Si los miembros del equipo son contratados directamente por la oficina de país, se acogen al sistema del Departamento de Seguridad y Protección de las Naciones Unidas (UNDSS) para personal de las Naciones Unidas.

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

4.1 Preparar los trabajos de evaluación sobre el terreno

4.2 Realizar los trabajos sobre el terreno y un análisis preliminar

4.3 Presentar una recapitulación al final de los trabajos sobre el terreno

65

la plantilla de preparación de la reunión informativa de recapitulación de la evaluación, si aún no se le hubiera facilitado), y

se hará una breve descripción general de la intervención que está siendo evaluada y de las principales cuestiones que actualmente preocupan a la oficina.

156. El responsable de la evaluación y otros miembros del personal del PMA:

aseguran que los miembros del equipo de evaluación conocen las normas del UNEG y su Código de conducta, que el equipo deberá observar durante la recopilación de datos. Cabe incluir aquí la obligación de mostrarse comprensible con el credo y los hábitos de la población local, adoptar en todo momento un talante de honradez, integridad y respeto ante las partes interesadas y observar el acuerdo sobre protección del anonimato y la confidencialidad de los informantes (véase la Nota técnica sobre normas y estándares para la evaluación descentralizada).

aseguran que el equipo de evaluación conoce los requisitos de GEEW en las evaluaciones del PMA y que estos son aplicados, principalmente durante la recolección de datos de participantes tanto hombres como mujeres en las actividades del PMA. Aseguran también que los datos estén desagregados por género y edad.

157. Una vez concluida la reunión informativa inicial, se proseguirá con las actividades de recopilación de datos y se entrevistará, en la capital del país, a los informantes clave que sean miembros del personal del PMA, de los asociados, de organismos gubernamentales y organizaciones de donantes. Asimismo se propiciarán encuentros con organizaciones que, aunque no colaboren directamente con el PMA, desempeñen funciones importantes relacionadas con la seguridad alimentaria en la región que es objeto del estudio. La celebración de estos encuentros ya se habrá concretado previamente, y el responsable de la evaluación habrá adoptado las medidas oportunas con la suficiente antelación. Sería útil elaborar una nota informativa, de una o dos páginas, sobre la evaluación y distribuirla entre las partes interesadas.

158. A las actividades descritas más arriba seguirá el desplazamiento hasta los lugares sobre el terreno previamente seleccionados, donde se llevarán a cabo nuevas entrevistas con las partes interesadas, encuentros con los beneficiarios, visitas de observación y otras actividades previstas de recopilación de datos, que dependerán de la metodología adoptada.

159. La duración de las visitas de evaluación sobre el terreno puede variar debido a variaciones, por ejemplo, en los sectores, la cobertura geográfica, el número y tipo de actividades, el número de asociados y la facilidad de acceso. La metodología y el diseño de la evaluación son los principales factores determinantes de la duración; por ejemplo, una encuesta representativa requiere bastante tiempo para llevarla a cabo y analizar las respuestas. Una misión típica podría incluir una semana en la capital del país y dos semanas visitando las oficinas y suboficinas de la zona y los lugares sobre el terreno. El equipo de evaluación podría optar por dividirse en grupos para llevar a cabo las diferentes actividades.

160. Es importante garantizar que el personal del PMA observará las disposiciones sobre imparcialidad e independencia durante la misión de evaluación. Esta observancia suele incluir también la no participación del personal del PMA ni de organizaciones asociadas en las actividades de recopilación de datos entre las partes interesadas externas que llevará a cabo el equipo. El jefe del equipo tomará la decisión final sobre los asistentes a las reuniones de recopilación de datos (véase la Nota técnica sobre las disposiciones sobre independencia e imparcialidad).

161. La recopilación de datos incluye asimismo la necesidad de que el equipo de evaluación obtenga, cuando proceda, datos secundarios, y el equipo de SyE debe estar dispuesto a proporcionarlos en la medida de lo posible. Esta condición se debe a que una vez que el equipo comience a recopilar datos, pueden surgir nuevas cuestiones relacionadas con el seguimiento del proceso, etc.

66

Recuadro 27: Medidas para garantizar la imparcialidad e independencia durante la misión de evaluación

Paso 4.3 Preparar la sesión informativa de recapitulación al final de los trabajos sobre el terreno

162. El jefe del equipo de evaluación:

prepara y presenta una sesión informativa de recapitulación, que se basará en los datos recopilados y en un análisis inicial. En la sesión se tratará sobre las constataciones y análisis preliminares, incluidas las primeras impresiones, cualquier laguna de información y los siguientes pasos. En esta etapa no se presentan las recomendaciones, para las que se utilizará el la Plantilla de sesión informativa de recapitulación al final de los trabajos sobre el terreno.

163. La presentación de las recomendaciones servirá de documento de referencia a las partes interesadas, aunque aún deberá someterse a examen, observaciones o revisión. Se rogará al equipo de evaluación que no se extienda en la presentación y limite la exposición de diapositivas a un máximo de 20, por ejemplo.

Recuadro 28: Recomendaciones sobre el contenido de la sesión de recapitulación

El responsable de la evaluación, bajo la supervisión del comité de evaluación y con el asesoramiento del grupo

de referencia sobre evaluación, debe prever los diferentes intereses y adoptar medidas para impedir cualquier

intento de eludir el examen de determinados aspectos o de determinados subgrupos o, de cualquier otro

modo, de influir en el proceso de evaluación. Para prever y atajar posibles sesgos en la planificación y

realización de la recopilación de datos sobre el terreno, se prestará especial atención al respecto durante la

selección de los entrevistados e informantes, así como durante el proceso de recopilación de información

procedente de estas fuentes.

Algunas medidas útiles en este sentido pueden ser:

adherirse al diseño de la evaluación establecido en el informe inicial como medida de protección contra

posibles sesgos (y para reforzar la fiabilidad). Cualquier desviación del diseño se debatirá con total

transparencia y se documentará;

asegurar que el personal del PMA y de las organizaciones asociadas no participen en las reuniones con

las partes interesadas externas ni con los beneficiarios, y

el equipo de evaluación garantizará a los informantes y colaboradores de la evaluación la

confidencialidad, el respeto y la ausencia de juicios de valor. Para velar por la imparcialidad durante los

trabajos sobre el terreno, el equipo de evaluación no debe exponer en ningún momento sus puntos de

vista particulares.

Finalidad (objetivos y utilización de la evaluación)

Perspectiva general de la metodología

Actividades de recopilación de datos realizadas

Lista de las visitas sobre el terreno, y justificación

Partes interesadas entrevistadas, y justificación

Contexto (del país o la zona y operacional)

Constataciones preliminares con respecto a cada una de las cuestiones o apartados, incluidos los principales temas que hayan surgido y cualquier laguna de conocimientos

Temas que hayan surgido y que serán objeto de un análisis más minucioso, incluidas las posibles consecuencias para la oficina del PMA en el país

Próximos pasos

Turno de preguntas y observaciones

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

4.1 Preparar los trabajos de evaluación sobre el terreno

4.2 Realizar los trabajos sobre el terreno y un análisis preliminar

4.3 Presentar una recapitulación al final de los trabajos sobre el terreno

67

164. Las sesiones informativas de recapitulación tienen la finalidad de brindar al equipo de evaluación la oportunidad de interactuar con las partes interesadas, invitar a la reflexión y validar los datos recopilados. Para las partes interesadas internas y externas, esto representa una oportunidad de escuchar las constataciones preliminares y retroalimentar la discusión con el equipo de evaluación. Dependiendo de la metodología convenida, se podrán celebrar hasta tres de estas sesiones. Asimismo, en función del tipo y la complejidad de la evaluación, se podrá programar una sesión informativa de recapitulación pormenorizada, una vez que el equipo haya tenido tiempo para realizar un análisis preliminar. El número, el calendario y el tipo de sesiones informativas de recapitulación se especificarán en los términos de referencia o bien durante la fase de inicio.

Reunión bilateral con la dirección del PMA: esta reunión entre el equipo de evaluación y miembros clave del personal directivo del PMA tiene lugar antes de que se celebre la sesión informativa de recapitulación interna, para tratar sobre constataciones preliminares y presentar percepciones de la dirección.

Sesión informativa de recapitulación interna: sesión informativa de recapitulación interna completa que el equipo de evaluación presenta a las partes interesadas clave del PMA (y posiblemente a los asociados, cuando se trate de una evaluación conjunta); suele tener lugar en la oficina contratante del PMA en el país y, por ejemplo, el personal de la oficina de zona, la suboficina o del despacho regional la puede seguir por teleconferencia.

Sesión informativa de recapitulación externa: sesión informativa que el equipo de evaluación presenta a las principales partes interesadas externas (incluidos los miembros del grupo de referencia sobre evaluación); incluye la presentación de la retroinformación procedente de los participantes en la sesión informativa interna.

165. El responsable de la evaluación se encarga de:

proporcionar el local y las instalaciones necesarias para la reunión;

enviar con la debida antelación invitaciones al comité interno de evaluación, al grupo de

referencia sobre evaluación y otras partes interesadas pertinentes, y

difundir la presentación de la sesión informativa de recapitulación.

68

Resumen

Cuadro 9: Resumen de responsabilidades en la fase de recopilación de datos

Pasos y responsa- bilidades

Director en el País

o Director Adjunto

en el País

Equipo de programas

de la oficina en

el país

Equipo de SyE de la

oficina en el país

Respon- sable de

evaluación en la

oficina en el país

Otras dependencias de la oficina

en el país

Equipo de

evalua- ción

Des- pacho regio-

nal

OEV

Otras depen- dencias

de la Sede

Partes interesadas

externas

4.1 Preparar los trabajos sobre el terreno

S S L (co) S L (co)

4.2 Realizar los trabajos sobre el terreno y el análisis preliminar

S S S L P

4.3 Preparar la sesión informativa de recapitulación al final de los trabajos sobre el terreno

P P P P P L S P

Clave: A / D: aprueba / decide L: dirige – asume la responsabilidad general de iniciar el paso

P: participa activamente en el paso S: apoya el proceso con tareas específicas, en caso necesario

Cuadro 10: Lista de comprobación de la fase de recopilación de datos

Principales actividades: Sí No Justificación

Paso 4.1 : Preparar las actividades relacionadas con las visitas sobre el terreno

¿Se ha elaborado un plan de visitas sobre el terreno?

¿Ha sido compartida con antelación con todas las partes interesadas?

Paso 4.2 Realizar los trabajos sobre el terreno y un análisis preliminar

¿El equipo ha recolectado toda la información disponible?

¿Han sido realizadas todas las visitas al terreno planeadas?

Paso 4.3 Preparar y presentar una sesión informativa de recapitulación al final de los trabajos sobre el terreno

¿Se ha celebrado la sesión informativa de recapitulación al final de los trabajos sobre el terreno?

¿Está disponible el sistema PPT?

FASE DE RECOPILACIÓN DE DATOS CONCLUIDA

Una vez concluida la fase de recopilación de datos:

La oficina en el país comparte con el despacho regional el informe de recapitulación en formato PPT

69

Figura 12: Fase 5 Informe – Mapa detallado del proceso y orientaciones de apoyo

5. Informe

Principales productos de la fase de informe

Prestación de apoyo del servicio independiente a la calidad del informe de evaluación (garantía de calidad)

Retroinformación del servicio externalizado de apoyo a la calidad sobre el informe inicial

Cuadro recapitulativo de observaciones culminado

Informe de evaluación final aprobado

5.4 Ultimar el informe de evaluación

5.5 Presentar, para su

aprobación, el informe de evaluación

Plantilla de informe de evaluación

Nota técnica sobre mejora de la calidad de las recomendaciones derivadas de la evaluación

Guía para formatear

Lista de comprobación de la

calidad del informe de

evaluación

Elementos de orientación en las evaluaciones descentralizadas

Vínculos con el Manual de instrucciones para la

elaboración de los programas y con recursos externos

Norma 7 del UNEG sobre

transparencia

Norma 4 del UNEG sobre independencia

Norma 5 del UNEG sobre

imparcialidad

Nota técnica sobre análisis de las partes interesadas

Nota técnica sobre disposiciones

sobre independencia e

imparcialidad

Plantilla de cuadro

recapitulativo de observaciones

Norma 7 del UNEG sobre

transparencia

5.1 Preparar el proyecto de informe de evaluación

5.2 Asegurar la calidad del proyecto de

informe

5.3 Difundir el informe y recabar

observaciones

Estándar 5 del UNEG sobre

calidad de la evaluación

70

FASE 5: INFORME

Introducción

166. En el proceso de una evaluación descentralizada, la fase de elaboración del informe tiene varias finalidades principales, entre las que cabe destacar:

ultimar el análisis de los datos recopilados;

preparar un proyecto de informe de evaluación (y cualquier otro material adicional convenido para apoyar la difusión de la evaluación), en el que se expongan las principales constataciones basadas en datos empíricos, las conclusiones y las recomendaciones, para lo que se elegirá un medio de difusión de fácil acceso;

examinar, comprobar la calidad y formular observaciones sobre el proyecto de informe, y

ultimar el informe de evaluación y obtener la aprobación de la dirección de la Oficina de País.

167. La presente fase sigue a la de realización de la evaluación, y cuando dé comienzo el equipo de evaluación ya habrá completado las actividades de recopilación de datos y realizado los análisis preliminares. La duración de esta fase depende del alcance y la finalidad de la evaluación.

168. La elaboración del informe la lleva a cabo principalmente el equipo de evaluación, pero la oficina contratante del PMA, el servicio de apoyo a la calidad dirigido por la OEV, los asociados y otras partes interesadas de la evaluación también colaborarán en el proceso y contribuirán a garantizar su calidad y utilidad. Esta fase de la evaluación descentralizada suele tener una duración de once semanas, incluidos los plazos para formular observaciones y obtener la aprobación del informe.

Mapa del proceso

Figura 13: Fase 5 – Mapa del proceso

Paso 5.1 Preparar el proyecto de informe de evaluación

169. El jefe del equipo de evaluación:

con el apoyo del equipo de evaluación, prepara y presenta el proyecto de informe de evaluación, y vela por su conformidad con la Plantilla de informe de evaluación y la observancia de la Nota técnica sobre la calidad de las recomendaciones de la evaluación, y

asegura que el proyecto de informe de evaluación se ajusta a los estándares de calidad (véase la Lista de comprobación de la calidad del informe de evaluación).

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

5.1 Preparar el proyecto de informe

de evaluación

5.2 Asegurar la calidad del proyecto de informe de evaluación

5.3 Difundir el proyecto de

informe de evaluación

5.4 Ultimar el informe de evaluación

5.5 Presentar, para su aprobación, el

informe final

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

5.1 Preparar el proyecto de informe

de evaluación

5.2 Asegurar la calidad del proyecto de informe de evaluación

5.3 Difundir el proyecto de

informe de evaluación

5.4 Ultimar el informe de evaluación

5.5 Presentar, para su aprobación, el

informe final

71

170. Se recuerda que cuando el equipo de evaluación sea contratado por mediación de una empresa proveedora de servicios, esta será la responsable de comprobar la calidad del proyecto de informe de evaluación, antes de su presentación al responsable de la evaluación.

Paso 5.2 Asegurar la calidad del proyecto de informe de evaluación

171. El responsable de la evaluación:

realiza un examen general del proyecto de informe de evaluación haciendo uso de la Lista de comprobación de la calidad del informe de evaluación como guía, para asegurarse de que se ajusta a la estructura de la plantilla, incluye los contenidos necesarios y está exento de errores contextuales y/o fácticos, centrándose únicamente en los puntos más importantes.

172. Si considera que el proyecto de informe de evaluación no se ajusta a los estándares estipulados anteriormente, el responsable de la evaluación devolverá el proyecto de informe de evaluación al jefe del equipo de evaluación hasta que el informe se ajuste a los estándares de calidad previstos.

173. En el caso en el que considere que los estándares presentados anteriormente son respetados, comparte el proyecto de informe de evaluación con el Oficial Regional de Evaluación el cual debe confirmar si se respetan los requisitos mínimos para compartirlo con el servicio externalizado de apoyo a la calidad de las evaluaciones descentralizadas.

Comparte el proyecto de informe de evaluación con el servicio externalizado de apoyo a la calidad de las evaluaciones descentralizadas, que proporcionará dentro de un marco de 6 días retroinformación sobre la calidad del proyecto de informe inicial desde la perspectiva de evaluación (véase en el Recuadro 29 cómo acceder a este servicio).

174. Al mismo tiempo, el responsable de la evaluación examina muy minuciosamente el proyecto de informe de evaluación con la ayuda de la lista de comprobación de la calidad del informe de evaluación y prepara comentarios sistemáticos y constructivos.

Proporciona retroinformación al jefe del equipo de evaluación sobre la base de su examen y de la retroinformación del servicio externalizado de asesoramiento de apoyo a la calidad de las evaluaciones descentralizadas. Si surgieran problemas o dificultades en relación con la retroinformación proporcionada por el servicio independiente de apoyo a la calidad, el responsable de la evaluación consultará con el Oficial Regional de Evaluación (y/o la OEV, como último recurso) antes de compartirla con el jefe del equipo de evaluación.

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

5.1 Preparar el proyecto de informe

de evaluación

5.2 Asegurar la calidad del proyecto de informe de evaluación

5.3 Difundir el proyecto de

informe de evaluación

5.4 Ultimar el informe de evaluación

5.5 Presentar, para su aprobación, el

informe final

72

Recuadro 29: Servicio externalizado de apoyo a la calidad de las evaluaciones descentralizadas: valoración del informe de evaluación

175. El jefe del equipo de evaluación:

revisa el informe de evaluación con respecto a la retroinformación recibida del responsable de la evaluación y el mecanismo externo de apoyo a la calidad de las evaluaciones descentralizadas, antes de redactar un segundo proyecto.

176. El responsable de la evaluación:

asegura que las observaciones hayan sido debidamente tenidas en cuenta y que la calidad del informe de evaluación sea satisfactoria, antes de compartir el informe con el grupo de referencia sobre evaluación.

Paso 5.3 Difundir el proyecto de informe de evaluación entre las partes interesadas (para recabar observaciones)

177. El responsable de la evaluación:

difunde el proyecto de informe de evaluación entre el grupo de referencia sobre evaluación y las partes interesadas internas pertinentes. Las

Conforme a lo dispuesto en la política del PMA en materia de evaluación, la OEV gestiona el servicio de apoyo a la calidad de las evaluaciones descentralizadas y ofrece puntualmente retroinformación sobre todos los informes de evaluación. Los despachos regionales y las oficinas en los países pueden acceder a este servicio directamente siguiendo el procedimiento que se describe a continuación:

1. Comprobar que el proyecto de informe de evaluación incluye todos los elementos previstos en la plantilla correspondiente del SGCE descentralizadas.

De no ser así, devolver el proyecto de informe al jefe del equipo para que lo examine.

En caso afirmativo, pasar al punto 2.

2. Compartir el proyecto de informe de evaluación con el Oficial Regional de Evaluación para asegurar que contiene los requisitos minimitos para el servicio externalizado de apoyo a la calidad de las evaluaciones descentralizadas.

3. Enviar por correo electrónico el proyecto de informe de evaluación que debe ser examinado y el formulario de solicitud del servicio (el formulario está disponible aquí):

a la dirección deqs@iodparc.com

con copia a wfp.decentralizedevaluation@wfp.org, al Oficial Regional de Evaluación y al presidente del comité de Evaluación.

4. IODPARC acusará recibo y confirmará la fecha en que remitirá la retroinformación. 5. IODPARC remitirá el formulario de retroinformación debidamente cumplimentado en el plazo de 6 días

hábiles.

6. En el caso del informe de evaluación, el responsable de la evaluación comparte la retroinformación con el jefe del equipo de evaluación para introducir las modificaciones adecuadas sobre la base de la retroinformación recibida.

7. El responsable de la evaluación rellena el formulario de satisfacción del cliente con la calidad y utilidad del servicio una vez recibida la retroinformación sobre los términos de referencia, el proyecto de informe inicial y el proyecto de informe de evaluación, y lo envía por correo electrónico a:

la dirección deqs@iodparc.com,

con copia a wfp.decentralizedevaluation@wfp.org.

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

5.1 Preparar el proyecto de informe

de evaluación

5.2 Asegurar la calidad del proyecto de informe de evaluación

5.3 Difundir el proyecto de

informe de evaluación

5.4 Ultimar el informe de evaluación

5.5 Presentar, para su aprobación, el

informe final

73

partes interesadas dispondrán de un plazo de hasta dos semanas para formular observaciones, dependiendo de las circunstancias y del calendario de la evaluación.

178. En el Recuadro 30 se proponen algunos consejos prácticos para facilitar al responsable de la evaluación el examen del informe.

Recuadro 30: Consejo – Sugerencias para facilitar el examen del informe

En colaboración con el equipo de evaluación y los coordinadores del despacho regional, elaborar previamente un listado de destinatarios (además de los miembros del grupo de referencia de la evaluación) para la difusión del proyecto de informe entre las partes interesadas y negociar las modalidades y el calendario para la formulación de observaciones.

Prever un plazo suficiente —por lo general, de dos semanas— que permita a las partes interesadas leer el proyecto de informe y formular por escrito sus observaciones. Puede ser útil enviar un recordatorio unos días antes del vencimiento del plazo.

Hacer saber a los interesados que sus observaciones se incorporarán en un cuadro recapitulativo, que se les dará respuesta y serán enviadas a todos los evaluadores para que las tengan en cuenta en su retroinformación.

Ofrecer orientación a los consultores sobre cómo formular con precisión el contenido de sus observaciones (véase recuadro 31 a continuación).

179. Dos semanas es el plazo habitual para examinar el proyecto de informe y formular observaciones, pero el plazo se puede ampliar o reducir en función del calendario general del proceso de evaluación y del momento elegido para presentar el proyecto de informe. A veces, de común acuerdo con los examinadores, se decide reducir dicho plazo para que el informe esté disponible en una fecha determinada y pueda ser consultado por los responsables de la toma de decisiones.

Recuadro 31: Consejo – Sugerencias a tener en cuenta durante a la revisión del proyecto del informe de evaluación por las partes interesadas

¿Son los datos correctos? En caso contrario, aporte material adicional para que pueda ser considerado

¿Son las constataciones consistentes con los datos presentados?

¿Las conclusiones derivan de forma lógica de las constataciones?

¿Son las recomendaciones realizables y derivan de forma lógica de las constataciones y las conclusiones?

¿Hay lagunas importantes en los datos presentados?

¿Están los datos presentados de forma clara, sin ambigüedad y de forma objetivo?

180. El responsable de la evaluación:

incorpora las observaciones en un cuadro recapitulativo, para lo que utilizará la plantilla facilitada, y las desglosa en distintas categorías según la sección del informe a la que hagan referencia. Si existieran contradicciones dignas de consideración entre las distintas observaciones formuladas, el responsable de la evaluación buscará con el equipo de evaluación la solución más adecuada;

comprueba si alguna de las observaciones parece ambigua, en cuyo caso el responsable de la evaluación pedirá, como primera medida, una aclaración del consultor;

74

comparte las observaciones con el jefe del equipo de evaluación, con quien tratará sobre ellas en el marco de una reunión o teleconferencia para profundizar en el entendimiento mutuo de las cuestiones planteadas, y

mantiene el diálogo con el equipo para ayudarle en cuestiones como:

profundizar en el entendimiento mutuo de todo lo relacionado con la evaluación;

ofrecer, previa solicitud, aclaraciones sobre esferas concretas, y

tratar sobre las principales esferas a las que hagan referencia las constataciones, las conclusiones y las recomendaciones, a medida que estas se vayan formulando.

181. El diálogo entre los interesados podrá ser a través del correo electrónico, la teleconferencia y/o reuniones presenciales, cualquiera que sea la modalidad más idónea y factible. La inversión de tiempo en esta etapa contribuirá a mejorar la calidad del proyecto de informe, lo que, a su vez, propiciará un proceso de elaboración del informe más eficiente.

182. Es importante asegurar, sin embargo, que ni la independencia ni la imparcialidad del proceso de elaboración del informe quedarán comprometidas —por ejemplo, mediante un intento de influir indebida o inadecuadamente en las conclusiones extraídas o las recomendaciones formuladas por el equipo de evaluación.

Paso 5.4 Ultimar el informe de evaluación

183. El jefe del equipo de evaluación:

registra en el cuadro recapitulativo de observaciones el tratamiento dado a cada observación, y en el caso de aquellas sobre las que no se haya tratado, la justificación correspondiente. Una vez completado, este cuadro recapitulativo contribuirá a garantizar la transparencia y credibilidad del proceso.

184. La culminación del cuadro recapitulativo de observaciones contribuirá a garantizar la transparencia y credibilidad del proceso. Es importante que el jefe del equipo de evaluación adopte medidas en relación con las observaciones formuladas por las partes interesadas para corregir errores fácticos, evitar falsas declaraciones y facilitar información adicional a medida que se ultima el informe de evaluación. El equipo de evaluación, haciendo uso de su facultad de apreciación, determinará cuáles de las observaciones formuladas deben ser objeto de un seguimiento. Respecto a las observaciones que no se hayan estudiado o incorporado en el cuadro recapitulativo (tanto de las partes interesadas como del servicio de apoyo a la calidad), el equipo ofrecerá la justificación pertinente. Esta medida fomenta la transparencia del análisis.

revisa y vuelve a presentar al responsable de la evaluación el informe de evaluación final y el cuadro recapitulativo de observaciones completado.

Paso 5.5 Presentar, para su aprobación, el informe final

185. El responsable de la evaluación:

examina el proyecto de informe de evaluación final y el cuadro recapitulativo de observaciones con respecto a la retroinformación. Si el responsable de la evaluación considera que alguna de las observaciones no ha sido examinada suficientemente, le rogará

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

5.1 Preparar el proyecto de informe

de evaluación

5.2 Asegurar la calidad del proyecto de informe de evaluación

5.3 Difundir el proyecto de

informe de evaluación

5.4 Ultimar el informe de evaluación

5.5 Presentar, para su aprobación, el

informe final

El presidente del comité de evaluación (el Director en el País o Director Adjunto en el País) aprueba el informe de evaluación

Fase 1. Planificación

Fase 2. Preparación

Fase 3. InicioFase 4.

Recopilación de datos

Fase 5. Informe

Fase 6. Difusióny seguimiento

5.1 Preparar el proyecto de informe

de evaluación

5.2 Asegurar la calidad del proyecto de informe de evaluación

5.3 Difundir el proyecto de

informe de evaluación

5.4 Ultimar el informe de evaluación

5.5 Presentar, para su aprobación, el

informe final

75

al equipo de evaluación que la examine de nuevo y vuelva a presentarla para que sea tenida en cuenta en el informe final y el cuadro recapitulativo de observaciones. Cuando el equipo rechace alguna de las observaciones, deberá justificar satisfactoriamente su decisión. Todo desacuerdo entre el PMA, las partes interesadas de la evaluación y el equipo de evaluación se abordará debidamente y deberá quedar resuelto antes de poder considerar concluido el informe de evaluación. Si aún quedara alguna duda, el responsable de la evaluación consultará con el Oficial Regional de Evaluación y/o la OEV, como último recurso, y

presenta el informe de evaluación final al comité de evaluación para su último examen, y al Director en el País o Director Adjunto en el País, para su aprobación.

Recuadro 32: Guía para formatear el informe de evaluación

186. El presidente del comité de evaluación:

aprueba el informe de evaluación final.

187. El responsable de la evaluación:

comparte el informe de evaluación aprobado con el grupo de referencia sobre evaluación, y

tramita los pagos pertinentes de conformidad con las cláusulas contractuales y el procedimiento de gestión de contratos.

Para asegurar la estandarización y el respeto de la política corporativa de comunicación, una guía para formatear informes está disponible y tiene que aplicarse al finalizar los informes de evaluación. Esta también puede aplicarse al formato de los términos de referencia y el informe de inicio. La guía para formatear está disponible en el siguiente enlace.

76

Resumen

Cuadro 11: Resumen de responsabilidades en la fase de informe

Pasos y responsa- bilidades

Director en el

País o Director Adjunto

en el País

Equipo de programas

de la oficina en

el país

Equipo de

SyE de la

oficina en el país

Respon- sable de la evaluación

en la oficina en

el país

Otras dependencias de la oficina

en el país

Equipo de

evalua- ción

Des- pacho regio-

nal

OEV

Otras depen- dencias

de la Sede

Partes interesadas

externas

5.1 Preparar el proyecto de informe de evaluación

L

5.2 Garantizar la calidad del proyecto de informe de evaluación

L P P P

5.3 Difundir el proyecto de informe de evaluación para recabar observaciones

P P P L P P S P

5.4 Ultimar el informe de evaluación

S S S L

5.5 Presentar, para su aprobación, el informe de evaluación

A P P L S

Clave: A / D: aprueba / decide L: dirige –asume la responsabilidad general de iniciar el paso P: participa activamente en el paso

S: apoya el proceso con tareas específicas, en caso necesario

Cuadro 12: Lista de comprobación de la fase de informe

Principales actividades: Sí No Justificación

Paso 5.1 : Preparar el proyecto de informe de evaluación (bajo la dirección del equipo de evaluación)

Paso 5.2 Garantizar la calidad del proyecto de informe de evaluación

¿Ha realizado el DEQAS una valoración del proyecto de informe de evaluación, y está disponible el formulario para presentar la retroinformación de apoyo a la calidad?

Paso 5.3 Difundir el proyecto de informe de evaluación para recabar observaciones

¿Se ha enviado, para recabar sus observaciones, el proyecto de informe de evaluación al grupo de referencia sobre evaluación?

Paso 5.4 Ultimar el informe de evaluación

¿Se han abordado debidamente todas las observaciones sobre el proyecto de informe de evaluación en el cuadro

77

Principales actividades: Sí No Justificación

recapitulativo de observaciones y en el informe de evaluación final?

¿Está disponible el cuadro recapitulativo de observaciones debidamente cumplimentado?

Paso 5.5 Presentar, para su aprobación, el informe de evaluación

¿Ha obtenido el informe de evaluación la aprobación del Director en el País o Director Adjunto en el País?

FASE DE INFORME CONCLUIDA

Una vez concluida la fase de informe:

La oficina en el país comparte con el despacho regional y la OEV el informe de evaluación aprobado

78

Figura 14: Fase 6 Difusión y seguimiento – Mapa detallado del proceso y orientaciones de apoyo

6. Difusión y seguimiento

Principales productos de la fase de difusión y seguimiento

Publicación del informe de evaluación en Internet Publicación en Internet de la respuesta de la dirección a las recomendaciones formuladas en la

evaluación Amplia difusión de las constataciones, las recomendaciones y los aprendizajes principales de la

evaluación, después de haberlo difundido con las partes interesadas internes y externas (siguiendo el Plan de Comunicación y Aprendizaje)

6.2 Publicar el informe de

evaluación

Plantilla de respuesta de la

dirección

Nota técnica sobre la respuesta de la dirección y el

seguimiento de las

recomendaciones de la

evaluación

Nota técnica sobre las

disposiciones sobre

independencia e

imparcialidad Nota técnica sobre normas y

estándares de la evaluación

descentralizada

Estándar 4.1 del UNEG sobre intencionalidad

Norma 4 del UNEG sobre

independencia

Norma 5 del UNEG sobre

imparcialidad

Norma 6 del UNEG sobre consideraciones éticas en la evaluación

Nota técnica sobre las

disposiciones sobre

independencia e imparcialidad

Vínculos con el Manual de instrucciones para la elaboración

de programas y con recursos externos

Norma 7 del UNEG sobre

transparencia

6.3 Difundir y utilizar los resultados de la evaluación

Elementos de orientación en las evaluaciones descentralizadas

Norma 14 del UNEG sobre la utilización y el seguimiento de la

evaluación

6.1 Preparar la respuesta de la

dirección

6.4 Seguimiento

de la aplicación de las acciones

de seguimiento

de las recomendaci

ones

Plantilla de seguimiento de las recomendaciones de

evaluación

79

FASE 6: DIFUSIÓN Y SEGUIMIENTO

Introducción

188. La fase de difusión y seguimiento tiene dos finalidades principales con el objetivo de incrementar el uso de las constataciones de la evaluación:

preparar la respuesta de la dirección a las recomendaciones formuladas en la evaluación, y

publicar el informe y difundir sus constataciones.

189. La fase de difusión y seguimiento sigue a la fase de informe, y cuando dé comienzo, las conclusiones extraídas en la evaluación habrán quedado documentadas en el informe de evaluación, se habrá comprobado la calidad del informe, las partes interesadas lo habrán examinado y ultimado y la dirección de la Oficina en el País habrá dado su aprobación.

190. La etapa de difusión y seguimiento es clave para que las constataciones, las conclusiones y las recomendaciones que contiene la evaluación estén a disposición de sus destinatarios previstos y sirvan para mejorar las intervenciones del PMA. En esta fase se abordan la norma 14 del UNEG sobre uso de la evaluación y seguimiento, así como el estándar 4.11 sobre comunicación y difusión de los conocimientos, respectivamente. El plazo previsto para su desarrollo varía, pero se deben prever unas cuatro semanas.

Mapa del proceso

Figura 15: Fase 6 – Mapa del proceso

Paso 6.1 Preparar la respuesta de la dirección y registrarla en los sistemas idóneos

191. En la respuesta de la dirección se especifican las medidas que la oficina contratante se ha comprometido a adoptar para seguir cada una de las recomendaciones formuladas en la evaluación, junto con los plazos correspondientes para su aplicación. La respuesta de la dirección debe prepararse en un plazo de cuatro semanas a partir de la fecha en que se ha aprobado el informe de evaluación final. Para reforzar la rendición de cuentas y el aprendizaje, se registrarán las recomendaciones de la evaluación y la correspondiente respuesta de la dirección en el sistema correspondiente, y la oficina o la persona responsable se encargará de hacer un seguimiento y facilitar información actualizada sobre su aplicación.

El presidente del comité de evaluación (el Director en el País o Director Adjunto en el País) dirige la preparación de la respuesta de la dirección

80

192. El presidente del comité de evaluación:

dirige la preparación de la respuesta de la dirección a la evaluación usando la Plantilla de respuesta de la dirección (para más detalles, véase la nota técnica sobre la respuesta de la dirección y el seguimiento de las recomendaciones de la evaluación);

asegura que todas las acciones de seguimiento responden adecuadamente a las recomendaciones de la evaluación, incluyen un calendario específico dentro del cual pueden ser realísticamente ejecutadas, y son asociadas a un equipo/ unidad específicos. Si una recomendación está dirigida al Despacho Regional o una división en la sede, se deben pedir aportes de las oficinas correspondientes.

publica la respuesta de la dirección.

193. Cuando la evaluación este aprobada por el presidente del comité de evaluación, el responsable de la evaluación presenta la respuesta de la dirección al Despacho Regional (Oficial Regional de Evaluación y Asesor mayor de Programas) para su revisión y ratificación.

194. El Oficial Regional de Evaluación, el Asesor mayor de Programas y otros oficiales a nivel regional que sean adecuados revisan conjuntamente la respuesta de la dirección; y más específicamente se aseguran de que:

todas las recomendaciones reflejan de forma adecuado la respuesta de la dirección;

las justificaciones aportadas para aceptar parcialmente o oponerse a una recomendación son adecuadas y relevantes;

las acciones de seguimiento propuestas responden adecuadamente a las recomendaciones.

195. Este proceso de revisión puede conllevar diálogos adicionales con los responsables del Despacho Regional. Una vez esté finalizada la respuesta de la dirección, el Oficial Regional de Evaluación o el Asesor Regional de Seguimiento:

Solicita la aprobación de la respuesta de la dirección por parte de los responsables del Despacho Regional;

publica la respuesta de la dirección en el sistema corporativo correspondiente que tiene que ser establecido por la División de Seguimiento y Gestión de los Resultados (RMP). Hasta que el sistema sea desarrollado, se recomienda que el Despacho Regional mantenga una matriz consolidando todas las recomendaciones para todas las evaluaciones de sus respectivas regiones.

Paso 6.2 Publicar el informe y la Respuesta de la Dirección

196. El responsable de la evaluación:

comparte el informe de evaluación final y la respuesta de la dirección con el Oficial Regional de Evaluación y la Oficina de Evaluación para ser publicado en las páginas web internas y externas del PMA;

asegura que el informe y la respuesta de la dirección estén compartidos de forma proactiva con todas las partes interesadas de la evaluación.

197. El proceso que se seguirá para su publicación y diseminación ya se habrá especificado en el plan de comunicación y aprendizaje elaborado durante la fase de planificación.

81

Paso 6.3 Difundir y utilizar los resultados de la evaluación

198. De conformidad con la política en materia de evaluación (2016-2021) del PMA, y con el fin de fomentar la utilidad de la evaluación, se difundirán activamente las constataciones formuladas en la evaluación conforme a las medidas previstas en el plan de comunicación y aprendizaje. En este plan se especifica quién es el responsable de llevar a cabo cada una de las actividades de difusión, el material que se difundirá (por ejemplo, el informe de evaluación completo, solo un resumen o una nota informativa sobre la evaluación), quiénes serán sus destinatarios, las modalidades y los plazos para llevar a cabo estas actividades y su justificación. Las actividades de difusión se examinan y se llevan a cabo durante la presente fase.

199. Los resultados de la evaluación servirán para informar y mejorar la nueva programación, abogacía y estrategia. Más concretamente, las evidencias provenientes de la evaluación servirán para el diseño del nuevo Plan Estratégico de País / Plan Estratégico Interino de País. Por ello, es importante compartir activamente los aprendizajes con las partes interesadas y otros compañeros de la oficina en el país, el despacho regional y la Sede para que sirvan de base a otras actividades similares en distintos lugares. Para maximizar el uso de los resultados de la evaluación, diferentes productos pueden ser desarrollados para distintos grupos de usuarios en función de sus necesidades.

Recuadro 33: Consejo – Medidas eficaces para difundir las evidencias y los resultados de la evaluación

Enviar el informe de evaluación completo al comité de evaluación y al grupo de referencia de la evaluación.

Enviar únicamente el resumen ejecutivo o una nota informativa sobre la evaluación de una página a las partes interesadas internas y externas (con un enlace al informe de evaluación completo) que figuren en el plan de comunicación y aprendizaje.

Organizar talleres en el país ya que eventos interactivos son más plausibles de ser eficaces para diseminar los resultados de la evaluación.

Reconocer y aprovechar cualquier otra oportunidad que surja para compartir o utilizar las constataciones y recomendaciones de la evaluación, por ejemplo, en reuniones de consulta a nivel de Oficina de País, Despacho Regional o sede.

Determinar métodos de difusión creativos para divulgar en lo posible las constataciones de la evaluación y fomentar el debate incluyendo a las poblaciones afectadas, por ejemplo, mediante la distribución de notas informativas, pósteres o panfletos que contengan la información esencial de la evaluación y presentaciones en PowerPoint, vídeo, cuñas en emisiones radiofónicas y medios audiovisuales, consultaciones con las comunidades. Véase como ejemplo el video de la Evaluación Humanitaria Inter-agencia en Filipinas, Sudan del Sur y la República Centroafricana.

Pedir a las organizaciones asociadas que incluyan en sus sitios web un enlace para acceder al informe de evaluación.

Usar la plataforma online “Evaluation Community” u otros grupos temáticos de “Communities” del PMA como instrumento para diseminar los resultados de la evaluación.

Hacer que el informe de evaluación sea más accesible a toda la comunidad de organizaciones que trabajan en evaluación y asistencia humanitaria, mediante su publicación en las bases de datos para informes del UNEG y el ALNAP.

Usar la evidencia de la evaluación para el diseño de un nuevo Plan Estratégico de País / Plan Estratégico Interino de País y las revisiones consecuentes.

82

Paso 6.4 Seguimiento de la aplicación de las acciones de seguimiento de las recomendaciones

200. El responsable de la evaluación, u otro miembro del personal que haya sido designado por el sub-director de país (en el mejor de los casos será un miembro del equipo de SyE) se encargará de:

examinar periódicamente el estado de la aplicación de las acciones de seguimiento de las recomendaciones, y publicará actualizaciones en el sistema correspondiente, que la RMP se encargará de preparar y gestionar.

201. Como una solución interina, se recomienda que la oficina de país, con el apoyo del Despacho Regional, use un sistema basado en la matriz de respuestas de la dirección de DEQAS (véase la plantilla para dar seguimiento a las recomendaciones de las evaluaciones), para realizar un seguimiento sistemático de la aplicación de las recomendaciones.

202. Esta información debería de ser consolidada en dos ocasiones anuales para retroalimentar las revisiones y las planificaciones anuales sobre los rendimientos realizados por las oficinas de país.

203. El Despacho Regional se encargará de:

solicitar y consolidar las actualizaciones de las oficinas de país dentro de una región sobre el estado de aplicación de las acciones de seguimiento de las recomendaciones, como parte del sistema de información de evaluación y para informar al Despacho Regional.

apoyar el desarrollo de aprendizajes de las evaluaciones descentralizadas, para incrementar el uso de las evidencias para el diseño y la ejecución de las intervenciones del PMA a través de la región; así como para el dialogo político y la abogacía.

83

Resumen

Cuadro 13: Resumen de las responsabilidades en la fase de difusión y seguimiento

Pasos y responsa- bilidades

Director en el País

o Director Adjunto

en el País

Equipo de programas

de la oficina en

el país

Equipo de SyE de la oficina en

el país

Respon- sable de la evaluación

en la oficina en

el país

Otras dependen- cias de la oficina en

el país

Des- pacho

regional OEV

Otras depen- dencias

de la Sede

Partes interesadas

externas

6.1 Preparar la respuesta de la dirección y registrarla en el sistema idóneo

L P P P P P S

6.2 Publicar el informe y la respuesta de la dirección

P P L P P L

6.3 Difundir y utilizar los resultados de la evaluación y realizar exámenes periódicos

L L L L L L L L L

6.4 Seguimiento de la aplicación de las acciones de seguimiento de las recomendaciones

P P L L P P S

Clave: A / D: aprueba / decide L: dirige – asume la responsabilidad general de iniciar el paso P: participa activamente en el paso S: apoya, cuando sea necesario

Cuadro 14: Lista de comprobación para la fase de difusión y seguimiento

Principales actividades: Sí No Justificación

Paso 6.1: Preparar la respuesta de la dirección

¿Se ha preparado la respuesta de la dirección dentro del plazo previsto?

¿Se han revisado las respuestas de la dirección y han sido cercioradas por el Despacho Regional y aprobadas por el presidente del comité de evaluación?

¿Se han registrado las recomendaciones y las respuestas en los sistemas idóneos?

Paso 6.2: Publicar el informe y la respuesta de la dirección

¿Están el informe y la respuesta de la dirección públicamente disponibles?

¿Se ha registrado el informe en el Sistema de información sobre la gestión (SIG) y se ha compartido con la OEV?

84

Paso 6.3: Difundir y utilizar los resultados de la evaluación

¿Se ha aplicado satisfactoriamente el plan de comunicación y aprendizaje?

¿Se hace uso de los resultados de la evaluación para fundamentar las actividades de programación?

Paso 6.4: Seguimiento de la aplicación de las acciones de seguimiento de las recomendaciones

¿Se examina periódicamente la aplicación de las recomendaciones?

FASE DE DIFUSIÓN Y SEGUIMIENTO CONCLUIDA

Una vez concluida la fase de difusión y seguimiento:

¡Se habrá culminado el proceso de evaluación!

85

Lista de siglas utilizadas en el presente documento

AAP administrativo y de apoyo a los programas ALNAP Sistema de aprendizaje activo para la rendición de cuentas y el logro de resultados en la

asistencia humanitaria COMET Instrumento de las oficinas en los países para una gestión eficaz COMPAS Sistema de análisis y gestión del movimiento de los productos CSP Plan Estratégico de País GEEW Igualdad de Género y Empoderamiento de las Mujeres ICSP Plan Estratégico Interino de País LESS Sistema de apoyo a la gestión logística ODS Objetivos de Desarrollo Sostenible OE operación especial OEV Oficina de Evaluación ONG organización no gubernamental ONU-SWAP Plan de Acción para Todo el Sistema de las Naciones Unidas sobre la Igualdad de Género y el

Empoderamiento de las Mujeres OPSR operación prolongada de socorro y recuperación PACE evaluación de la actuación profesional y mejora de las competencias PP programa en el país RMP Dirección de Gestión y Seguimiento de las Realizaciones SCOPE Sistema de gestión de las operaciones de efectivo DEQAS Sistema de garantía de calidad de las evaluaciones SyE seguimiento y evaluación UNEG Grupo de Evaluación de las Naciones Unidas

Oficina de Evaluación www.wfp.org/evaluation