evaluación independiente del centro de comercio internacional …€¦ · los criterios de...

Evaluación independiente del Centro de Comercio Internacional (ITC)

Informe inicial

30 de octubre de 2013

Bernard Wood, Jefe de equipo

:

Evaluación independiente del ITC - Informe inicial i

Índice

Lista de recuadros, figuras y tablas ....................................................................................... ii

Lista de abreviaturas ............................................................................................................. iii

Resumen ejecutivo ............................................................................................................... v

1. Objetivo y antecedentes del informe inicial .................................................................... 1

2. Objetivos y ámbito de aplicación de la evaluación ......................................................... 2

2.1 Objetivos de la evaluación ...................................................................................... 2

2.2 Ámbito de aplicación y cobertura ............................................................................ 5

2.3 Gestión, gobierno e independencia de la evaluación .............................................. 6

3. Enfoque y metodología .................................................................................................. 9

3.1 Enfoque .................................................................................................................. 9

3.2 Proceso de la evaluación ........................................................................................ 9

3.3 Diseño metodológico ............................................................................................ 10

3.3.1 Resultados del análisis de "evaluabilidad" ..................................................... 10

3.3.2 Preguntas principales y matriz de la evaluación ............................................. 12

3.3.3 Métodos específicos ...................................................................................... 13

3.3.4 Triangulación y validación .............................................................................. 18

3.3.5 Selecciones de estudios de cartera y misiones nacionales ........................... 18

3.3.6 Consulta a los beneficiarios potenciales del ITC ............................................ 21

3.3.7 Análisis y síntesis de los resultados de la Evaluación .................................... 22

3.4 Estrategia de difusión y comunicación .................................................................. 24

3.4.1 Una estrategia de comunicación coherente ................................................... 24

3.4.2 Esquema estratégico para la difusión y las comunicaciones promocionales .. 25

3.4.3 Productos y servicios planificados: ................................................................ 26

4. Medidas de riesgo y mitigación para la evaluación ...................................................... 28

5. Programación, plan de trabajo, informes y productos finales ....................................... 30

5.1 Programación ....................................................................................................... 30

5.2 Plan de trabajo ...................................................................................................... 31

5.3 Responsabilidades................................................................................................ 33

6. Anexos ......................................................................................................................... 34

Anexo I: Matriz 1- Evaluación de la organización y la gestión del ITC y los cambios desde el 2006 ............................................................................................................................ 34

Anexo II: Matriz 2 - Evaluación del progreso operativo del ITC y los resultados desde el 2006 ................................................................................................................................ 44

Annexo III: "Guiones gráficos" de la sección geográfica y de productos .......................... 48

Anexo IV: Respuestas del equipo de evaluación independiente del ITC a los comentarios al borrador del informe inicial ........................................................................................... 52

Evaluación independiente del ITC - Informe inicial ii

Lista de recuadros, figuras y tablas

Recuadro I: Panorama general del ITC desde la evaluación de 2006 ................................... 3

Recuadro II: Análisis del rendimiento de la cartera ............................................................. 16

Recuadro III: Criterios de selección de los estudios de caso nacionales ............................. 19

Figura 1: El proceso de la evaluación ................................................................................. 10

Figura 2: Módulos de la metodología .................................................................................. 12

Tabla 1: Cobertura geográfica ............................................................................................. 19

Tabla 2: Selección de países .............................................................................................. 21

Tabla 3: Herramienta analítica ............................................................................................ 22

Tabla 4: Riesgos y estrategias de mitigación de los riesgos................................................ 28

Tabla 5: Plan de trabajo de la evaluación............................................................................ 31

Tabla 6: Distribución de responsabilidades ......................................................................... 33

Evaluación independiente del ITC - Informe inicial iii

Lista de abreviaturas

ALC América Latina y el Caribe

AOC África Occidental y Central

AOM África Oriental y Meridional

AP Asia y el Pacífico

APC Ayuda para el Comercio

BID Banco Interamericano de Desarrollo

BM Banco Mundial

CBI Centro de Fomento de las Importaciones de los Países en Desarrollo

CCITF Comité Consultivo del Fondo Fiduciario del ITC

CFI Corporación Financiera Internacional

CICDS Centro Internacional de Comercio y Desarrollo Sostenible

CIID Centro Internacional de Investigaciones para el Desarrollo

DBIS División de Apoyo a las Empresas e Instituciones (ITC)

DCP División de Programas de Países (ITC)

DMD División de Desarrollo de los Mercados (ITC)

DPS División de Apoyo a los Programas (ITC)

EC Sección de Competitividad de las Empresas (DBIS)

EE Entorno Empresarial (DBIS)

EMU Unidad de Evaluación y Supervisión

EOAC Europa Oriental y Asia Central

FANFC Fondo para la aplicación de normas y el fomento del comercio

GBR Gestión basada en los resultados

GCM Grupo Consultivo Mixto (ITC)

GF Gestión Financiera

IAC Instituciones de apoyo al comercio

ITC Centro de Comercio Internacional

MIM Marco Integrado Mejorado

OCDE Organización para la Cooperación y el Desarrollo Económicos

ODM Objetivos de Desarrollo del Milenio

OMAN Oriente Medio y África del Norte

OMC Organización Mundial del Comercio

ONUDI Organización de las Naciones Unidas para el Desarrollo Industrial

OSSI Oficina de Servicios de Supervisión Interna de las Naciones Unidas

PDSL Países en desarrollo sin litoral

PIB Producto Interior Bruto

Evaluación independiente del ITC - Informe inicial iv

PMA Países menos adelantados

PYME Pequeñas y medianas empresas

RCAP Revisión cuadrienal amplia de la política de las Naciones Unidas

RRHH Recursos humanos

TRTA Asistencia técnica en materia de comercio

TS Sección de Fortalecimiento de las Instituciones de apoyo al comercio (DBIS)

UNCTAD Conferencia de las Naciones Unidas sobre Comercio y Desarrollo

Evaluación independiente del ITC - Informe inicial v

Resumen ejecutivo

Este informe inicial proporciona un plan de acción detallado para llevar a cabo la evaluación independiente del Centro de Comercio Internacional. En conformidad con las buenas prácticas en materia de evaluación, el informe inicial establece claras expectativas que especifican información clave acerca de los objetivos, el ámbito de aplicación y los antecedentes de la evaluación; su gobierno y gestión; la metodología que se utilizará; la gestión de riesgos; una estrategia de comunicación y difusión; así como la planificación, el plan de trabajo, los informes y los productos finales. El informe refleja los términos de referencia y la respuesta del equipo seleccionado para llevar a cabo la evaluación, los resultados de una fase inicial de investigación documental (desde agosto de 2013) y las consultas realizadas en Ginebra (en septiembre y a principios de octubre), incluyendo 35 reuniones dirigidas a distintos niveles.

Los objetivos establecidos para la evaluación sirven para evaluar, por un lado, los cambios en la organización y en los programas del ITC desde la evaluación exhaustiva que se llevó a cabo en 2006, y por otro, los resultados del trabajo que el ITC ha realizado en estos 6 años, así como para proporcionar, de forma independiente, directrices para el futuro. Las conclusiones de esta fase preparatoria confirman la viabilidad de la evaluación propuesta, es decir, una evaluación del tipo "informe de progreso simplificado", y, por otra parte, demuestran que deberá seguir una combinación específica de enfoques contrastados, a la vez que adaptaciones creativas, que se ajusten a las particulares características del ITC.

El documento especifica claramente las disposiciones relativas a la gestión, a la gobernanza y a la independencia de la evaluación, así como las obligaciones y responsabilidades de rendir cuentas a la Unidad de Evaluación y Gestión del ITC (que actúa como gestor de la evaluación), del Comité Directivo (que supervisa el proceso) y del equipo de evaluación independiente. En concordancia con las normas de evaluación de la ONU, los principios rectores centrales que definen la orientación y la estructura de la evaluación son, además de la independencia, la utilidad y la credibilidad. Otros principios clave son la transparencia, la participación y un proceso de aprendizaje por parte de las partes interesadas a lo largo de todas las etapas de la evaluación.

Para este tipo de evaluación se aplicará una metodología rigurosa y contrastada. Esta metodología girará en torno a un enfoque estructurado, transparente y verificable, que dé respuesta a las preguntas de la evaluación mediante dos matrices de evaluación que servirán como la "columna vertebral" de la misma (véase los anexos I y II), informarán sobre las conclusiones y las sintetizarán, extraerán conclusiones fundamentadas y proporcionarán recomendaciones sólidas y útiles. El enfoque empleará los criterios de evaluación especificados, es decir, relevancia, eficacia, eficiencia, sostenibilidad e impacto potencial, mediante un enfoque de métodos múltiples, combinando fuentes y técnicas cuantitativas y cualitativas, y contrastando las conclusiones de diversas fuentes.

La importancia que se da en esta evaluación a la situación actual del ITC en cuanto a su organización, gestión y a los cambios desde el 2006, ha hecho indispensable que se aplicara un enfoque especial. Esto ha supuesto adaptar y utilizar un marco aceptado de elementos clave para la evaluación de los elementos organizativos del ITC. Este marco se desarrolla en la matriz de la evaluación que figura en el Anexo I, donde se muestran las cuestiones principales, los aspectos clave para tratarlas, los problemas, los indicadores, las fuentes de los datos y los métodos para la recopilación y el análisis de los datos. Esta matriz permite tratar de forma sistemática todas las cuestiones clave sugeridas para esta parte de la evaluación, que más tarde se reflejarán en la guías para las entrevistas, en las encuestas dirigidas o en cualquier otro instrumento, según sea necesario.

En el componente de programas, durante el trabajo preliminar se encontraron serias dificultades a la hora de evaluar los resultados globales de las actividades del ITC en base a

Evaluación independiente del ITC - Informe inicial vi

los criterios de evaluación aceptados, en un principio debido a la dificultad para identificar y categorizar las numerosas y dispersas líneas de productos del ITC y posteriormente para encontrar maneras estratégicas y significativas para englobar dichos productos y sus resultados en las evaluaciones a nivel corporativo. Una técnica que ya ha sido desarrollada y probada consiste en reconstruir los diferentes "guiones" estructurados en torno a los distintos productos y proyectos del ITC (véase el Anexo III). Los sistemas con los que cuenta el propio Centro para reunir la información de los proyectos y programas están comenzando a tomar forma y la evaluación deberá basarse en ellos, en medida de lo posible, a la vez que evaluar la validez y usabilidad de dichos sistemas. Actualmente, diferentes divisiones operativas están actualizando la información sobre los productos y servicios que ofrecen, y el equipo de evaluación ya está trabajado con ellas, actuando como primer usuario de dicha información. La matriz que se presenta en el anexo II "Evaluación del progreso operativo del ITC y los resultados desde el 2006" muestra que este análisis se organizará en torno a los tres principales logros esperados definidos en el marco lógico aprobado del ITC, que en líneas generales corresponden con los principales grupos beneficiarios en cuestión: las PYME exportadoras, los formuladores de políticas y las instituciones de apoyo al comercio.

Como se indica en el informe, una estrategia de muestreo minuciosa ha sido otro de los elementos esenciales. En ella, el equipo independiente establecía unos criterios claros de muestreo (detallados en el informe) para asegurar la objetividad a la hora de seleccionar los casos para el análisis, mientras tenía en cuenta la información proporcionada por el personal del ITC. A pesar de que gran parte de los proyectos y servicios del ITC son de alcance mundial, el ITC realmente no cuenta con "programas de países" en el mismo sentido que lo hacen otras agencias más grandes, por lo que será vital realizar evaluaciones independientes, sin embargo, sigue siendo importante evaluar los proyectos nacionales, multinacionales y regionales dentro de una gama representativa de contextos nacionales.

El enfoque que se ha adoptado para evaluar la cartera de actividades del ITC en los distintos países se podría comparar con un embudo que se hace cada vez más estrecho. Como parte de la evaluación, en el extremo más ancho del embudo, la evaluación examinará y describirá todos los proyectos del ITC. En un nivel intermedio, se ha planificado que los miembros del equipo lleven a cabo un total de 24 análisis de cartera en diferentes países distribuidos por diversas regiones (especificados en la lista), y en la parte más estrecha y enfocada, el plan incluye siete misiones nacionales (previstas en el presupuesto de la evaluación), con una distribución similar. Estas misiones de exploración van dirigidas a convalidar las conclusiones generales a través de consultas más directas con los beneficiarios, así como observaciones sobre el terreno. Asimismo, el equipo hará un esfuerzo especial por contactar con aquellos beneficiarios potenciales que aún no hayan participado ampliamente en las actividades del ITC.

El informe define los métodos principales y las fuentes clave de información que se utilizarán en la evaluación. Estos incluyen una rigurosa investigación de diversos documentos y estadísticas (a nivel de programas y de proyectos), entrevistas a destinatarios minuciosamente seleccionados y encuestas a las partes interesadas clave. Además, el informe describe de forma explícita el enfoque que se adoptará para analizar y sintetizar los resultados de la evaluación, así como para redactar el informe.

El mandato de esta evaluación se ha enfocado con más atención de lo normal en la incorporación de una estrategia de difusión y comunicación desde su comienzo. Esta estrategia ha sido desarrollada en cooperación con los expertos en comunicación del ITC, a fin de garantizar una colaboración eficaz y un posible "traspaso" una vez concluya el trabajo del equipo independiente. Un primer e importante paso para el equipo ha sido la creación de una página pública de información y consulta en el sitio web de Saana Consulting. http://www.saana.com/itc-evaluation/. Este sitio web permanecerá activo durante la duración

http://www.saana.com/itc-evaluation/

Evaluación independiente del ITC - Informe inicial vii

del proceso de la evaluación, con el fin de proporcionar una vía rápida para las publicaciones, un acceso fácil a la información de la evaluación y permitir el contacto directo con el equipo de evaluación.

El informe presenta una lista de posibles riesgos que podrían afectar al éxito de la evaluación, junto con la probabilidad de que ocurran, su gravedad y distintas medidas apropiadas de mitigación de riesgos. En general, el informe muestra que las perspectivas son buenas en la mayoría de los aspectos.

La última parte del informe inicial está dedicada a la programación, al plan de trabajo, a los informes y a los productos finales en el marco de la evaluación. Además, establece que la fase de ejecución comenzará inmediatamente tras la revisión del informe inicial, con el fin completar todos los "módulos" de la evaluación en abril de 2014 y llevar a cabo una difusión completa en junio de ese mismo año.

Evaluación independiente del ITC - Informe inicial 1

1. OBJETIVO Y ANTECEDENTES DEL INFORME INICIAL

1. La función del informe inicial es definir con precisión el mandato y el plan de ejecución de la evaluación, a fin de asegurar un acuerdo claro entre todas las partes interesadas en cuanto al objetivo y al ámbito de aplicación de la misión. El trabajo preliminar ha seguido rigurosamente el plan propuesto.

2. Tras el concurso y la adjudicación del contrato, una parte del equipo seleccionado llevó a cabo investigaciones documentales y trabajos preparatorios, y realizó tres tandas de visitas a Ginebra, entre septiembre y principios de octubre de 2013. La primera visita se centró principalmente en realizar una consulta con el Gestor de la evaluación del ITC y llevar a cabo búsquedas documentales rigurosas para identificar las cuestiones clave. La segunda visita consistió en un viaje a Ginebra, por parte del Jefe de equipo y tres miembros adicionales, para presentar la evaluación a las principales partes interesadas en la sede del ITC 1 , así como para profundizar en el análisis preliminar de la organización, la gestión y las operaciones del ITC, con el fin de refinar las preguntas y metodologías de la evaluación. Esta etapa incluyó 6 presentaciones y 11 entrevistas específicas sobre temas clave.

3. Durante la tercera misión, llevada a cabo a principios de octubre, un miembro del equipo realizó 25 entrevistas estructuradas centradas en los enfoques e instrumentos, a fin de comprender y analizar las diferentes líneas de productos y los diversos tipos de proyectos del ITC, para su posterior implantación en la ejecución de la evaluación. Al mismo tiempo, el equipo finalizó una serie de criterios para llevar a cabo un muestreo de los programas de país del ITC, que se incluirán en los análisis de cartera de la evaluación y realizó un número reducido de misiones para verificar los distintos datos directamente sobre el terreno, contando con las aportaciones finales de la División de programas de países del ITC (DCP).

4. Esta fase inicial ha permitido que el equipo pueda integrar los términos de referencia originales, así como la propuesta escogida, en este minucioso plan de acción para llevar a cabo la evaluación.

5. Como parte de las investigaciones y consultas durante la fase inicial de la evaluación, el equipo completó un "análisis de evaluabilidad", a fin de verificar qué áreas de los programas, de las actividades, así como de la gestión del ITC, cumplen, total o parcialmente, con las condiciones previas para llevar a cabo una evaluación sólida. Este trabajo ha permitido trazar el diseño de la evaluación de manera que sea lo más fiable y útil posible, teniendo en cuenta los datos disponibles, el contexto, el tipo de información que la evaluación deberá proporcionar y los recursos disponibles. Además, ha ayudado a definir en qué nivel (global, por prioridad u objetivo estratégico, regional, nacional, multinacional y/o de programa o proyecto) se pueden evaluar cada una de las preguntas. Los ajustes han sido numerosos, como se indica y detalla en el informe, y se refleja en el detallado plan de trabajo (incluyendo las preguntas de la evaluación y la matriz de datos y métodos) y en la programación de la evaluación.

1 Entre ellos se incluían: el Comité Directivo, la Dirección, las misiones permanentes de los países beneficiarios

del ITC, el personal del ITC, así como los representantes de la OMC y la UNCTAD.


2. OBJETIVOS Y ÁMBITO DE APLICACIÓN DE LA EVALUACIÓN

2.1 Objetivos de la evaluación

6. Los análisis y las consultas realizadas durante la fase inicial confirman la viabilidad de los tres objetivos fundamentales de la evaluación, como se describe a continuación junto con las principales áreas de enfoque que se aplicarán. Los tres objetivos tienen la misma importancia y aunque el tercer objetivo incluye elementos con miras al futuro que dependen de las conclusiones de los dos primeros objetivos, podría aportar valiosas recomendaciones objetivas del exterior de cara al futuro a las cuales las partes interesadas, incluida la gerencia del ITC, dan mucha importancia. No cabe duda de que las pruebas de cumplimiento y el debate sobre los resultados y las conclusiones que emergerán durante el proceso de la evaluación serán importantes para todos los interesados, en lugar de esperar al informe definitivo. Dicha "utilización de los resultados conforme se desarrolle el proceso de evaluación forma parte de las buenas prácticas que aseguran que esta http://www.saana.com/itc-evaluation/ sea útil.2

7. Objetivo 1 - Cambios desde el 2006: Examinar los avances logrados y las lecciones aprendidas desde la previa evaluación del ITC en 2006. La fase inicial ha incluido una revisión exhaustiva y un debate profundo de la evaluación previa, de sus numerosas recomendaciones y de las reacciones y comentarios de la Dirección en su momento, así como de los posteriores informes sobre los cambios introducidos, los avances logrados y la dirección estratégica definida desde el 2006. Este trabajo ha permitido especificar las áreas en las que es posible evaluar el progreso directamente en base a la evaluación del 2006 y las áreas donde los criterios apropiados para evaluar el progreso deben definirse en base a otros resultados, decisiones, estrategias y declaraciones de intenciones de la organización. A pesar de que la evaluación conserva el término "progreso", como figura en los términos de referencia, se centrará en los cambios realizados, lo que permitirá reflejar tanto los progresos como las regresiones. La evaluación tratará de identificar las lecciones aprendidas y que se han puesto en práctica, y a su vez buscará aquellas lecciones que se han generado pero que no se han capturado, aprendido o difundido plenamente entre las partes interesadas del ITC (véase el recuadro 1: Panorama general del ITC desde la evaluación de 2006).

8. Objetivo 2 - Resultados de las actividades del ITC: Apoyar la rendición de cuentas de cara a las organizaciones matrices, donantes y países beneficiarios del ITC, mostrando los resultados y el impacto de las actividades del ITC desde el 2006. La evaluación deberá responder, de forma transparente e imparcial, a los intereses prioritarios y a los requisitos de rendición de cuentas de estas partes interesadas, teniendo en cuenta su probable diversidad y aplicando un enfoque muy transparente a la metodología y los criterios de evaluación. Esto se logrará a través de un proceso de participación de las partes interesadas durante todas las etapas. Se hará hincapié en garantizar la participación critica de los beneficiarios previstos del trabajo del ITC porque que los efectos que tiene sobre ellos dicho trabajo son la razón de ser del Centro; porque gran parte de los resultados de desarrollo recaen sobre ellos; y finalmente porque forman un grupo amplio y disperso que es más difícil de alcanzar que otros grupos. La evaluación deberá proporcionar las respuestas más claras posibles a las preguntas de la evaluación, teniendo en cuenta el alcance y la fiabilidad de la información obtenida.

9. La fase inicial ha señalado el hecho de que la gama de productos y proyectos del ITC es compleja y difusa, y que los sistemas actuales del ITC tienen una capacidad limitada

2 En su forma más avanzada y cuando las circunstancias lo permitan, la evaluación podrá adoptar un papel

incluso más dinámico en el aprendizaje y desarrollo organizativo, a través de un proceso de "acompañamiento" intensivo, como se establece en: Quinn Patton, M (Ed) (2012) Canadian Journal of Program Evaluation, Volume 27 No 3, Special Issue 2012 Evaluation of the Paris Declaration on Aid Effectiveness.



para proporcionar información clara sobre los resultados de las actividades del Centro. La manera en que se abordará este problema queda reflejada en la sección dedicada a la metodología. Por otra parte, el trabajo preliminar pone en relieve que los resultados de la evaluación sobre el impacto de las actividades del ITC en términos de desarrollo deberían ser muy escasos, ya que el ITC introdujo la orientación hacia los resultados muy recientemente y la naturaleza de la cartera es difusa. Por tanto, la evaluación se regirá por una extrema precaución antes de establecer ninguna cadena de causalidad directa entre los diversos tipos de intervención del ITC orientados a dichos impactos, teniendo en cuenta los muchos otros factores que podrían influir. Siempre que sea posible, se aplicarán las técnicas de análisis de las contribuciones3 para comprobar los vínculos plausibles entre las intervenciones del ITC y los cambios en materia de desarrollo.

10. Objetivo 3 - Lecciones y orientaciones para la dirección estratégica y operativa de la organización para los próximos años: La evaluación identificará un número establecido de recomendaciones prácticas, en algunos casos con diversas opciones, para las audiencias estipuladas, a partir de los resultados y las conclusiones de la evaluación, así como en base a consultas múltiples. Las recomendaciones, los consejos y las lecciones que se extraigan se basarán en modelos pertinentes y en evaluaciones comparativas con otras organizaciones de características similares, siempre que sea posible y resulte adecuado. Asimismo, tendrán en cuenta el posicionamiento que ocupa el ITC, así como sus ventajas y desventajas comparativas dentro del campo evolutivo de la asistencia técnica en materia de comercio y, en términos más generales, la Ayuda para el Comercio.

Recuadro I: Panorama general del ITC desde la evaluación de 2006

Los términos de referencia de la evaluación establecen que el informe inicial debe establecer el panorama general. No cabe duda de que sería demasiado precipitado expresar una decisión evaluativa, o incluso un análisis o una descripción definitiva, en estas alturas. Estos surgirán una vez se haya ejecutado la evaluación. No obstante, es importante explicar el entendimiento basado en hechos que el equipo tiene de la situación en este momento, citando algunos ejemplos pero sin asegurar una cobertura global. La información que se ha obtenido gracias a las consultas e investigaciones llevadas a cabo durante la fase preliminar, se ha sido combinada luego con los conocimientos previos del equipo sobre la asistencia técnica en materia de comercio y la gestión y organización de organizaciones multilaterales.

En esta etapa queda claro que la evaluación del ITC de 2006, y especialmente las respuestas a la misma, han marcado un hito en la transición del Centro, que se creó hace un periodo relativamente largo de tiempo y comenzó siendo una organización pequeña que tenía prácticamente el monopolio de la asistencia técnica en materia de comercio. De la evaluación surgieron 34 recomendaciones para el seguimiento, referentes a:

los niveles, la duración y la flexibilidad del apoyo a los donantes;

los acuerdos de gobernanza y responsabilidad de rendición de cuentas;

una mayor capacidad de respuesta de los programas en los países, con

3Véase: Mayne, J (2001)’Addressing Attribution through Contribution Analysis: Using Performance Measures

Sensibly’; The Canadian Journal of Programme Evaluation, Vol.6, No.1, Canadian Evaluation Society.


dimensiones más amplias con una perspectiva de país y con presencia sobre el terreno;

una orientación basada en los resultados con una perspectiva que tenga en cuenta los ODM;

un refuerzo de los sistemas de GBR, supervisión, información y evaluación;

el coste de las actividades del ITC;

un refuerzo de la base de recursos humanos del ITC;

actividades que ofrezcan apoyo a los asociados de los proyectos y reforzamiento del impacto sostenible de los mismos;

fortalecimiento de las asociaciones internacionales; y

creación de una "función de marketing estratégico e identificación de prioridades".

Las primeras reacciones por parte de la Dirección fueron tibias, sin embargo, poco después de la evaluación se produjo un cambio en la Dirección del ITC, lo que llevó al Centro a poner en práctica muchas de las recomendaciones de la evaluación. Gran parte de este esfuerzo se vio reflejado en un ambicioso "proceso de gestión del cambio" que afectaba a la totalidad del Centro, siguiendo las recomendaciones de los evaluadores.

Unos seis años más tarde, y tras numerosos cambios internos, a veces un tanto controvertidos, así como progresos desiguales en los diferentes frentes donde se han intentado insertar cambios, el ITC ha introducido (y puesto en práctica en diferentes grados) sistemas internos actualizados en un serie de áreas clave y ha sentado las bases para adoptar un enfoque más moderno en lo que a sus programas se refiere. Uno de los avances constatados ha sido la mejora en la comunicación; el Centro transmite mucho mejor lo que hace y los esfuerzos que se están llevando a cabo para conseguir cambios.

En términos de reputación, hay indicios de que los esfuerzos por reformar el ITC han llevado a que gane credibilidad entre algunos de los círculos clave de donantes y agencias multilaterales. La visión global entre los beneficiarios y los potenciales beneficiarios aún no está del todo clara y la evaluación se centrará en este asunto, no obstante, se ha registrado un mayor uso de las encuestas para clientes, lo que representa un primer paso muy importante. Del mismo modo, los resultados de la evaluación serán necesarios para verificar el progreso realizado a la hora de abordar lo que la evaluación de 2006 estipuló como una organización fragmentada, acuerdos complejos de rendición de cuentas y gobernanza, cohesión organizativa, nuevos desafíos en la gestión de los recursos humanos y cooperaciones externas del ITC.

En el componente de programas, el ITC, a pesar de ser una organización pequeña, cuenta con una gama muy amplia y compleja de más de 50 productos y servicios, lo que crea problemas en cuanto a la comprensión, gestión y al despliegue de dichos instrumentos (a menudo combinados) en la sección geográfica y de programas, y obstaculiza los objetivos estratégicos del Centro. La evaluación debe aclarar cómo funciona este sistema y los resultados del mismo. Para hacerlo, deberá evaluar la experiencia de la oficina de México que es un modelo piloto del ITC para descentralizar sus capacidades. Por otro lado, existen unos primeros indicios de que el ITC ha sido capaz de mantener, y mejorar, algunos de sus puntos fuertes tradicionales en materia de inteligencia comercial y asistencia técnica práctica a pequeña escala para los exportadores de los países en desarrollo, iniciándose a la vez, a la gestión de proyectos de dimensiones superiores. Algunos, como la iniciativa moda ética, ya cuentan con un gran reconocimiento mundial. A su vez, se han realizado importantes esfuerzos para abrirse nuevos caminos en diferentes áreas, como por ejemplo el programa mujeres en el comercio. En otros frentes de servicios también existen indicios de respuestas audaces y apreciadas por parte del ITC a la creciente demanda en una serie de áreas, destacando por ejemplo el análisis de las cadenas de valor y de las medidas no


arancelarias, donde el Centro parece haber encontrado un nuevo nicho como una fuente reconocida de experiencia.

Es importante destacar que estas tendencias en el trabajo del ITC se han desarrollado en el contexto de los crecientemente diversos y altamente competitivos mercados internacionales para la asistencia técnica en materia de apoyo al comercio. Resulta muy apropiado comenzar con una perspectiva de mercado ya que el ITC se está preparando para su segunda fase de evolución y se espera que los resultados de la evaluación sean de ayuda. Externamente, el ITC forma parte de una pujante "industria" internacional dedicada a la Ayuda para el Comercio; los flujos totales de fondos crecen de forma constante, habiendo pasado de una media anual de $EE.UU. 24.800 millones en el periodo 2006-2008 a $EE.UU. 33.600 millones en 2011.4 Sin embargo, incluso dentro del mercado de la asistencia técnica en materia de comercio, que es mucho más limitado, la "cuota de mercado" del ITC que ascendió a $EE.UU. 76 millones en 2012, es modesta y según los informes está disminuyendo.

Que se adopte una perspectiva de mercado para evaluar la situación actual y futura del ITC también es esencial por tres razones adicionales. En primer lugar, desde el punto de vista de la oferta, el 55% de los fondos totales del ITC depende de "recursos extrapresupuestarios", ya sean flexibles o reservados de distintos modos. Este "mercado" de financiación es extremadamente complejo e inseguro, desde un punto de vista operativo, tanto externa como internamente, pero al mismo tiempo es vital para asegurar la prestación de servicios del Centro, así como para su capacidad, organización y gestión. En segundo lugar, desde el punto de vista de la demanda, los propios clientes y potenciales clientes del ITC tienen que hacer frente a las necesidades prioritarias de asistencia técnica en materia de comercio que cambian constantemente. La manera en que el ITC (tal como los demás) gestiona la compleja tarea de repartir la financiación entre la oferta y la demanda es fundamental para el buen rendimiento y las buenas prácticas en relación con los principios de la Declaración de París. En tercer y último lugar, es evidente que el mercado de financiación de los donantes se está ajustando. En el momento en que las expectativas de proyectos grandes y el resto de financiaciones del ITC hayan disminuido, y a pesar de la buena disposición general por parte de los donantes, la evaluación ofrecerá una evaluación independiente fiable sobre la capacidad y el desempeño del ITC, a fin de proporcionar una base actualizada de financiadores, actuales y potenciales, para el futuro.

A pesar de que se incluyan algunas áreas nuevas, es evidente que todas las áreas tratadas en la evaluación de 2006 siguen siendo relevantes en esta nueva evaluación que se centra en los progresos. Tanto la matriz correspondiente a la organización y gestión del Centro, como la correspondiente a su progreso operativo y a los resultados, garantizarán que se alcancen de forma sistemática todas las cuestiones. Además, generará pruebas dentro de este nuevo entorno para volver a analizar aquellas decisiones estratégicas importantes para el ITC que se mencionaron en 2006 pero que aún no se han abordado.

2.2 Ámbito de aplicación y cobertura

11. Periodo cubierto en la evaluación: Como se especifica en los términos de referencia, la evaluación se centrará en el período comprendido entre el 2006 y finales del 2012. Se llevará a cabo un seguimiento de los cambios realizados en el Centro, a nivel de operaciones, contextos y programas, durante este periodo.

12. Exhaustividad y un enfoque de muestreo: Se espera que la evaluación "abarque todos los proyectos y programas desarrollados por el ITC, además de la totalidad de sus estructuras y procesos de gobierno, legislación, organización y operación". Se adoptará

4 OMC (2013). Panorama de la Ayuda para el Comercio.


un enfoque de múltiples pasos acumulativos para lidiar con este importante desafío, como se detalla en el plan de trabajo y en la matriz de la evaluación que se describen más adelante.

13. Una evaluación más ágil, clara y simple que sea de alta calidad: La declaración de trabajo especifica que esta evaluación, al tratarse de un "informe de progreso", debe ser un "proceso más ágil y simplificado que la compleja evaluación de 2006, en lo que se refiere al número y a la dimensión de los productos finales, que deberán ser fáciles de comprender y digeribles, cortos y simples, útiles y claros, sin dejar de ofrecer la alta calidad que requiere la evaluación". Se hará hincapié en llevar a cabo una evaluación de alta calidad que sea útil y comprensible, y se presente en un lenguaje claro, sin pretensiones ni tecnicismos. La evaluación deberá ser creíble y comprensible para el público, y contar con el respaldo de una estrategia de comunicación y difusión eficaz que ayude a que el ITC alcance su objetivo de informar a un público más amplio.

14. Extracción de nuevas lecciones y recomendaciones: El equipo seguirá un proceso transparente, iterativo y participativo para extraer lecciones de la evaluación y aprender de ellas. La identificación de lecciones (aprendidas o por aprender) y recomendaciones se centrará en los resultados, en medida de lo posible comprendidos entre el periodo 2006-2012; en los impactos, de los proyectos y programas; y en los aspectos más importantes de la estrategia, los procesos organizativos y de gestión del ITC.

2.3 Gestión, gobierno e independencia de la evaluación

15. El equipo de gestión de la evaluación: La Unidad de Evaluación y Supervisión (EMU) del ITC será la encargada de gestionar y controlar la calidad de la evaluación. La EMU actuará como el equipo de gestión para la gestión diaria de la evaluación. Además, será la encargada de recopilar todos los documentos necesarios para la evaluación dentro del ITC. La Unidad ayudará al equipo de evaluación en los temas relacionados con los desplazamientos y la logística. El equipo de gestión de la evaluación ha trabajado con los gerentes del ITC, a fin de crear un grupo de enlace y referencia interno para facilitar la transmisión de información y los acuerdos con las distintas partes de la organización. Las funciones y responsabilidades del equipo de gestión/secretariado de la evaluación son las siguientes:

a. Gestionar la evaluación y el presupuesto de la evaluación;

b. Realizar las gestiones logísticas necesarias para las reuniones en Ginebra;

c. Garantizar la disponibilidad de oficinas, ordenador/es y teléfono/s;

d. Llevar a cabo consultas con las partes interesadas y recoger y consolidar sus comentarios en relación con los posibles errores, omisiones o malentendidos factuales en los resultados de la evaluación para el equipo de evaluación, así como asegurar que el equipo tenga en cuenta los comentarios recibidos y dé respuesta a los mismos dentro del plazo estipulado en el informe inicial.

e. Proporcionar comentarios técnicos a los resultados de la evaluación y evaluar el informe inicial y definitivo, con el fin de asegurar la validez y veracidad de la información, así como la claridad del análisis (que las conclusiones se basen en unos hallazgos que sean consistentes con los datos recopilados y que se extraigan recomendaciones y lecciones de las conclusiones);

f. Evaluar y aprobar todos los productos del equipo de evaluación, con el fin de que cumplan con los términos de referencia y el informe inicial, que son los principios rectores del trabajo del equipo, con las normas de calidad de la evaluación y con los principios de accesibilidad. La garantía y el control de la calidad no implica necesariamente que se acepten las conclusiones de la evaluación. El equipo de evaluación independiente es el responsable final del contenido de sus informes;

g. Coordinar el proceso de respuesta de los gestores;


h. Garantizar que no exista conflicto de intereses alguno en ningún proceso de selección;

i. Asegurar la difusión y comunicación de la evaluación en colaboración con la Unidad de Comunicaciones y el equipo de evaluación; y

j. Bajo la responsabilidad de la Dirección del ITC, garantizar el seguimiento de la puesta en práctica de las recomendaciones aceptadas.

16. El Comité Directivo de la evaluación del ITC: El Comité Directivo, formado por representantes de los países donantes y beneficiarios, se encargará de la supervisión de la evaluación, y estará coordinado por un representante de un país donante. El objetivo de este grupo es garantizar la participación e intervención en el proceso de evaluación y en los resultados de las partes interesadas externas, asegurar la independencia de la evaluación y respaldar la difusión y la aplicación de los resultados. Seguirá de cerca el proceso y revisará los productos de la evaluación, entre los que se incluyen:

a. El informe inicial, incluyendo la metodología final, los procesos de preguntas, la programación y la estrategia de difusión;

b. Los informes de progreso en los momentos clave de la evaluación; y

c. El borrador y el informe final para asegurar la calidad, claridad y credibilidad.

El Comité Directivo se encargará de revisar y presentar comentarios acerca de los productos mencionados. A fin de proteger la independencia, credibilidad y utilidad de la evaluación, el Comité Directivo no aprobará ni desestimará los informes elaborados por el equipo de evaluación independiente.

17. El equipo de evaluación independiente: Responsabilidades:

a. Llevar a cabo una evaluación independiente, en cumplimiento con las normas y los estándares de calidad aceptados a nivel internacional, (así como con las políticas y directrices de evaluación del ITC) de la relevancia, eficacia y eficiencia del trabajo del ITC, y valorar el impacto de sus actividades y la sostenibilidad de sus intervenciones. Hará un balance del progreso de la puesta en práctica de las recomendaciones de la evaluación de 2006. La evaluación responderá a los términos de referencia y a las preguntas de la evaluación contenidas en los mismos, como se ha refinado, revisado y confirmado en el informe inicial, y aplicará una diversidad de métodos para responder a las preguntas y establecerá vínculos entre las conclusiones y recomendaciones y las pruebas contrastadas.

b. Redactará los productos finales en inglés, que deberán ser fácil de comprender y digeribles, cortos y simples, útiles y claros, sin dejar de ofrecer la alta calidad que requiere la evaluación. Al tratarse de un "informe de progreso", esta evaluación estratégica será un proceso más ágil y simplificado que la compleja evaluación de 2006.

c. Adoptar un enfoque integral: A través de estudios teóricos, la evaluación abarcará todos los proyectos y programas desarrollados por el ITC, además de la totalidad de sus estructuras y procesos de gobierno, legislación, organización y operación. Además, tendrá en cuenta otras evaluaciones de las actividades del ITC que se hayan realizado entre 2006 y 2012. Con el fin de verificar las conclusiones preliminares de los estudios teóricos y llevar a cabo un análisis más profundo y detallado, la evaluación incluirá una muestra representativa de operaciones del ITC, a través de una evaluación de la programación del ITC en su sede en Ginebra y siete misiones a países o regiones donde opera el Centro, especialmente de África.


d. Como parte de lo anterior, se utilizará una metodología consultiva y participativa que incluya entrevistas con las principales partes interesadas (es decir: beneficiarios, en concreto, instituciones de apoyo al comercio y empresas privadas del campo, donantes, empleados y Dirección del ITC, y organizaciones matrices y asociadas). La participación de las partes interesadas será importante en todas las fases, a fin de que la evaluación se lleve a cabo de un modo consentido y transparente, a la vez que se aplica el principio de independencia y el resto de normas y estándares de evaluación. Esto contribuirá a lograr los objetivos de la evaluación y al mismo tiempo fomentará la confianza y participación de la audiencia y las partes interesadas tanto en los procesos como en los resultados de la misma.

e. Responder a los comentarios de las partes interesadas sobre los resultados del borrador, siempre y cuando se reciban dentro de los plazos estipulados en el informe inicial, teniendo en cuenta el principio de independencia. El equipo indicará en qué modo se han reflejado dichos comentarios o explicará por qué no se han reflejado. El Jefe de equipo deberá garantizar que cualquier discrepancia entre los miembros del equipo de evaluación, o entre el equipo de evaluación y los socios pertinentes, que sea importante para las conclusiones o recomendaciones, quede reflejada en el informe, a través de comentarios en el texto, notas al pie de página o en una sección especial.

f. Aplicar sistemas de control y de garantía de calidad internos. El Jefe de equipo es responsable de la organización y coordinación del trabajo del equipo de evaluación (y por tanto de la calidad y relevancia de las aportaciones de los miembros) y de garantizar la entrega puntual de todos los hallazgos, conclusiones y recomendaciones, así como de un informe final integral que cumpla con las normas de evaluación. El Gestor de proyectos superior de la empresa contratada será el responsable de las funciones de gestión relacionadas con la gestión del contrato, el control del presupuesto, el flujo de efectivo y la gestión de la facturación. Además, la empresa ha designado a otro oficial superior para que se ocupe de proporcionar otro nivel más de garantía de calidad. Se ha desarrollado un plan de políticas de garantía de la calidad actualizado, basado en el resumen de la propuesta, que se ha entregado a todos los miembros del equipo de evaluación.

g. Identificar las lecciones en materia de impacto, estrategia y gestión que se pueden aprender de las operaciones que el ITC ha llevado a cabo en los últimos seis años y redactar recomendaciones basadas en dichas lecciones.

h. Informar, a través del equipo de gestión de la evaluación, del Comité Directivo o de la Dirección, según proceda, sobre el progreso de los puntos clave y entregar los productos finales en el plazo acordado, incluidos el informe inicial, el borrador y el informe final, así como llevar a cabo las tareas de difusión y comunicación de los resultados de la evaluación.


3. ENFOQUE Y METODOLOGÍA

3.1 Enfoque

18. Los principios rectores centrales que definen la orientación y la estructura de la evaluación son la independencia, la utilidad y la credibilidad. La fase inicial ha demostrado que la evaluación deberá incluir una combinación específica de enfoques contrastados, a la vez que adaptaciones creativas que se ajusten a las particulares características del ITC. Al ser un "informe de progreso", se trata de una evaluación más "formativa" que "sumativa", aunque seguirá ofreciendo un seguimiento y una evaluación de los resultados, así como consejos para el futuro. Con el fin de poder responder a las cruciales preguntas con respecto a la organización y gestión, se ha decidido adaptar los enfoques de la evaluación organizativa. El objetivo global del ITC de gestionar sus actividades en base a resultados de desarrollo, ha ayudado a definir el enfoque de la evaluación, haciendo uso de las lecciones aprendidas de las evaluaciones sobre desarrollo en referencia a las posibilidades y los límites a la hora de vincular las actividades de asistencia al desarrollo con los impactos sobre el desarrollo.

19. Para este tipo de evaluación se aplicará una metodología rigurosa y contrastada. Esta metodología girará en torno a un enfoque estructurado, transparente y verificable que dé respuesta a las preguntas de la evaluación, informe sobre las conclusiones y las sintetice, extraiga conclusiones fundamentadas y proporcione recomendaciones sólidas y útiles. El enfoque empleará los criterios de evaluación especificados, es decir, pertinencia, eficacia, eficiencia, sostenibilidad y posible impacto, a través de una combinación de métodos, que utilicen técnicas y recursos tanto cuantitativos como cualitativos.

20. Componentes clave del enfoque y diseño de la evaluación:

a. Fomentar que el ITC se centre cada vez más en los resultados, mediante la agrupación de evaluaciones del uso y de los resultados de los proyectos y productos, de acuerdo con los logros esperados definidos en el marco lógico aprobado por el Centro;

b. Desarrollar y seguir una matriz de evaluación detallada, considerándola la "columna vertebral" de la evaluación que muestra en qué modo se responderán las preguntas principales, de dónde procederán los datos, qué tipo de métodos de recopilación de datos se utilizará y cómo se analizarán estos datos;

c. Establecer cómo se utilizarán las pruebas resultantes de las distintas recopilaciones de datos para llegar a las conclusiones y redactar las recomendaciones;

d. Garantizar que existan claras oportunidades de participación para las partes interesadas, no solo durante el proceso de recopilación de datos sino también para verificar las hallazgos y desarrollar las conclusiones y recomendaciones; y

e. Seguir un plan de trabajo y presupuesto práctico que permita que el equipo pueda avanzar y elaborar conclusiones de forma progresiva, y que garantice unos tiempos y recursos adecuados para la participación de las partes interesadas.

3.2 El proceso de la evaluación

21. El proceso que sigue la evaluación queda reflejado en la figura a continuación y se explica más detalladamente en la sección sobre la metodología y en la figura 2 que encontrará más abajo. Esta sección hace un resumen sobre las fases de la evaluación y se centra en establecer vínculos entre los objetivos del proyecto, el enfoque y las actividades principales de la evaluación. Podrá encontrar más información sobre los


tiempos planificados y la división de tareas en el plan de trabajo, en la programación y en los productos finales.

22. Con este informe inicial concluimos las tres principales tareas preparatorias (revisión de los términos de referencia y evaluación de la evaluabilidad, desarrollo de la matriz y finalización del plan de trabajo y de la programación) y se da por establecida la base para la ejecución de la evaluación. En el caso de esta evaluación, las investigaciones y consultas llevadas a cabo en la fase inicial han sido más importantes que en muchas otras evaluaciones, ya que han revelado algunas complejidades únicas sobre el ITC y sus distintas actividades, especialmente si consideramos que se trata de un programa relativamente pequeño. Como se indica en la sección "evaluabilidad" que figura más adelante, esto ha llevado a que se hicieran importantes ajustes.

23. El diagrama que aparece a continuación indica el proceso de la evaluación:

Imagen 1: El proceso de la evaluación

3.3 Diseño metodológico

3.3.1 Resultados del análisis de "evaluabilidad"

24. Como parte de la fase inicial, el equipo llevó a cabo una evaluación para verificar qué partes del programa cumplían con los prerrequisitos para realizar una evaluación sólida y cómo se debería diseñar la evaluación, a fin de garantizar credibilidad y una máxima utilidad.

25. La primera conclusión fue que la importancia que se da en esta evaluación a la situación actual del ITC en cuanto a su organización, gestión y a los cambios desde el 2006, ha hecho indispensable que se aplicara un enfoque especial. Se trata de una tarea larga y compleja, no obstante, estará respaldada por la adaptación y aplicación de un marco aceptado o lista de control de los elementos clave para la evaluación de los elementos organizativos, que se describe en la matriz de la evaluación en el anexo I.5 Además,

5 Lusthaus, Charles, Adrien, Marie-Hélène et al., Organizational Assessment: A Framework for Improving

Performance. 2002, Inter-American Development Bank, Washington, D.C. and International Development Research Centre, Ottawa, Canada. "El CIID publicó este marco por primera vez en 1995. El BID rápidamente pasó a adoptarlo y utilizarlo, y ha pasado a ser fundamental para los ensayos in situ. Este marco se ha actualizado y ampliado gracias a la combinación de nuestras experiencias. El CIID y Universalia han utilizado


esta evaluación cuenta con la ventaja de que durante el periodo de evaluación se ha prestado mucha atención a los asuntos relacionados con la organización y gestión en el ITC, y de que se cuenta con extensa documentación sobre el tema y existen bastantes datos de referencia y recomendaciones sobre algunas de estas cuestiones.

26. Sin embargo, una conclusión importante fue que existen opiniones muy contrastadas en cuanto a las implicaciones del "proceso de gestión del cambio" del ITC desde el 2006. Por tanto, lo más productivo para el marco de evaluación será dejar dicho término de lado y centrar la atención en los cambios específicos realizados o que se han intentado realizar. Por último, es importante reiterar que ya que se trata de un "informe de progreso simplificado", esta evaluación externa será objetiva y estará fundamentada en pruebas pero no constituirá un estudio exhaustivo de la gestión y la organización.

27. Por otro lado, el trabajo preliminar encontró serias dificultades a la hora de evaluar los resultados globales de las actividades del ITC en base a los criterios de evaluación aceptados, comenzando por la dificultad para identificar y categorizar las numerosas y dispersas líneas de productos del ITC, y posteriormente para encontrar maneras estratégicas y significativas para englobar los productos y sus resultados en las evaluaciones a nivel corporativo. Es ahora cuando los sistemas con los que cuenta el propio ITC para reunir la información de los proyectos y programas están comenzando a tomar forma y la evaluación deberá basarse en ellos, en medida de lo posible, a la vez que evaluar la validez y usabilidad de dichos sistemas. Actualmente, diferentes divisiones operativas están actualizando la información relativa a los productos y servicios que ofrecen, y el equipo de evaluación ya ha trabajado con ellos para probar dicha información.

28. En cuanto a los datos básicos, además del importante asunto mencionado anteriormente, al comienzo de la evaluación, la Unidad de Evaluación y Supervisión entregó al equipo una base relativamente sólida y bien organizada de otras evaluaciones, así como documentación institucional, lo que aumentó las perspectivas de éxito en algunas áreas clave.

29. La fase inicial se muestra favorable en cuanto a la adecuación del contexto de la evaluación, es decir, existe la participación adecuada, la accesibilidad y confianza de las partes interesadas y de los usuarios previstos, y claridad en lo que se refiere a cómo emplearán las conclusiones de la evaluación dichos usuarios. Las misiones a Ginebra durante los meses de septiembre y octubre de 2013, compuestas por 35 reuniones con una serie de grupos de partes interesadas y empleados de los programas, indicaron que los directivos y empleados de los programas entrevistados consideraban que la evaluación de progreso era apropiada y oportuna, ya que llegaba siete años después de la gran evaluación de 2006 y tras un periodo de grandes cambios tanto internos como externos. Todos se han mostrado entusiasmados con el carácter independiente de esta evaluación, muy diferente a la de 2006 que estaba orientada a los donantes. Una primera sesión informativa informal en la que participó todo el personal involucrado, atrajo a diferentes secciones de distintas partes del ITC, y con ello surgieron expectativas para llevar a cabo consultas adicionales sobre las cuestiones organizativas o programáticas.

30. Como se indicaba en la propuesta del equipo, la lista original de posibles preguntas que figuraba en los términos de referencia era desproporcionadamente larga; las preguntas a menudo eran repetitivas y muy distintas en cuanto a su naturaleza, y algunas de ellas simplemente contaban con poca probabilidad de ser evaluadas. Estas cuestiones fueron documentadas y debatidas durante la fase inicial, y utilizando esta primera lista de

estas herramientas en organizaciones en África Occidental, Asia Meridional y, junto con el BID, en América Latina". Prefacio, p. x


preguntas como punto de partida, se volvieron a estructurar y refinar durante las misiones iniciales a Ginebra, como queda reflejado en este informe inicial. Las preguntas están detalladas en la matriz de trabajo, que aún permite que se miren las preguntas sugeridas inicialmente.

3.3.2 Preguntas principales y matriz de la evaluación

31. El diagrama que figura a continuación refleja los principales módulos de la metodología:

Figura 2: Módulos de la metodología

32. La metodología se centra en las principales preguntas de la evaluación. Como se ha mencionado anteriormente, tras el trabajo preliminar, se ha optado por organizar de forma distintas las preguntas principales para la evaluación de la organización y gestión, así como la evaluación de los proyectos, productos y servicios del ITC. El enfoque empleará los criterios de evaluación especificados, es decir, pertinencia, eficacia, eficiencia, sostenibilidad y posible impacto.

33. El equipo ha garantizado que se responderá a todos los temas principales de las preguntas originales sugeridas en los términos de referencia y se asegurará de que todas las conclusiones relevantes figuren en el informe final de la evaluación.

34. Durante la fase de ejecución, la mayor parte del tiempo y de los esfuerzos se empleará en recopilar y analizar los datos, todos orientados a las preguntas rectoras y a la matriz. El siguiente paso consistirá en sintetizar y documentar todos los datos recopilados a través de los distintos métodos (de nuevo en función de la matriz), a fin de introducirlos en el borrador del informe de evaluación para su validación y difusión.

35. Para garantizar de se adopte un enfoque sistemático y riguroso, el equipo de evaluación ha desarrollado dos matrices que sirven de guía para la recopilación y el análisis de los datos. Estas están orientadas a las preguntas de la evaluación, actúan como la

Análisis de la evaluabilidad

Preguntas de la evaluación y matriz de trabajo

Revisión de los documentos

Cartera

Análisis a nivel de la organización, perfiles de cartera, 24 estudios de cartera regionales, 7 misiones nacionales de "convalidación sobre el terreno" y estudios de

análisis de programas.

Entrevistas y encuestas dirigidas

Guías temáticas para las entrevistas, encuestas más amplias, reuniones y talleres estructurados

Análisis y síntesis sistemáticos

Elaboración del borrador del informe

Finalización, redacción, validación y difusión


"columna vertebral" analítica de sus respectivos componentes y compondrán el marco de documentación para los resultados.

36. Evaluación institucional: Tras haber adaptado el enfoque sistemático para que garantice que queden cubiertos todos los aspectos clave referentes a la organización y gestión del ITC, la evaluación centrará esta parte del estudio en cuatro preguntas principales que abarcan los siguientes temas:

El entorno favorecedor del ITC para el desempeño organizativo y cómo ha cambiado desde el 2006;

La capacidad organizativa del ITC para desarrollar su mandato de forma eficaz y cómo ha cambiado desde el 2006;

La motivación organizativa del ITC para desarrollar su mandato de forma eficaz y cómo ha cambiado desde el 2006; y

El desempeño organizativo del ITC para desarrollar su mandato y cómo ha cambiado desde el 2006 (estas cuestiones también se describen en detalle en la matriz 2, desde el punto de vista de las prestaciones de sus productos y servicios, y mejoramiento de nivel)

37. En la matriz 1 (véase el anexo I) quedan reflejadas las dimensiones principales que se analizarán en cada una de estas preguntas. Las divide según sus cuestiones principales y líneas de investigación, identificados a través de un análisis previo de la documentación y las primeras reuniones en Ginebra, así como la orientación hacia los resultados del ITC. La matriz no constituye un análisis institucional integral pero establece una serie de guías para la recopilación de datos que darán respuesta a las preguntas. Además, tiene en cuenta que surgirán algunas intersecciones entre el análisis de la cartera y de los proyectos y el sondeo.

38. La matriz 2 (véase el anexo II) está diseñada para evaluar el progreso y los resultados de la entrega de los productos y servicios del ITC. Está orientada a los objetivos estratégicos del ITC (se han tomado como base los "logros esperados" para el periodo 2008-2009, ya que reflejan bien los cambios desde el 2006 y se mantienen bastante constantes desde entonces). Este marco para la evaluación, que se debe relacionar con las estructuras organizativas del ITC, pretende evaluar y fomentar la estratégica orientación hacia los resultados con la que se ha comprometido el Centro. En una primera etapa, se pretenderá responder a estas preguntas a través del análisis de la cartera completa mediante una encuesta sobre la documentación y las pruebas estadísticas, luego, de forma más profunda, mediante los 24 estudios de cartera adicionales, y finalmente, a través de siete estudios de caso nacionales (distribuidos por distintas regiones y diferentes tipos de programas), con el fin de verificar las conclusiones en base a las experiencias concretas de los principales destinatarios previstos.

3.3.3 Métodos específicos

39. La finalización de las matrices de evaluación ha revelado los distintos métodos que se emplearán. Como se muestra en las matrices, el equipo utilizará el conjunto completo de métodos de evaluación enumerados en la política de evaluación y demás documentos relativos del ITC, a fin de resolver las preguntas y cuestiones de la evaluación. Por ejemplo, consideramos que sería posible llevar a cabo un análisis de contenidos cuantitativos y cualitativos, un análisis de contribución hasta cierto grado (especialmente en cuanto a las preguntas referentes a la atribución de los resultados y de los impactos de las intervenciones del ITC) y evaluaciones comparativas en aquellas áreas donde resulte pertinente.


40. Es importante conocer, desde el comienzo de la evaluación, las posibilidades y limitaciones para establecer vínculos entre las actividades y los resultados e impactos específicos en las áreas y en los sectores meta de los programas, idealmente como figura en los indicadores predefinidos. El marco lógico del ITC a nivel corporativo refleja un enfoque en evolución, respaldado en cierto grado por marcos lógicos de nivel inferior, no obstante, queda claro que este marco de resultados aún no es lo suficientemente robusto como para soportar una evaluación tan estructurada. La evaluación analizará la pertinencia y eficacia del marco lógico del ITC y proporcionará consejos de mejora a través de revisiones de las pruebas "ascendentes", que muestran cómo está relacionado el marco de resultados corporativo con los resultados de los proyectos y programas, y revisiones de los hallazgos "descendentes" sobre las necesidades, expectativas y utilidades en referencia a la medición de los resultados y del impacto a nivel corporativo.

41. Este enfoque metodológico se basa en teorías y prácticas de evaluación6, y puede ser implementado inmediatamente a través del plan de trabajo y de la estructura del equipo que se han propuesto. El énfasis puesto en los módulos de la evaluación y en las herramientas relacionadas establece un marco claro y práctico para delegar las tareas dentro del equipo, así como para vincular las pruebas y los datos recopilados con los objetivos y las preguntas principales de la evaluación, y por tanto, con los objetivos estratégicos del ITC.

42. Revisión sistemática de los documentos: A partir de las preguntas de la evaluación se desarrollarán listas de control para la revisión de los documentos y guías temáticas para las entrevistas. Entre los distintos tipos de documentos que se revisarán en esta evaluación encontramos documentos organizativos (planes estratégicos, informes anuales, etc.), documentos de proyectos (propuestas, informes de progresos, etc.) y material de referencia. Gracias a que contamos con acceso a toda la documentación del ITC, y con la cooperación de la EMU y las secciones de operación, la revisión de la cartera incluirá un análisis de toda la información disponible sobre los diferentes procesos utilizados en diversos tipos de proyectos del ITC en todas las etapas del ciclo. En medida de lo posible, teniendo en cuenta la gran diversidad de actividades, esta revisión intentará aplicar un enfoque cartográfico a los principales procesos y puntos de decisión dentro del sistema del ITC. La revisión de los documentos también contemplará las estrategias, las políticas y los programas principales de otras instituciones de apoyo al comercio, a fin de ubicar al ITC dentro del conjunto general.

43. El análisis organizativo debe generar una descripción completa de la dirección estratégica, del modelo operativo y de los recursos del ITC, e informar sobre los cambios llevados a cabo desde el 2006. El tiempo y los recursos disponibles no nos permiten realizar un análisis institucional completo pero son suficientes para tratar en profundidad las líneas de investigación de las preguntas de la evaluación. Para garantizar un enfoque sistemático, se aplicará una versión personalizada de la herramienta de evaluación organizativa del CIID, adaptada para adecuarse a las preguntas de la evaluación y reflejar las condiciones operativas del ITC. Este enfoque se basa en la investigación preliminar realizada durante la primera misión a Ginebra y añade importantes líneas de investigación, así como métodos y recursos de recopilación de datos.

44. En esta etapa del análisis, se pueden comparar los hallazgos desde la perspectiva de la sede con las investigaciones sobre el terreno, con el fin de destacar las coherencias/incoherencias o tensiones que surgen entre las intenciones corporativas del ITC y su aplicación práctica sobre el terreno.

6 Quinn Patton, M (Ed) (2012) Canadian Journal of Program Evaluation, Volume 27 No 3, Special Issue 2012

Evaluation of the Paris Declaration on Aid Effectiveness


45. Los análisis de la cartera y de los programas supondrán una parte especialmente crítica en esta evaluación, ya que deben abarcar apropiadamente un número grande de proyectos, actividades y servicios operativos en niveles muy distintos. Cabe de esperar que la documentación fundamentada en pruebas de ambos sea buena, no obstante, antes se deberán resolver una serie de preguntas analíticas y explicativas clave para poder comprender y evaluar la manera en la que funcionan los diversos tipos de proyectos, así como la cartera. A fin de cubrir esta necesidad, el equipo ya probó, durante la etapa de las primeras entrevistas con el 7personal, una técnica llamada "guión gráfico" que ha resultado ser muy útil. Esta se integrará en una guía o cuestionario para las entrevistas que, además, reflejará de forma más clara una evaluación estándar de la cadena de resultados y del rendimiento del proyecto en base a los resultados esperados. Las respuestas se verificarán a través de entrevistas y encuestas más amplias a las distintas partes interesadas. Para el análisis de la fase principal, se desarrollarán herramientas sistemáticas que permitirán recoger datos de acuerdo con los distintos campos predefinidos vinculados a los indicadores de la matriz de evaluación correspondiente. Esto permitirá una comparación sólida en la fase de análisis.

46. Entrevistas, encuestas y misiones nacionales: Las entrevistas y las misiones nacionales se realizarán se forma individual por los miembros del equipo. Para garantizar que la evaluación capture la información de forma precisa, y asegurar un enfoque plenamente sistemático a la recopilación de datos, se desarrollarán y emplearán las siguientes herramientas, a fin de apoyar los métodos descritos en la matriz para responder a las preguntas de la evaluación:

a. Las guías temáticas para las entrevistas proporcionarán un formato semiestructurado para las entrevistas. Emplearán las líneas de investigación/indicadores de la matriz pertinente, agrupados y dirigidos según la organización o el individuo que se está entrevistando a nivel nacional o de programa. Esta herramienta garantizará la cobertura sistemática de los temas centrales a través de consultas a las partes interesadas en distintos momentos y mantendrá la flexibilidad para incluir otras investigaciones que vayan surgiendo durante la evaluación.

b. Reuniones y talleres estructurados: La evaluación requerirá numerosas entrevistas a informantes clave. Por lo general se llevarán a cabo de forma individual y cara a cara, sin embargo, cuando existan categorizaciones apropiadas, los miembros del equipo también realizarán debates en grupo, y cuando surja una necesidad particular de validar o triangular los hallazgos, se podrán organizar reuniones o talleres estructurados con una serie de partes interesadas, ya sea a nivel global, nacional o regional.

c. Encuestas más amplias: Será esencial mirar más allá del número de entrevistas que se pueden realizar, a fin de poder contar con la información y participación de un grupo mucho más amplio de partes interesadas. Desde el comienzo, una de las tareas principales del equipo será identificar a las personas clave que serán entrevistadas y desarrollar cuestionarios apropiados para ellas, además de estrategias y técnicas para fomentar su interés y cooperación. Una vez existan dichos elementos, es posible que se pueda elaborar una encuesta en línea rentable para este objetivo, y el equipo ya ha adaptado y utilizado herramientas como esta en un número de proyectos con condiciones similares.

7 La herramienta diseñada para obtener estos guiones estructurados sobre los productos y proyectos del ITC se

denomina "guión gráfico de los productos" y la plantilla utilizada se adjunta en el anexo III. Una herramienta similar se utilizó para que el equipo se pudiera familiarizar con las funciones de la Sección Geográfica del ITC y también se adjunta en el anexo.


Cuadro II: Análisis del rendimiento de la cartera

Como se propuso inicialmente, el enfoque para evaluar el rendimiento de las actividades

del ITC consistirá en cuatro fases pero tendrá en cuenta algunos factores importantes de

la fase inicial. Las actividades del ITC son muy dispersas, en cuanto al tipo de actividad,

nivel (global, regional y nacional), tipos de beneficiarios (formuladores de políticas, IAP y

empresas) y países. Realmente no existen programas de países como los definen las

agencias de cooperación para el desarrollo más amplias. Dentro del ITC, la gestión de las

actividades también se divide en base a su función aunque, según consta, los distintos

servicios a menudo se ejecutan de formas relativamente coordinadas. Esto afecta

especialmente a la primera fase del estudio de la cartera.

Encuesta de la cartera completa (comienzo en la fase inicial y finalización en diciembre

de 2013): teniendo en cuenta el esfuerzo del ITC por desarrollar un listado actualizado de

todos sus servicios y productos, este estudio se centrará en dos tareas. La primera

consiste en una recopilación completa de datos organizativos para tratar de identificar

claramente todos los productos del ITC, junto con sus propósitos, su volumen,

distribución, gestión y la información de resultados existentes. Esto significa analizar la

cartera completa a través de investigaciones documentales y estadísticas, así como

consultas con la sede en cuestión para trazar perfiles sintetizados. La segunda tarea,

llevada a cabo en paralelo, consiste en darle sentido a cómo se aplican y utilizan los

distintos productos del ITC (según el último recuento unos 50) en los proyectos. Hasta el

momento, en esta parte del proyecto ha trabajado un miembro del equipo, que ha

seleccionado una muestra aleatoria de 20 proyectos/aplicaciones de productos, extraída

de forma equitativa de las carteras de diferentes secciones del Centro y a través de

entrevistas realizadas en la sede sobre algunas de las preguntas o de los temas centrales

de la evaluación, extrayendo el "guión gráfico" de cada uno de ellos. Asimismo, se ha

llevado a cabo una exploración paralela de las funciones y actividades de las secciones

geográficas.

Estudio de la cartera regional (desde la aceptación del informe inicial hasta diciembre

de 2013): haciendo uso de las lecciones extraídas de la primera fase, siete miembros del

equipo tendrán la responsabilidad de extender el análisis de cartera para cubrir la cartera

completa asignada a la región de la que son responsables. Además, prepararán un total

de más de 70 "guiones gráficos" adicionales de las principales líneas de productos,

estructuradas siguiendo un formato estandarizado y distribuidas de forma representativa

en al menos tres países de cada región/subregión, pero esta vez vinculadas de forma

más estrecha a la matriz II que en el enfoque inicial que era de carácter más abierto. Este

enfoque de los distintos guiones es la mejor forma de captar la gran diversidad que existe

en las operaciones del ITC y contestar, así, a las respuestas clave de la evaluación. Se

analizarán los servicios y proyectos globales (y cuando no se cuente con datos suficientes

los proyectos regionales) utilizando distintas plantillas donde también se reflejarán las

preguntas de evaluación pertinentes.

Ampliación de la información (desde la aceptación del informe inicial hasta enero de

2014): de forma simultánea, se realizarán encuestas dirigidas y grupos de discusión,

donde se incluirán las preguntas principales de los clientes (y clientes potenciales) del

ITC, así como de sus partes interesadas, que incluyen a socios (y socios potenciales),

instituciones, representantes de los países beneficiarios y donantes, y empleados, entre

otros. Si el trabajo está lo suficientemente avanzado en este punto, cabe la posibilidad de


revisar también las distintas hipótesis que vayan surgiendo entre los distintos grupos de

discusión, con la participación de las partes interesadas del ITC, tanto en la sede como a

través de reuniones virtuales. Se adoptarán medidas para garantizar las respuestas de

aquellos encuestados entre los beneficiarios potenciales del ITC que aún no hayan

participado en sus actividades. (Véase el apartado "Consulta a los beneficiarios

potenciales del ITC" más adelante).

Convalidación de los hallazgos sobre el terreno (noviembre 2013 a enero 2014): esta

última fase de recopilación de datos consistirá en un examen más profundo de los

proyectos nacionales del ITC, a nivel regional, nacional y, siempre que sea posible,

mundial. El objetivo será convalidar los resultados y las conclusiones de la evaluación

sobre el terreno, a través de un conjunto de siete misiones nacionales dirigidas,

seleccionadas siguiendo el mismo criterio de representatividad que para los estudios de

los 24 países, y cuyo objetivo es conseguir la máxima representatividad de tipos de país y

mezcla de productos del ITC en los siete. Los objetivos en esta fase serán contrastar y

triangular las conclusiones más profundas de los países y programas con las hipótesis

acumuladas en las fases anteriores, vistas desde la perspectiva contraria, es decir, los

procesos y los resultados demostrables, así como los impactos y las perspectivas de los

beneficiarios del ITC, especialmente las IAP, las empresas de este campo y los

beneficiarios, los socios y las partes interesadas potenciales sobre el terreno.

Resumen del proceso de evaluación en "embudo": En la parte más ancha del

embudo, la revisión de la cartera completa, realizada a través de investigaciones

documentales y estadísticas, y consultas con la sede en cuestión, habrá trazado perfiles

completos de toda la cartera de proyectos del ITC llevados a cabo en este periodo, así

como patrones y tendencias en materia de financiación, uso, distribución y disponibilidad

de información de los resultados (organizados siguiendo las tres áreas de "logros

esperados" del ITC que figuran en la matriz II).

En la parte intermedia del embudo, siguiendo la misma estructura y un formato de informes estandarizado, la muestra representativa de los 24 estudios de cartera más detallados se centrará en tres proyectos diferentes de cada cartera (utilizando la técnica "guión gráfico" reflejada en una entrevista o cuestionario). Suponiendo que todos vayan a generar resultados, obtendremos 72 (más que 60) casos de proyectos, a los que se sumarán los 20 guiones gráficos de la fase inicial.

Finalmente, entre las 24 carteras de países, y aun siguiendo la misma estructura, los siete estudios de caso nacionales (distribuidos tanto entre regiones como entre tipos de programas) servirán para generar conclusiones, en la parte más estrecha del embudo, que se basen de forma más profunda en las experiencias concretas de los proyectos y de sus beneficiarios previstos dentro del contexto de sus propios países.

Tras esto, se llevará a cabo un proceso de triangulación y síntesis para comparar los resultados de los tres niveles, una vez más mediante el uso de la misma matriz. Teniendo en cuenta que los datos globales del Centro, recogidos a nivel de sede, deben servir para alcanzar objetivos más amplios de gestión y rendición de cuentas, los hallazgos de los niveles más bajos servirán para verificar dichos datos a través de un análisis "ascendente".


3.3.4 Triangulación y validación

47. Con el fin de garantizar una triangulación y validación completa, todos los hallazgos (de la revisión institucional, de cartera y a nivel nacional) se contrastarán mediante un análisis comparativo y entrevistas y encuestas dirigidas a lo largo de toda la cartera, y con los hallazgos de los empleados, otras agencias, donantes y analistas del tema. El siguiente paso será reunir estas diferentes corrientes y perspectivas mediante un proceso sistemático de triangulación en la etapa de sintetización, a fin de obtener conclusiones globales sobre el desempeño del ITC en los diferentes niveles.

3.3.5 Selecciones de estudios de cartera y misiones nacionales

48. A pesar de que gran parte de los proyectos y servicios del ITC son de carácter mundial, el ITC realmente no cuenta con "programas de países" en el mismo sentido que lo hacen otras agencias más grandes, por lo que será vital realizar evaluaciones independientes, sin embargo, sigue siendo importante evaluar los proyectos nacionales, multinacionales y regionales dentro de una gama representativa de contextos nacionales. Debemos dejar claro a todas las partes interesadas, y en especial a los beneficiarios, que estas selecciones de países son solo muestras para una evaluación retrospectiva y que no tendrán ningún efecto, positivo o negativo, sobre las futuras distribuciones de ayuda por parte del ITC.

49. El enfoque que se ha adoptado para evaluar la cartera de actividades del ITC en los países se podría comparar con un embudo que se hace cada vez más estrecho. Como parte de la evaluación, en el extremo más ancho del embudo, la evaluación examinará y describirá todos los proyectos del ITC. Pero especialmente por la extensión y diversidad de los proyectos, será vital llevar a cabo evaluaciones más profundas y para ello debemos contar con un muestrario limitado que sea lo más representativo posible. Con el fin de garantizar la credibilidad de los hallazgos, ha sido muy importante que el equipo independiente fije criterios de muestreo y controle la selección de casos que serán investigados, teniendo en cuenta las aportaciones de los miembros de los programas del ITC.8

50. Tanto los términos de referencia como la propuesta exigían que se diera especial atención tanto a países francófonos como anglófonos, sin perder la cobertura del resto de las regiones. En conformidad con esto, y como se muestra en la tabla que figura a continuación, en el nivel intermedio del embudo se ha planificado que los miembros del equipo lleven a cabo un total de 24 análisis de cartera en diferentes países distribuidos por diversas regiones, y en la parte más estrecha y enfocada, el plan incluye siete misiones nacionales (previstas en el presupuesto de la evaluación), con una distribución similar. Estas misiones van dirigidas a convalidar las conclusiones generales, a través de consultas más directas con los beneficiarios, así como observaciones sobre el terreno.

8 El proceso de muestreo establecido representa una combinación de muestreo por cuotas, es decir, una serie

de categorías especificadas de donde se seleccionarán los casos, muestreo "distribucional" entre las distintas categorías y muestreo aleatorizado entre los casos restantes.


Tabla 1: Cobertura geográfica

Región geográfica Número de países incluidos en el análisis de cartera

Número de misiones nacionales

África (Oriental y Meridional) 6 Anglófonos 6 2

África (Occidental y Central) 5 Francófonos/1 Lusófono 6 2

América Latina y el Caribe 3 1

Asia y el Pacífico 3 1

Estados árabes 3 1

Europa Oriental y Asia Central 3 0

Total 24 7

51. Con el fin de garantizar la credibilidad de los hallazgos, ha sido muy importante que el equipo independiente fije criterios de muestreo y controle la selección de casos que serán examinados. Los criterios de umbral básicos para la selección de países para los exámenes de segundo y tercer nivel sirven para asegurar que la representación de las regiones cuente con suficientes actividades recientes a nivel nacional, a fin de que el examen sea más factible y útil. En base a esto, de la documentación recibida el equipo ha identificado 61 países9 donde los proyectos nacionales del ITC han estado activos entre 2010 y 201210, contando con que es posible que también se examinen proyectos más antiguos de los países seleccionados. Más allá de estos umbrales, el equipo ha aplicado el siguiente criterio para dar con una selección de países, que sea lo más representativa posible, para llevar a cabo exámenes más detallados entre estas regiones y dentro de las mismas (véase el recuadro que aparece a continuación).

Cuadro III: Criterios de selección de los estudios de caso nacionales

Variables básicas:

Grupo de ingresos (PIB per cápita)

Tamaño de la economía (PIB)

Número y valor de los proyectos del ITC

Gama de productos y servicios del ITC en uso (incluidos algunos proyectos regionales y algunos proyectos grandes)

Variables especificadas en los términos de referencia del ITC:

PMA, PDSL, pequeño estado insular o sin litoral

Atención especial al África Subsahariana

Cobertura en las regiones geográficas del ITC y niveles de desarrollo

9

La SPPG proporcionó al equipo una hoja de cálculo de todos los proyectos activos desde el 2006; reduciendo la lista de proyectos activos al periodo comprendido entre 2010 y 2012, el equipo identificó a 61 países con proyectos nacionales. El equipo confía en la precisión de esta información y para la presente fase de selección tan solo los errores u omisiones importantes supondrían un problema serio. 10

Se seleccionaron estos tres años, a fin de poder examinar los proyectos nacionales con una actividad sustancial (junto con los proyectos regionales y multinacionales, donde procedía), donde sea probable que el trabajo haya progresado lo suficiente como para que podamos evaluar los resultados, pero a la vez sea lo suficientemente reciente para que los posibles interlocutores lo recuerden bien.


Variables relacionadas con el comercio (reflejando los diferentes puntos fuertes,

perfiles y condiciones comerciales y la Ayuda para el Comercio)

Exportaciones de bienes/servicios (% del PIB)

Exportaciones de productos manufacturados (% de mercancía exportada)

Exportaciones de materias primas agrícolas, minerales y metales (% de mercancía exportada)

Índice de desempeño logístico (2012)

Evaluación del tiempo necesario para llevar a cabo las operaciones comerciales transfronterizas (2013) ("Distancia hasta la frontera", en comparación con la mejor puntuación)

Miembros de la OMC

Escala de asistencia de Ayuda para el Comercio per cápita de todas las fuentes

Consideraciones prácticas (para las misiones nacionales):

Disponibilidad suficiente de redes de fuentes fiables sobre el trabajo del ITC

Accesibilidad/coste de la misión

Acceso actual/situación de la seguridad

52. A través de la aplicación de estos criterios a los 61 países posibles, el equipo ha seleccionado los 24 que figuran más abajo para llevar a cabo el estudio detallado de una amplia gama de casos nacionales. Dentro de esta selección de aproximadamente el 40% del grupo total, el equipo ha seleccionado los siete países indicados con un asterisco (*). Una vez más, han sido seleccionados para ofrecer una mezcla representativa de países y tipos de programa dentro de las regiones para el tercer y más detallado nivel de examinación llevado a cabo mediante las misiones nacionales. Cada uno de los siete países cumple con el criterio práctico adicional de contar con suficientes actividades del ITC como para justificar la inversión en una misión y nuestra selección también se basa en los conocimientos previos del equipo y en la facilidad de acceso al país.

53. A petición del equipo, las secciones regionales de la DCP llevaron a cabo evaluaciones rápidas para averiguar cómo podrían influir los criterios referentes a la gama de productos y servicios del ITC, la disponibilidad de redes suficientes y el acceso/situación de seguridad actual en la selección de países propuesta. Como resultado de esta consulta, se realizó un cambio de una de las misiones propuestas por el hecho de que se habían llevado a cabo una serie de evaluaciones de la Ayuda para el Comercio allí recientemente y no resultaría razonable volver a demandar información a los socios del ITC de este país. No obstante, se llevará a cabo un análisis de la cartera de dicho país, que saldrá enriquecido gracias a las aportaciones de otros resultados de la evaluación.


Tabla 2: Selección de países

Región País

Región País

1

África (Oriental y Meridional)

Etiopía* 13

AP

Bangladesh

2 Kenya 14 Camboya*

3 Malawi 15 Fiji

4 Sudáfrica 16

ALC

Haití*

5 Tanzania* 17 Perú

6 Uganda 18 Uruguay

7

África (Occidental y Central)

Benin 19

Estados árabes

Egipto

8 Cabo Verde 20 Jordania

9 Rep. Dem. del Congo 21 Túnez*

10 Côte d'Ivoire* 22

EOAC

Albania

11 Malí 23 Tayikistán

12 Senegal* 24 Kirguistán

3.3.6 Consulta a los beneficiarios potenciales del ITC

54. Existen una serie de razones por las que es especialmente importante que la evaluación llegue más allá de los grupos de beneficiarios existentes del ITC:

Son un subgrupo pequeño de los beneficiarios potenciales (es decir, solo 61 de los 150 países aptos) y las razones o los procesos para las selecciones y distribuciones actuales de las actividades aún no están del todo claras;

A pesar de que es importante evaluar la satisfacción de los clientes existentes, tenderán a tener un interés particular y/o incorporar preferencias positivas hacia las actividades de las que forman parte. No necesariamente estarán bien posicionados para ver con claridad las prioridades de estas actividades de promoción del comercio o cómo el ITC responde a la demanda global dentro de su campo;

Existen pruebas de peticiones que no se han cumplido y de insatisfacción por parte de algunas partes interesadas con aparente falta de habilidad del ITC para responder; y

Con miras al futuro, es importante evaluar el potencial del ITC para responder a un conjunto más amplio de clientes y ver qué haría falta para que esto se pueda llevar a cabo.

55. Sin embargo, que la evaluación realmente pueda identificar y llegar a estos grupos más amplios de beneficiarios potenciales no es una tarea fácil. Proponemos los siguientes pasos:

Buscar pruebas de peticiones que se hayan efectuado a la gerencia del ITC y analizar y explicar cómo se han tratado;

Identificar a formuladores de políticas, instituciones de apoyo al comercio y representantes de empresas en los potenciales países beneficiarios y comprobar si conocen los servicios del ITC, si los necesitan o si les interesan, principalmente a


través de una pequeña encuesta dirigida (en línea o si fuera necesario añadiendo también una versión en papel). En los 48 países menos adelantados donde está activo el MIM, lo más lógico sería que los coordinadores de los puntos de coordinación y de la Unidad Nacional de Coordinación del MIM fueran los informantes. Los participantes de las encuestas de la OCDE/OMC para el Examen Global de la Ayuda para el Comercio serían otro grupo lógico de informantes si se pudiera acceder a ellos. Las organizaciones de promoción del comercio y/o cámaras de comercio de algunos de los países donde actualmente no existen proyectos nacionales del ITC podrían ser otro posible grupo, tanto por sus posibles aportaciones como porque podrían ofrecer una vía para llegar a representantes de empresas que podrían estar interesados.

3.3.7 Análisis y síntesis de los resultados de la Evaluación

56. Procesos analíticos: Para poder analizar de forma exitosa el material dentro de este corto periodo de estudio, y ayudar a superar algunos de los retos mencionados anteriormente, el equipo preparará una plantilla de informe estandarizada para el análisis. Esto requerirá que los miembros del equipo identifiquen y analicen los resultados de los análisis de cartera individuales y de las misiones nacionales, así como de otras fuentes de los parámetros de la matriz.

57. De forma simultánea, a fin de garantizar que los hallazgos seleccionados estén fundamentados en pruebas, los revisores evaluarán tanto la calidad de las pruebas como la claridad del análisis. Este es un requisito necesario para calibrar los hallazgos con la firmeza de las pruebas y asegurar su solidez. Esto generará una plantilla para cada una de las preguntas y subpreguntas que se deberán desarrollar, e identificará donde permanecen brechas o puntos débiles en las pruebas.

58. La herramienta analítica incluirá escalas de puntuación para los siguientes parámetros:

Tabla 3: Herramienta analítica

Hallazgos Conclusiones

Transparencia y cobertura de los datos Medida en que se responden las preguntas

Fiabilidad y precisión de los datos Claridad del análisis

59. Agregación de los hallazgos emergentes. A fin de poder reunir los distintos tipos de material disponibles en esta fase, el equipo aplicará el siguiente proceso:

Extraer los primeros hallazgos emergentes en las plantillas junto con una primera revisión de las pruebas, utilizando un sistema de puntuación que se desarrollará en la fase documental;

Contrastar las plantillas entre los miembros del equipo responsable del borrador, a fin de garantizar la precisión e integridad (un segundo miembro del equipo verificará cada una de las plantillas finalizadas y llevará a cabo un control de su calidad);

Recopilar los hallazgos de todos los informes agrupándolos por preguntas y subpreguntas; y

Analizar dicha recopilación y categorizar las respuestas, en esta fase con referencia a informes individuales específicos.


60. Este enfoque sistemático, que incluye un énfasis continuo en la triangulación y validación de los datos, garantizará que el proceso analítico sea lo más preciso posible y, por tanto, que así lo sean los hallazgos.

61. Síntesis: Esta etapa requerirá que el equipo sintetice los resultados de las entradas de todos los componentes y materiales supletorios en un informe orientado a las políticas, que abarque sistemáticamente los objetivos de la evaluación, las preguntas acordadas y los criterios especificados (relevancia, eficiencia, eficacia, impacto y sostenibilidad). Además, a la hora de evaluar el desempeño, el equipo también superpondrá las cuatro "perspectivas del desempeño del ITC" adicionales reflejadas en la declaración de trabajo y deberá estar atento a posibles categorías o tendencias emergentes y a sus explicaciones.

62. En cuanto al conjunto de criterios para el informe de síntesis sobre el ritmo de cambio y el tiempo restante para lograr el seguimiento esperado de la evaluación de 2006, así como otros objetivos adicionales del ITC, el equipo reconoce que es posible que a través de este "informe de progreso" se obtengan resultados incompletos e inconsistentes. Dentro de esta perspectiva, se aplicará un criterio de juicio doble sobre los resultados esperados, combinando criterios absolutos y relativos, y teniendo en cuenta las diferencias contextuales que sean importantes.

63. Proceso de elaboración del borrador del informe: El proceso de redacción del informe de síntesis se deberá fundamentar de forma sistemática y demostrable en los datos, hallazgos y conclusiones emergentes de los análisis generales, los informes de las misiones nacionales y de otras aportaciones acordadas. El informe deberá basarse en estos y ser capaz de demostrar la veracidad de las pruebas en las que se basan, sin que resulte un documento espeso y repleto de notas al pie de página.

64. El proceso de redacción del borrador para el informe de síntesis principal se llevará a cabo siguiendo los siguientes pasos:

Extraer los temas clave para los hallazgos de la base de pruebas de la matriz y las plantillas de preguntas.

Realizar un seguimiento inverso para asegurar la derivación lógica de los temas.

Una vez se han verificado los temas, agruparlos en un modo narrativo.

Una vez realizada la narración, extraer conclusiones.

Realizar un seguimiento inverso para asegurar la derivación lógica de las conclusiones.

Extraer las conclusiones, lecciones y recomendaciones principales de los hallazgos. Las recomendaciones se centrarán en los desafíos identificados, se emplearán en un nivel estratégico, se dirigirán tan solo a aquellos que puedan convertir las recomendaciones en acciones y en algunos casos podrían incluir soluciones diferentes.

Subir el nivel del informe para garantizar que el texto sea accesible y esté orientado a las políticas de forma apropiada. Durante el proceso de la elaboración del borrador, se prestará especial atención a la utilidad del informe. Esto incluirá un proceso continuo de pruebas para establecer si el material que se está desarrollando cumple con los criterios de pertinencia y utilidad tanto para la gerencia y las partes interesadas del ITC como para los formuladores de políticas y profesionales nacionales e internacionales. Además, deberá seguir siendo exhaustivo y resultar interesante para un público más amplio.


3.4 Estrategia de difusión y comunicación

65. La evaluación completa (procesos y productos) se guiará por los objetivos del aprendizaje y el intercambio de conocimientos, así como por la transparencia, la difusión y la comunicación de los resultados útiles de la evaluación. Entre su público principal se incluyen en primer lugar los grupos meta primarios que se espera que actúen (interna y externamente) en base a los hallazgos de la evaluación y, en segundo, aquellos que puedan transmitir información y ayudar a crear el ambiente necesario para la acción o facilitarlo directamente. (Véase la sección "grupos meta" más adelante). Esto significa que la evaluación va dirigida a la atención de la Dirección, de los empleados y de las partes interesadas, incluyendo a clientes y beneficiarios, donantes y socios, así como a las demás personas interesadas en la Ayuda para el Comercio.

66. Los esfuerzos de la evaluación se verán guiados por los principios de una comunicación abierta de doble sentido y la utilidad de los productos y procesos de la evaluación, incluyendo las interacciones del equipo independiente con la Unidad de Evaluación y Supervisión y todos los grupos de partes interesadas. Al trabajar con múltiples participantes de distintas culturas y lenguas, la transparencia plena no es solo deseable sino un requisito esencial para crear una confianza mutua y una cooperación y un aprendizaje constructivos. La sólida evaluación se combinará con un alto nivel de transparencia y accesibilidad para todos aquellos que participen en ella, así como para posibles clientes y asociados del ITC.

3.4.1 Una estrategia de comunicación coherente

67. Los principios rectores y objetivos se aplicarán tanto de forma interna como durante el proceso de comunicación y difusión externa de la evaluación de la siguiente manera.

Lenguaje simple y brevedad. La evaluación utilizará un lenguaje simple, conciso y accesible en todos sus informes, así como en las comunicaciones internas entre los participantes, minimizando el uso de abreviaturas, jerga y lenguaje técnico no necesario. Esto debería incrementar la participación y hacer que los hallazgos y las conclusiones lleguen a un público más amplio, entre el que se incluyen los formuladores de políticas y los líderes de opinión.

Una página de acceso público dedicada a proporcionar información y aportaciones en el sitio web de Saana Consulting. http://www.saana.com/itc-evaluation/ Este sitio web permanecerá activo durante la duración del proceso de la evaluación, con el fin de proporcionar una vía rápida para las publicaciones, un acceso fácil a la información de la evaluación y permitir el contacto directo con el equipo de evaluación. En esta página se incluirán 1) el informe inicial, de progreso, el borrador y otros productos finales, 2) material de referencia útil, 3) todos los productos y las presentaciones para las comunicaciones, y 4) un área para recibir preguntas y comentarios. Uno de los miembros del equipo será el editor de la página, se hará cargo de que los contenidos sean actualizados y responderá a las preguntas cuando sea necesario. Además, distintas páginas del sitio web del ITC (www.intracen.org) contendrán enlaces a esta página y el Centro publicará una noticia sobre la misma el día de su lanzamiento.

Una plataforma creativa para la difusión y comunicación. Como se explica más adelante, se ha propuesto que, en el momento en que la evaluación comience a difundir y comunicar la información relativa al informe y al resto de sus productos, el sitio web del ITC incorpore una plataforma web, que sirva como una base para garantizar la coherencia de todos los esfuerzos de comunicación, una vez que el equipo ya haya entregado todos sus productos y se haya traspasado el sitio web se Saana. La estructura básica de la página debería permitir un enfoque expandible




que dependa de las oportunidades y los recursos disponibles, p. ej. a menudo los mensajes audiovisuales y las redifusiones multimedia son más útiles para determinados públicos que las noticias escritas.

Redes personales. Disponer de un centro accesible para compartir conocimientos, además de las oportunidades de participación y retroalimentación de la evaluación, ayudará a desarrollar una red de "embajadores" comprometidos y con conocimientos que comuniquen los resultados y hallazgos a sus colegas y contactos. Este tipo de comunicación "boca a boca" sigue siendo muy eficaz, especialmente en algunos grupos en concreto, como los empleados del ITC y de las IAC, los formuladores de políticas y las empresas clave.

3.4.2 Esquema estratégico para la difusión y las comunicaciones promocionales

68. Se deberán escoger los medios de comunicación que mejor se adapten a las necesidades de los recipientes: las entrevistas a las partes interesadas y a los beneficiarios sugeridas como parte de la evaluación revelarán tanto los hábitos como las preferencias de comunicación del público clave. A pesar de que el equipo de evaluación independiente contribuya a desarrollar el enfoque de la estrategia de comunicación para la evaluación y para los productos del ITC, el propio centró deberá comunicar los hallazgos de la evaluación a los grupos externos de partes interesadas y deberá hacerlo en concordancia con el resto de actividades de comunicación del ITC.

69. Objetivos:

Crear conciencia sobre el progreso y los resultados de la evaluación de 2013 y fomentar el diálogo y el seguimiento.

Promocionar el conocimiento y la comprensión sobre el significado que los hallazgos de la evaluación de 2013 tienen sobre las actividades del ITC y optimizar sus contribuciones para la Ayuda para el Comercio y los resultados de desarrollo.

70. Grupos meta:

Los principales grupos meta son aquellos que se espera que actúen en base a los hallazgos de la evaluación (miembros del Grupo Consultivo Mixto, las organizaciones matrices del ITC, la OMC y la UNCTAD, los empleados y la Dirección del ITC, los beneficiarios y los donantes actuales y potenciales).

Los grupos meta secundarios son aquellos que puedan transmitir información y ayudar a crear el ambiente necesario para la acción o facilitarlo directamente (p. ej. agencias involucradas en la APC, instituciones de expertos y líderes de opinión, o medios de comunicación especializados, tanto internos como de países individuales).

71. Mensajes, productos y canales clave:

El contenido por excelencia de los mensajes clave durante la difusión y comunicación de los resultados de la evaluación deberá centrarse en las respuestas a las tres preguntas centrales, sintetizadas visiblemente de las pruebas detalladas y reflejadas de una forma interesante y comprensible:

¿Qué cambios se han realizado y qué lecciones se han aprendido desde la evaluación del ITC de 2006?

¿Cuáles son los resultados e impactos demostrables de las actividades del ITC desde el 2006?

¿Qué dirección estratégica y operativa, y qué recomendaciones proporciona la evaluación al ITC para los próximos años? ¿En qué forma utilizará la Dirección


del ITC el resultado de la evaluación y qué cambios, si los hubiere, en relación con el trato con el ITC pueden esperar las partes interesadas?

3.4.3 Productos y servicios planificados:

72. El equipo desarrollará y entregará los siguientes productos y servicios en inglés, como se especifica en el contrato. Todos los productos se elaborarán siguiendo las directrices de la imagen visual del ITC, a fin de garantizar la uniformidad de todas las comunicaciones del ITC.

73. Informes y documentos (archivos PDF):

Esta estrategia de difusión y comunicación como parte del informe inicial.

El informe final de evaluación sintetizando todas las aportaciones, así como los procesos validados y aprobados.

Un resumen ejecutivo claro, preciso e interesante que sirva de introducción para el informe principal pero también se pueda utilizar de forma independiente para una difusión más amplia y para los medios de comunicación.

Una ficha técnica (de una hoja) sobre la evaluación (base, independencia, procesos, cobertura, participación, etc.). Ya se ha preparado y distribuido una nota informativa en Ginebra que será refinada para ser distribuida entre un público más amplio en las siguientes fases.

Colaboración con el ITC para elaborar un borrador para una nota de prensa sobre el informe final.

El borrador para una noticia sobre el informe final para el sitio web www.intracen.org y la revista Foro de comercio.

Hasta tres notas informativas (de dos hojas) sobre los asuntos y las preguntas principales identificados por el ITC, por sus partes interesadas, y durante los primeros debates del informe tras su publicación.

74. Presentaciones/talleres/eventos con los medios de comunicación

Disponibilidad por parte del Jefe de equipo para llevar a cabo presentaciones/talleres/eventos con los medios de comunicación en Ginebra inmediatamente después de la presentación formal del informe y disponibilidad de hasta tres días para realizar eventos en persona y/o virtuales durante las semanas siguientes. (Sujeto a la programación y con los gastos del trayecto cubiertos por el ITC).

75. Materiales en línea

Se creará una página dentro del sitio web www.intracen.org que respalde los esfuerzos de comunicación e incluya información adicional. Incorporar la presencia en línea de la evaluación en el sitio web actual del ITC sería la mejor forma para llegar al público existente, es una opción económica y daría la posibilidad de llegar a un público lo más extenso posible a través de una optimización del acceso al contenido mediante un motor de búsqueda. Se acordará un nuevo dominio (p. ej. www.itcevaluation2.org) con el ITC que dirija a la página de inicio.

Una presentación PowerPoint polivalente y una presentación en línea sobre Prezi (www.prezi.com) que se base en la presentación del informe final del Jefe de equipo.

http://www.intracen.org/


Dependiendo de cómo se desarrollen la difusión y la comunicación, la propuesta de Saana también incluye productos y servicios complementarios opcionales que se podrían desarrollar según proceda.


4. RIESGOS Y MEDIDAS DE MITIGACIÓN PARA LA EVALUACIÓN

76. Además del alcance inicial del proyecto y del estudio inicial, el equipo ha identificado los riesgos y las medidas de mitigación que figuran en la siguiente tabla.

Tabla 4: Riesgos y estrategia de mitigación del riesgo

Riesgo Probabilidad

Nivel de riesgo

Estrategia de mitigación

1. Diferentes expectativas en cuanto a la exhaustividad, profundidad y sobriedad del "informe de progreso".

Durante la evaluación de 2006 surgieron problemas debido a las diversas expectativas.

Media Media Las consultas realizadas durante la fase inicial con todos los grupos de partes interesadas han subrayado que comprenden la necesidad de realizar una "evaluación más ágil, clara y simple de alta calidad", como se establece en la declaración de trabajo, y están de acuerdo con que se lleve a cabo de esta forma. Este informe inicial, y en especial las matrices y las explícitas estrategias de muestreo, dejan claro que la evaluación cubrirá adecuadamente todos los aspectos principales, a fin de respaldar las evaluaciones exteriores, sin embargo, al tratarse de un informe de progreso, no los tratará de forma detallada. La presentación de cada hallazgo, conclusión o recomendación será calibrada en base a la fiabilidad de las pruebas aportadas.

2. Dificultades a la hora de obtener acceso a las fuentes de documentación del ITC y cooperación de aquellos que serán encuestados en la sede.

Esto podría suponer un problema, especialmente, aunque no solo, para los componentes organizativos y de gestión de la evaluación.

Baja Alta Hasta el momento el equipo ha contado con un acceso excelente, a través de la proporción de material inicial por parte de la EMU, respaldo por parte de la Dirección en cuanto al acceso a documentos internos, y el apoyo y la cooperación de todo el personal involucrado, tanto para los procesos documentales como para las entrevistas. El hecho de gestionar la documentación de un programa tan diverso y disperso ya presenta un desafío, no obstante, este problema queda resulto a través de la utilización de las estrategias de muestreo y del método de los "guiones gráficos".

En cambio, el equipo proporciona el compromiso recíproco de proteger la confidencialidad de los recursos según sea necesario y de garantizar que las solicitudes a los encuestados sean razonables.

3. Dificultades para involucrar a los informantes en los proyectos del ITC, especialmente entre los beneficiarios, para los estudios de cartera, las misiones nacionales y las consultas con los beneficiarios potenciales que aún no participan de manera activa.

Incluso en el caso de los beneficiarios de proyectos pasados, aumenta este riesgo debido a la limitada presencia nacional del ITC y a que los proyectos son relativamente pequeños y de corta duración, lo que a menudo deja a estos

De media a alta

De media a alta

Beneficiarios de proyectos pasados: el

equipo está buscando apoyo y respaldo activo de la EMU, de la Dirección y de los empleados de los programas del ITC, así como de los representantes de los países beneficiarios, para dar con los contactos apropiados y asegurar, así, las aportaciones necesarias sobre los estudios nacionales, las encuestas y las misiones. Una planificación y programación detallada ayudarán a garantizar que los informantes clave estén disponibles durante las visitas nacionales (p. ej. es importante

evitar posibles conflictos con la Conferencia Ministerial de la OMC en Bali).

Beneficiarios potenciales: se pide ayuda a

los representantes de los países beneficiarios potenciales para llegar a dichos contactos, tanto dentro del gobierno, como en las


beneficiarios dispersos y sin ningún tipo de unión al Centro.

En el caso de los beneficiarios potenciales el riesgo es aún mayor, lo que aumenta el peligro de no obtener la información necesaria sobre las necesidades o solicitudes que no se han satisfecho y sobre el potencial del trabajo del ITC.

empresas o IAP. También se intentan alcanzar otras redes (p. ej. los puntos de coordinación del país para el MIM en los PMA y, en el caso de que sean accesibles, los contactos de las encuestas para el Informe sobre la Competitividad Global podrían ser de ayuda para alcanzar tanto a los beneficiarios actuales como a los potenciales).

4. Posible actitud defensiva en relación con la evaluación y sus conclusiones

Media Media Aunque hasta el momento haya pocos indicios, es posible que este peligro surja. Una transparencia proactiva durante todo el proceso, así como las numerosas oportunidades de consultas y participación para todas las partes interesadas, deberían ayudar a anticipar y reducir este riesgo. Será importante contar con toda la información sobre el equipo y su estado independiente e imparcial, junto con las garantías de confidencialidad en cuanto a las fuentes internas y la información ofrecida por los entrevistados.

5. Integración insuficiente de los asuntos intersectoriales Baja

De media a alta

Están completamente integrados en las matrices y en las habilidades del equipo.

6. Falta de seguimiento y de beneficios perdurables de la evaluación

Media Alta Énfasis en el involucramiento de las partes interesadas desde el comienzo. El interés de la Dirección, del Grupo Consultivo Mixto y de los empleados es prometedor. Durante este ejercicio se debe mantener y respaldar la realización de misiones a los países beneficiarios, por ejemplo a través de reuniones especiales en Ginebra.


5. PROGRAMACIÓN, PLAN DE TRABAJO, INFORMES Y ENTREGAS

5.1 Programación

77. La programación y los productos finales clave de la evaluación figuran en la siguiente tabla:

15 de octubre: entrega del borrador del informe inicial

25 de octubre: fecha límite para la entrega de comentarios sobre el borrador del informe inicial

30 de octubre: entrega de la versión final informe inicial

4 de noviembre: presentación de la versión final del informe inicial, lanzamiento de la ejecución completa

11-16 de noviembre: el resto del equipo estará en Ginebra para consultas con el ITC y las partes interesadas, análisis organizativos, de cartera y regionales, y preparación de los estudios de caso de los siete países.

Diciembre de 2013-Enero de 2014: misiones nacionales

Mediados de marzo de 2014: presentación del borrador del informe

Finales de abril de 2014: entrega del informe final

Finales de junio de 2014: finalización de la difusión y comunicación de los resultados del informe final de la evaluación.


5.2 Plan de trabajo

78. La tabla que figura a continuación establece el plan de trabajo de la evaluación.

Tabla 5: Plan de trabajo de la evaluación

Fase y pasos principales Fechas y productos finales

Responsabilidades (número de días asignados)

Fase inicial

Análisis de la evaluabilidad y finalización de las preguntas de la evaluación

Consultas y acuerdos sobre los asuntos principales del informe inicial, presentación y revisión

Semanas 1-8

Borrador del informe inicial (15 de octubre)

Versión final del informe inicial (30 de octubre)

Presentación del informe inicial (4 de noviembre)

Bernard se encargará del análisis de la evaluabilidad y de la finalización de las preguntas en consulta con la EMU, así como de

realizar el borrador del informe inicial completo, incluyendo un resumen de las operaciones que el ITC ha llevado a cabo entre el 2006 y el 2012, la metodología, el plan de trabajo, el plan de mitigación de riesgos y la estrategia de comunicación, y comenzará a delimitar y examinar las cuestiones organizativas y corporativas. (28)

Julia aportará significantes contribuciones técnicas al análisis de la evaluabilidad y a la metodología final, teniendo en cuenta las

teorías de cambio y los marcos pertinentes para realizar una prueba de resistencia de las preguntas finales. Su primera tarea consistirá en delimitar y examinar las cuestiones corporativas y organizativas.

Joachim aportará contribuciones técnicas al análisis de la evaluabilidad y a la metodología final, y llevará a cabo una intensiva

exploración inicial de los programas, proyectos y operaciones del ITC. 12

Tom, Marie-Jo, Cissy, Immaculee y Huong proporcionarán comentarios sobre las preguntas finales y el informe inicial. (1 cada

uno)

Ilmari ayudará a Bernard durante el análisis de la evaluabilidad y el informe inicial, y comenzará la revisión del documento inicial,

analizando los principales documentos estratégicos, las evaluaciones previas y los marcos teóricos corporativos, así como el material relativo al desempeño disponibles. 16

Petra ayudará a desarrollar la estrategia de comunicación de la evaluación. (1)

Fase de ejecución

Revisión y descripción de la cartera completa

Análisis del muestrario regional (24 países)

Misiones nacionales (7 países)

Consultas con el ITC y con las partes interesadas (en Ginebra y a través de encuestas)

Elaboración del borrador del informe

Semanas 9-28

Actualización por escrito y exposición oral (4 de marzo)

Borrador del informe (18 de marzo)

Bernard dirigirá la revisión de la cartera completa y las entrevistas en la sede, y supervisará el análisis de las muestras, las

misiones nacionales y los instrumentos para las encuestas. Además, dirigirá los análisis de África Occidental/Central y de Europa Oriental y Asia Central, y llevará a cabo una misión a uno de los dos países de la región AOC. Bernard será el encargado del proceso de síntesis y elaboración del borrador del informe. 48

Julia dirigirá el análisis de los asuntos organizativos y realizará entrevistas en la sede sobre estos asuntos. Asimismo, se

encargará de la garantía de calidad del borrador del informe. 11

Tom dirigirá el análisis de los proyectos de África Oriental y Meridional (y llevará a cabo una misión a un país de la región AOM).

Además, proporcionará orientación sobre los asuntos relativos a los resultados/progresos/consejos para el objetivo corporativo de respaldar a los formuladores de políticas. (19)

Cissy colaborará con Tom en los análisis de cartera de la región AOM y será la responsable de la segunda misión a la región. (19)

Marie-Jo dirigirá el análisis de las operaciones de la región OMAN (incluida la misión nacional). Además, proporcionará orientación

sobre los asuntos relativos a los resultados/progresos/consejos para los objetivos corporativos de desarrollar la capacidad de las IAC y respaldar a los formuladores de políticas. (19)

Joachim dirigirá el análisis de las operaciones de la región ALC (incluida la misión nacional). Además, servirá de apoyo para los

resultados/progresos/consejos para los objetivos corporativos de desarrollar la capacidad de las IAC y respaldar a los formuladores


de políticas, y proporcionará aportaciones para el asunto intersectorial de la sostenibilidad ambiental. Como experto de promoción del comercio del equipo, se encargará de la garantía de calidad de los análisis regionales y recopilará los hallazgos para el informe principal. (17)

Huong dirigirá el análisis de las operaciones en Asia y en el Pacífico y llevará a cabo la misión nacional para esta región. Además,

aportara su experiencia al área intersectorial de la sostenibilidad ambiental y al objetivo corporativo del fortalecimiento de las PYME. (19)

Immaculee colaborará con Bernard en el análisis de las operaciones de la región AOC y será la responsable de la segunda misión

nacional a esta región. Además, aportará su experiencia en integración e inclusividad, centrándose especialmente en los productos y servicios dirigidos a las PYME en propiedad de mujeres. (19)

Ilmari asistirá a Bernard durante la revisión de la cartera completa, ayudará al resto del equipo llevando a cabo investigaciones

referentes a los objetivos, y coordinará entrevistas, encuestas y misiones nacionales. Además, coordinará la distribución, recopilación y el análisis de las encuestas electrónicas. Apoyará a Bernard con los análisis regionales de las operaciones de las regiones AOC y EOAC, y proporcionará aportaciones importantes al proceso de síntesis y elaboración del borrador. (56)

Todos estos expertos participarán en las reuniones en Ginebra que tendrán lugar una vez se acepte este informe inicial (con la

excepción de Joachim que realizó un gran número de entrevistas preliminares durante la fase inicial). Esto permitirá que los miembros del equipo tengan la oportunidad de trabajar juntos y asegurará que la metodología para el análisis de las operaciones y de la organización sea sólida y completa.

Petra apoyará al equipo durante las consultas sobre los análisis de los esfuerzos de comunicación del ITC y proporcionará

asistencia técnica para la difusión de las encuestas electrónicas. (5)

Fase final

Conclusión y síntesis del informe

Presentación y difusión del informe

Semanas 28-44

Informe final (29 de abril)

Presentaciones (fecha por fijar)

Bernard finalizará el informe de la evaluación, basándose en los comentarios del ITC y de las partes interesadas relevantes.

Además, presentará el informe a las partes interesadas clave y supervisará la difusión electrónica. 12

Julia y Joachim llevarán a cabo la garantía de calidad del informe final. (1 cada uno)

Tom, Marie-Jo, Cissy, Immaculee y Huong proporcionarán comentarios para el informe final. (0,5 cada uno)

Ilmari apoyará a Bernard durante la finalización del informe y de su difusión. (6)

Petra apoyará la ejecución de la estrategia de difusión, incluida la distribución electrónica.(5)

Evaluación independiente del ITC - Informe inicial33

5.3 Responsabilidades

79. La tabla que figura a continuación establece el plan de trabajo de la evaluación.

Tabla 6: Distribución de responsabilidades

Equipo

Enfoque regional Enfoque temático

AO

C

AO

M

AL

C

Es

tad

os

ára

bes

AP

EO

AC

Ca

rte

ra g

lob

al

Fo

rmu

lad

ore

s

de

po

líti

cas

IAC

Em

pre

sa

s

So

ste

nib

ilid

ad

am

bie

nta

l

Gé

ne

ro

Org

an

iza

tiv

o

Co

mu

nic

ac

ion

es

Bernard Wood X X X X X

Immaculee Habiyambere X X X

Tom Pengelly X X

Cissy-Ann Kirambaire X X

Joachim Eissler X X X X

Marie-Jo Char X X X

Bui Thi Thu Huong X X

Ilmari Soininen X X X

Julia Betts X X

Petra Vallila X

`Evaluación independiente del ITC - Informe inicial 34

6. ANEXOS

Anexo I: Matriz 1- Evaluación de la organización y la gestión del ITC y los cambios desde el 2006

Aspectos principales

Cuestiones/Líneas de investigación Métodos de recopilación de datos

Fuentes principales Métodos de análisis

A. E

l e

nto

rno

fa

vo

rec

ed

or

de

l IT

C p

ara

el

de

sem

pe

ño

org

an

iza

tiv

o y

có

mo

ha

ca

mb

iad

o d

es

de

el

20

06

A1. Gobierno y estructuras y procesos de rendición de cuentas

Papel y funcionamiento de las estructuras y los procesos de gobierno a la hora de respaldar la credibilidad, eficacia y eficiencia de la organización (reglas formales; relación entre UNCTAD-OMC-ONU; funciones del GCM y del CCITF)

Papel y funcionamiento de los procesos y requisitos de rendición de cuentas externos a la hora de respaldar la credibilidad, eficacia y eficiencia de la organización (p. ej. informar sobre demandas de rendición de cuentas de la UNCTAD-OMC-ONU, la función supervisora del GCM)

Requisitos internos, administrativos, políticos, auditoriales y presupuestarios (normales y extrapresupestarios) y efectos sobre la eficiencia/eficacia

Superposiciones o brechas

Análisis documental sistemático

Entrevistas con interlocutores informados/Grupos de discusión

Memorandos de entendimiento, informes de las sesiones del GCM (formales e informales); planes estratégicos; informes del CCTIF, informes financieros, informes anuales y recomendaciones (ONU, OMC y UNCTAD). Marcos estratégicos de la ONU, planes binarios etc., decisiones de gestión y gobierno, documentación relativa al proceso de gestión del cambio y evaluaciones previas

Entrevistas con la Dirección

Entrevistas con el Comité Directivo, la OMC, la UNCTAD, los evaluadores participantes en las misiones nacionales y los donantes

Análisis comparativo y de tendencias para cada uno de los años entre 2006 y 2012

Análisis e interpretación de los resultados de las entrevistas y encuestas

Triangulación entre las diferentes fuentes

Evolución comparativa selectiva, si es posible

A2. Entorno institucional

Efectos del entorno (ubicación de Ginebra, conectividad con los asociados, función dentro de la ONU/sistema multilateral) a la hora de respaldar la credibilidad, eficacia y eficiencia (factores de ayuda/obstáculos) de la organización



Minutas de las reuniones del Comité de la Administración Superior, informes anuales y recomendaciones, informes de las sesiones del GCM (formales e informales), marcos estratégicos de la ONU y planes bienales, documentación relativa al proceso de gestión del cambio y evaluaciones previas

Entrevistas con la Dirección y con el personal operativo

Análisis comparativo y de tendencias para el periodo 2006-2012






Influencia de los programas de desarrollo clave sobre el

establecimiento de prioridades de la organización (p. ej. ODM, París/Busan, programa de APC, reforma del sistema de la ONU)

Entrevistas con el Comité Directivo, el GCM, la OMC, la ONU, los evaluadores representantes en las misiones nacionales y los donantes

Documentación clave relativa a los ODM/Programa posterior a 2015/Busan/APC/reforma de la ONU (p. ej. la RCAP)


A3. Ventajas comparativas/Reputación

del ITC

Definidas por:

Clientes y clientes potenciales

Personal y directivos del ITC

Asociados de la ONU (UNCTAD, OMC)

Donantes

Misiones nacionales y encuestados

Otras partes interesadas

¿Se ha sacado provecho de esto?, en caso afirmativo, ¿dónde y cómo?

Análisis documental sistemático donde se incluya una actualización de la evaluación de la "ventaja comparativa" de 2006


Encuestas dirigidas (a nivel nacional)

Planes estratégicos del ITC, centros para el diálogo político e informes anuales, evaluación comparativa de 2006

Objetivos estratégicos y operaciones de otras instituciones de APC

Entrevistas con asociados de la ONU, donantes, representantes de las misiones nacionales y demás socios

Respuestas a las encuestas (a nivel nacional)

Análisis de la situación del programa y de los actores de la APC







B.

¿C

uá

l es

la

ca

pac

ida

d o

rga

niz

ati

va

de

l IT

C p

ara

de

sa

rro

lla

r s

u m

an

da

to d

e f

orm

a e

fic

az y

có

mo

ha

cam

bia

do

des

de

el 2

00

6?

B1. Liderazgo estratégico

Función de los objetivos organizativos para definir el rumbo

estratégico (claridad, credibilidad, orientación hacia los resultados, participación)

Efectos del liderazgo y del proceso de planificación estratégica sobre la creación de la credibilidad, eficacia y eficiencia organizativa (proceso de gestión del cambio, orientación basada en los resultados)

Funciones del liderazgo y de la planificación estratégica a la hora de definir/implementar las ventajas y oportunidades comparativas del ITC, así como abordar las debilidades y la capacidad para diseñar o llevar a cabo actividades bajo una única perspectiva coordinada

Asignación de recursos implementada a un nivel estratégico para conseguir una eficacia (el logro de los objetivos estratégicos) y eficiencia (puntualidad, rentabilidad) óptimas




Planes estratégicos del ITC, centros para el diálogo político, argumentos para recaudar fondos, documentación relativa al proceso de gestión del cambio, evaluaciones previas

Auditorías y evaluaciones de la OSSI


Entrevistas con asociados de la ONU, donantes, evaluadores participantes en las misiones nacionales y demás socios

Encuestas previas al personal

Análisis comparativo y de tendencias para los años 2006-2012



B2. Estructura organizativa y utilización de las capacidades

Diseño de la estructura organizativa en relación con su adecuación para el propósito (logro de objetivos de la organización/realización de su mandato)

Distribución y equilibrio de las capacidades en relación con la optimización de la eficacia y eficiencia organizativas (sede/equilibrio regional; experiencia con la descentralización piloto en México; las capacidades




Estructura organizativa y líneas de negocio del ITC, planes estratégicos, centros para el diálogo político, argumentos para recaudar fondos, documentación relativa al proceso de gestión del cambio, evaluaciones previas



Entrevistas con asociados de la ONU, donantes, evaluadores participantes en las misiones nacionales y demás socios







relacionadas con los proyectos y los países, los niveles de gestión)

Encuestas previas al personal/encuestas dirigidas


B3. Recursos humanos

Número/contratación de personas con experiencia y competencias profesionales en proporción con los logros de los resultados estratégicos (técnicos y de gestión, políticas de contratación, contratación, permanencia, puestos vacantes, etc.)

Función de las normas y los procedimientos de la ONU en la

planificación, las políticas y los procedimientos de los recursos humanos en el ITC

Creación, integración e implementación de planes y mecanismos de rendición de cuentas, diversidad y de igualdad de género a nivel institucional

Calidad y aplicación del desarrollo profesional y de la gestión del desempeño/sistemas de evaluación que respalden la eficacia y eficiencia de la organización


Análisis de las estadísticas de RRHH

Entrevistas con interlocutores informados/Grupos de discusión entre el personal

Documentos de políticas de RRHH del ITC y de la ONU/normas y procedimientos de la OMC, planes y políticas de igualdad de género/diversidad

Estadísticas de RRHH en el ITC


Entrevistas con la Dirección y con el personal operativo, especialmente de RRHH

Gestión del desempeño/marcos, sistemas y mecanismos de desarrollo profesional

Encuestas previas del personal/Registros y minutas del comité de gestión del personal




B4. Gestión financiera

Función de los sistemas de planificación, rendición de cuentas y seguimiento financieros en la transparencia y en la credibilidad y eficiencia de la organización

Influencia de los sistemas de la ONU cercanos sobre los sistemas y procesos de gestión financiera


Análisis financiero y presupuestario

Entrevistas con interlocutores informados

GF del ITC (preparación del presupuesto y control de la ejecución, contabilidad), argumentos para recaudar fondos y gestión del ciclo del proyecto


Entrevistas con el personal de la DPS








B5. Infraestructura

Disponibilidad de sistemas de tecnología e información para

respaldar la eficiencia, credibilidad y transparencia de la organización (interna y externa; disponibilidad de información y antigüedad)

Revisión de las políticas y de los sistemas de gestión de la TI

Análisis de la intranet y del sitio web


Revisión del sistema de GBR, de la intranet y del sitio web


Entrevistas con la DPS, con la Dirección y el personal operativo y con los principales socios externos (ONU, misiones nacionales y donantes)

Encuestas previas al personal y a los clientes

Análisis comparativo y de tendencias para el periodo 2006-2012

Análisis e interpretación de los resultados de las entrevistas


B6. Gestión de proyectos y programas

*También se describe en detalle en el análisis operativo– Análisis de la sede enfocado en los procesos más que en los contenidos

Función del proceso de identificación de los proyectos en el apoyo a un enfoque orientado a la demanda/utilización de la ventaja comparativa del ITC/uso óptimo de las capacidades

Influencia de la escala de proyectos identificados/diseñados (incluyendo la experiencia con proyectos más grandes y proyectos regionales) sobre el aprovechamiento de las capacidades del ITC para un uso óptimo/eficacia y eficiencia máximos

Volumen y calidad del desarrollo y la capacitación en materia de competencias profesionales para apoyar las lógicas de intervención de los proyectos sólidos (guiados por los ODM) y los diseños (manuales, herramientas, equidad e igualdad de género, etc.)

Revisión sistemática de documentos clave (procesos/proyectos y programas)


Encuestas dirigidas

Programa de gestión del ciclo de proyectos/procedimientos de seguimiento y evaluación

Muestra de la documentación de proyectos/programas, informes y evaluaciones de seguimiento

Entrevistas con personal seleccionado de la DCP y de la DBIS (línea de negocios)


Encuestas previas a los clientes









Función del proceso de gestión de los ciclos del proyecto a la hora de

apoyar una puesta en práctica eficiente de los procesos y llevar a cabo un seguimiento de la ejecución o de los resultados (reflexionando también sobre la equidad y la igualdad de género)

Extensión de la capacidad de adaptación y habilidad para llevar a

cabo acciones correctivas cuando existan cambios contextuales

Procesos de selección para los canales de prestación y asociados

adecuados para el contexto de aplicación/maximización de la eficiencia (IAP y otros)

Función de los sistemas de evaluación y seguimiento de los programas y proyectos a la hora de optimizar la eficacia y eficiencia (reflexionando también sobre las evaluaciones independientes, las respuestas de la Dirección, la equidad y la igualdad de género)

B7. Gestión de los procesos

Función de los procesos internos de adopción de decisiones a la hora de optimizar la eficacia y eficiencia (flujos de toma de decisiones, comunicación de las decisiones)

Funcionamiento de los procedimientos internos de comunicación a la hora de optimizar la eficiencia y eficacia (velocidad y frecuencia de las comunicaciones, accesibilidad a la información)


Análisis de la intranet


Análisis de la documentación referente a la planificación, las comunicaciones, el seguimiento y la evaluación, las revisiones internas y la gestión

Análisis de la intranet

Entrevistas con la DPS, la Dirección y con el personal operativo seleccionado

Encuestas previas del personal/registros y minutas de las reuniones del comité de gestión del personal







Uso de la supervisión interna para optimizar los sistemas y procesos (tipos de revisión, contenido, captura y flujos de información)

Evaluaciones previas Triangulación entre las diferentes fuentes

B8. Vínculos con otras organizaciones

Función de las asociaciones, empresas mixtas y redes a la hora de apoyar la coherencia y la coordinación entre las distintas agencias y lograr resultados más amplios (OMC-UNCTAD, Una ONU, trabajos conjuntos, asociados de las IAP)

Funcionamiento de los sistemas de gestión de las relaciones con los clientes a la hora de respaldar la credibilidad y legitimidad de la organización (diseño, ejecución, formación)

Función de las asociaciones nacionales y regionales a la hora de fomentar la coherencia, coordinación y el logro de los resultados a nivel regional o nacional



Encuestas dirigidas

Planes estratégicos, informes anuales, centros para el diálogo político, memorandos de entendimiento, etc.

Documentación relativa a los proyectos y programas (asociaciones y redes clave)

Minutas relevantes de reuniones (asociaciones y redes)

Sistema de gestión de los clientes y expedientes

Entrevistas con la Dirección y con el personal operativo seleccionado

Entrevistas con el Comité Directivo, el GCM, la OMC, la ONU/UNCTAD y las demás instituciones asociadas (ONUDI, CICDS, FCI/BM; CBI, bancos e instituciones para el desarrollo regionales, etc.)


Evaluaciones previas


Análisis del modo en que se eligen a las organizaciones asociadas y los criterios aplicados








C. ¿

Có

mo

de f

ue

rte

es

la

mo

tiv

ac

ión

org

an

iza

tiv

a d

el

ITC

pa

ra

de

sa

rro

lla

r s

u m

an

da

to d

e f

orm

a e

fic

az y

có

mo

ha c

am

bia

do

des

de

el

20

06

?

C1. Visión y misión

Influencia de la visión del ITC a la hora de promocionar la claridad de su propósito a su público principal y la comprensión de que es "más grande que la suma de las partes"

Nivel de comprensión/convicción de

la visión del ITC entre sus asociados clave y su personal

¿Hasta qué punto se orientan la dirección estratégica y los sistemas internos a la realización de la visión del ITC?

Revisión de las decisiones de gestión y gobierno



Encuestas dirigidas

Planes estratégicos, informes anuales, centros para el diálogo político del ITC, etc.

Documentación relativa al proceso de gestión del cambio


Entrevistas con el Comité Directivo, el GCM, la OMC y la ONU

Encuestas previas al personal/a los clientes





C2. Costumbres e incentivos

Cualquier característica o valor importante que defina a la organización

(p. ej. una transición de lo "artesanal"; equidad y diversidad, incluida la igualdad de género)

Naturaleza de los incentivos y de los elementos disuasorios según el personal y los asociados

(p. ej. desempeño, retención, contratación, etc.)



Planes estratégicos del ITC, centros para el diálogo político, etc.


Entrevistas con organizaciones asociadas clave

Encuestas previas al personal/a los clientes









D.

¿C

óm

o d

e s

ólid

o e

s e

l d

es

em

peñ

o o

rgan

iza

tiv

o d

el

ITC

pa

ra d

esa

rro

lla

r su

ma

nd

ato

de

fo

rma

efi

caz y

có

mo

ha

ca

mb

iad

o d

es

de

el 20

06

? (

Esta

s c

ue

sti

on

es

tam

bié

n s

e d

es

cri

be

n e

n d

eta

lle

en

el a

ná

lis

is o

pe

rati

vo

qu

e f

igu

ra m

ás a

bajo

,

de

sd

e la

en

tre

ga

ha

sta

la

su

bid

a d

e n

ive

l d

el p

roy

ec

to).

D1. En relación con la eficacia

Calidad y función del marco de resultados corporativo a la hora de

definir la dirección estratégica del ITC/participación e intervención (reflexionando también sobre la orientación hacia los resultados, la integración de la equidad y la igualdad de género)

Calidad y función del sistema de GBR a la hora de hacer posible un

seguimiento/una elaboración de informes continuos (reflexiones sobre la orientación a nivel del impacto, la equidad y la igualdad de género )

Calidad y función de la evaluación independiente a la hora de respaldar la rendición de cuentas y el logro de los resultados, así como de influir sobre la toma de decisiones estratégicas


Análisis del sistema de GBR


La GBR del ITC y los sistemas, las políticas, las líneas de notificación y la documentación de la evaluación


Entrevistas con las partes interesadas del gobierno, la Dirección y el personal operativo seleccionado





D2. En relación con la eficiencia

Función del marco de rendición de cuentas financiero y los sistemas que permiten la supervisión de la eficiencia administrativa

Empleo de mecanismos de transparencia de costes y los sistemas que apoyan la rendición de cuentas interna



Informes financieros, informes anuales, planes estratégicos y argumentos para recaudar fondos


Evaluaciones previas del ITC

Entrevistas con la DPS y con el personal operativo seleccionado

Entrevistas con el Comité Directivo, el GCM, la OMC, la UNCTAD y los donantes








D3. En relación con la pertinencia actual

Aplicación de marcos de desarrollos clave (ODM, necesidades nacionales) a la hora de identificar y adaptar las necesidades y prioridades a los clientes (beneficiarios)

Priorización de las intervenciones para maximizar los resultados en materia de desarrollo

Aplicación de marcos de APC clave como respuesta a un entorno cambiante (negociaciones en materia de comercio, etc.)



Encuestas dirigidas

Conclusiones del análisis de la cartera de proyectos

Planes estratégicos del ITC, centros para el diálogo político, informes anuales y argumentos para recaudar fondos, evaluaciones previas del ITC

Documentación relativa al proceso de gestión del cambio

Entrevistas con el GCM, la OMC y UNCTAD, los donantes y otras fuentes informadas sobre las necesidades y las prioridades en materia de Ayuda para el Comercio

Entrevistas con la DPS, la DBIS, la DCP, la Dirección y con el personal operativo seleccionado




D4. En relación con la viabilidad financiera

Efectos de la estrategia de movilización de recursos sobre la generación de los recursos necesarios para lograr un crecimiento a corto, medio y largo plazo

Extensión de los distintos flujos de recursos (fuente de los recursos movilizados/disponibles)



Encuestas dirigidas

Informes financieros, informes anuales, planes estratégicos y argumentos para recaudar fondos


Evaluaciones previas del ITC

Entrevistas con la DPS, la Dirección y con el personal operativo seleccionado

Entrevistas con el Comité Directivo, el GCM, la OMC y la ONU

Entrevistas con donantes actuales y potenciales





Anexo II: Matriz 2 - Evaluación del progreso operativo y de los resultados del ITC desde el 2006

Logros esperados del ITC

Relacionados con los tres grupos de clientes principales

Cuestiones/Indicadores

Aplicar criterios de relevancia (R), eficacia (F), eficiencia (C), impacto (I) y sostenibilidad (S), según su pertinencia

Métodos de recopilación de datos

Fuentes principales

(fuentes de datos primarias y secundarias)

Métodos de análisis

Formuladores de políticas

Ayudar a los formuladores de políticas en la integración del sector empresarial en la economía mundial

11

Selección apropiada de países/actividades/prestatarios (aportaciones de los beneficiarios/proceso de evaluación de las necesidades/influencia de la financiación) [R]

Diseño riguroso y responsivo (incluyendo la base para la GBR e integrando la igualdad de géneros, la reducción de la pobreza y la sostenibilidad ambiental) [F]

Capacidad adecuada de ejecución y eficiencia en el uso de los recursos; a tiempo, en el momento de la entrega de los fondos [C]

Eficacia en la ejecución (las evaluaciones de los beneficiarios serán el punto central) y conocimientos sobre rentabilidad [F]

Supervisión y pruebas de los resultados/contribuciones plausibles a los impactos, incluyendo los ODM pertinentes [F, I]

Eficacia de la coordinación/cooperación con otros agentes, nacionales e internacionales (valor añadido al programa de APC) [R, F, C]

Logros destacables, innovaciones, cuestiones de sostenibilidad, mejoras de la calidad o usos adicionales de las herramientas existentes [R, F, I]

Implicaciones para el tamaño y la duración de los proyectos del ITC, previsión y obstáculos para los proyectos grandes [F,

Revisión sistemática de los documentos


Encuestas dirigidas

Análisis de cartera/Misiones de caso por países

Fuentes de datos secundarias:

Informes anuales, planes estratégicos, centros para el diálogo político y argumentos para recaudar fondos

Evaluaciones previas de los programas/proyectos

Encuestas de clientes existentes

Auditorías pertinentes de la OSSI

Fuentes de datos primarias:

Entrevistas con los gestores y empleados seleccionados de la DCP, DMD y la BE (DBIS)

Resultados de las entrevistas/encuestas de una selección de formuladores de políticas de países en desarrollo (p. ej. ministerios responsables de los asuntos de comercio y de las PYME, agencias de exportación nacionales, etc.)

Resultados de las entrevistas/encuestas de una serie de informantes sobre el terreno (p.

Análisis comparativo y de tendencias de cada uno de los años entre 2006 y 2012 para medir el progreso




Análisis de la contribución de los impactos

11

NOTA: esto debería incluir las actividades de inteligencia comercial (disponible para todos los grupos de clientes) y los productos referentes a las políticas







Fuentes principales



C]

Principales problemas y limitaciones

ej. asesores de políticas, donantes, etc.)

IAC

Fomentar la capacidad de las instituciones de apoyo al comercio para apoyar a las empresas

Selección apropiada de países/IAC/actividades/prestatarios (aportaciones de los beneficiarios/evaluación de las necesidades/influencia de la financiación/procesos de certificación) [R]


Capacidad adecuada de ejecución y eficiencia en el uso de los recursos. A tiempo, en cumplimiento con el presupuesto; Entrega [C]

Eficacia en la ejecución (las evaluaciones de los beneficiarios serán el punto central) y conocimientos sobre rentabilidad [F]

Supervisión y pruebas de los resultados/contribuciones plausibles a los impactos, incluyendo los ODM pertinentes [F, I]


Logros destacables, innovaciones, cuestiones de sostenibilidad, mejoras de la calidad o usos adicionales de las herramientas existentes [R, F, C]

Implicaciones para el tamaño y la duración de los proyectos del ITC, previsión y obstáculos para los proyectos grandes [F, C]




Encuestas dirigidas





Supervisión e informes de la GBR




Entrevistas con gestores y empleados seleccionados de la DCP, DBIS (especialmente la TS) y la DMD

Resultados de entrevistas/encuestas de las IAP (niveles de dirección y operación)

Resultados de entrevistas/encuestas de una selección de partes interesadas de las PYME

Resultados de las entrevistas/encuestas de una serie de informantes sobre el terreno (p. ej. asesores, donantes, etc.)












Fuentes principales



Empresas

Fortalecer la competitividad internacional de las empresas (y aumento de las exportaciones)

Selección apropiada de países/sectores/actividades/empresas/prestatarios (aportaciones de los beneficiarios/proceso de evaluación de las necesidades/influencia de la financiación) [R]


Capacidad adecuada de ejecución y eficiencia en el uso de los recursos. A tiempo, en cumplimiento con el presupuesto; Entrega [C]

Eficacia de la ejecución (las evaluaciones de los beneficiarios serán un punto central); conocimientos sobre rentabilidad [F]

Supervisión y pruebas de los resultados, posibles impactos, incluyendo los ODM pertinentes [F, I]


Logros destacables, innovaciones, cuestiones de sostenibilidad, mejoras de la calidad o usos adicionales de las herramientas existentes [R, F, I]

Implicaciones para el tamaño y la duración de los proyectos del ITC, previsión y obstáculos para los proyectos grandes [F, C]




Encuestas dirigidas





Supervisión e informes de la GBR




Entrevistas con la EC, la DCP (secciones regionales) y DMD seleccionadas cuando sea relevante

Resultados de entrevistas/encuestas de los operadores de las PYME, cámaras de comercio y otras entidades del sector privado

Resultados de las entrevistas/encuestas de una serie de informantes sobre el terreno (p. ej. asesores de políticas, donantes, etc.)












Fuentes principales



Actuación general integrada

Capacidad para combinar diferentes competencias para desarrollar soluciones coordinadas y coherentes [F, C, S]

Coherencia global de los proyectos y programas [R, I]



Encuestas dirigidas







Informes sobre la GBR hasta la fecha


Entrevistas con la EC, la DCP (secciones regionales) y DMD seleccionadas cuando sea relevante

Resultados de entrevistas/encuestas de los operadores de las PYME, cámaras de comercio y otras entidades del sector privado

Resultados de las entrevistas/encuestas de una serie de informantes sobre el terreno (p. ej. asesores de políticas, donantes, etc.)

Síntesis de:







Anexo III: "Guiones gráficos" de la sección geográfica y de productos

GUIÓNES GRÁFICOS DE LOS PRODUCTOS - ITC

Producto/Servicio: División:

Nombre del proyecto/Presupuesto: Sección:

Periodo de tiempo: Unidad:

Aspecto

Breve descripción

Inicio del proyecto:

- ¿Cómo comenzó?

- ¿Quién estableció el contacto?

- ¿Quién fue el impulsador dentro del ITC?

- Selección de países. Razones

- Participación de los beneficiarios. Etapas

Evaluación de las necesidades y diseño:

- ¿Qué tipo de evaluación se ha llevado a cabo?

- Alineación con estrategias nacionales/institucionales de beneficiarios

- Proceso del diseño/herramientas utilizadas Integración del informe de resultados

- Pruebas de un enfoque sobre las prioridades específicas de los beneficiarios en este caso

Gestión:

- ¿Quién era el responsable de la gestión del proyecto? ¿Cómo se decidió?

- ¿Se trataba de una función de líder pleno o más de una función administrativa?

- ¿Quiénes fueron los otros actores clave dentro del ITC?

- ¿Existió una cooperación/coordinación fluida? Razones en el caso de que existieran problemas

Financiación:

- ¿En qué etapa se garantizó/recibió la financiación?

- ¿Contribuyeron los términos y las condiciones de la financiación al éxito del proyecto? Problemas o limitaciones

Capacidad y ejecución:

- ¿Cómo fue la ejecución?

- ¿Se llevó a cabo en la fecha establecida?

- ¿Cumplió con el presupuesto?

- ¿Se tuvieron que realizar ajustes? ¿Hubo flexibilidad?

- Puntos fuertes y limitaciones

Coordinación y cooperación:

- Interna: dentro del ITC

- Externa: con asociados/beneficiarios de proyectos, otras agencias de


Apoyo al Comercio, donantes, partes interesadas

Medición de los resultados y del impacto:

- Nivel del proyecto: indicadores, marcos de registro, supervisión y elaboración de informes

- Nivel corporativo: vínculo con la GBR

- ¿Existen pruebas de lo siguiente?:

- Impacto económico

- Impacto social

- Impacto ambiental

- Sostenibilidad

Principales lecciones aprendidas:

- Logros destacables, innovaciones, sostenibilidad, mejoras de la calidad o usos adicionales de las herramientas existentes

- Principales problemas y limitaciones

Comentarios y sugerencias adicionales:


GUIÓNES GRÁFICOS DE LA SECCIÓN GEOGRÁFICA

Sección geográfica: División:

Jefe de la sección: Número de empleados (total):

Aspecto

Breve descripción

Estructura de la sección:

- Número de empleados de la sección

- Desglose por categorías

- Consultores

- Número de empleados: ¿estable, en aumento, en disminución? (durante los últimos tres años)

- ¿Otros?

Función principal de la Sección de países:

- Funciones principales

- Responsabilidades principales

- ¿Otros?

Capacidad de la sección:

- Número de empleados en comparación con la carga de trabajo

- ¿Las competencias y cualificaciones del personal están relacionadas con su trabajo?

- ¿Otros?

Implicación en el ciclo de vida del proyecto:

- ¿Cuál es la implicación normal de la sección en las diferentes etapas de un proyecto (búsqueda de países/asociados/financiación para las actividades, diseño, ejecución, supervisión)?

- ¿Otros?

Cartera de proyectos:

- Número de proyectos entre 2006 y 2012

- Proyectos más importantes ¿por qué?

- Proyectos más desafiantes ¿por qué?

- Proyectos más innovadores ¿por qué?

Cooperación y coordinación:

- Interna: dentro del ITC Divisiones, secciones, unidades

- Externa: con asociados de proyectos (sectores público y privado), otras agencias de Apoyo al Comercio, donantes, partes interesadas

- ¿Otros?

Medición de los resultados y del impacto:

- Participación en el proceso de la GBR

- ¿Otros?

Principales lecciones aprendidas:


- Logros destacables, innovaciones, sostenibilidad, mejoras de la calidad o usos adicionales de las herramientas existentes

- Principales problemas y limitaciones

- ¿Otros?

Comentarios y sugerencias adicionales:


Anexo IV: Respuestas del equipo de evaluación independiente del ITC a los comentarios al borrador del informe inicial

Nota: en cumplimiento con los términos de referencia, la propuesta para la evaluación y las presentaciones y debates acerca de la fase inicial, el equipo ha preparado las siguientes respuestas a todos los comentarios recibidos dentro del plazo acordado. Como establece el informe (párrafo 18 e), el equipo es responsable de: Responder a los comentarios de las partes interesadas sobre los resultados del borrador, siempre y cuando se reciban dentro de los plazos estipulados en el informe inicial, teniendo en cuenta el principio de independencia. El equipo indicará en qué modo se han reflejado dichos comentarios o explicará por qué no se han reflejado. El Jefe de equipo deberá garantizar que cualquier discrepancia entre los miembros del equipo de evaluación, o entre el equipo de evaluación y los socios pertinentes, que sea importante para las conclusiones o recomendaciones, quede reflejada en el informe, a través de comentarios en el texto, notas al pie de página o en una sección especial. Este conjunto de comentarios y respuestas se presenta en forma de documento de registros en la versión final del informe inicial. El equipo tendrá en cuenta, tanto como sea posible, cualquier comentario recibido fuera de plazo.

Fecha Contacto Párrafo Comentario Respuesta

1 22.10.13 Olov Atterfors, Administrador de Programa en la ASDI ([email protected])

9 Estoy de acuerdo con su postura prudente en relación con los impactos. No obstante, nos gustaría comprender un poco mejor los resultados obtenidos. ¿Cuál es la postura del ITC a día de hoy? ¿Qué pasa con los asuntos intersectoriales como la igualdad de género o el medio ambiente?

Sí, el párrafo 9 pretende enfatizar que la evaluación llevará a cabo un análisis de los resultados y las contribuciones de los impactos sobre el desarrollo de los proyectos del ITC tan profundo como lo permitan las pruebas y la causalidad plausible. Estas evaluaciones se basarán en las pruebas del propio sistema de información del ITC, en otras pruebas primarias fiables y en las entrevistas estructuradas a los interlocutores informados, especialmente a los beneficiarios, validadas en la muestra de misiones y carteras de países del equipo.

La matriz 2 incluye un "diseño riguroso y responsivo (incluyendo la base para la GBR e integrando la igualdad de géneros, la reducción de la pobreza y la sostenibilidad ambiental)" y "pruebas de los resultados/contribuciones plausibles a los impactos, incluyendo los ODM pertinentes". Estas cuestiones se incorporarán en las herramientas específicas de la evaluación y también se reflejan en la matriz 1, en el nivel institucional.


53-54 En nuestra opinión, la selección de países de ALC no proporciona una visión representante de América Latina. Aunque Haití sea un país interesante, es totalmente diferente a los países de América Latina. Perú es un buen "representante" de Sudamérica, sin embargo América Central ni se menciona. Nosotros

Entendemos y compartimos la opinión de que Haití es un caso peculiar dentro de la región América Latina y el Caribe, y creemos que es importante destacar que para evitar cualquier proceso de muestreo tendencioso este tuvo que seguir una serie de criterios minuciosos especificados en el párrafo 53 y en el recuadro 3 de la página 18. Como se establece en el párrafo 53, "los criterios de


preferiríamos incluir El Salvador, Honduras o Guatemala y eliminar Uruguay.

umbral básicos para la selección de países para los exámenes de segundo y tercer nivel sirven para asegurar que la representación de las regiones cuente con suficientes actividades recientes a nivel nacional (2010-2012), a fin de que el examen sea más factible y útil". Entre los 61 países que cumplían con el criterio del segundo umbral, tan solo seis pertenecían a la región ALC: (Brasil, Cuba, Haití, México, Perú, Santa Lucía y Uruguay), ninguno de América Central. De hecho, Haití es un país que ha estado involucrado en interesantes proyectos regionales y mundiales del Caribe por lo que cabe la posibilidad de que aporte una perspectiva diferente, y, además, cumple con una serie de criterios importantes (PMA). Asimismo, sabemos que se están planificando nuevas actividades en Haití por lo que hemos vuelto a realizar las evaluaciones pertinentes en consulta con la sección regional. De hecho, la preparación actual de numerosas actividades importantes, en el difícil entorno que existe tras una catástrofe, hace que esto sea un caso muy interesante, junto con otros dos casos más "típicos" en América Latina, en el Perú y Uruguay, así como el resto de muestras de las otras regiones. Nos gustaría mencionar que inicialmente el equipo había seleccionado el Perú para realizar una misión nacional, sin embargo, cuando los oficiales del ITC nos informaron de que en el país se habían llevado a cabo evaluaciones de APC (patrocinadas por la SECO) recientemente, pensamos que sería mejor utilizar los resultados obtenidos para realizar un análisis documental y de este modo no sobrecargar a los asociados peruanos con otra misión. Uruguay se incluye como un país con ingresos más altos que cuenta con experiencias con el ITC y perspectivas interesantes. Aunque el ITC se centre principalmente en los países con niveles de ingresos más bajos, sigue existiendo un gran interés por algunos de estos países.


53-54 Dentro de la región EOAC, preferiríamos que hubiesen seleccionado a países como Moldavia o Georgia antes que a Turquía.

En la región EOAC, los países que cumplían con el umbral de contar con suficientes proyectos recientes fueron Albania, Georgia, Kirguistán, Polonia, Tayikistán y Turquía. Turquía cumplía con el criterio de incluir algunos países de ingresos más altos. Debido a las preocupaciones muy variadas reflejadas en varios comentarios, especialmente por la situación única de Turquía y la poca actividad del Centro en el país (véase los comentarios 46 y 47), el equipo ha vuelto a comprobar los datos de la selección de países dentro de la región EOAC, junto con la sección regional y basándose de nuevo en los criterios establecidos, y ha optado por seleccionar Albania, Kirguistán y Tayikistán.



Anexo 1, A1 En este contexto, nos gustaría incluir el debate sobre un posible consejo y un debate sobre el apoyo relacionado con las directrices para la financiación de la ventanilla 1.

Sí, se incluirán las cuestiones en torno a la estructura de gobierno del ITC actual y las alternativas posibles (véase la matriz I, A1), sin embargo, el equipo quiere destacar que la evaluación de 2006 recomendó un proceso para explorar este asunto (que se llevó a cabo pero no llegó a una conclusión satisfactoria). A pesar de tratarse de un "informe de progreso" más modesto, la evaluación investigará estas cuestiones, en base a sus méritos y teniendo en cuenta que la situación ha cambiado, y proporcionará recomendaciones sobre acciones u opciones según lo sugieran las conclusiones.

Como se indica en el recuadro 1, los mecanismos de financiación del ITC, incluidas las directrices para la financiación de la ventanilla 1, son claramente unas de las cuestiones centrales de la evaluación. Estas cuestiones, que presentan desafíos en cuanto a los recursos y a la rendición de cuentas, quedan cubiertas específicamente en las secciones A1 y D4 de la matriz I referente a la organización y gestión, así como en la matriz II donde se evaluará la "influencia de la financiación" en relación con los proyectos o programas analizados.

5 23.10.13 Nneka Henry, Asesor en el ITC ([email protected])

Recuadro 2 y párrafo 9

Existen al menos dos referencias que indican que el ITC no cuenta con "programas de países" (p. ej. en el recuadro 2 y en el párrafo 49). No entiendo qué significa esto y parece que se contradice con nuestros esfuerzos en Tayikistán, Côte d'Ivoire, Myanmar y Pakistán. Si esto significa que no contamos con una oficina nacional que dirija un programa de país, debería expresarlo de forma clara. ¿Le importaría explicarme esto?

La información de la que disponemos y las entrevistas iniciales en el ITC, indican que "el ITC realmente no cuenta con ‘programas de países’ en el mismo sentido que lo hacen otras agencias más grandes". Contar con este tipo de programas incluiría, por ejemplo, contar con la capacidad adecuada para continuar el diálogo con las partes interesadas nacionales relevantes, con una estrategia articulada y con un sistema de seguimiento e información coordinado para todas las intervenciones del ITC a nivel nacional, pero no necesariamente significa que tenga que existir una oficina sobre el terreno. Es interesante saber que las actividades en estos cuatro países se podrían considerar programas de países y el equipo investigará esta información y sus implicaciones, especialmente debido a que uno de los países nombrados ha sido seleccionado para una misión nacional.


Tabla 2, página 19

No se han planeado visitas nacionales a la región de Europa Oriental y Asia Central (véase la página 19) y opino que esto podría ser un problema, especialmente si tenemos en cuenta el buen trabajo que hemos realizado en Tayikistán, Kirguistán y Kazajstán, y la posibilidad de las futuras intervenciones que nos gustaría realizar en

Como se indica en las respuestas a las preguntas 4 y 5, el equipo ha vuelto a revisar la selección de países para los tres análisis de cartera de la región EOAC, una vez más teniendo en cuenta los criterios establecidos. Como resalta el informe inicial, no se debería dar demasiada importancia a la pequeña selección de países, ya que la razón principal por la que no se incluyen todas las regiones en la fase de las misiones es simplemente presupuestaria.


Moldavia, Ucrania y Georgia (consulte las ALC de la UE). ¿Le importaría explicarme esto?

En esta propuesta, el equipo cumplió con el requisito de los términos de referencia que establece realizar siete misiones, centrándose en África, y contar con especialistas que hablen cuatro lenguas: inglés, francés, español y árabe. En los términos no se incluía el requisito de hablar ruso, factor decisivo para llevar a cabo misiones en gran parte de la región, aunque el equipo tiene capacidad de lectura en este idioma como se pedía. Además, los programas de Kirguistán y Tayikistán fueron evaluados recientemente para el donante, lo que nos proporcionará información adicional. Añadir una misión a esta región supondría un presupuesto adicional para cubrir los días de trabajo de un miembro del equipo, además del gasto añadido de un intérprete de ruso.


Anexos I y II He notado algunas lagunas en los anexos en referencia a los documentos de recursos (y a personas de referencia, como p. ej. Siba Das). ¿Se trata de una lista cerrada?

No, desde luego que no se trata de una lista completa ni cerrada (ni de fuentes ni de personas de referencia), y el equipo agradecería cualquier sugerencia adicional, indicando la pregunta específica a la que hace referencia.

8 25.10.13 François Jérôme Michel, Ministre conseiller Mission of Haïti ([email protected])

Párrafo 20, página 9

Ne pourrait-on pas inclure la tenue des tables rondes et des débats interactifs dans le cadre de l'approche à appliquer .

Oui, c’est l’intention d’inclure la tenue des tables rondes et de débats interactifs comme méthodes de collecte des données. (Voir les mentions des : « focus groups » dans le paragraphe 47 c, Box 2, et à plusieurs reprises dans la Matrice l. Cette méthode devrait aussi avoir été incluse dans la Matrice ll en combinaison avec les « informed respondent interviews » et nous allons l’intégrer maintenant.

9 25.10.13 François Jérôme Michel, Ministre conseiller Mission of Haïti ([email protected])

General Du point de vue général, on a constaté qu'on n'a pas beaucoup mis l'accent sur l'évaluation de la production et l'offre .Pour certains PED et les PMA en particulier, l’accès aux marchés d'exportation ne leur suffit pas à devenir compétitifs à l'échelle internationale .Pour participer pleinement aux activités commerciales, ces pays ont besoin d'une aide visant principalement à augmenter leur offre exportable en vue de leur permettre de surmonter d'obstacle au commerce non tarifaire. La méthodologie d'approche doit aussi prendre en compte la mise à disposition d'une aide garantissant l'accès au crédit

Nous avons bien enregistré ces observations sur l’orientation des programmes du CCI comme contributions à l’analyse. Merci beaucoup.


10 25.10.13 Miguel Jiménez Pont, Jefe de la Unidad de Evaluación y Supervisión del ITC ([email protected])

15 1. Personalmente, me gustaría añadir algo como: Para llevar a cabo la garantía de la calidad y su función de apoyo, la EMU deberá o bien conocer o recibir por parte del equipo: a. Las pruebas y los análisis recopilados en los distintos productos finales/fases (?) del proceso de la evaluación (análisis de la cartera completa, análisis de proyectos, estudios de carteras regionales, informes de las misiones nacionales, etc.) y b. La descripción del funcionamiento y de los criterios utilizados en las herramientas y metodologías de la evaluación para recopilar las pruebas y organizar/interpretar los datos (plantillas de filtro, sistemas de agregación de datos, entrevistas dirigidas, cuestionarios, etc.).

El equipo estará dispuesto para proporcionar a la EMU, que se encarga del control de la calidad, un acceso completo al material bruto del equipo en el momento de la entrega del borrador del informe de la evaluación. A pesar de que no sea posible o apropiado añadir informes formales adicionales, informes detallados constantes o un control que podría afectar a la independencia de la evaluación, el equipo se compromete a seguir realizando su trabajo de una forma completamente transparente y entiende que la EMU es el gestor de la evaluación. El equipo considera que la cooperación resulta altamente constructiva e indispensable para comprender el funcionamiento del ITC y trabajar con él.

11 Véanse las siguientes 10 preguntas/comentarios Estamos encantados de responder a las preguntas de la EMU sobre cómo se emplearán las herramientas y los métodos, y esperamos que este documento sirva de referencia para dichos puntos. No obstante, ya que las preguntas referentes al funcionamiento serán de interés principalmente para los evaluadores profesionales, en la mayoría de los casos proponemos no alterar el informe inicial para no correr el riesgo de perder a otros lectores. Haremos esto en aquellos casos donde las preguntas exigían una explicación.


43 1. En referencia a las listas de control para la revisión de los documentos y de las guías para las entrevistas, ¿en qué momento se desarrollan y cuándo se utilizarán? 2. En referencia al enfoque cartográfico para identificar los procesos y los puntos de decisión claves dentro del sistema del ITC:

-¿Cuándo se desarrolla dicho enfoque? ¿Quién se encargará de esto? - ¿Se vincularán los hallazgos encontrados sobre los aspectos operativos con aquellos relacionados con los aspectos organizativos? ¿Cuándo se hará esto y quién se encargará de ello? - ¿Cuál es la conexión con la corriente inversa explicada en el párrafo 45, en la que retroceden a la

1. Como se indica en el párrafo 43, "A partir de las preguntas de la evaluación se desarrollarán listas de control para la revisión de los documentos". Puesto que las preguntas (y las matrices que las respaldan) se confirman mediante el proceso que se está llevando a cabo, podemos dar comienzo a esta tarea. La encargada de la lista para la matriz I será Julia Betts (con el apoyo de Ilmari Soininen y Bernard Wood) y el encargado de la lista para la matriz II será Ilmari Soininen (con el apoyo de Bernard Wood y Joachim Eissler). La lista de control se basará en los documentos organizativos (planes estratégicos, informes anuales, etc.), documentos relativos a los proyectos (propuestas, informes de progreso, etc.) y en el material de referencia. Muchos de estos materiales se han revisado de un modo preparatorio y ahora se revisarán de forma más detallada. Además, es probable que se reúna más material que surja a través de investigaciones adicionales.

2. a. La cartografía parece más clara, gracias, en parte, a la técnica del "guión gráfico" y a que el equipo ha obtenido las directrices y


perspectiva de la sede desde la perspectiva de los hallazgos encontrados en los análisis de los estudios de las siete misiones nacionales?

plantillas para el diseño de proyectos de julio de 2012 y de versiones anteriores. Sin embargo, el equipo no invertirá demasiado tiempo o prometerá que se elabore un mapa simple y uniforme debido a la gran diversidad de productos del ITC y cómo se gestionan.

b. La vinculación de los hallazgos operativos y organizativos se realizará en la fase de síntesis, dirigida por el Jefe de equipo, aunque los analistas designados ya han comenzado a contrastar los hallazgos entre ellos, para extraer información y evitar que existan solapamientos, especialmente en relación con los aspectos del desempeño organizativo (sección D) de la matriz I.

c. Retroceder a la perspectiva de la sede desde los hallazgos operativos también forma parte del proceso de síntesis, dirigido por el Jefe de equipo, con el fin de aprovechar todos los elementos desde las distintas perspectivas.


46 1. ¿Qué relación tiene la técnica "guión gráfico" con las preguntas de la matriz en el anexo II? 2. ¿Qué herramientas sistemáticas se desarrollarán para vincular los datos recopilados (¿mediante los estudios de los proyectos?) con las preguntas y los indicadores de la matriz? 3. ¿Cuándo se desarrollarán? ¿En base a los 60 estudios de proyectos o tras los 24 estudios de las carteras regionales? ¿Quién se encargará de esto?

1. La técnica "guión gráfico" ha proporcionado: i. un medio inicial para qué el equipo comprenda algunas de las diversas formas en las que se desarrollan y utilizan los productos y proyectos del ITC, y ii. un medio para comprobar el terreno sobre el que se va a trabajar, a través de guías para las entrevistas y cuestionarios elaborados a partir de las preguntas de la matriz II. La redacción de las guías, basada en los resultados de los "guiones gráficos", ya ha comenzado.

2. Los datos recopilados a través de los estudios de carteras y proyectos se vincularán directamente con las preguntas de la evaluación y los indicadores de la matriz II, registrando los instrumentos utilizados para la recopilación con el mismo número que se utiliza en la matriz.

3. Ilmari Soininen será la responsable de llevar a cabo la recopilación, con la ayuda de otros empleados de Saana si fuera necesario, y el Jefe de equipo se encargará de la interpretación de los resultados, como parte del proceso de síntesis, y contrastará las conclusiones y la información con aquellos que la proporcionaron en primera lugar.



47 1. Yo añadiría "encuestas" después de "entrevistas". De acuerdo.


Recuadro 1 1. ¿En qué parte de esta secuencia ocurre el salto del "guión gráfico" a los datos que corresponden a las preguntas de la matriz?

Véase la respuesta a la pregunta 14 (1) más arriba.


48 1. ¿Cuándo tiene lugar la triangulación? ¿Se trata de un proceso continuo o se lleva a cabo durante la fase de síntesis y de evaluación de los resultados?

Parte de la triangulación de los hallazgos se lleva a cabo de forma continua mediante la identificación de las perspectivas de los distintos interlocutores y de las diversas fuentes, y posteriormente agregando y comparando las respuestas de estos diferentes puntos de observación. De forma similar, se señalarán los resultados de los distintos países y tipos de proyecto para que se puedan agregar y comparar cuando se hayan reunido los hallazgos. La comparación de los hallazgos de los tres niveles del análisis de "embudo" es un proceso vital de la triangulación para los resultados operativos (véase la respuesta 23 más adelante). Se realizará un nivel más alto de triangulación durante el proceso de síntesis, dirigido por el Jefe de equipo y validado por los miembros del equipo.


57 y 58 1. ¿Cuándo se llevará a cabo y quiénes son los revisores? ¿Nos podría explicar en qué consiste el formato de datos estándar y cómo se relaciona con el análisis de datos?

La plantilla (o filtro) de informe estandarizada para los análisis es la herramienta principal utilizada por los miembros del equipo para identificar, analizar (especialmente la calidad de los datos y triangulación de las fuentes), agregar y subir de nivel los hallazgos de los análisis de cartera individuales, de las misiones nacionales y de otras fuentes, siguiendo, una vez más, la organización de las preguntas de la matriz. Esto ocurre en el momento en el que reúnen los resultados finales de los estudios regionales y nacionales. Los revisores son miembros del equipo que cuentan con la experiencia necesaria en la región que se les ha asignado y en el uso de la herramienta especificada en la tabla 3.


60 1. La misma pregunta para las plantillas de filtros: ¿qué son y para qué se utilizan?

Véase la respuesta 17 más arriba. Pedimos disculpas si hemos causado alguna confusión por haber utilizado los términos plantillas de "informes estandarizados" y "filtros" para el mismo instrumento, ha sido una consecuencia del poco tiempo que hemos tenido disponible para la redacción. El término "filtro" simplemente implica que se evita el exceso de detalles a la hora de subir de nivel el


análisis y se asegura que los resultados agregados reflejen de forma fiel los hallazgos más detallados.


77 1. La evaluación de 2006 no fue capaz de priorizar sus conclusiones y recomendaciones porque no logró obtener una visión general. Debido a la dispersión de los datos y a la complejidad de sus contextos, existe el riesgo de que la evaluación de 2014 tampoco pueda crear una visión general concisa del ITC (incluida su teoría de cambio para los beneficiarios). Entiendo que el enfoque de embudo es una respuesta a esta situación, en lo que se refiere a operaciones y resultados, pero me temo que la pregunta va más allá y que también implica aspectos organizativos.

En base a nuestro trabajo durante la fase inicial, entendemos y compartimos la preocupaciones en torno a la dificultad de "lograr obtener una visión global" del ITC, teniendo en cuenta que, a pesar de su tamaño, la organización es muy compleja. Es muy probable que, por ejemplo, no exista ni una sola "teoría del cambio" (incluso de manera implícita) para todos los beneficiarios del ITC, excepto a un nivel muy general. Asimismo, es importante destacar que el material público del ITC, como el informe anual o el sitio web, establece una serie de objetivos clave que difieren ligeramente de los "logros esperados" aprobados por la ONU, y estos, a su vez, difieren en cierto modo de los aprobados por el GCM. La evaluación estudiará las implicaciones.

Consideramos que es parte de nuestro mandato examinar algunas de estas cuestiones dentro de sus contextos y llevar a cabo un análisis independiente, a nivel de políticas, de sus significados y de las posibles mejoras, desde un punto de vista organizativo y operativo. Como se ha mencionado anteriormente, hemos desarrollado un medio para organizar y analizar una proporción bastante grande y manejable de los proyectos del componente operativo mediante el proceso de "embudo".

En el componente organizativo, confiamos en que el marco que hemos adaptado nos permitirá realizar la evaluación de la mejor manera posible, considerando el tiempo y los recursos disponibles. En ambos casos, a estas herramientas y métodos debemos sumar también las competencias y la experiencia del equipo, que entran en juego a la hora de reunir las dimensiones organizativas y operativas. En aquellos casos en los que el "informe de progreso" no consiga llevar a cabo una evaluación definitiva, calibrará la solidez de los hallazgos y recomendaciones para cada pregunta en función de la solidez de las pruebas y ofrecerá opciones cuando no exista una respuesta única.



79 1. En mi opinión se debería desarrollar más el plan de trabajo. Se podría organizar en función de los productos finales (o pasos principales) del proceso de la evaluación y asignar las responsabilidades a los miembros del equipo de acuerdo con estos productos finales 2. Se necesitan más datos sobre las actividades de la fase inicial. Los evaluadores son especialistas en un área geográfica y en una categoría de cliente mientras que cada uno de los productos finales es una síntesis que requiere un trabajo conjunto de los miembros y una supervisión global/un punto de vista estratégico único. ¿En qué punto se unen estos elementos?

1. No es apropiado, o incluso posible, llevar a cabo la sugerencia de detallar aún más el plan de trabajo del equipo durante la fase inicial. En el momento en que se dé luz verde a este informe inicial, será la responsabilidad profesional del equipo desarrollar en detalle los instrumentos necesarios, las tareas para cada uno de los miembros, etc., que figuran en el proyecto, lo que supone un conjunto de tareas muy exigentes en un periodo de tiempo muy corto (entre el 30 de octubre y la salida de los miembros del equipo a la misión programada para noviembre). Puesto que la EMU es la unidad que gestiona la evaluación, podrá disponer de este material más detallado a medida que se vaya completando, o en el caso de que necesitemos su ayuda nos pondremos en contacto con ellos.

2. Estas preguntas ya se han contestado en las preguntas 13 y 19 más arriba.


Anexo I 1. Añadir en B1: Capacidad para diseñar y realizar las actividades bajo una perspectiva única y coordinada. (Quizá no sea el lugar adecuado para hablar sobre este asunto pero creo que es importante que esté ya que, de acuerdo con las conclusiones de la evaluación previa, se trata de una dimensión crucial). 2. En C2, añadir movilidad interna como una dimensión adicional para la retención, contratación, etc.

1. Sí, este punto está implícito en B1 pero se puede poner de forma explícita. Véase también la respuesta 23 (2) más adelante.

2. Sí, se podría incluir la movilidad interna, no obstante debemos reiterar que no todas las dimensiones se pueden tratar de forma exhaustiva en este informe (véase el debate sobre el riesgo 1).


Anexo 2 1. ¿Cómo se relacionan los hallazgos de la matriz 2 con los datos recopilados mediante el proceso de "embudo", en particular la revisión de la cartera completa, los 60 estudios de proyecto y los 24 estudios de carteras regionales/nacionales? 2. Creo que los indicadores del último logro esperado (?) "actuación general integrada" necesitan mucho desarrollo. Las evaluaciones previas indican de forma sistemática que el valor para los beneficiarios se ve obstaculizado por la falta de perspectiva estratégica en el diseño y durante la ejecución, y porque no existe un seguimiento.

En el caso de que el informe inicial no sea lo suficientemente claro en lo que respecta a todos estos puntos, integraremos algunos puntos más a modo de aclaración.

1. En la parte más ancha del embudo, la revisión de la cartera completa, realizada a través de investigaciones documentales y estadísticas, y consultas con la sede en cuestión, habrá trazado perfiles completos de toda la cartera de proyectos del ITC llevados a cabo en este periodo, así como patrones y tendencias en materia de financiación, uso, distribución y disponibilidad de información de los resultados (organizados siguiendo las tres áreas de "logros esperados" del ITC que figuran en la matriz II).

En la parte intermedia del embudo, siguiendo la misma estructura y un formato de informes estandarizado, la muestra representativa de


los 24 estudios de cartera más detallados se centrarán en tres proyectos diferentes de cada cartera (aplicando la técnica "guión gráfico" a una entrevista o cuestionario). Suponiendo que todos generarán resultados, obtendremos 72 (más que 60) casos de proyectos, a los que se sumarán los 20 guiones gráficos de la fase inicial.

Finalmente, entre las 24 carteras de países, y aún siguiendo la misma estructura, los siete estudios de caso nacionales (distribuidos tanto entre regiones como entre tipos de programas) servirán para generar conclusiones, en la parte más estrecha del embudo, que se basen de forma más profunda en las experiencias concretas de los proyectos y de sus beneficiarios previstos dentro del contexto de sus propios países.

Tras esto, se llevará a cabo un proceso de triangulación y síntesis para comparar los resultados de los tres niveles, una vez más mediante el uso de la misma matriz. Mientras que los datos globales del Centro recogidos a nivel de sede deben servir para alcanzar objetivos más amplios de gestión y rendición de cuentas, los hallazgos de los niveles más bajos servirán para verificar dichos datos a través de un análisis "ascendente".

2. Aunque no se trate de un área de "logros esperados" específicamente, la evaluación de la "actuación general integrada" se ha incluido como uno de los asuntos principales de la matriz debido a la importancia que se dio a este tema en evaluaciones previas y en las conclusiones del equipo durante la fase inicial. El enfoque que se da a la evaluación en esta área se ha dejado abierto a propósito porque será en gran medida una tarea para llegar a conclusiones y sintetizar los hallazgos de las tres áreas, así como los hallazgos de la evaluación organizativa. Los indicadores de las otras tres áreas y de la matriz I proporcionarán pruebas, y otras explicaciones, para cada una de las cuestiones que aparecen en forma de hipótesis en este comentario, sin pretender hacer ningún prejuicio.


23 25.10.13 Kebur Azbaha, Primer Secretario, Comercio y Desarrollo, Misión Permanente del Reino Unido en Ginebra ([email protected] )

Resumen ejecutivo, página v, segundo párrafo.

Estoy de acuerdo con su objetivo de producir un "informe de progreso simplificado" que cubra el periodo 2006-2012. Sin embargo, deberíamos asegurarnos de que en nuestro esfuerzo por ser más "simples" no nos olvidemos de incluir en el informe final las respuestas a todas las preguntas clave que figuran en los términos de referencia.

En este informe de progreso, la interpretación del equilibrio entre la simpleza y brevedad, por un lado, y la exhaustividad, por otro, se establece claramente en el riesgo y en la estrategia de mitigación 1 de la tabla 4. Los límites los establecen el tiempo y los recursos disponibles para el ejercicio, y los términos de referencia y el presupuesto difieren claramente de la experiencia de 2005-2006.


Resumen ejecutivo, página v,

quinto párrafo.

La evaluación de los aspectos de gestión y organización, así como de la "reforma de la gestión de cambio" del ITC desde el 2006, será crucial para ayudar a definir la dirección estratégica del ITC para los próximos 5-8 años. Será importante hacer frente a los problemas de forma directa y objetiva, destacando qué funciona bien y qué funciona mal en la estructura de gestión y gobierno actual. Esperamos que pueda ofrecer recomendaciones específicas y personalizadas en cuanto a las mejoras que se podrían realizar para asegurar que el ITC continúe siendo una agencia eficaz y eficiente para sus beneficiarios finales (las PYME y las personas de los países en desarrollo).

Sí, como se refleja en la matriz 1, la evaluación de los aspectos de gestión y organización del ITC, así como los importantes resultados en materia de cambio desde el 2006, forman una parte clave de nuestro mandato y es una de las áreas fundamentales para las conclusiones y recomendaciones de la evaluación.


Resumen ejecutivo, página vi,

tercer párrafo.

El modelo de "embudo", utilizado para escoger qué programas, proyectos y países se van a evaluar, es un método de selección minucioso que proporciona tanto una visión global como una mucho más detallada del desempeño del ITC. De forma complementaria, quizá quiera verificar que los programas y países que ha seleccionado para los estudios de caso realmente cubren todas las regiones donde el ITC lleva a cabo intervenciones importantes y que entre estas muestras se incluyan los más y menos exitosos. Esto se hace para identificar qué funciona y qué no funciona en las iniciativas y en los diseños del ITC, así como en los programas de ejecución y seguimiento.

Por definición ninguna muestra es totalmente exhaustiva, no obstante, nuestra estrategia de muestreo es transparente y ha sido diseñada de forma rigurosa para proporcionar una cobertura lo más representativa posible de los diversos ejes de los complejos programas del ITC. Dentro de los criterios establecidos, estamos realizando una última verificación para asegurar la mejor representación geográfica de dos de las regiones y crearemos una cobertura proporcional de la selección más detallada de proyectos dentro de las distintas áreas de productos del ITC.

No podemos asegurar que "la selección de programas/países incluya los que mejor y peor funcionan" pero sí que estamos comprometidos "a identificar lo que realmente funciona bien y lo que funciona mal en la manera en que el ITC inicia, diseña, ejecuta y evalúa sus programas".



Capítulos 1 a 3

Un buen resumen del plan de acción de la evaluación que, además, está en concordancia con los términos de referencia.

Gracias, nos alegramos de que haya quedado reflejado.


Párrafo 8, capítulo 2,

Objetivos y alcance de

la evaluación, subcapítulo

2.1

Objetivo 2 - Para el Reino Unido el elemento más importante es la evaluación de las actividades del ITC en términos de los resultados alcanzados (o no alcanzados). Necesitamos ver qué está consiguiendo el ITC con sus $EEUU 80 millones al año en términos de resultados e impactos reales en materia de desarrollo. A su vez, nos gustaría saber cuál ha sido el impacto sostenible y a largo plazo del apoyo del ITC a sus principales beneficiarios, especialmente en los países en desarrollo y en los PMA (es decir las micro, pequeñas y medianas empresas, las instituciones de apoyo al comercio, los ministerios de comercio, etc.). Sería importante que enumere el máximo número posible de resultados e impactos en materia de desarrollo en el cuerpo del informe final o, en su defecto, al final del mismo en forma de anexo. De forma específica, como parte de esta petición nos gustaría que apareciera información referente al programa Mujeres y comercio y al proyecto de investigación sobre las medidas no arancelarias.

Para el primer punto por favor lea la respuesta 3 que figura más arriba.

En lo que se refiere al "impacto sostenible y a largo plazo del apoyo del ITC a sus principales beneficiarios, especialmente en los países en desarrollo y en los PMA", la evaluación hará todo lo posible por encontrar las pruebas existentes o descubrir pruebas nuevas y, si fuera necesario, propondrá medidas para reforzar la generación de dichas pruebas para el futuro.

"Sería importante que enumere el máximo número posible de resultados e impactos en materia de desarrollo en el cuerpo del informe final o, en su defecto, al final del mismo en forma de anexo". Sí, las preguntas de la matriz buscan, de forma explícita, ejemplos y explicaciones de logros destacables, así como de casos problemáticos, siempre y cuando se puedan justificar con pruebas fiables.

"De forma específica, como parte de esta petición nos gustaría que apareciera información referente al programa Mujeres y comercio y al proyecto de investigación sobre las medidas no arancelarias". La evaluación aportará información individual sobre los dos ejemplos que propone pero tenga en cuenta que no podemos llevar a cabo evaluaciones independientes para cada una de las iniciativas.


28 Kebur Azbaha, Primer Secretario, Comercio y Desarrollo, Misión Permanente del Reino Unido en Ginebra ([email protected] )

46 En la sección de metodología ha indicado que harán uso de la técnica "guión gráfico". En términos generales, suena bien pero me gustaría que se centraran más en "evaluar" la validez de la "cadena de resultados" de proyectos específicos y en identificar hasta qué punto se cumplía la hipótesis de alcanzar los resultados/impactos esperados a través de un conjunto de aportaciones/actividades en los programas principales (es decir Mujeres y comercio y MNA). Esto nos ayudaría a realizar ajustes durante las actividades de seguimiento en aquellos casos en los que la hipótesis inicial se sigue manteniendo.

Sí, inicialmente esta técnica era esencial para comprender el funcionamiento de los ciclos de vida de los diferentes productos y proyectos del ITC, y en parte sigue siendo necesaria. No obstante, como se ha mencionado anteriormente, las herramientas para evaluar los proyectos se están ajustando y reflejarán de forma más clara una evaluación estandarizada de la cadena de resultados y del desempeño del proyecto en comparación con los resultados esperados.


Recuadro 1, páginas 3 -4

Es interesante ver que van a comparar el desempeño del ITC con el de agencias de apoyo al comercio similares. Realmente apruebo este esfuerzo. Comparar de forma objetiva el desempeño del Centro con el de sus competidores en el mercado es una buena manera de destacar las áreas donde el ITC añade valor dentro de la iniciativa mundial de la Ayuda para el comercio.

Sí, creemos que una parte esencial de nuestro mandato es comparar de forma objetiva el desempeño del ITC con el de sus competidores en el mercado, ya que es una buena forma de destacar dónde se encuentra el valor añadido del ITC en esta iniciativa mundial de Ayuda para el comercio. Para esto deberemos considerar los diferentes mandatos y auspicios de nuestros competidores y, a pesar de no tratarse de una tarea fácil, el equipo está preparado para poner en práctica sus conocimientos y su experiencia personal.

30 25.10.13 Claudia Uribe, Jefa de la Oficina de América Latina y el Caribe del ITC ([email protected])

7 Objetivo 1. Cambios desde el 2006. Aquí también se podría incluir una cuestión adicional, como las oficinas/la presencia del ITC sobre el terreno y, en especial, la oficina en México. La apertura de la oficina de México se basó en la evaluación "danesa" del ITC de 2006, que recomendó encarecidamente que el Centro aumentara su presencia sobre el terreno, con el fin de poder evaluar mejor las necesidades de los clientes y optimizar la eficacia. La oficina de México abrió sus puertas a finales de 2007 y se estableció como un proyecto piloto para descentralizar el trabajo de la sede de Ginebra y realizar más trabajos sobre el terreno. Actualmente, esta oficina es la única oficina del ITC sobre el terreno que no está asociada con la ejecución de algún proyecto. Finalmente, en el recuadro 1 también se podría hacer referencia a la oficina de México.

Sí, definitivamente consideraremos la experiencia con la oficina de México en la evaluación y se mencionará en la versión final del informe inicial. Representa tanto uno de los cambios realizados desde el 2006 como un elemento de la visión global de la organización y gestión del ITC, en la medida en que el reto es estar cerca de sus clientes y responder a sus necesidades a nivel mundial, regional y nacional. No es posible llevar a cabo una evaluación completa de esta experiencia pero al equipo le resultaría extremadamente útil tener acceso a las copias de uno o dos documentos originales que especifiquen la motivación, las expectativas y los criterios definidos para evaluar la oficina de México como proyecto piloto de descentralización.



52. Recuadro 3

Variables especificadas en los términos de referencia del ITC: Países de ingresos medios y economías emergentes Oficinas sobre el terreno

Sí, el "nivel de desarrollo de los países" se encontraba entre los criterios originales y, en consulta con el ITC, se definió como la cobertura de los distintos niveles de la muestra y esto se refleja en la selección final. Esta información se ha añadido al recuadro 3.

Las "oficinas sobre el terreno" no se mencionaron como un criterio, aunque para la selección se tuvieron en cuenta países con y sin unidades de apoyo a los proyectos.


54. Tabla 2. Haití. Es el único PMA de la región. Sin embargo, los proyectos para este país se encuentran en un estado de planificación y los últimos se ejecutaron en 2008. Perú está bien. Uruguay es otro de los países de Sudamérica que está bien pero la evaluación podría considerar cambiar este país por México o Jamaica.

Véase la respuesta 4 sobre la selección de países de América Latina y el Caribe El hecho de que Haití cuente con proyectos pero que estos aún estén en un estado de planificación no queda muy claro. No obstante, quizá nos sea una razón para descalificar al país como un caso de estudio ya que brinda una oportunidad para estudiar las funciones que se llevan a cabo en la fase de planificación.

Perú ofrecerá un estudio de cartera grande y bien documentado.

Para cambiar el caso de Uruguay por México o Jamaica deberíamos contar con una razón específica.

33 25.10.13 Zorica Maric Djordjevic, Representante Permanente de Montenegro ante la OMC y Embajadora de ACNUR ([email protected])

General Quisiera elogiar la calidad del informe inicial de la evaluación independiente del ITC. Apoyamos su selección de países para la región EOAC, sin embargo, nos gustaría que nos explicara por qué no se llevará a cabo ninguna misión a esta región.

Gracias por apreciar nuestro enfoque. Respecto a la pregunta sobre la misión nacional, puede dirigirse a las respuestas 5 y 8 anteriores.

34 25.10.13 Katja Karppinen-Njock, Primera Secretaria, Misión permanente de Finlandia ([email protected])

9 Quisiéramos dirigir su atención al párrafo 9, en la página 2, donde la orientación a los resultados se describe como reciente. La gestión basada en los resultados se introdujo en el programa del ITC hace años. Por tanto, nos gustaría que la evaluación estudiase si los sistemas de gestión basada en los resultados siguen siendo apropiados, es decir, si permitirán medir los impactos en el futuro. En caso negativo, la evaluación debería proporcionar recomendaciones sobre la orientación a los resultados.

Sí, la evaluación estudiará si los sistemas actuales de gestión basada en los resultados son apropiados, desde un punto de vista ascendente (a través de la matriz 2) y descendente (matriz 1). Además, incluirá una evaluación de las perspectivas para medir los impactos en el futuro y ofrecerá recomendaciones pertinentes en referencia a la orientación a los resultados.


35 25.10.13 M. Williams, Embajadora, Barbados ([email protected])

General El informe inicial muestra que la evaluación será bastante extensa y completa, y el diseño parece meditado. ¿Han considerado si es posible que tenga un impacto sobre las tareas actuales? ¿O las recomendaciones solo se traducirán en acciones una vez se haya llegado a una conclusión y tomado la decisión de ponerlas en práctica?

Gracias por apreciar nuestro enfoque. Sí, hemos previsto que existan momentos para comentarios y diálogos en puntos específicos de la evaluación, que permitan al ITC actuar sobre los hallazgos que vayan surgiendo sin tener que esperar al borrador o a la versión final de los informes.


19-21 ¿Puede explicar cómo encajan los principios rectores, la utilidad, la credibilidad y la independencia con el enfoque de la GBR, teniendo en cuenta que los resultados son la base de este enfoque? ¿Aplican un sistema de ponderación o se trata de un enfoque de juicio?

Los principios rectores de la utilidad, credibilidad e independencia de la evaluación son coherentes con un enfoque sobre la evaluación de los resultados. Debido a su estructura, la evaluación ha intentado apoyar y probar de forma explícita la orientación a los resultados del ITC, diseñando la matriz operativa II en torno a los logros esperados, tal como se define en el marco de resultados aprobado.


66-68 Es posible que muchos de los beneficiarios sobre el terreno no tengan acceso a sistemas sofisticados de tecnología moderna que les permitan interactuar de forma eficaz con el resto del equipo. ¿Cómo van a afrontar este problema? ¿O la interacción es solo entre los oficiales?

Va a ser un verdadero reto llegar a todos los beneficiarios (y beneficiarios potenciales) sobre el terreno y el informe inicial menciona algunos esfuerzos especiales que se han planificado para identificarlos y llegar a ellos. Será necesario llevar a cabo encuestas y el equipo elaborará encuestas tanto manuales como electrónicas como se ha hecho en otras ocasiones.

38 25.10.13 Yuen Ching Ho, Jefa de la Unidad de Evaluación y Supervisión de la Conferencia de las Naciones Unidas sobre Comercio y Desarrollo (UNCTAD) ([email protected])

10 El informe menciona "la dificultad para identificar y categorizar las numerosas y dispersas líneas de productos del ITC" pero no indica que la evaluación vaya a buscar el trasfondo de esto. ¿En qué medida se relacionan los objetivos oficiales/el mandato del ITC con lo que realmente hace? Creemos que sería importante saberlo para realizar un buen análisis del último elemento del objetivo 3, que podría ser de ayuda para abordar las superposiciones y la dispersión de los conocimientos y recursos del ITC.

La dificultad de "identificar y categorizar las numerosas y dispersas líneas de productos del ITC" se menciona en el informe inicial como uno de los desafíos a la hora de diseñar y realizar la evaluación. Es una mera constatación de un hecho, basada en una larga experiencia comparativa, y no implica ningún prejuicio de si es un problema para el ITC y sus numerosas contribuciones o si refleja un enfoque distintivo motivado por una justificación sólida. Desde luego que la evaluación buscará las razones, dentro del contexto de su mandato y de la evolución de la Ayuda para el Comercio, de nuevo sin ningún tipo de prejuicio sobre las "superposiciones de su trabajo" o la "dispersión de sus conocimientos y recursos".



18d Proponemos insertar una referencia a las organizaciones matrices/asociadas cuando hable sobre las "partes interesadas clave". Por consiguiente: "como parte de lo anterior, poner en práctica una metodología consultora y participativa, incluyendo las entrevistas a las partes interesadas claves (es decir: los beneficiarios, en particular las instituciones de apoyo al comercio y empresas privadas del campo, los donantes, los empleados y la Dirección del ITC, así como las organizaciones matrices del ITC)".

Hecho. Las organizaciones matrices y asociadas del ITC se deberían haber incluido en la lista al igual que se han incluido en las demás partes. Cambiado.


Anexo I, A2 La matriz menciona esto de forma muy general, sin embargo, nos gustaría destacar la necesidad de examinar la identidad y posición actual y futura del ITC dentro del sistema de las Naciones Unidas, así como su unión con la UNCTAD y la OMC, y lo que esto significa para todas las entidades mencionadas.

Como refleja su comentario, el equipo ha planificado examinar la identidad y posición actual y futura del ITC dentro del sistema de las Naciones Unidas, su unión con la UNCTAD y la OMC, así como aspectos más amplios de la Ayuda para el comercio, y las consecuencias resultantes. Tomamos nota de la insistencia en la UNCTAD en este punto.


Anexo I, B3 1. Con referencia a las normas y los procedimientos de la ONU sobre los RRHH, proponemos insertar "eficacia y eficiencia". Por consiguiente: "función, eficacia y eficiencia de las normas y los procedimientos de la ONU en la planificación, las políticas y los procedimientos de los recursos humanos del ITC"; 2. Asimismo, creemos que la función de las organizaciones matrices en materia de RRHH y la delegación de la autoridad de la Oficina de Gestión de los Recursos Humanos de la Secretaría de las Naciones Unidas merecen ser examinadas en el contexto de las necesidades organizativas y el modelo empresarial del ITC; 3. Creemos que en la columna "Fuentes principales" las entrevistas con la UNCTAD, la OMC y el Servicio de Políticas de la Oficina de Gestión de Recursos Humanos de la Secretaría de las Naciones Unidas son esenciales para aportar información para la evaluación.

Apreciamos sus comentarios y los tendremos en cuenta durante la fase de ejecución de la evaluación, teniendo en cuenta, una vez más, que la evaluación no puede ser la respuesta definitiva a todos los asuntos, especialmente a aquellos que van más allá del ámbito del ITC.



Anexo I, B8 Creemos que también es necesario incluir las entrevistas con la UNCTAD en la columna "Fuentes principales", a fin de aportar información sobre este tema, y especialmente si tenemos en cuenta nuestra función clave en el Grupo Interinstitucional sobre Comercio y Capacidad Productiva. Puede obtener información sobre el trabajo del Grupo en el siguiente enlace: http://unctad.org/en/Pages/TC/TC_United-Nations-Inter-Agency-Cluster.aspx (disponible en inglés/francés)

Sí, en este resumen la UNCTAD se ha incluido dentro de "Naciones Unidas", pero se podría nombrar de forma específica en otro apartado del documento. Cambiado. Se tendrán en cuenta las implicaciones del Grupo Interinstitucional de las Naciones Unidas.


Anexo I, D1 En la columna "Fuentes principales", se considera entrevistar a los empleados del ITC pero quizá las partes interesadas externas también podrían ser de ayuda a la hora de proporcionar información para la evaluación en relación con la eficacia del marco de rendición de cuentas y de los productos del ITC.

Gracias, desde luego que en relación con la calidad y la función de estos sistemas de rendición de cuentas, también se deberían entrevistar a las partes interesadas que desempeñan funciones de gobierno. En cuanto a la eficacia de los productos, nos centraremos en consultar a los beneficiarios de los mismos. Hecho.


Anexo I, D3 En la columna "Fuentes principales", se considera entrevistar a las partes interesadas externas pero quizá la Dirección del ITC y los empleados pertinentes serían una mejor opción para proporcionar información sobre este tema.

Creemos que ambos son necesarios, así como otras fuentes informadas sobre las necesidades y prioridades de la Ayuda para el Comercio. Sí, de nuevo; nuestra atención primordial se prestará a las conclusiones de los análisis de carteras y de las evaluaciones estructuradas de los beneficiarios previstos, es decir, al trabajo de la matriz 1. Hecho.

45 25.10.13 Elena Boutrimova, Jefa de la OEECA/DCP del ITC ([email protected])

51/Tabla 1 No se prevé ninguna misión a la región EOAC mientras que tienen planificada al menos una misión para el resto de regiones. ¿Por qué?

Véase la respuesta 8 más arriba referente a las limitaciones

presupuestarias y lingüísticas. Aun insistiendo en que las misiones

nacionales tienen una función limitada, estamos de acuerdo con que

existe el riesgo de que la evaluación no haga justicia a algunos

elementos únicos que presenta el trabajo con países postsoviéticos.

Ustedes mismos nos informaron de que los programas de Kirguistán

y Tayikistán fueron evaluados recientemente para el donante y esto

proporcionará información adicional que será útil para el equipo.

Añadir una misión a esta región supondría un presupuesto adicional

para cubrir los días de trabajo de un miembro del equipo, además

del gasto añadido de un intérprete de ruso.


46 25.10.13 Elena Boutrimova, Jefa de la OEECA/DCP del ITC ([email protected])

53/tabla 2 No estamos de acuerdo con la selección de Turquía. El ITC no ha realizado actividades en Turquía en mucho tiempo. Además, el objetivo actual del ITC es involucrar a Turquía como donante para proyectos que el Centro quiere realizar en otros países. Por tanto, a este país no se le puede poner la etiqueta de beneficiario "tradicional" del ITC. Nuestra sugerencia es cambiar Turquía por Kirguistán o Kazajstán.

Véase la respuesta 5 más arriba.

La selección de Turquía se basó en la información de la que disponemos y esta dice que hay proyectos activos en el país. Tras volver a comprobar esta información con ustedes, hemos decidido reemplazar a Turquía por Tayikistán, ya que este país también cumplía con el umbral. Es interesante saber que el ITC quiere involucrar a Turquía como donante para los proyectos que el ITC quiere llevar a cabo en otros países; la evaluación estudiará esta perspectiva en más profundidad, en relación con Turquía y otros países.

47 26.10.13 Stephan Blanc, Jefe de la Sección de Servicios de Información Comercial ([email protected])

Página v ¿Nos podría explicar a qué se refiere con: "...la evaluación realizará algunas "adaptaciones creativas" que se ajusten a las particulares necesidades del ITC? (Página v del resumen ejecutivo). ¿Qué tiene de especial el ITC para que tengan que realizar adaptaciones creativas? ¿Cuáles son estas adaptaciones creativas?

Las respuestas a esta pregunta tan sustancial están indicadas en el borrador del informe y podrían llevar a un debate más extenso sobre la metodología, no obstante, aquí tiene algunos ejemplos:

i. La combinación entre una evaluación de la organización/gestión y

de las operaciones que está reflejada en los términos de referencia;

por tanto, la adaptación del marco de la evaluación de la

organización al ITC.

ii. Los requisitos para combinar el análisis de los productos con la

evaluación geográfica; por tanto, la estrategia de muestreo de

"embudo" y la información desde las distintas perspectivas.

iii. La comprensión de la gran variedad de proyectos y procesos

propios del ITC: Una técnica que ya ha sido desarrollada y probada

consiste en reconstruir los diferentes "guiones" estructurados en

torno a los distintos productos y proyectos del ITC.


Anexo I, página 31

(columa de la izquierda -

Aspectos principales)

Mencionan la revisión de los sistemas y procesos administrativos y las funciones de ayuda interna del ITC (RRHH, finanzas), además de nuestros proyectos/programas de TRTA. Nos podrían explicar en qué consiste la evaluación, en términos de eficacia y eficiencia, de áreas como nuestros mecanismos de revisión y aprobación de la Sección jurídica o financiera, los procesos de contratación de RRHH, los procesos de seguimiento del Grupo de Planificación Estratégica, los procesos de seguimiento de la SPPG y el enfoque propio del ITC al análisis de la evaluación y de los impactos.

Como se menciona en las presentaciones del informe inicial, el Informe y en la respuesta al DFID (comentario nº 25), esta evaluación de progreso tendrá en cuenta todas las cuestiones de la matriz pero no podrá realizar análisis exhaustivos de todos los puntos ni ofrecer recomendaciones para cada uno de ellos.


49 Stephan Blanc, Jefe de la Sección de Servicios de Información Comercial ([email protected])

General Esta evaluación revisará, entre otros, los progresos realizados y las lecciones aprendidas desde la evaluación de 2006. ¿En qué medida tendrá en cuenta Saana el nuevo entorno de trabajo del ITC, muy diferente al de 2006, en términos de economía mundial, entorno comercial, el impacto que la recesión económica ha tenido sobre los donantes en Europa, las propias limitaciones de las Naciones Unidas (p. ej. presupuestarias), la evolución de las necesidades de los clientes, etc.? Resumiendo, el mundo ha cambiado mucho desde el 2006 y el ITC ha tenido que evolucionar para adaptarse a dicho cambio, y, por tanto, algunas de las recomendaciones de 2006 posiblemente ya no sean relevantes.

El informe claramente tiene en cuenta este nuevo entorno y nuestro equipo cuenta con amplia experiencia en cada una de estas áreas. No pretendemos realizar simplemente un seguimiento rígido de la evaluación de 2006.


General ¿La evaluación examinará los nuevos resultados corporativos del ITC, así como sus indicadores y objetivos, especialmente el proceso para definirlos de forma interna y de comunicarlos a Nueva York?

Sí.


General ¿En qué manera asegurará el equipo de evaluación la confidencialidad de la información procedente de los proyectos individuales/visitas sobre el terreno?

Contamos con la experiencia, las competencias, los sistemas y los compromisos éticos suficientes para asegurar la confidencialidad.


General ¿El equipo puede compartir los comentarios que ha recibido sobre el informe inicial con los empleados del ITC?

Sí, a través de la EMU.

53 26.10.13 Hanna Bucher, Experta Asociada de la División de Desarrollo de Mercados ([email protected])

Página v ¿A qué se refieren con "adaptaciones creativas"? ¿Nos podrían dar ejemplos?

Véase la pregunta 48 más arriba.



9 ¿Cómo de exhaustiva será la "comprobación de los vínculos plausibles entre las intervenciones del ITC y los cambios en materia de desarrollo" y cuánto tiempo invertirá el equipo en esto? En el ITC hay varias personas que llevan trabajando en el desarrollo de metodologías para la evaluación del impacto durante probablemente más de un año. ¿Sería posible que el equipo proporcionase más información sobre la metodología y sobre el principio de "precaución rigurosa" al personal interesado?

El equipo llevará a cabo su examen independiente a través del análisis, de los enfoques metodológicos y de las autoridades mencionadas en el informe, y, además, empleará su propia experiencia en la gestión de este tipo de problemas; experiencia que quedó reflejada en la premiada evaluación de la Declaración de París. Asimismo, examinará el trabajo sobre la evaluación del impacto que se está realizando de forma interna. Creemos que nuestra argumentación y nuestro compromiso de actuar con una precaución rigurosa en cuanto al establecimiento de impactos son claros.


10 "Las recomendaciones, los consejos... se basarán en modelos pertinentes y en evaluaciones comparativas con otras organizaciones de características similares, siempre que sea posible...", ¿a qué organizaciones se refiere?

Aún no se ha decidido.


Recuadro 1 "El ITC, a pesar de ser una organización pequeña, cuenta con una gama muy amplia y compleja de más de 50 productos y servicios"/pág. 10 párrafo 23 "han revelado algunas complejidades únicas sobre el ITC y sus distintas actividades, especialmente si consideramos que se trata de un programa relativamente pequeño" pág. 2 párrafo 9 "La fase inicial ha señalado el hecho de que la gama de productos y proyectos del ITC es compleja y difusa, y que los sistemas actuales del ITC tienen una capacidad limitada para proporcionar información clara sobre los resultados de las actividades del Centro": el informe menciona en numerosas ocasiones el gran número de productos y servicios del ITC y generalmente lo hace utilizando términos que llevan a pensar que el equipo considera que son demasiados y que no siempre son coherentes. Recomendaría que el equipo no haga este tipo de prejuicios por las siguientes razones:

1. Es posible que los productos y servicios no se entiendan bien cuando se sacan de contexto; en el caso de nuestra división, por ejemplo, se nos pidió que entregásemos una lista de todos los productos y

Véase la respuesta a la pregunta 39 más arriba.


servicios (sin sus informes estratégicos que son los que proporcionan su objetivo estratégico y la orientación a los resultados).

2. Como figura en el informe inicial (recuadro 1): "los propios clientes del ITC tienen que hacer frente a las necesidades prioritarias de asistencia técnica en materia de comercio que cambian constantemente" indicando que el ITC debe seguir innovando y actualizando sus productos y servicios para hacer frente a las necesidades de sus clientes.


43 ¿El grupo de enlace tendrá acceso a la lista de documentos que está revisando el equipo de evaluación? Esto podría ser útil para identificar posibles brechas (el grupo de enlace podría, por ejemplo, proporcionar documentos e informes adicionales cuando fuera necesario).

Sí, gracias. Actualizaremos la lista inicial y podrán comunicarnos sus propuestas a través de la EMU.


58 "…fa fin de garantizar que los hallazgos seleccionados estén fundamentados en pruebas, los revisores evaluarán tanto la calidad de las pruebas como la claridad del análisis", ¿quiénes son estos revisores?

Los revisores iniciales son los propios miembros del equipo que llevarán a cabo la revisión a través de un enfoque riguroso y probado. Posteriormente, todas las partes interesadas tendrán la oportunidad de evaluar ellos mismos el borrador del informe a partir de mediados de marzo de 2014, como se establece en el informe. La EMU, que se encarga del control de calidad, tendrá acceso al material de trabajo del equipo en el momento de la entrega.

evaluación independiente del centro de comercio internacional …€¦ · los criterios de...

Documents