banco centroamericano de integración económica...proyectos y programas del banco acorde con los...

1

Banco Centroamericano de Integración Económica

Oficina de Evaluación

2

CUESTIONARIOS Y CRITERIOS PARA EL LLENADO DE LA HERRAMIENTA I-BCIE EN LAS ETAPAS DE MEDIO TÉRMINO Y EX POST

Mecanismo de Suministro de Información de la Administración a la Oficina de Evaluación para las

Evaluaciones de Medio Término y Ex Post

1

Oficina de Evaluación (ODE)

Adscrita al Directorio

Banco Centroamericano de Integración Económica (BCIE)

Tegucigalpa, Honduras

Agosto, 2014

2

INDICE

1. Introducción 4

2. Objetivo 4

3. Alcance 4

4. Abreviaturas y términos 4

5. Definiciones 5

6. Documentación relacionada 7

7. La Evaluación de Impacto 8

7.1 La evaluación en el BCIE 10

8. Completando el Ciclo de Evaluación: alineamiento de la evaluación ex ante, medio término y

ex post a través de instrumentos secuenciales 11

8.1 Se continúa con las sectorización de los instrumentos desde ex ante hasta

medio término y ex post 11

8.2 Componentes 12 8.3 Criterios de valoración 13

8.4 Conformación global de la evaluación de impacto: el Ciclo de la Evaluación 16

8.5 Aplicación de la herramienta 18

9. Temporalidad 19 9.1 Aplicación de los cuestionarios 19

9.2 Evaluaciones de medio término 20

9.2.1 Proyectos del sector infraestructura 20

9.2.2 Proyectos del sector productivo 20

9.2.3 Operaciones del sector financiero 20

9.2.4 Beneficiarios de la intermediación 21

3

9.3 Evaluaciones ex post 21

9.3.1 Proyectos del sector infraestructura y productivo 21

9.3.2 Operaciones del sector financiero 22

9.3.3 Beneficiarios de la intermediación 22

10. Cláusulas sugeridas en los contratos de crédito 22

10.1 Proyectos infraestructura 23

10.2 Proyectos productivos y casos que no incluyen un activo tangible 23

10.3 Operaciones sector financiero 24

11. Operaciones identificadas para un tratamiento específico 25

12. Plan Anual de Evaluación (PAE): instrumento para el traslado de datos oficiales 27

13. Recolección de datos: el análisis y evolución posterior de la Oficina de Evaluación (ODE) 28

13.1 ¿Qué hará la Oficina de Evaluación (ODE) con los datos? 28

4

1. Introducción

Ante la recomendación de la Asamblea de Gobernadores de actualizar el Sistema de Evaluación de Impacto

en el Desarrollo (SEID), contenida en el Plan de Modernización aprobado mediante la Resolución No. AG-

10/2011, se aprobó la actualización del Sistema de Evaluación de Impacto en el Desarrollo mediante la

Resolución No. PRE-45/2013 del 19 de septiembre de 2013. También, como parte de las reformas del Plan

de Modernización, se creó la Oficina de Evaluación (ODE) adscrita al Directorio, y se estableció que “La ODE

es responsable de evaluar el cumplimiento de las estrategias, proyectos y programas del Banco acorde con

los principios, objetivos y normativas adoptadas por la Administración y/o aprobadas por el Directorio y por

la Asamblea de Gobernadores, que permitan verificar la efectiva contribución del Banco en el desarrollo de

sus países fundadores y beneficiarios”; aprobado por el Directorio mediante la Resolución No. DI-83/2012

de las “Responsabilidades y funciones de las gerencias, así como de las dependencias adscritas al Directorio”.

El presente documento se establece como parte del mecanismo de suministro de información de la

Administración a la Oficina de Evaluación (ODE) para las evaluaciones de medio término y ex post; a través de

este documento se proveen los cuestionarios de evaluación y los criterios para su llenado, correspondientes

a las etapas de medio término y ex post1.

2. Objetivo

El presente documento tiene como finalidad establecer los cuestionarios, indicadores y criterios para la

evaluación de medio término y ex post, explicando los componentes de los cuestionarios, la forma de

completar cada indicador por sector y subsector, y la documentación soporte requerida para sustentar la

información solicitada en el marco del Sistema de Evaluación de Impacto en el Desarrollo- SEID 1.0. 3. Alcance

Este documento establece los cuestionarios, indicadores y criterios para la evaluación de medio término y

la evaluación ex post de las intervenciones que alcancen los criterios que la Oficina de Evaluación (ODE) ha

establecido y se describen, en secciones posteriores de este documento.

4. Abreviaturas y términos

a) CAD: Comité de Asistencia para el Desarrollo

b) ECG: Evaluation Cooperation Group 1 En la aplicación/implementación de estos cuestionarios, la Administración tomará las previsiones para su funcionamiento, como los procedimientos, aplicativos, entre otros. Los cuáles serán desarrollados en coordinación con la ODE para completar el Mecanismo de Suministro de Información de la Administración a la Oficina de Evaluación para las Evaluaciones de Medio Término y Ex Post.

5

c) I-BCIE: Índice BCIE de Impacto en el Desarrollo

d) IADB: Inter-American Development Bank

e) DEG: Banco de Desarrollo Alemán

f) GPR: Calificación de Mejores Prácticas

g) IFI: Instituciones Financieras Intermediarias

h) IFID: Informe de Finalización de la Intervención de Desarrollo

i) IFNB: Instituciones Financieras No Bancarias

j) ITP: Informe de Terminación del Proyecto

k) LGC: Línea Global de Crédito

l) OECD: Organisation for Economic Co-operation and Development

m) ODE: Oficina de Evaluación

n) ODM: Objetivos de Desarrollo del Milenio

o) PAE: Plan Anual de Evaluación

p) PGI: Plan Global de Inversiones

q) SCR: Sistema de Calificación de Riesgo

r) SEID: Sistema de Evaluación de Impacto en el Desarrollo

s) TIR: Tasa Interna de Retorno

t) TIRE: Tasa Interna de Retorno Económico

u) WB: World Bank

5. Definiciones

Adicionalidad: Identifica el valor agregado que el BCIE está aportando para favorecer la implementación

de la intervención.

Administración basada en resultados: Estrategia de gestión que se centra en el desempeño y el logro de

productos, efectos e impacto.

Cadena de resultados: La secuencia causal de una intervención para el desarrollo que estipula la secuencia

necesaria para lograr los objetivos deseados, comenzando con los insumos, pasando por las actividades y

los productos, y culminando en el efecto directo, el impacto y la retroalimentación.

Contrafactual: Situación o condición que podría presentarse hipotéticamente para las personas, las

organizaciones o los grupos si no hubiera una intervención para el desarrollo como la evaluada.

Cuestionarios para levantamiento de información de medio término y ex post: Son las herramientas que

la Oficina de Evaluación (ODE) ha determinado para recopilar los datos necesarios para medir el progreso

logrado a medio término y a la finalización de las intervenciones para el desarrollo.

6

Eficacia: Medida en que se lograron o se espera lograr los objetivos de la intervención para el desarrollo,

tomando en cuenta su importancia relativa.

Eficiencia: Medida en que los recursos/insumos se han convertido económicamente en resultados.

Efecto: Cambio intencional o no intencional debido directa o indirectamente a una intervención.

Efecto directo: Representa el conjunto de resultados a mediano plazo logrados por los productos de una

intervención.

Especialista: Todo funcionario que apoye al Grupo Interdisciplinario en el análisis de intervenciones según

su especialidad, por ejemplo: Ejecutivo de Finanzas Corporativas, Especialista Sectorial, Ejecutivo de

Preinversiones, Analista de Evaluación, Supervisor, Ejecutivo de Financiamiento para las Mayorías, entre

otros.

Etapa de ejecución: Etapa que inicia con el primer desembolso y finaliza cuando los fondos BCIE se han

desembolsado en un 100%.

Evaluabilidad: Viabilidad de que puede evaluarse una actividad o un programa de manera fiable y creíble.

Evaluación de medio término: Valoración sistemática y objetiva para medir el impacto en el desarrollo

que la intervención está generando durante su ejecución, así como el análisis que permita proponer las

acciones necesarias para canalizar la intervención hacia el nivel de impacto en el desarrollo estimado en la

evaluación ex ante.

Evaluación ex post: Valoración sistemática y objetiva de una intervención para el desarrollo ya concluida

con el fin de medir el impacto logrado.

Ficha de Utilización de Recursos (F1): Archivo de Excel que contiene la información que debe ser completada

y entregada en forma electrónica por las IFI para justificar los desembolsos otorgados por el BCIE, a fin de

conocer el destino y uso de los recursos canalizados en forma intermediada y generar estadísticas en las

diferentes áreas de desarrollo atendidas a través del sector financiero de la región.

Impacto: Efecto de largo plazo positivo y negativo, primario y secundario, producido directa o indirectamente

por una intervención para el desarrollo, intencionalmente o no.

Índice I-BCIE: Índice BCIE de impacto en el desarrollo de cada intervención que se implementa a través de

cuestionarios compuestos por preguntas cuantitativas y cualitativas que en conjunto indican el aporte del

BCIE al desarrollo de los países de la región centroamericana.

7

Insumos: Recursos financieros, humanos y materiales empleados en una intervención para el desarrollo.

Intervenciones para el desarrollo: Es la ejecución de programas y proyectos, líneas globales de crédito, y

todos los productos y servicios que el BCIE ejecute para promover la integración económica y cualquier otro

medio para impactar en el desarrollo económico y social equilibrado de los países.

Meta: Objetivo global hacia el cual se prevé que contribuya una intervención para el desarrollo.

Objetivo de desarrollo: Impacto intencional esperado que contribuye a generar beneficios físicos,

financieros, institucionales, sociales, ambientales o de otra índole a una sociedad, comunidad o un grupo

de personas mediante una o más intervenciones para el desarrollo.

Oficina de Evaluación (ODE): Es la dependencia responsable de evaluar el cumplimiento de las estrategias,

proyectos y programas del Banco acorde con los principios, objetivos y normativas adoptadas por la

Administración y/o aprobadas por el Directorio y por la Asamblea de Gobernadores, que permitan verificar

la efectiva contribución del Banco en el desarrollo de sus países fundadores y beneficiarios.

Plan Anual de Evaluación (PAE): Es el instrumento de planificación anual de la Oficina de Evaluación, cuyo

objetivo es identificar las principales estrategias, proyectos, programas y actividades a evaluar, así como, en

caso de existir, nuevas iniciativas a implementar.

Producto: Comprende los productos, los bienes de capital y los servicios que resultan de una intervención

para el desarrollo; puede incluir también los cambios resultantes de la intervención que son pertinentes

para el logro de los efectos directos.

Resultado: Producto, efecto o impacto (intencional o no, positivo y/o negativo) de una intervención para el

desarrollo.

6. Documentación relacionada

• PRE-90/2009: Aprueba el Sistema de Evaluación de Impacto en el Desarrollo (SEID).

• DI-142/2012: Diseño Conceptual del Ciclo de Proyectos y su implementación.

• PRE-45/2013: Actualización del Sistema de Evaluación de Impacto en el Desarrollo- SEID 1.0.

• DI-141/2013: Reglamento de la Oficina de Evaluación.

• DI-13/2014: Plan Anual de Evaluación (PAE) de la Oficina de Evaluación (ODE) para el ejercicio 2014.

• Manual para la Aplicación de la Metodología de Evaluación I-BCIE (MN-STAFF-OEJ-03).

• Instructivo de la Ficha de Justificación (F1). Enero 2014.

8

7. La Evaluación de Impacto

La evaluación de impacto tiene como propósito determinar si una intervención en el desarrollo (usualmente

denominados proyectos o programas) produjo los efectos deseados en las personas, hogares, comunidades,

economía nacional, sector industrial e instituciones para los cuales el mismo fue establecido2. A través de la

evaluación de impacto se realiza una estimación cuantitativa y un análisis cualitativo de los beneficios y se

evalúa si son atribuibles a la intervención en el desarrollo.

Es muy común encontrar preguntas generadoras para la evaluación de impacto de una intervención,

como ser: ¿Cuál es el problema que la intervención busca resolver en la población, comunidad o país

donde se quiere realizar?; ¿Cuál fue el efecto real de la intervención sobre los beneficiarios previstos por

la intervención?; ¿Los beneficios encontrados son los que la intervención esperaba lograr o son diferentes

a los originalmente esperados?; ¿Los efectos logrados son positivos o son negativos?; finalmente ¿Qué

efectos son consecuencia atribuible a la intervención y porque?; y ¿Se justifica la intervención con los costos

que representa?.

Para responder lo anterior, la evaluación de impacto estudia ampliamente dos criterios3 de uso generalizado

que son la eficacia y la eficiencia. El Comité de Asistencia para el Desarrollo (CAD) de la OECD define eficacia

como “la medida en que se lograron o se espera lograr los objetivos de la intervención para el desarrollo,

tomando en cuenta su importancia relativa”, lo que representa medir en qué medida se alcanzaron los

objetivos buscados (se mide el logro de objetivos, sin considerar el costo); mientras que la eficiencia la define

como la “medida en que los recursos/insumos (fondos, tiempo, etc.) se han convertido económicamente en

resultados”, es decir, típicamente mide a que costos y tiempo se alcanzaron los resultados.

Una evaluación de impacto debe identificar con claridad las relaciones causa efecto entre la intervención

y los resultados esperados (si es ex ante) y obtenidos (si es ex post), ya que pueden existir factores ajenos

a la intervención, que ocurran durante el mismo período, que expliquen los resultados observados (esto

es usualmente conocido como atribuibilidad). Cabe señalar que para acompañar la transformación de

los insumos en resultados, se creó la evaluación de medio término que permite ver el progreso en dicha

transformación. En la administración del desarrollo, sobre todo en las últimas dos décadas, se ha iniciado un

movimiento de la denominada administración centrada en insumos hacia la administración por resultados,

en esta última la evaluación de impacto juega un rol muy importante. Los modelos de administración antes

citados tienen diferencias muy significativas; mientras la evaluación centrada en insumos se enfoca en

conseguir la asignación de los recursos presupuestarios y en garantizar la inversión asumiendo una relación

determinística del insumo para generar el producto y el impacto; por su parte, la evaluación por resultados

prioriza los efectos que generan las intervenciones y evalúa para verificar y probar la hipótesis respecto al

2 Aunque a veces se encuentran resultados y beneficiarios más allá de los previstos o efectos positivos y/o negativos no previstos. 3 Existen criterios de Pertinencia, Confiabilidad, Independencia, Aplicabilidad, Utilidad y Apropiación que la Evaluación en toda institución debe reunir. En el caso del BCIE se han incluido como parte de la actualización del Sistema de Evaluación de Impacto en el Desarrollo SEID 1.0, derivada de las reformas del Plan de Modernización y expuestos en el documento institucional “Valoración Externa Independiente de la Metodología y Aplicación del Sistema de Evaluación de Impacto en el Desarrollo: Análisis basado en el I-BCIE”, documento en base documental ODE.

9

modelo insumo–producto, y causa–efecto. Ejemplo: mientras una iniciativa contra la desnutrición, centrada

en insumos, se enfocaría en conseguir la asignación presupuestaria de mayores raciones de alimentos; la

administración por resultados mediría las tasas de desnutrición y buscaría bajar las tasas de desnutrición

(eficacia) con el uso óptimo de las raciones de alimentos (eficiencia).

El modelo de administración por resultados estudia y custodia la secuencia causal entre insumos y resultados

para determinar la eficiencia y eficacia de la intervención en el logro de los objetivos encomendados.

Para lograrlo se apoya en la evaluación de impacto que se puede demostrar a través de la Cadena de

Resultados ilustrados en la Figura 1. En la misma se puede observar que la asignación y transformación

de los insumos (recursos) conduce a la obtención de productos, y que, en función de la cantidad, calidad,

oportunidad y pertinencia de los productos, se generarán los efectos propuestos. Este enfoque, también

conocido como análisis de lógica vertical, ha sido incorporado en el Sistema de Evaluación de Impacto en

el Desarrollo del BCIE (SEID), a través de la puesta en marcha del I-BCIE 1.0, derivado de las reformas del

Plan de Modernización. La evaluación ex ante se encuentra en operación completa, y a través del presente

documento se han diseñado los instrumentos requeridos para implementar la evaluación de medio término

y ex post.

Figura 1 - Cadena de Resultados para la Evaluación

Administración del

Resultado

Enfoque

Insumo

RESULTADO

PRODUCTO

INSUMO

Efectos de largo plazo

Operación: evaluación ex post en el BCIE

Efectos de mediano plazo

Efectos de corto plazo

Servicios o productos

Proceso de transformación de

insumos (Ejecución: evaluación medio término en el BCIE)

Presupuesto (Preparación- Análisis-Aprobación: e v a l u a c i ó n ex ante en el

BCIE)

Impacto

Efectos Directos

Efectos de la intervención

Fuente: Elaboración ODE con base en la Cadena de Resultados de la Comisión Económica para América Latina y el Caribe (CEPAL).

10

7.1 La evaluación en el BCIE

La evaluación en el BCIE durante los últimos cinco años, así como el presente mecanismo, está basada en

la medición “Antes versus Después”4, la misma proviene de una adaptación de la metodología GPR de la

DEG de Alemania; se adaptó en su primera generación en el BCIE en los años 2009-2013 y, derivado de

las reformas del Plan de Modernización, se llevó a cabo su actualización en el año 2013 (SEID 1.0). Esta

actualización incluye su extensión hasta la implementación de la evaluación de medio término y ex post

(razón de ser del presente mecanismo); la metodología consiste en seguir la cadena de resultados, a partir de

los objetivos de desarrollo inicialmente planteados (ex ante), para luego medir y verificar la transformación

de los insumos en productos (medio término) y cuantificar los efectos resultantes a partir de los productos

– ex post (ver Figura 1). Según la OECD, el Banco Mundial y el Evaluation Cooperation Group (ECG), la

evaluación “Antes versus Después” es una alternativa para cuantificar impactos. La evaluación “Antes

versus Después”, como toda evaluación, debe tener el cuidado que no caer en sesgos de atribuibilidad;

es decir, cuando existan otros factores (ajenos a la intervención) que causaron el cambio en el desarrollo,

se debe documentar y analizar en el informe de evaluación correspondiente, para lo cual la Oficina de

Evaluación ha diseñado los instrumentos correspondientes por sector y subsector.

Para asegurar la debida medición de la atribuibilidad se han incorporado tres nuevas categorías en los

instrumentos, estas categorías son:

• Para cada intervención se determinarán los cambios en la realidad socioeconómica local derivados

directamente de la intervención.

• Contribución sectorial de la intervención.

• Contribución de la intervención a nivel nacional.

Estas tres categorías serán investigadas para los casos a evaluar, mediante una investigación de campo con

indicadores particulares para cada caso, y así determinar el impacto en el desarrollo.

Adicionalmente a la evaluación “Antes versus Después”, de la metodología I-BCIE, la Oficina de Evaluación

(ODE) también podrá realizar evaluaciones aplicando otras metodologías de evaluación de impacto más

específicas, sin embargo más costosas, por lo que solamente serán utilizadas en casos puntuales. Las

alternativas existentes se pueden agrupar en dos categorías generales que son la evaluación a través de

diseños experimentales (aleatorios) y la evaluación a través de diseños no experimentales (no aleatorios).

Estos también son conocidos como evaluación “Con y Sin intervención”5, ya que se estima un contrafactual

(cuál hubiera sido el resultado para los participantes sino hubieran participado en la intervención) que luego

es comparada con el tratamiento (participantes de la intervención). La Oficina de Evaluación (ODE) podrá

incluir evaluaciones de este tipo en el Plan Anual de Evaluación (PAE); asegurándose de gestionar los recursos

presupuestarios para su implementación ya que los datos que se requieren para estas evaluaciones vuelven

necesaria una investigación específica que no se genera en el ciclo de proyectos institucional actual.

4 The before versus after impact measure is accepted by the OECD, ECG, IADB and WB. 5 Que también comparan antes y después a la hora de implementarse.

11

8. Completando el Ciclo de Evaluación: alineamiento de la evaluación ex ante, medio término y ex post a través de instrumentos secuenciales

Como parte de la implementación de la actualización del Sistema de Evaluación de Impacto en el Desarrollo

(SEID 1.0), para los cuales se crearon los nuevos instrumentos para la etapa ex ante, la Oficina de Evaluación

(ODE) completa el ciclo de la evaluación proponiendo los nuevos instrumentos para las evaluaciones de

medio término y ex post. De esta manera entrará en completa implementación el nuevo Índice BCIE de

Impacto en el Desarrollo (I-BCIE 1.0). Los instrumentos han sido diseñados teniendo en cuenta las mejores

prácticas del Evaluation Cooperation Group (ECG) y alineados desde que se diseñó la etapa ex ante con el

fin de evitar discrepancias de indicadores, criterios e inclusive buscando mantener uniformidad en el diseño

de cuestionarios para facilidad de aplicación por parte del usuario. Con esta secuencia de evaluación la

Oficina de Evaluación (ODE) podrá poner en práctica la Cadena de Resultados para la Evaluación ilustrada

en el Figura 1.

Se ha trabajado en seguimiento al tratamiento acordado para los instrumentos ex ante, para que los nuevos

instrumentos para medio término y ex post mantengan las siguientes características:

• Menor número de Indicadores.

• Indicadores medibles.

• Indicadores concisos.

• Indicadores pertinentes por sector.

• Mayor focalización en resultados del proyecto.

• Eliminación de redundancias.

• Obtención de indicadores macro a través de una base de datos centralizada.

• Homogenización del Componente de Efectividad Institucional entre sectores.

8.1 Se continúa con la sectorización de los instrumentos desde ex ante hasta medio término y ex post.

Los instrumentos se han diseñado considerando los sectores y subsectores más comunes en las

intervenciones que el Banco financia.

Desde la evaluación ex ante hasta la evaluación medio término y ex post se utilizarán instrumentos por

subsectores dentro de los sectores de Infraestructura, Productivo y Financiero, que pueden ser de tipo

privado, público soberano y no soberano.

12

Agronegocios,

Desarrollo Rural y

Riego

Industria

Línea Global de

Crédito (LGC)

Línea de

Contingencia de

Banco Central

Línea de Garantía

Fondo de Inversión-

Capital

Deuda Subordinada

Infr

ae

stru

ctu

ra

Pro

ductivid

ad

Finan

cie

ro

Figura 2 – Oficialización de la Sectorización de Instrumentos Secuenciales para las Etapas de Medio Término y Ex Post

Vial

Energía

Agua y Saneamiento

Salud

Educación

Puertos y

Aeropuertos

Hotel

Seguridad

Vivienda

Telecomunicaciones

Transporte

Edificaciones

8.2 Componentes

Los instrumentos para medio término y ex post están integrados por los siguientes dos componentes:

1. Componente de Resultados en el Desarrollo de la Intervención:

Este busca evaluar los efectos e impactos de la intervención considerando el objetivo de la misma, a través

de un análisis de lógica vertical que consiste en la identificación de los productos, efectos e impactos que

ésta generará. Por medio de este proceso se obtiene un Marco de Resultados de la intervención.

Este componente se subdivide en:

a. Objetivo: Impacto intencional esperado que contribuye a generar beneficios físicos, financieros,

institucionales, sociales, ambientales o de otra índole a una sociedad, comunidad o un grupo de

personas mediante la intervención para el desarrollo.

b. Productos: Determina los resultados de corto plazo que se realizan o realizaron para lograr el

objetivo.

c. Efectos: Establece los resultados que se obtienen a mediano plazo logrados por los productos de

una intervención.

d. Impactos: Efecto de largo plazo positivo y negativo, primario y secundario, producido directa o

indirectamente por la intervención para el desarrollo, intencionalmente o no.

13

2. Componente de Efectividad Institucional en el Desarrollo:

Se refiere a una lista de variables que evalúan el alineamiento estratégico de la intervención, la calidad

del diagnóstico del problema de desarrollo y sus posibles soluciones, su grado de sostenibilidad y el valor

agregado del BCIE. El fin es determinar la efectividad del BCIE en el cumplimiento de su misión a través de

los resultados de desarrollo que busca la intervención.

Este componente se subdivide en:

a. Relevancia Estratégica: Mide el alineamiento de la intervención con la Estrategia Institucional y los

ODM.

b. Evaluabilidad: Mide la calidad del diseño de la intervención para lograr el objetivo propuesto, el

grado en que los resultados esperados de la intervención son verificables y creíbles, así como la

sostenibilidad de la misma.

c. Adicionalidad: Identifica el valor agregado que el BCIE ha aportado a la intervención.

8.3 Criterios de valoración

A la hora de hacer el cálculo del I-BCIE de medio término y ex post, el I-BCIE 1.0 analiza las intervenciones

desde los dos componentes antes descritos.

Cada componente obtiene una calificación independiente, éstas se consolidan para obtener el cálculo

global del I-BCIE cuya puntuación total es de 500 puntos, distribuidos de la siguiente forma: 375 puntos para

el primer componente y los restantes 125 puntos para el segundo. Cabe destacar que la nueva herramienta

busca evaluar primordialmente los efectos esperados derivados del objetivo de la intervención y en menor

medida otros indicadores que pudiesen ser efectos colaterales de ésta, es por ello que el 90% del total

de los puntos corresponden a los indicadores vinculados con el fin de la intervención (Componente de

Resultados en el Desarrollo de la Intervención más el subcomponente de Evaluabilidad).

Conforme a la puntuación alcanzada, las intervenciones, independientemente si la evaluación es ex ante,

medio término o ex post, se clasifican en tres categorías: alto impacto, impacto satisfactorio y bajo impacto

(Tabla 1). Estas categorías también aplican a los dos componentes de la herramienta de manera individual.

14

Tabla 1 – Oficialización de las Categorías de Impacto Total I-BCIE

Impacto % Rango

Alto ≥ 70 % 350- 500

Satisfactorio ≥ 40 % 200- 349

Bajo < 40% 0- 199

En las Tablas 2, 3 y 4, se detalla la distribución de puntos por componentes y subcomponentes, mismos que

para mantener consistencia de la evaluación y permitir comparabilidad entre evaluaciones, es la misma

para todo el ciclo de la evaluación (evaluación ex ante, medio término, ex post).

Tabla 2 – Oficialización de los Criterios de Valoración para el Sector Infraestructura6

Infraestructura

Privado Público

Soberano

Público No Soberano

Componente de Resultados en el Desarrollo de la Intervención

Subcomponentes Puntos

Productos

375

105 105 105

Efectos 75 80 80

Impacto (Incluye Empleo Fijo) 195 190 190

Componente de Efectividad Institucional en el Desarrollo

Relevancia Estratégica

125

30 30 30

Evaluabilidad 75 75 75

Adicionalidad 20 20 20

Total 500 500 500 500

6

En las variables Beneficiarios y Empleo, se mantendrá otorgar puntaje adicional a intervenciones género positivas; así como en la variable Familias a Relocalizar si su efecto fuese positivo o en Sitios Culturales si su efecto no será negativo, no se restarán puntos. Contrario a estos casos, se valorará negativamente en las variables Familias a Relocalizar y Grupos étnicos, sitios arqueológicos, áreas protegidas y sitios culturales afectados. La variable Estudios realizados en Preinversión por BCIE, del subcomponente Productos, no se tomará en cuenta al momento del cálculo del puntaje.

15

Tabla 3 – Oficialización de los Criterios de Valoración para el Sector Productivo6

Productivo

Privado Público Soberano Público No Soberano



Productos

375

105 105 105

Efectos 75 90 90

Impacto (Incluye Empleo Fijo) 195 180 180



125

30 30 30

Evaluabilidad 75 75 75

Adicionalidad 20 20 20

Total 500 500 500 500

Tabla 4 – Oficialización de los Criterios de Valoración para el Sector Financiero6

Financiero

Contingencia

(Público/

Privado)

Garantía

(Público/

Privado)

Fondo Deuda/

Capital (Público/

Privado)

Deuda

Subordinada



Productos

375

100 100 105 100

Efectos 70 75

Impacto (Incluye Empleo Fijo)

275

275

200

200



125

30 30 30 30

Evaluabilidad 75 75 75 75

Adicionalidad 20 20 20 20

Total 500 500 500 500 500

16

8.4 Conformación global de la evaluación de impacto: el Ciclo de la Evaluación

La herramienta I-BCIE 1.0 se adapta al ciclo de proyectos, tanto en las etapas, como en los roles de los

participantes, teniendo en cuenta la nueva estructura organizacional.

La Administración es responsable de la evaluación ex ante, mientras que la función de evaluación de medio

término y ex post fue asignada a la Oficina de Evaluación (ODE) mediante la Resolución de Directorio No.

DI-83/2012. El ciclo de proyectos aprobado mediante la Resolución del Directorio No. DI-142/2012 plantea

tres sub-ciclos basados en los principios selectivos de impacto en el desarrollo, prudencia del riesgo y

sostenibilidad financiera que recomendó la Asamblea de Gobernadores a través del Plan de Modernización.

Un sub-ciclo se denomina de impacto en el desarrollo, aquí se le denomina como Ciclo de Evaluación, el

mismo reúne las etapas necesarias para alcanzar el ciclo de evaluación desde ex ante, medio término y hasta

ex post. Basado en los procesos actuales del ciclo de proyectos (resumidos en Identificación y Preparación;

Análisis y Aprobación; Ejecución y Operación; y Evaluación y Aprendizaje), así como en sus procedimientos

para operar resumidos principalmente en identificación, preparación, análisis, aprobación, formalización,

desembolso, supervisión, recuperación y evaluación, a continuación se presentan los roles y participantes

desde ex ante hasta ex post, desde una perspectiva general de roles de la Oficina de Evaluación (ODE) y la

Administración. Posteriormente, la Administración deberá definir las áreas técnicas que lo implementarán,

hasta liberar la información para el análisis de la Oficina de Evaluación (ODE). La Figura 3 muestra la

evaluación de impacto en el desarrollo del BCIE, descrita a manera de un ciclo, de la siguiente manera:

1. Revisión bianual: El Sistema de Evaluación de Impacto en el Desarrollo (SEID) que existe fue aprobado

en diciembre del año 2009 por la Administración Superior mediante la Resolución de la Presidencia

Ejecutiva No. PRE-90/2009 y se actualizó a raíz de las reformas del Plan de Modernización a través de

la Resolución de la Presidencia Ejecutiva No. PRE-45/2013 de septiembre de 2013, denominándosele

Sistema de Evaluación de Impacto en el Desarrollo - SEID 1.0 para ir registrando sus mejoras en el

tiempo. La revisión bianual consiste en un trabajo conjunto responsabilidad de la Administración y la

Oficina de Evaluación (ODE), la primera revisión se concluyó durante el último trimestre 2013 y primer

trimestre de 2014. Por lo que, la segunda revisión se realizará el último trimestre de 2015 y el primer

trimestre de 2016.

2. Evaluación ex ante, Administración: El Sistema de Evaluación de Impacto en el Desarrollo - SEID 1.0

establece la metodología y conlleva la aplicación de instrumentos, cuestionarios e indicadores para

realizar la evaluación ex ante; esta evaluación es realizada por las áreas técnicas de la Administración

bajo la modalidad de Autoevaluación, específicamente por la Gerencia de Sectores y Países (GERSYP)

a través de su equipo de analistas de evaluación, especialistas sectoriales y ejecutivos. El informe de

evaluación ex ante es incorporado al Dictamen de Crédito y elevado a las instancias aprobatorias.

17

3. Diseño de evaluaciones de medio término y ex post, Oficina de Evaluación (ODE): Partiendo de la

actualización conjunta de la metodología y considerando los indicadores que se utilizan en la evaluación

ex ante, la Oficina de Evaluación (ODE) diseña y presenta a la Administración el tipo de instrumentos

(cuestionarios y criterios) para el levantamiento de la información en las etapas de medio término y

ex post. Aquí existe una interacción de la Oficina de Evaluación (ODE) con el equipo de evaluadores,

especialistas sectoriales, supervisores y ejecutivos respecto al tipo de datos que se levantarán en ambas

etapas. La Oficina de Evaluación (ODE) sugiere las cláusulas que serán establecidas en cada evaluación

ex ante.

4. Levantamiento de datos de medio término y ex post, Administración: El llenado de los instrumentos

de medio término y ex post (contacto con el cliente) lo realizan las áreas técnicas de la Administración;

en esta interacción se determinan las modalidades operativas para obtener los datos, utilizando los

instrumentos de medio término y ex post presentados a partir de la etapa anterior. También se acuerda

el tipo de vaciado a utilizar en una base de datos en la Administración. Para su implementación, la

Administración establecerá los procedimientos y aplicativos correspondientes en coordinación con la

Oficina de Evaluación (ODE).

5. Base de datos de medio término y ex post, Administración: Una vez que los datos son levantados del

campo, la Administración revisará y validará previo a vaciarlos en la base de datos definitiva. Dicha base

de datos es remitida a la Oficina de Evaluación (ODE).

6. Evaluación de medio término y ex post, Oficina de Evaluación (ODE): El conjunto de intervenciones

para el desarrollo que serán sujeto de evaluación durante cada ejercicio, serán establecidas en el Plan

Anual de Evaluación (PAE). Para las cuales la Administración proveerá los datos de campo a la Oficina de

Evaluación (ODE). El análisis de datos permitirá a la Oficina de Evaluación (ODE) realizar la evaluación de

medio término y ex post para ser presentada al Directorio y a la Administración.

18

Figura 3 – La evaluación de impacto en el desarrollo del BCIE

8.5 Aplicación de la herramienta

En vista que las evaluaciones de medio término y ex post, para el caso de las operaciones que serán

susceptibles del SEID 1.0, serán la continuación de lo establecido en las evaluaciones ex ante, es decir,

sus cuestionarios e indicadores ya serán conocidos porque habrían sido establecidos durante las

evaluaciones ex ante, entonces el área técnica de la Administración llenará los espacios que

correspondan para cada caso, cuando se levante la información de medio término y cuando se levante la

información ex post.

9. Temporalidad

9.1 Aplicación de los cuestionarios

Los cuestionarios se han diseñado con el fin de medir el progreso en los efectos calculados durante la

evaluación ex ante. Se ha hecho un esfuerzo por mantener alineados los instrumentos para cada una de las

etapas del ciclo de evaluación.

La Tabla 5 muestra cuando se deben utilizar los cuestionarios del Sistema de Evaluación de Impacto en el

Desarrollo (SEID) y del Sistema de Impacto en el Desarrollo (SEID 1.0), según aplique y cuyos criterios se

resumen a continuación:

19

• Si es necesario realizar una evaluación de medio término o ex post a una operación a la que no

se le realizó una evaluación ex ante deberá utilizar los cuestionarios del Sistema Evaluación de

Impacto en el Desarrollo (SEID 1.0). Para estos casos el área técnica responsable del llenado de las

casillas de medio término y ex post deberá llenar las casillas que apliquen de Línea Base y Meta con

la información presentada en el dictamen, Perfil del Proyecto, Estudio de Factibilidad, entre otras

fuentes de datos disponibles y que deberá ser reportada en los cuestionarios.

• Existen 143 operaciones aprobadas en el período 2010 – 2013, que cuentan con una evaluación ex

ante, estas operaciones deberán utilizar los cuestionarios Sistema de Evaluación de Impacto en el

Desarrollo (SEID)7. En caso que durante el período 2010 – 2013 se haya aplicado algún cuestionario

de medio término utilizando los cuestionarios del Sistema de Evaluación de Impacto en el Desarrollo

(SEID), aprobado mediante la Resolución No. PRE-90/2009 del 18 de diciembre de 2009, deberá

concluir el ciclo de evaluación con el mismo cuestionario ex post (casos sin previa evaluación ex

ante).

• Las operaciones aprobadas a partir del 1 de enero 2014 deberán utilizar los cuestionarios creados

para el Sistema de Evaluación de Impacto en el Desarrollo- SEID 1.0.

Tabla 5 – Criterios de la Aplicación de los Cuestionarios

Operaciones Cuestionario

Sin Ex Ante SEID 1.0

Con Ex Ante SEID (2010 -2013) SEID

Con Ex Ante SEID 1.0 (2014) SEID 1.0

7 Para estos casos se aplicarán los cuestionarios existentes del SEID aprobado mediante la Resolución No. PRE-90/2009. .

20

9.2 Evaluaciones de medio término

Los criterios de tiempo para realizar las evaluaciones de medio término se detallan en las siguientes

secciones de acuerdo al sector al que corresponden.

9.2.1 Proyectos del sector infraestructura

Los proyectos del sector de infraestructura y proyectos que incluyen un activo tangible se debe de realizar

cuando alcance el 50% de avance físico, sin que supere el 80% del mismo.

Para casos especiales de financiamiento a proyectos que ya estaban en ejecución, se analizará caso por caso

la temporalidad de la evaluación de medio término y ésta será consensuada al momento de la evaluación

ex ante con la Oficina de Evaluación (ODE) vía comunicación electrónica.

9.2.2 Proyectos del sector productivo

Los proyectos del sector productivo y proyectos que no incluyen un activo tangible, la evaluación se debe

realizar cuando el Plan Global de Inversiones (PGI) con recursos del BCIE se haya ejecutado en un 50% sin

que supere el 80% de ejecución. Queda a la discreción del proyectista la posibilidad de considerar el Plan

Global de Inversiones total del proyecto en función a la negociación realizada antes de la aprobación.

Para casos especiales de financiamiento a proyectos que ya estaban en ejecución, se analizará caso por caso

la temporalidad de la evaluación de medio término y ésta será consensuada al momento de la evaluación

ex ante con la Oficina de Evaluación (ODE) vía comunicación electrónica.

9.2.3 Operaciones del sector financiero

Para los casos de las operaciones de Líneas Globales de Crédito, en lo correspondiente a evaluar los efectos

en las Instituciones Financieras Intermediarias (IFI) e Instituciones Financieras No Bancarias (IFNB), en los

informes que realizan los funcionarios de la Administración durante su visita a estas instituciones, realizará

las siguientes preguntas y las incluirá en el informe de la visita:

• Número de empleados.

• Número de sucursales.

• Cartera de crédito.

• Préstamos otorgados por la IFI/IFNB.

• Clasificación de la cartera por sector.

21

En los casos de las Líneas de Garantía se deberá realizar una evaluación cuando haya transcurrido la mitad

del plazo en que fue otorgada la garantía.

Para los fondos de inversión la evaluación se debe realizar cuando el Plan Global de Inversiones (PGI) con

recursos BCIE se haya ejecutado en un 50% sin que supere el 80% de ejecución. Queda a discreción del

proyectista la posibilidad de considerar el Plan Global de Inversiones total del proyecto en función a la

negociación realizada antes de la probación.

Para las operaciones de Deuda Subordinada se deberá realizar una la evaluación seis meses después de

transcurrido el desembolso, en cada caso.

9.2.4 Beneficiarios de la intermediación

Los datos de los beneficiarios por cada desembolso se deberán registrar en la Ficha de Utilización de

Recursos (F1) aplicando los cuestionarios por cada programa de intermediación de acuerdo al Instructivo

de la Ficha de Justificación (F1) y las variables de interés que deberán levantarse.

1.4. Esto se considerará una evaluación de medio término por llegarse a conocer indicativamente el uso que

está haciendo la IFI o IFNB de los recursos del Banco. Dichos datos alimentarán una base de datos a partir

de la cual la Oficina de Evaluación (ODE) realizará muestreos de campo para verificar tanto el uso real de los

recursos del Banco, como sus efectos en el usuario.

9.3 Evaluaciones ex post

Los criterios de tiempo para realizar las evaluaciones ex post se detallan en las siguientes secciones de

acuerdo al sector al que corresponden.

9.3.1 Proyectos del sector infraestructura y productivo

Para el caso de las evaluaciones ex post del sector infraestructura o productivo se aplicará cuando los

proyectos hayan concluido la ejecución de desembolsos BCIE y haya transcurrido al menos 1 año.

Para fines operativos, la evaluación se podrá activar e iniciar una vez que haya transcurrido 1 año de la

finalización de la ejecución (desde el último desembolso con recursos del BCIE) y hasta 2 años después de

dicho momento (en todos los casos).

Al momento de la evaluación ex ante podrá dejarse previsto un tiempo distinto para aquellos casos que sea

co-financiado o que por su naturaleza la finalización de la ejecución no necesariamente represente el inicio

de la operación de la intervención; estos casos deberán ser acordados con la Oficina de Evaluación (ODE).

22

9.3.2 Operaciones del sector financiero

Línea de Contingencia de Banco Central, en caso de ejecutarse, deberá reportar cuales fueron los efectos

derivados de su utilización.

En los casos de las Líneas de Garantía se deberá realizar una evaluación al concluir el plazo en que fue

otorgada la garantía.

Para las operaciones de Fondos de Inversión la evaluación se debe realizar cuando hayan concluido la

ejecución de desembolsos BCIE y haya transcurrido al menos 1 año.

En los casos de las operaciones de Deuda Subordinada se deberá realizar una vez transcurrido un ejercicio

contable completo después de realizado el desembolso sin que pase un semestre posterior al cierre de

dicho ejercicio.

9.3.3 Beneficiarios de la intermediación

Haciendo referencia que a los beneficiarios registrados por cada desembolso durante la fase de medio

término, mencionado en la sección 9.2.4, se les realizará muestreo para la evaluación ex post en la cual se

visitará en campo el impacto de la intervención.

La evaluación ex post a beneficiarios de la intermediación se podrá aplicar a los beneficiarios de las líneas

globales de crédito para los que ha transcurrido 2 años (subclasificar según los programas del BCIE) desde

la ejecución del desembolso. La intención es medir los efectos en los prestatarios finales. Para cada año se

desarrollará el marco muestral y trabajo de campo.

10. Cláusulas sugeridas en los contratos de crédito8

Para facilitar la implementación se han recogido algunas cláusulas sugeridas para incluir en los contratos con

el objetivo de asegurar que el cliente conozca de antemano que el Banco realizará estas evaluaciones. Se

requiere que cada operación, desde los Proyectos de Resolución, conste que la operación deberá satisfacer

la información de medio término y ex post que requerirá el BCIE.

Las cláusulas son establecidas durante la evaluación ex ante y para casos especiales de definición de

cláusulas se podrán consensuar con la Oficina de Evaluación (ODE) vía comunicación electrónica.

8 Por cláusulas sugeridas se refiere a que el área jurídica tiene la última palabra en la redacción de documentos contractuales.

23

10.1 Proyectos de infraestructura

ARTÍCULO _.-CONDICIONES PARA LOS DESEMBOLSOS DEL PRÉSTAMO

- Sección _. . Condición Previa al siguiente desembolso una vez alcanzado el 50% de avance físico del

proyecto y que no supere el 80%, de acuerdo al criterio del supervisor de proyectos del BCIE.

Se entregará el I-BCIE de Medio Término de conformidad a los requisitos institucionales previamente

establecidos. En caso contrario, no podrán realizarse desembolsos posteriores.

ARTÍCULO _.-OBLIGACIONES GENERALES DE HACER

- Sección _. . Entrega de I-BCIE de Medio Término y Ex post.

Entregar a satisfacción del BCIE, los documentos de evaluación I-BCIE de Medio Término en los términos

expuestos en el artículo. Y entrega a satisfacción del BCIE de los documentos de evaluación del I-BCIE ex

post una vez transcurrido 1 año del último desembolso con recursos del BCIE sin que pasen 2 años del

mismo.

10.2 Proyectos productivos y casos que no incluyen un activo tangible

ARTÍCULO .-CONDICIONES PARA LOS DESEMBOLSOS DEL PRÉSTAMO

- Sección _. . Condición Previa al siguiente desembolso una vez alcanzado el 50% de avance del PGI con

recursos BCIE9 y que no supere el 80%.








mismo.

9 Queda a discreción del proyectista la posibilidad de considerar el Plan Global de Inversiones del total de la iniciativa en aquellos casos que

exista otros financiadores, lo anterior en función a la negociación realizada con los participantes en el financiamiento de la iniciativa antes de la aprobación.

24

10.3 Operaciones sector financiero

10.3.1 Institución Financiera Intermediaria (IFI) e Instituciones Financieras No Bancarias (IFNB)



La IFI proporcionará los documentos e información adicional que el BCIE solicite con el propósito de amparar

cualquier evaluación de impacto sobre la Institución o sus beneficiarios.

10.3.2 Línea de Contingencia de Banco Central


- Sección _. . Entrega de I-BCIE de Ex post.

En caso de realizar un desembolso, entregar a satisfacción del BCIE, los documentos de evaluación del

I-BCIE ex post seis meses después de transcurrido el desembolso.

10.3.3 Línea de Garantía



Entregar a satisfacción del BCIE, los documentos de evaluación I-BCIE de Medio Término después de

transcurrido la mitad del plazo en el que se otorgó la garantía. Y entrega a satisfacción del BCIE de los

documentos de evaluación del I-BCIE ex post una vez concluido el plazo de la garantía.

10.3.4 Fondos de Inversión

ARTÍCULO .-CONDICIONES PARA LOS DESEMBOLSOS DEL PRÉSTAMO

- Sección _. . Condición Previa al siguiente desembolso una vez alcanzado el 50% de avance del PGI con

recursos BCIE10 y que no supere el 80%.



10 Queda a discreción del proyectista la posibilidad de considerar el Plan Global de Inversiones del total de la iniciativa en aquellos casos que

exista otros financiadores, lo anterior en función a la negociación realizada con los participantes en el financiamiento de la iniciativa antes de la aprobación.

25






mismo.

10.3.5 Deuda Subordinada



Entregar a satisfacción del BCIE, los documentos de evaluación I-BCIE de Medio Término seis meses después

de transcurrido el desembolso. Y entrega a satisfacción del BCIE de los documentos de evaluación del I-BCIE

ex post una vez transcurrido un ejercicio contable completo después de realizado el desembolso sin que

pase un semestre posterior al cierre de dicho ejercicio.

11. Operaciones identificadas para un tratamiento específico

El Banco enfrenta una realidad, y es que no a todas las operaciones es viable aplicarles el SEID 1.0, ya que

resulta pertinente compararlas con la evaluación ex ante vigente a la hora de su aprobación. Igualmente

existen operaciones que por su nivel de ejecución o por asuntos contractuales, se les puede aplicar la

evaluación de medio término y la evaluación ex post, pero existen otras que solamente son susceptibles de

alguna de ambas evaluaciones. Por lo antes dicho, se ha realizado un análisis y a continuación se expone los

tratamientos específicos necesarios.

Del 31 de diciembre 2009 hacia atrás:

1. Se cuenta veintiuno operaciones que siguen siendo parte de la presa crediticia, que se encuentran en

proceso de ejecución, que se les aplicará el instrumento ex post del Sistema de Evaluación de

Impacto en el Desarrollo (SEID 1.0), aprobado mediante la Resolución No. PRE-45/2013 del 19 de

septiembre de 2013. Cuestionarios Sector Infraestructura, Productivo y Financiero. Dentro de éstas

se encuentra la operación “Programa de Equipamiento Hospitalario”, préstamos 1849, 1849 A, 1849 B

y 1849 C, que cuatro tramos diferentes, dos se encuentran en operación, uno en escrituración y otro

en consecución de recursos, por tanto partiendo del momento en que se concluya el último tramo,

se realizará una sola evaluación ex post cuando el programa haya concluido la ejecución de

desembolsos BCIE y haya transcurrido al menos 1 año.

26

2. Existen trece operaciones, que ya concluyeron desembolsos entre los años 2010 - 2013, a las que se

les aplicará el instrumento ex post del Sistema de Evaluación de Impacto en el Desarrollo (SEID 1.0),

aprobado mediante la Resolución No. PRE-45/2013 del 19 de septiembre de 2013. Cuestionarios

Sector Infraestructura, Productivo y Financiero.

Durante el período del 1 de enero 2010 al 31 de diciembre 2013 el BCIE aprobó 143 operaciones, las cuales

cuentan con evaluación ex ante, mismas que en determinado momento de su ejecución u operación deberán

de cumplir con evaluaciones de medio término y ex post. Las Líneas Globales de Crédito. De los Proyectos

y Líneas de Crédito aprobadas durante este período y que requerirán de evaluaciones de medio término o

ex post, se realizarán los siguientes tratamientos específicos:

1. Quince Operaciones que se encuentran solamente aprobadas, que cuentan con evaluación ex ante, a

las que se les realizará evaluaciones de medio término y ex post, aplicándoseles los instrumentos del

Sistema de Evaluación de Impacto en el Desarrollo (SEID) aprobado mediante la Resolución No. PRE-

90/2009 del 18 de diciembre de 2009.

2. A quince operaciones que se encuentran escrituradas, se les deberá de aplicar evaluaciones de

ex post aplicando los cuestionarios del Sistema de Evaluación de Impacto en el Desarrollo (SEID)

aprobado mediante la Resolución No. PRE-90/2009 del 18 de diciembre de 2009. La evaluación ex

post de cada proyecto se deberá levantar cuando los proyectos hayan concluido la ejecución de

desembolsos BCIE y haya transcurrido al menos 1 año.

3. A cuatro operaciones que se encuentran en ejecución, que en sustitución del Informe de Terminación

del Proyecto (ITP) o Informe de Finalización de la Intervención de Desarrollo (IFID) se les deberá

aplicar el instrumento ex post del Sistema de Evaluación de Impacto en el Desarrollo (SEID) aprobado

mediante la Resolución No. PRE-90/2009 del 18 de diciembre de 2009.

4. Se cuenta con veintitrés operaciones que se encuentran en ejecución, que se les aplicará el

instrumento medio término y ex post del Sistema de Evaluación de Impacto en el Desarrollo (SEID)

aprobado mediante la Resolución No. PRE-90/2009 del 18 de diciembre de 2009; al Programa de

Financiamiento del Plan de Agricultura Familiar y Emprendedurismo Rural para la Seguridad Alimentaria

y Nutricional sólo se le aplicará la evaluación ex post.

5. Existen tres operaciones que se encuentran en ejecución, que amparándose en el contrato, se les

levantará evaluaciones de medio término y ex post usando los instrumentos del Sistema de

Evaluación de Impacto en el Desarrollo (SEID) aprobado mediante la Resolución No. PRE- 90/2009

del 18 de diciembre de 2009.

6. A 2 operaciones que se encuentran en operación, que se les realizarán evaluaciones ex post aplicando

los instrumentos del Sistema de Evaluación de Impacto en el Desarrollo (SEID), aprobado mediante la

Resolución No. PRE-90/2009 del 18 de diciembre de 2009, en sustitución

27

del Informe de Terminación del Proyecto (ITP) o Informe de Finalización de la Intervención de Desarrollo

(IFID).

7. Existen tres operaciones, que ya han finalizado desembolsos, que ya cuentan con el levantamiento de

datos de medio término, a las que se les aplicará la evaluación ex post usando los instrumentos del

Sistema de Evaluación de Impacto en el Desarrollo (SEID) aprobado mediante la Resolución No. PRE-

90/2009 del 18 de diciembre de 2009.

8. Existen cuatro operaciones, que se encuentra en operación, que amparándose en el contrato, se les

realizará la evaluación ex post aplicando los instrumentos del Sistema de Evaluación de Impacto en el

Desarrollo (SEID) aprobado mediante la Resolución No. PRE-90/2009 del 18 de diciembre de

2009.

Para los siguientes casos particulares se ha acordado con la Administración el siguiente tratamiento:

1. A la operación SIEPAC de Costa Rica, aprobada con fecha 24 de septiembre 2008 bajo la Resolución DI-

191/2008, se le aplicará el cuestionario de evaluación ex post, del Sistema de Evaluación de Impacto en

el Desarrollo (SEID) aprobado mediante la Resolución No. PRE-90/2009 del 18 de diciembre de 2009.

2. A la operación Programa de Apoyo al Desarrollo de los Departamentos de Chimaltenango, Sololá y

Totonicapán” - República de Guatemala, aprobada con fecha 17 de Septiembre de 2001 mediante la

Resolución DI-84/2001, se le aplicará el cuestionario de evaluación ex post, del Sistema de Evaluación de

Impacto en el Desarrollo (SEID) aprobado mediante la Resolución No. PRE-90/2009 del 18 de diciembre

de 2009. Debido a que ya cuenta con una evaluación de medio término.

Finalmente, si por alguna razón existen casos en que se levantó la información utilizando el cuestionario

del Sistema de Evaluación de Impacto en el Desarrollo (SEID), aprobado mediante la Resolución No. PRE-

90/2009 del 18 de diciembre de 2009, se usarán dichos datos para el análisis de la Oficina de Evaluación

(ODE), siempre que estén debidamente validados por el área que corresponda de la Administración.

En los casos que ya se cuente con un Terminación del Proyecto (ITP) o Informe de Finalización de la

Intervención de Desarrollo (IFID) se deberá aceptar como válido y la Oficina de Evaluación (ODE) recibirá

dicha información para análisis, únicamente para aprobaciones previas al 31 de Diciembre del año 2009.

12. Plan Anual de Evaluación (PAE): instrumento para el traslado de datos oficiales

Cada año, en el Plan Anual de Evaluación (PAE), la Oficina de Evaluación (ODE), siguiendo la normativa

vigente, establecerá el conjunto de intervenciones para el desarrollo que serán objeto de análisis de los

datos recolectados de medio término y ex post para realizar los informes de evaluación correspondientes.

Igualmente, en caso de hacer muestreos de campo de beneficiarios IFI, lo consignará en el instrumento

28

anual de PAE. La Administración proveerá a la Oficina de Evaluación (ODE) la información recolectada de

campo contando con la validación técnica del área que designe para tal fin. Para esto tendrá procedimientos,

instructivos propios formalizados con base al presente mecanismo y desarrollará los aplicativos necesarios

para darle la fluidez necesaria a la labor de evaluación de la Oficina de Evaluación (ODE) en materia de

medio término y ex post.

Adicionalmente la Oficina de Evaluación (ODE) podrá requerir datos para evaluar casos especiales que no

estén incluidos en el Plan Anual de Evaluación (PAE), cuando así le requieran las instancias decisorias.

13. Recolección de datos: el análisis y evaluación posterior de la Oficina de

El presente documento contiene los cuestionarios (indicadores) y los criterios necesarios para completar

un mecanismo de suministro de datos de la Administración a la Oficina de Evaluación (ODE) para permitir la

evaluación de medio término y ex post en esta última dependencia. Es decir, a través del mecanismo se forma

la estructura necesaria para el levantamiento y suministro de datos consistentes desde las intervenciones

en los países hasta la Oficina de Evaluación (ODE). Para completar el mecanismo es necesario que a partir de

los cuestionarios (conteniendo los indicadores) y criterios establecidos por la Oficina de Evaluación (ODE) en

el presente documento, la Administración Superior proceda a instruir a las áreas técnicas correspondientes

para que, en coordinación con la Oficina de Evaluación (ODE), se lleven a cabo los siguientes pasos:

• Calibraciones y pruebas.

• Actualización de procedimientos.

• Producción de los aplicativos necesarios para la implementación.

• Demostraciones y Capacitaciones a los funcionarios que levantarán la información de campo y a

quienes validaran los datos para ser suministrados a la Oficina de Evaluación (ODE).

• Inicio de su aplicación oficialmente a partir del 1 de enero de 2015.

Con lo anterior el mecanismo de levantamiento de datos estaría estructurado consistentemente para que la

Oficina de Evaluación (ODE) pueda recibir datos en cantidad y calidad, debidamente validados.

13.1 ¿Qué hará la Oficina de Evaluación (ODE) con los datos?

Anualmente, en el Plan Anual de Evaluación (PAE), se listaran las intervenciones a evaluar tanto en la etapa

de medio término como en la etapa ex post (tal como en el año 2014 se incluyeron 11 intervenciones que se

están evaluando de manera piloto); el mecanismo debe generar los datos utilizando los instrumentos aquí

contenidos, y entregarlos a la Oficina de Evaluación (ODE). Una vez recibidos, los datos de cada intervención

pasarán por el proceso dentro de la Oficina de Evaluación (ODE) que se describe a continuación y que se

ilustra en la Figura 4:

29

1. Validación de la consistencia de los datos (pruebas de estadística descriptiva y observación de datos).

Solicitud de nueva información a la Administración en caso de detectarse faltantes o necesidades de

aclaraciones.

2. Una vez se tenga la conformidad de los datos y sus sustentos, él o la analista de la Oficina de Evaluación

(ODE) procederá al cálculo del Índice BCIE de Impacto en el Desarrollo (I-BCIE 1.0) de medio término o

ex post, según corresponda.

3. Seguidamente, se procederá a generar la ficha I-BCIE de la intervención que este evaluando, incluyendo

en el informe el cálculo del I-BCIE, en la ficha hará un análisis del resultado versus la evaluación ex ante

para generar lecciones específicas del caso.

4. Estas fichas I-BCIE serán compartidas con la Administración y con el Directorio.

5. Paralelamente, el analista de evaluación (ODE) hará un plan de visitas de campo para cada caso evaluado

(descrito anteriormente); el objetivo será completar información que le permita realizar una evaluación

de impacto capaz de explicar la contribución de las intervenciones evaluadas en los siguientes tres

aspectos:

a. Contribución sectorial de la intervención.

b. Cambios en la realidad socioeconómica local derivados de la intervención.

c. Contribución de la intervención a nivel nacional.

Para lo anterior se ha introducido un campo en cada cuestionario con el fin de reflejar que esta tarea

la hará el analista de la Oficina de Evaluación (ODE) de manera independiente para verificar en campo

los cambios derivados por la intervención (before versus after).

6. Con las fichas I-BCIE generadas a partir de los datos producidos por el mecanismo de suministro de datos

de la Administración a la Oficina de Evaluación (ODE), sumado a la información de campo recolectada

caso por caso (que debe explicar el aporte a las comunidades, de manera sectorial, y al nivel nacional),

la Oficina de Evaluación (ODE) elaborará el “Informe Anual de Evaluaciones de Medio Término y

Ex Post” en donde consignará las lecciones individuales de cada intervención evaluada, así como

aquellas generalizaciones que le permitan los hallazgos para continuar mejorando el impacto del

Banco en el desarrollo de la región.

7. La información producida en Informes y Notas técnicas será discutida con la Administración y el Comité

de Directores de Estrategia y Programación, previo a ser presentado al Directorio u otra instancia que

se le instruya a la Oficina de Evaluación (ODE).

30

Figura 4 – Proceso dentro de la Oficina de Evaluación (ODE) para las Evaluaciones de Medio Término y Ex post

11 En las aprobaciones del Quinquenio 2015 – 2019 que se inicia, se continuará midiendo la Relevancia Estratégica a través del Eje Estratégico y

Área de Focalización según el Manual para la Clasificación Estratégica de las Intervenciones para el Desarrollo (ID) aprobado por la Resolución PRE-58/2014; a partir de enero de 2015 no estará siendo incluido el objetivo estratégico en las valoraciones de las evaluaciones ex ante, lo cual se reflejará en sus correspondientes evaluaciones de medio término y ex post en el futuro.

139

Edificio Sede, Boulevard Suyapa, Apartado Postal 772, Tegucigalpa, Honduras, Teléfono (504) 2240-2146, (504) 2240-2133, [email protected]

www.bcie.org

mailto:[email protected]

http://www.bcie.org/

banco centroamericano de integración económica...proyectos y programas del banco acorde con los...

Documents