El Departamento Independiente de Evaluaciones (FZ E)del KfW Entwicklungsbank

Dr. Jan Schrader

jan.schrader@kfw.de

Modelo de medición del desempeño

Montevideo, 17 de marzo de 2012

2

Visión de conjunto (1)

• Quienes somos• Introducción del KfW y de FZ E• Objetivos y estándares

• Que hacemos• Evaluación ex-post de

proyectos y programas• Evaluaciones transversales• Evaluaciones temáticas• Publicación y aprendizaje

6

Preguntas clave:

1. ¿Que impacto tiene la intervención?(¿En que medida los proyectos alcanzan sus objetivos?)

2. ¿Que lecciones pueden derivarse de las experiencias (positivas y negativas)? (Podemos ser mejores en el futuro?

En caso afirmativo, ¿cómo?)

Objetivos de la evaluación independiente: Rendición de cuentas y aprendizaje institucional

Evaluación - Definición:Una valoración lo más sistemática y objetiva posible de un proyecto, programa o política en curso o completado, su diseño, ejecución y resultados. La finalidad es la de identificar la pertinencia y el logro de los objetivos, la eficacia en términos del desarrollo, el impacto y la sostenibilidad. Una evaluación debe fornecer informaciones plausibles y útiles que permitan incorporar lecciones aprendidas en los procesos de toma de decisiones tanto de los beneficiarios como de los donantes. (DAC 1991)

4

Estructura organizativa KfW Entwicklungsbank

Agosto de 2011

Junta Directiva

Dirección 2África y Oriente Próximo

Dirección 3Europa y

Asia

Departamento L1bInstrumentos y procedimientos de fomento

Departamento L1aAmérica Latina y

el Caribe.

Departamento L1aDesarrollo y

Clima

L1a2Agricultura y

Recursos Naturales

L1a1Equipo Regional

L1a3Agua y Saneamiento

L1a4Sector Financiero e

Infraestructura Económica

L1a5Desarrollo Urbano,

Infraestructura Social,Gobernanza

L1b1Principios

y Procedimientos Generales

L1b2Instrumentos de

fomento y productos financieros

L1b3Planificación y

Monitoreo

L1b4Coordinación de ICT

L1c1Políticas y Cooperaciones

de Fomento

L1d1Carbon Credits

L1d2Purchase ProgrammesPortfolio Mgmt, Internal

Procedures

L1d3Aquisition,

Syndication,Project Monitoring

L1c2Public Sector Clients

and Mandates

L1c3Environment and

climate

L1c4Development

Research

Gestión deTransacciones

y Garantías

Departamento L2bÁfrica Oriental y Occidental

Departamento L2cNorte de África,Oriente Próximo

Departamento L2aÁfrica Septentrional y África Central

Departamento L2dRegional programmes África, RSA,

Uganda y Nigeria

Departamento L3b

Sur de Asia, AfganistánPaquistán

Departamento L3cAsia Oriental y Pacífico

Departamento L3aSudeste de Europa

y Turquía

Departamento L3dEste de Europa

Cáucaso, Asia Central

Departamento TMaGestión de

Transacciones y Garantías

DisbursementManagement I

DisbursementManagement II

Loan and RiskManagement

Disbursement MgmtIII, Debt Rescheduling

and Release

L3a2Financial and Private

Sector, NaWi

L3a3Energy,

Transporte

L3a4Water, WasteManagement

L3b2Energía

L3b3Financial Sector,

Microfinance

L3b4Crisis Response

L3b5Energía

L3c2Transport and

Communication

L3c3Urban Development

L3c4Protection of Natural

Ressources

L3c5Promotional Loansfor Infrastructure

L3d2Financial and Private

Sector, Transform

L3d3Energy,

Transporte

L3d4Urban Development,

Environment

L3d5Health and Education

Asia

L2a1Regional Team

L2a2Governance

L2a3Agriculture and

Natural Ressources

L2a4Governance

L2a5Peace and Security

L2b2Health, Education,Social Protection

L2b3Health, Education,Social Protection

L2b4Water

L2b5Infrastructure

L2c2Water and Solid

Waste

L2c3Education, Financialand Private Sector

Development

L2c4Water

L2d2Financial and PrivateSector Developm.,

Global Funds

L2d4Environment and

Energy

L2c5Climate andenvironment

Departamento de Evaluación de laCoop. Financiera

L2d3Financial and PrivateSector Developm.,

Microfinance

Dirección 1Coop. Con países en

desarrollo, medio ambientey clima, América Latina

Department L1dCarbon Fund

L3d1Regional Team

L3c1Regional Team

L3b1Regional Team

L3a1Regional Team

L2d1Regional Team

L2c1Regional Team

L2b1Regional Team

DivisionSector and Policy Division

Departamento Independiente de Evaluaciones

5

Junta Directiva

Director del Departamento de EvaluacionesProf. Dr. Eva Terberger

Jefe de DivisiónDr. Marlis Sieburger

Secretaria

Estructura organizativa de FZ E

Administrador Estudiantesde doctorado

Consultoresexternos

Personal

Gerentes de proyecto delegados:Intercambio de papeles

8

Visión de conjunto (2)

• Quienes somos• Introducción de FZ E• Objetivos y estándares

• Que hacemos• Evaluaciones finales• Evaluaciones transversales• Evaluaciones temáticas• Publicación y aprendizaje

9

● "Evaluación rápida" para evaluación ex-post estándar: tamaño promedio de muestra anual: 60 – 75 proyectos/programas (cerca de 50 informes a.a.)

● Hasta 2006, cada proyecto fue evaluado unos 3 a 5 años después de su conclusión (80% en campo, 20% mediante estudios documentales). Desde 2007, evaluamos una muestra aleatoria (por lo menos el 50% de los proyectos concluidos).

● Desde 2007, aplicamos un nuevo enfoque en evaluaciones temáticas como nuevas funciones del Departamento de Evaluaciones y un enfoque más profundo en evaluaciones transversales

Elementos fundamentales de la evaluación ex-post

10

Evaluaciones temáticas

• Desde 2007 se aplica un nuevo enfoque en "evaluaciones temáticas" más a fondo

• Evaluaciones robustas (econométricas) de los impactos: impacto del abastecimiento de agua sobre la salud pública, microcrédito;apoyo presupuestario general a Zambia.

Que hacemos:Características fundamentales del trabajo de FZ E:

Tres áreas de actuación principales:

Evaluaciones finales

• "Evaluación rápida" para evaluación ex-post estándar

• Hasta 2006 para cada proyecto; desde 2007, muestra aleatoria (por lo menos el 50% de los proyectos concluidos, estratificación por sector).

Evaluaciones transversales

• "Meta-evaluaciones" de informes de evaluación rápida a lo largo de sectores o regiones, o centradas en temas.

• Combinamos análisis cuantitativos y cualitativos

• Ejemplos: Descentralización, Agua en Europa/Asia Central, Microfinanzas.

Documentos sobre políticas: Acuerdo marco con el BMZ, normas para operaciones financierasy técnicas, procedimientos internos para ponerse de acuerdo sobre programa de evaluación

11

Un proyecto típico de la Cooperación Financiera...

OperaciónEjecuciónPreparación

Monitoreo (informes de avance)

"Evaluación final" (evaluación ex-post)

"Inspección final" (técnica, en la entrega)

0

t(años)

1 4-6 10-3

"Pre-evaluacióndel proyecto" (evaluación ex ante)

16

Primer paso: Observar cambios desde la pre-evaluación.● ¿El grupo meta hoy está mejor (comparado con la situación en la

pre-evaluación/sin proyecto)?● ¿Cómo ha evalucionado la entidad ejecutora/institución de operación?● ¿Cómo han cambiado las condiciones sectorales desde la pre-evaluación?● ¿Que cambios han ocurrido en el entorno global (desempeño macroeconómico,

marco político, fuerza mayor, etc.)?

Segundo paso: Análisis de razones/causas de los cambios observados.● ¿El problema principal ha sido identificado correctamente?● ¿Ha sido encontrada la solución "correcta" (diseño del proyecto)?● ¿La solución ha sido implementada de manera correcta y eficiente?● ¿El proyecto "funciona" de manera planeada (resultados operacionales)?● ¿Los cambios observados han sido causados por el proyecto? (=> “atribución”…)

Evaluaciones finales:¿Que contienen?

15

Cadena de causas y efectos (Marco Lógico)

Criterios de éxito(CAD)

Producto (resultados) (¿Que capacidades/potencial serán creados?)

Insumo (actividades)(¿Que recursos serán utilizados y cómo?)

Efecto directo (objetivo del proyecto)(¿Cómo el grupo meta utiliza el potencial creado?)

Impacto (impacto en el desarrollo/ODM)(¿Cuál es el "efecto" en el desarrollo?)

Eficiencia¿Los objetivos han sido logrados

de manera económica?

Impactos¿La intervención contribuye al

logro de los objetivos de desarrollo?

Pertinencia¿La intervención es adecuada

para reducir una deficiencia en el desarrollo?

Sostenibilidad

Eficacia¿En que medida los objetivos del

proyecto han sido logrados?

Resultados para el desarrollo – enfoque sistemáticoy criterios de valoración

(1) …muy buena(2) …buena(3) …adecuada

(4) …no adecuada(5) …insatisfactoria(6) Fracaso completo.

“Exitoso"

“No exitoso"

Evaluaciones finales – contenido(continuado)

Eficacia en el desarrollo…

Tercer paso: Valoración global de la eficacia de un proyecto en el desarrollo

Valoración de acuerdo a los criterios del CAD

Cuarto paso: Derivar "lecciones aprendidas"

2006: Documento del BMZ para

orientación de evaluacionespor parte del BMZ y

sus entidades ejecutoras

19

Evaluación ex-post:Proyectos exitosos por sectores

• 1988-2010:1857 evaluaciones de proyectos individuales

• Promedio de largo plazo: el 74% de los proyectos son exitosos

• Diferencias significativas en el desempeño por sectores

0% 10% 20% 30% 40% 50% 60% 70% 80% 90%

Transporte (358)

Agua (278)

Energia (255)

Agricultura (231)

Sector financiero (185)

Otros (550)

Total (1857)

Cuotas de éxito promedio por sectores para el periodo de evaluación 1988-2010

Por no. de proyectosPor volumen en EUR (nominal)

Nota: Número de proyectos evaluados entre paréntesis.

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

1970-1980 1981-1990 1991-1995 1996-2000 2001-2005

Cuot

a de

éxi

to

Tiempo

Cuota de éxito de proyectos en el sector financiero a lo largo del triempo

25

Publicación

● www.kfw-entwicklungsbank.de

● Informe anual sobre la cooperación con países en desarrollo(http://www.kfw-entwicklungsbank.de/DE_Home/Service_und_Dokumentation/Online_Bibliothek/Jahresberi.jsp)

● Informe de evaluación sobre la eficacia

de la cooperación con países en desarrollo(http://www.kfw-entwicklungsbank.de/ebank/EN_Home/Evaluation/Ex-post_evaluation_reports/index.jsp)

● Resumen de cada informe de evaluación en la internet

21

Fin

Muchas gracias por su attención!

Preguntas?

18

Evaluaciones finales:

● La evaluación final normalmente se realiza 3 a 5 años después de la conclusión (=> evalúa el "desempeño operacional" bajo condiciones regulares)

● Equipos de 1 o 2 evaluadores internos● Análisis de documentos antes de la misión (estudios, informes, etc.)● Estudios iniciales sobre aspectos específicos (grupo meta / análisis ambiental,

etc.)● Durante misión local (normalmente 8 a 12 días en campo):

● Colección de datos y primer análisis● Discusión con los interesados (entidad ejecutora, ministerio, grupo meta...)

● De vuelta en Alemania:● Realizamos un análisis detallado de los datos y elaboramos el informe al

gobierno alemán;● Traducimos, publicamos y enviamos el informe resumido a la entidad

contraparte

20

• Alcance del análisis: 255 evaluaciones ex-post de proyectos energéticos que fueron realizadas entre 1988 y 2010

• Cuota de éxito: 79% de los proyectos

• La evaluación del riesgo en la pre-evaluación ofrece una estimación generalmente buena de la probabilidad de éxito (todos los proyectos de alto riesgo han fracasado)

• Las principales razones de los fracasos:

• Políticas sectoriales (falta de reformas, tarifas demasiado bajas)

• Operación de la entidad ejecutora (falta de recursos y personal capacitado; falta de mantenimiento)

• Nivel macro: conflictos, cambios económicos bruscos

Evaluación transversal:Energía – visión de conjunto

22

Evaluaciones temátiacs: ¿Cómo se identifican los impactos netos de un programa?

Una "evaluación rápida" en las evaluaciones ex-post normalmente no permite una medición detallada de los impactos netos (demasiados factores de influencia al mismo tiempo).

Métodos cuantitativos empíricos permiten aislar efectos netos con intervenciones apropiadas (evaluación rigurosa de impactos)

La evaluación rigurosa de impactos implica la recopilación exhaustiva de datos sobre el grupo meta y el grupo de control, la situación antes (= línea de base) y después de la intervención

Una colección de datos que satisfaga los requerimientos estadísticos de evaluaciones rigurosas acarrea costos relativamente altos en la mayoría de los casos (un argumento a favor de la colaboración).

Nuevo enfoque en evaluaciones temáticas permitehacer "evaluaciones rigurosas de impactos" selectivas.

Antes

Después

26

● Intercambio de papeles: Evaluaciones realizadas fuera del área de responsabilidad del propio departamento se han mostrado como instrumento excelente para promover el aprendizaje institucional

● Discusión de los resultados de las evaluaciones con todas las personas involucradas ("redes sectoriales")

● Sacar y diseminar conclusiones generales sobre el proyecto (lecciones aprendidas)

● FZ E trabaja en el Comité de Aseguramiento de Calidad

● Evaluaciones transversales con los centros de competencia

Aprendizaje interior en base a las evaluaciones:Componente importante en el manejo de calidad

¡El aprendizaje institucional sigue siendo un reto!

24

Ejemplo de Benin: Diseño de muestra

● 3000 hogares en 300 aldeas● 50% intervención en el abastecimiento de agua en 2009

"grupo de tratamiento"● 50% intervención en el abastecimiento de agua en 2010

"grupo de control"● Datos recopilados al principio de 2009 y de 2010● Variables de control

2009

2009

2010

2010

2009

2009

Levantamientode línea de base

Levantamientode seguimiento

Grupo detratamiento

Grupo decontrol

x

x

x

23

Antes de la intervención

Tiempot 1 t 2

GM

GM: grupo meta, t: tiempo

Impactosnetos

Tiempot 1 t 2

Dt2

GC

Dt1

GM

G: grupo meta, t: tiempoCG: grupo de control, D: diferencia GM - GC

Indi

cado

r de

impa

cto

Indi

cado

r de

impa

cto

Después de la intervención

Comparación antes y después: Determinación del impacto neto:

Impactos netosMedición de impactos netos mediante grupo de control de un programa

27

Adquisición

● Contratamos a evaluadores externos principalmente para evaluaciones de proyectos individuales, publicamos avisos de llamados a ofertas en nuestro sitio web por varias semanas

● Distinguimos entre fuentes de financiación (Fondo de Estudios y Expertos vs. presupuesto del KfW)

● ≤ 20.000 euros Procedimientos simples: lista corta o razones para una decisión● ≤ 40.000 euros Procedimientos de voto interno

sobre todo con respecto a la documentación,nivel jerárquico de la decisión

● ≤ 193.000 euros Exige opinión formal

● ≥ 193.000 euros Procedimientos europeos de licitación(Alemania todavía no ha elevado el límite hasta 200.000 euros)

322

Somos parte del KfW Bankengruppe

Fomento de paísesen desarrolloy transición

Negocio internacional Fomentamos:

Fomento de laconstrucción de nueva vivienda,modernización y educación

Fomento de PyMEs,fundadores de

empresas,empresas de reciente

creación

Infraestructura municipal y

préstamos globales en

Alemania/Europa, mandatos del

gobierno alemán

Fomentamos a Alemania

Financiación deexportaciones y

proyectos internacionales

Internacionalización Desarrollo

Fomento de la protección del medio ambiente y del clima

Sector de negocios

Mittelstandsbank (banco para

PyMEs)

Sector de negocios

Privatkundenbank (banco para

clientes particulares)

Sector de negocios Kommunalbank

(banco para municipios)

Sector de negociosFinanciación de exportaciones y

proyectos

Sector de negocios Fomento de países en desarrollo y transición

Fomento de la economía doméstica