EVALUACION MARCO LOGICO Cubierta Reconocimientos Prlogo Glosrio Introduccin I. La Evaluacin en el Banco

II. La Evaluacin y la Preparacin de Proyectos

III. La Evaluacin y la Ejecucin de Proyectos

IV. Informes de Terminacin y de Evaluacin de Proyectos

V. La Supervisin de Evaluaciones Efectivas

VI. Desarrollo de la Capacidad de Evaluacin La Evaluacin es un Instrumento de Aprendizaje

Bibliografa Anexo I: La Matriz de marco Lgico.

Anexo II: Planificacin de los Procedimientos de Supervisin y Evaluacin.

RECONOCIMIENTOSEste manual ha sido preparado por un grupo de especialistas en la materia integrado por Ana C. D. Catterton, George Plinio Montalvn, Jos Andrs Rosales y Alberto Ruiz de Gamboa de la Oficina de Evaluacin (EVO); Brian A. Thomson del Departamento Operativo Regional I; y los Sres. Gary Anderson, Charles David Gray, Marie-Helene Adriene y Deborah Gilsig, de Universalia, una empresa canadiense especializada en evaluacin, desarrollo institucional y administracin de proyectos. Debemos tambin un reconocimiento especial a las Sras. Anita Arteaga Ruiz y Anglica L. McInerney quienes prepararon la versin final de este documento.

Un borrador de este manual fue distribuido ampliamente en la agencias ejecutoras y en el propio Banco. Se agradecen los comentarios recibidos, muchos de los cuales han sido incorporados a esta publicacin.

PRLOGOEl Banco Interamericano de Desarrollo ha asignado alta prioridad a la expansin del desarrollo econmico y social de la regin. Por consiguiente, trata de asegurar que sus recursos contribuyan de manera eficiente y eficaz al logro de esa meta. Dado que los proyectos son el medio fundamental para lograr el impacto de desarrollo deseado, es importante para el Banco asegurar que los proyectos que financia tengan un desempeo efectivo. En ese sentido, la evaluacin es una herramienta muy til para mejorar tal desempeo. Esta gua de recursos para la evaluacin ha sido diseada para proporcionar a los usuarios de la Sede y las Representaciones del Banco en los pases miembros orientaciones para respaldar las actividades de evaluacin en todas las etapas del ciclo de los proyectos, y ayudar a mejorar su desempeo. Por lo tanto, este manual se dirige a la evaluacin de proyectos y no a las cuestiones de evaluacin a nivel de programas, polticas y estrategias.

A fin de poder efectuar el monitoreo y evaluar los proyectos, se deben establecer condiciones adecuadas de evaluacin cuando los proyectos se encuentran en la etapa de diseo. Hoy no todos los proyectos se disean con estos fines. Una reciente estimacin de "la evaluabilidad" de los prstamos aprobados en 1994 revel que no todos los proyectos contenan los elementos bsicos requeridos para el monitoreo de su progreso en base a sus resultados, o bien para determinar, posteriormente, si se alcanzaron o no los objetivos del desarrollo de los mismos. Para mejorar esta situacin, a nivel de diseo de proyectos, se pueden utilizar dos herramientas. Primero, en la etapa de diseo se puede incorporar el marco lgico a fin de establecer un propsito claro para cada proyecto a ese nivel. Segundo, se pueden utilizar criterios de "evaluabilidad" para verificar si los proyectos tienen los elementos necesarios para poder hacer ms adelante una evaluacin basada en los resultados obtenidos. En este manual se describe la manera de incorporar estas herramientas en las prcticas operativas del BID.Los proyectos exitosos no dependen nicamente de un buen diseo -- tambin requieren una ejecucin eficaz. Muchos de los prstamos del Banco estn teniendo dificultades en este aspecto. El "Informe Anual sobre Administracin de la Cartera" de 1994 revela que de 352 proyectos (444 prstamos) en marcha, 145 (o el 41,2 por ciento), que representaban $5.500 millones (o el 29,6 por ciento) del saldo no desembolsado, se encuentran en estado de ejecucin lenta, retrasada o problemtica. Esto confirma la necesidad de mejorar el diseo de los proyectos y facilitar los medios para seguir su ejecucin con eficacia.

Esta gua tambin presenta procedimientos para hacer evaluaciones operativas o intermedias de los proyectos ya que en algunos casos se est usando este tipo de evaluacin para ayudar a entender la naturaleza de sus problemas de desempeo. En las regiones operativas del Banco se estn ofreciendo talleres sobre la ejecucin y monitoreo de proyectos para ayudar a superar algunos de los problemas de diseo de los mismos. En la etapa de pos-terminacin, o ex-post, de un proyecto, momento en el cual se hace la mayora de las evaluaciones, es demasiado tarde para mejorar su desempeo. Sin embargo, si estas evaluaciones ex-post se hacen cuidadosamente, pueden contribuir a generar conocimientos indispensables para el

xito de proyectos futuros.

Sobre la base de buenas evaluaciones de ejecucin o intermedias, el Banco puede mejorar la produccin y divulgacin de las experiencias de proyectos que llevan a reconocer los errores y aprender de ellos de tal modo que los diseos de nuevos proyectos y las estrategias de ejecucin subsiguientes puedan beneficiarse de dicha experiencia colectiva. Las evaluaciones ex-post y de impacto descritas en este manual tambin son instrumentos importantes para mejorar el desempeo de los proyectos en el mediano plazo.

La Oficina de Evaluacin (EVO) ha producido este manual como una gua para los usuarios en la que se destaca la importancia de la evaluacin como herramienta de aprendizaje en todos los ciclos del proyecto, desde el diseo hasta la ejecucin/monitoreo y evaluacin ex-post, con el objeto de establecer algunos patrones y normas para que los procesos y productos de evaluacin sean eficaces. Para ello, durante los ltimos dos aos EVO ha estado ofreciendo talleres de capacitacin en evaluacin para respaldar el uso de la evaluacin como instrumento para mejorar los resultados del desarrollo de los proyectos. Este manual no sera el producto de calidad que es sin la contribucin de todos ustedes. Nuevamente deseamos invitarles a seguir aportando sus ideas y comentarios a nuestro continuo esfuerzo por ofrecer los mejores productos de evaluacin posibles.

Jean Serge Quesnel Director Oficina de Evaluacin

GLOSARIOTRMINO Confiabilidad DEFINICIN Proceso de medicin que producira resultados similares en observaciones repetidas de la misma condicin o circunstancia, o observaciones mltiples de la misma condicin o evento por medios diferentes. Informacin no numrica para la descripcin de un fenmeno; escritos, fotografas, pelculas, grabaciones de audio y objetos fsicos. Informacin expresada en forma numrica. Pueden ser ordinales o razones. Datos que describen la situacin del problema identificado antes de la intervencin de un proyecto.

Datos cualitativos

Datos cuantitativos Datos del ao base

Datos longitudinales Desempeo del proyecto Diseo de una evaluacin

Observaciones recopiladas durante un perodo sobre un nmero dado. Tambin se les llama "datos de series cronolgicas". Determinacin del grado en el cual un proyecto alcanz los resultados previstos dentro de los plazos y recursos programados. Los parmetros que definen una evaluacin y cmo esta se va a realizar, incluyendo los temas crticos, metodologa general, plan de recopilacin de datos y mtodos de anlisis para la evaluacin. Grado en el cual un proyecto logr los resultados previstos y, por tanto, alcanz su propsito y contribuy a su fin. El grado hasta el cual se ejecutaron, administraron y organizaron las actividades de un proyecto de una manera apropiada al menor costo posible para rendir los productos y/o componentes esperados. Una determinacin o estimacin de necesidades de evaluacin, aplicada en la "fase ex-ante" del ciclo de evaluacin, que incluye estudios de factibilidad, la identificacin de los objetivos del proyecto y todas aquellas otras funciones realizadas antes de comenzarlo. Evaluacin realizada despus de haber concluido la ejecucin del proyecto. En el BID, la evaluacin ex-post suele hacerse de 1 a 3 aos despus de la terminacin del proyecto una vez completado el informe de terminacin del proyecto (PCR) y se concentra en las reas de eficiencia, efectividad, efectos y propsito. Tambin se le llama "evaluacin a posteriori". Evaluacin ex-post realizada generalmente cinco aos despus de haber concluido un proyecto, que se concentra en el fin y el propsito del proyecto (tal como se les define en el Anlisis del Marco Lgico), as como en su "sostenibilidad" y efectos imprevistos. Evaluacin realizada mientras un proyecto est en ejecucin. Puede referirse tanto a la gestin como a las actividades del proyecto, y/o productos del proyecto. Tambin se le llama de medio trmino. El grado hasta el cual el diseo de un proyecto ha sido definido (en trminos de hitos, indicadores y otros parmetros de tal manera que permita que su posterior evaluacin sea posible Hiptesis de accin, basada en las conclusiones de una o ms evaluaciones, que est relacionada con un principio de aplicacin general.

Efectividad

Eficiencia

Evaluacin ex-ante

Evaluacin ex-post

Evaluacin de impacto

Evaluacin operativa

Evaluabilidad

Experiencia Adquirida

Impactos/efectos

Tal como se definen en el enfoque de Anlisis del Marco Lgico, los impactos y efectos se refieren a las consecuencias planeadas y/o no previstas de un proyecto; los efectos generalmente se relacionan con el propsito, mientras que los impactos se refieren a su fin. La especificacin cuantitativa y cualitativa para medir el logro de un objetivo. Procedimiento empleado para comprobar la efectividad y eficiencia del proceso de ejecucin de un proyecto, mediante la identificacin de los aspectos limitantes y/o ventajosos que culmina recomendando medidas correctivas para optimizar los resultados deseados. El grado hasta el cual un intento de medicin o un mtodo subestima o sobreestima sistemticamente un valor. La medida en que las conclusiones de una evaluacin estn justificadas por los datos presentados. La medida en la cual una conclusin emergente de una evaluacin pueda ser aplicada y/o fuera ligada a personas, objetos o eventos distintos de los que fueron objeto de tal evaluacin. La medida en que una conclusin emergente de una evaluacin efectuada dentro de un mbito determinado, est respaldada por los datos disponibles.

Indicador Monitoreo

Sesgo

Validez Validez externa

Validez interna

INTRODUCCINLa Oficina de Evaluacin (EVO) se complace en distribuir la primera de una serie de guas sobre evaluacin como parte de sus actividades de capacitacin y diseminacin. El objetivo de esta Gua de Evaluacin es presentar al personal de la Sede y Representaciones del Banco informacin sobre varias herramientas destinadas a facilitar la evaluacin de proyectos a nivel de diseo, ejecucin o monitoreo, y terminacin/impacto. En todo el documento la palabra "evaluacin" es usada en forma genrica, es decir, como anlisis que se realiza en todas las fases del proceso de desarrollo.

Esta Gua se divide en seis captulos. El Captulo I da una visin general de la evaluacin, y en l se describe el cambio del paradigma de la evaluacin, que enfatiza el aprendizaje y la retroalimentacin durante el ciclo del proyecto. Define a los involucrados en las evaluaciones del BID y el marco de referencia del Sistema de Evaluacin del Banco. En los Captulos II a IV se describe cun esencial es la aplicacin de la evaluacin para el diseo del proyecto en la fase de preparacin, el monitoreo del proyecto en la fase de ejecucin, y el impacto del proyecto en (o despus de) la fase de terminacin. El Captulo V est dirigido a aquellos usuarios a quienes les pueda corresponder o a quienes se les pida supervisar evaluaciones formales de medio trmino, y/o operativas, y ex-post, a quien le ofrece un proceso acotado para asegurar una evaluacin satisfactoria y eficaz. El Capitulo VI destaca la importancia de desarrollar una capacidad en evaluacin para aumentar la probabilidad de que los proyectos alcancen resultados eficaces y deseables. Por

ltimo, caracteriza el rol de EVO en respaldo del proceso de evaluacin del Banco.

Esta gua de evaluacin ser complementada por sesiones de capacitacin, tal como se est haciendo con el Marco Lgico en la Sede y las Representaciones. Este manual es un documento flexible, diseado para evolucionar y cambiar a medida que aprendamos juntos a travs de su utilizacin.

I LA EVALUACIN EN EL BANCOA. UNA NUEVA ERA DEL DESEMPEO DE LOS PROYECTOS Y LA EVALUACIN EN EL BANCOEl Banco Interamericano de Desarrollo est entrando en una nueva era en la que se destaca el desempeo de los proyectos. El Banco se ha comprometido a mejorar el desempeo y los resultados de las inversiones para el desarrollo. A esos fines, est definiendo medios para mejorar tal desempeo/resultados en sus estrategias y polticas globales, as como en los proyectos y programas de pases; particularmente los que se dirigen a beneficiarios de bajos ingresos, la mujer en el desarrollo, el ordenamiento ambiental y apoyo a microempresarios. El "Informe sobre el Octavo Aumento General de los Recursos del BID" de la Asamblea de Gobernadores del Banco, seala que ste "comenzar a trabajar en forma ms sistemtica con los prestatarios para evaluar la sustentabilidad financiera de los proyectos de los sectores sociales..." Para ello las evaluaciones vinculadas estratgicamente a todas las etapas del ciclo del proyecto realizadas eficazmente, con la participacin de gerentes y profesionales, prestatarios y agencias ejecutoras, pueden ser herramientas vitales para mejorar el desempeo de los proyectos patrocinados por el BID. Las buenas evaluaciones pueden ayudar a mejorar el desempeo de un proyecto en todas las etapas de su ciclo y tambin proporcionar informacin para mejorar las polticas y procedimientos del Banco. Las evaluaciones planeadas y ejecutadas cuidadosamente tambin pueden: 1) ayudar a analizar el desempeo del Banco en las etapas de definicin y planificacin de los proyectos y en la supervisin de su ejecucin; 2) medir el progreso obtenido en la consecucin de los objetivos de los proyectos, esencial para una buena gestin; 3) respaldar el desempeo de las agencias ejecutoras mediante el monitoreo y la capacitacin en mtodos de evaluacin; 4) medir hasta qu punto se alcanzan los resultados previstos y analizar los factores que obstaculizaron o contribuyeron a este logro; y 5) evaluar los efectos e impactos de los proyectos sobre sus beneficiarios. Asimismo, la evaluacin de proyectos genera productos que ayudan a los gerentes y directores a: mejorar el desempeo de proyectos nuevos y en ejecucin escoger entre varias alternativas de desarrollo conocer las prcticas ptimas en un campo determinado mejorar la sustentabilidad de los proyectos

B. LA EVALUACIN COMO DISCIPLINA La evaluacin implica la aplicacin de mtodos rigurosos para determinar el progreso de un proyecto en el proceso de alcanzar su objetivo durante su ejecucin, o bien para determinar si logr y cmo logr, o no, dicho objetivo. El proceso de evaluacin combina diferentes tipos de informacin con los criterios y puntos de vista de las personas participantes o afectadas. Utiliza herramientas de campos tales como la estadstica, economa y antropologa, y est basada fundamentalmente en los conceptos y procedimientos de la metodologa de investigacin cientfica. No obstante, ms que nada, la evaluacin interna en una institucin como el Banco tambin se basa en un contexto de evaluacin institucional proporcionado por los involucrados en el Sistema de Evaluacin del Banco (BES). 1. La evaluacin como concepto Aunque existen varias definiciones de la evaluacin, todas incorporan los tres principios siguientes:

Definicin de la Evaluacin por la OCDE/CAD El grupo de expertos en Evaluacin de Programas de Asistencia Internacional de la Organizacin de Cooperacin y Desarrollo Econmico/Comit de Asistencia para el Desarrollo (OCDE/CAD), ha definido la evaluacin de la manera seguiente: "un escrutinio -- lo ms sistemtico y objetivo posible -- de un proyecto, programa o poltica en ejecucin o terminado, y sus dimensiones de diseo, ejecucin y resultados. El propsito es determinar la pertinencia y logro de los objetivos y la eficiencia, efectividad, impacto y sustentabilidad del desarrollo." Una evaluacin debe proporcionar informacin que sea creble y til, para permitir la incorporacin de la experiencia adquirida en el proceso de adopcin de decisiones tanto del prestatario como de los donantes. (OCDE/CAD, 1991).

2. La evaluacin como proceso dinmico Tradicionalmente se ha considerado que la evaluacin de proyectos se concentra en el anlisis ex-post. La prctica actual considera a la evaluacin como una actividad

vital de tipo continuo que no solo proporciona informacin correctiva a nivel de los proyectos, sino tambin un entendimiento de los problemas a nivel de programa, poltica y estrategia. Adems, mientras ms se aproxima la evaluacin a la dimensin poltica, ms se aleja de un enfoque cuantitativo y se acerca a uno cualitativo.

C. EVOLUCIN DE LA PRACTICA DE LA EVALUACIN En los ltimos cien aos, la evaluacin ha evolucionado desde un enfoque unidimensional llevado a cabo por un solo evaluador, que generalmente provena del campo tcnico que se estaba evaluando, hasta convertirse en una actividad multidimensional concentrada en mltiples niveles de un proyecto, en la que participa una gran variedad de generadores de productos de evaluacin, as como usuarios de los resultados de una evaluacin. En la actualidad, en lugar de basarse nicamente en los puntos de vista de un solo evaluador en distintas etapas, ungrupo mucho mayor de involucrados ayuda a dar forma a la evaluacin y a interpretar sus hallazgos. Estas "etapas" solo deben tomarse aqu como conceptos introductorios, pues la realidad es ms compleja, particularmente en la actualidad porque la evaluacin comienza a evolucionar de una actividad en su mayor parte ex-post para convertirse en una herramienta utilizada cada vez con ms frecuencia para fines de monitoreo. La meta de la evaluacin bsicamente ha pasado de la auditora y culpabilidad a la meta actual del entendimiento y el aprendizaje en funcin de experiencias adquiridas. ETAPAS EN LA CONCEPCIN DE LA EVALUACIN ETAPA Primera generacin Medicin (fines del Siglo XIX) Segunda generacin Descripcin/Comparacin (Dcadas de 1920 a 1950) INTERS Identificacin del nivel de logro de ciertos objetivos especficos, mediante la medicin cuantitativa con instrumentos unimodales. Identificacin del nivel de conjuntos de aspectos optimizadores y limitantes con respecto a ciertos objetivos estabelecidos; comparacin de enfoques usando mtodos experimentales, o de fenmenos, en grupo y situaciones, de ocurrencia natural. Comparacin de resultados mltiples con metas y normas estabelecidas a priori; evaluacin normativa relacionada con datos de referencia e indicadores. Tranparencia, responsabilidad ejecutiva y desempeo coordinados por medio del anlisis de todos los datos disponibles, usando una variedad de mtodos y mediciones mltiples, e incorporando el conocimiento, las perspectivas y los valores de todos los involuncrados.

Tercera generacin Servicios de Valor (Dcadas de 1950 a 1980) Cuarta generacin Transparencia, responsabilidad ejecutiva y desempeo (Dcada de 1980 a la fecha)

3. Modelos lgicos Desde fines de los aos setenta, las agencias internacionales de desarrollo han integrado algunos aspectos de la evaluacin en el diseo de proyectos,

particularmente por medio del mtodo de Anlisis del Marco Lgico. Esto ha hecho avanzar el uso de modelos de evaluacin que vinculan el desempeo a la planificacin, diseo, ejecucin, monitoreo y terminacin de proyectos. El Banco cada da utiliza ms el sistema del marco lgico para vincular la evaluacin a los proyectos, tal como se explica en el Captulo IV de este manual. D. TIPOS DE EVALUACIONES En base a las relaciones que existen entre el ciclo de proyectos y las herramientas y los productos de evaluacin aqu descritos, en el cuadro siguiente se presentan los dos tipos principales de evaluacin: "formativa", que ocurre durante las etapas de preparacin y ejecucin del proyecto, y "sumativa", que se realiza al terminar, y despus de terminado el proyecto. En el cuadro siguiente se muestran los ciclos y etapas de evaluacin de proyectos y sus correspondientes herramientas formales de evaluacin. Los productos finales de la evaluacin constan de los "documentos" propiamente dichos, tal como son producidos en cada etapa; y los "resultados del proceso", segn se generan de las decisiones sobre estrategia y poltica del Directorio y la Administracin del Banco. El cuadro revela que los informes de evaluacin no tienen que limitarse al aprendizaje "sumativo" despus de la ejecucin del proyecto. La evaluacin formativa(1) tambin juega un papel muy importante. Los servicios de evaluacin se deben extender ms eficazmente a las etapas de preparacin e implantacin del ciclo del proyecto mediante mtodos y tcnicas de evaluacin formativa. Cuadro No. 1: EVALUACIN, CICLO, HERRAMIENTAS Y PRODUCTOS DEL PROYECTO Tipo de Evaluacin Ciclo del Proyecto Productos Herramientas Formales de Resultados Evaluacin Documentos del Proceso Documento de Prstamo Documento de Proyecto Diseo de proyectos mejorado y "evaluable"

Preparacin - Marco Lgico Evaluacin - Instrumentos ex-ante de anlisis Aprendizaje econmico, formativo: financiero e institucional - Diagnstico "Durante" de evaluabilidad - Listado de datos de referencia Ejecucin - Seguimiento Evaluacin de Ejecucin y Concurrente Monitoreo. - Evaluacin intermedia de ejecucin

Informes semestrales de Proyecto Gestin de Cartera

Ejercicios de Proyectos Mejorado Mejor desempeo de los proyectos "Pipeline" mejorado; Diseo de Proyectos; Polticas y

Aprendizaje Terminacin - Evaluacin sumativo: Evaluacin ex-post ex-post - Evaluacin de impacto de "Despus" desarrollo

El BID utiliza "cuatro documentos formales"(2) PCR/BEP/PPR/ OER (todos los

cuales Estrategias. contribuyen a los resultados del proceso) + Las evaluaciones de impacto examinan efectos e impactos tecnolgicos, institucionales, econmicos, polticos,

E. LA INVERSIN EN LA EVALUACIN A LO LARGO DEL CICLO DEL PROYECTO La evaluacin no tendr mucho impacto en el mejoramiento del desempeo de los proyectos a menos que se planifique, administre e integre en todas las etapas del ciclo del proyecto. Si se respalda adecuadamente y se administra como es debido, la evaluacin debera producir una mejor participacin de la responsabilidad ejecutiva y del desempeo de proyectos y programas. LA EVALUACIN A LO LARGO DEL CICLO DEL PROYECTO PREPARACIN El proceso de evaluacin genera informacin sobre DEL experiencia adquirida y prcticas ptimas que pueden PROYECTO sugerir mejores enfoques para el diseo de nuevos proyectos. En esta etapa, un proyecto debe incluir datos de referecia e indicadores de desempeo que son esenciales para el trabajo futuro de monitoreo y evaluacin del desempeo de los proyectos. A este nivel, la introduccin de los principios de evaluacin se considera "formativa", pues sienta las condiciones para la evaluacin futura. EJECUCIN DEL PROYECTO En esta etapa el proceso de evaluacin adopta la forma de monitoreo continuo, aunque en ciertos casos el Banco, y algunas veces los prestatarios, tambin hacen evaluaciones formales operativas durante la ejecucin del proyecto. La evaluacin durante la ejecucin es considerada "formativa", porque su propsito es respaldar la mejora continua de la ejecucin del proyecto.

TERMINACIN El proceso de evaluacin despus de la terminacin DEL del proyecto reexamina la identificacin y diseo PROYECTO original e indaga sobre su ejecucin y desempeo de desarrollo. En esta etapa, la evaluacin se considera "sumativa". El proceso descrito de la evaluacin a lo largo del ciclo del proyecto generalmente requiere que los recursos internos y externos que contribuyen a una operacin se combinen adecuadamente para contribuir a un desempeo del proyecto que autnticamente contribuya a sus objetivos de desarrollo. Los costos de los recursos necesarios para efectuar evaluaciones continuas de proyectos no deben subestimarse y deben ser adecuadamente programados en los presupuestos anuales del Banco. Sin tal programacin, el tiempo que requieren los involucrados principales que participan en la realizacin de una evaluacin puede convertirse en una costosa inversin. Aplicando los principios del Sistema de Evaluacin del Banco (BES)(3), la generacin de proyectos "evaluables" estara garantizada desde el inicio del proyecto.

F. CARACTERSTICAS DE UN BUEN PROCESO DE EVALUACIN Si se busca que el proceso de evaluacin contribuya al desempeo e impacto de desarrollo de los proyectos, debe asegurarle a los involucrados o grupos interesados que dicho proceso sea: 1. Imparcial Ello supone neutralidad, transparencia y equidad en el proceso de anlisis y generacin de conclusiones de evaluacin. La unidad evaluadora y el evaluador no puede tener ningn inters personal o conflicto de inters, la imparcialidad debe prevalecer en todos los aspectos del proceso de evaluacin. 2. Creble Lo ms esencial de la credibilidad es la confianza que los involucrados y/o interesados tienen en la experiencia e imparcialidad del evaluador y el reconocimiento de la calidad del trabajo de la unidad evaluadora. Una buena evaluacin debe aplicar normas claras y estrictas a la calidad del diseo de la evaluacin, la confiabilidad y validez de los datos, asegurar el rigor del anlisis de tales datos y hacer explcita la conexin lgica entre las conclusiones y las recomendaciones. Adems, debe tener en cuenta las necesidades y perspectivas de los diversos involucrados/interesados en la evaluacin. 3. til La medida cabal del xito de un proceso de evaluacin es su efecto sobre las personas y organizaciones que aprenden de dicho proceso. No puede esperarse que los efectos de los resultados de una evaluacin en los destinatarios de la evaluacin sean positivos a menos que tales resultados sean contribuciones oportunas al proceso de adopcin de decisiones, y sean presentadas en un lenguaje claro y conciso que los involucrados/interesados puedan entender fcilmente. 4. Participativo La prctica contempornea de la evaluacin hace mucho hincapi en la participacin de todos los involucrados e interesados, incluyendo compartir la experiencia entre ellos. As pues, la evaluacin debe reflejar los diferentes intereses, necesidades y percepciones de los involucrados. 5. Retroalimentador La evaluacin debe generar informacin que contribuya a retroalimentar al proceso de toma de decisiones y el aprendizaje organizacional. Por consiguiente, el encargado de una evaluacin tambin debe asegurar la diseminacin sistemtica de los resultados obtenidos entre los involucrados, incluyendo los diseadores de proyectos y la alta administracin encargada de formular polticas. 6. Costo/Eficaz Como inversin institucional, las evaluaciones deben ponderar la relacin entre las exigencias del rigor y la validez de la informacin y de su anlisis con la obtencin de un resultado o producto efectivo. Las evaluaciones deben agregar valor a la experiencia del interesado en el respectivo proyecto, y buscar que este resultado sea proporcional a la inversin que hacen los involucrados con sus propios recursos.

G. PAPEL QUE DESEMPEAN LOS INVOLUCRADOS EN LAS EVALUACIONES DE PROYECTOS DEL BID El modelo emergente de evaluacin de proyectos implica una asociacin entre los productores y los consumidores del proceso y productos de evaluacin. Estos involucrados son grupos que han participado en el diseo y/o ejecucin del proyecto, como as tambin quienes participan en el proceso de producir, ejecutar y utilizar los resultados de la evaluacin. Debe considerarse que estos involucrados tambin pueden verse afectados en forma positiva o negativa por los resultados de la evaluacin y que distintos involucrados pueden tener distintas posiciones,

inquietudes y problemas. La tarea del evaluador consiste en identificar los intereses de estos involucrados y tenerlos en cuenta en el proceso de evaluacin. Los involucrados en las evaluaciones de proyectos del BID pueden dividirse en tres grupos: el patrocinador o promotor de la evaluacin, compuesto por el Directorio Ejecutivo, la Administracin, el prestatario y la Oficina de Evaluacin (EVO); los involucrados primarios, incluyendo los beneficiarios, las Representaciones del BID, los organismos ejecutores y los Gobernadores del BID; y los involucrados secundarios u otras agencias de desarrollo, grupos de inters sectoriales y grupos de investigacin. INVOLUCRADOS EN EVALUACIONES DEL BID PATROCINANTES DE LA EVALUACION - Directorio Ejecutivo del BID - Administracin del BID - Prestatario - EVO INVOLUCRADOS PRIMARIOS - Beneficiarios - Representacin del BID - Organismos Ejecutores - Gobernadores del BID INVOLUCRADOS SECUNDARIOS - Asociados en el proceso de desarrollo - Gestores - Asociados en Investigaciones Figura 1 Los que deben participar ms activamente en las evaluaciones de proyectos son los "involucrados primarios" (ver diagrama). Generalmente, entre estos involucrados figuran la organizacin que administra o patrocina la evaluacin (normalmente el Banco y/o el prestatario) y las personas y organizaciones que son los destinatarios del informe de evaluacin. Los "involucrados secundarios" son muchos y variados, dependiendo del proyecto y el foco de la evaluacin. Tal como ocurre cuando se planifica cualquier proyecto de desarrollo, el evaluador debe analizar las caractersticas de los involucrados.

H. LA EVALUACIN COMO SISTEMA DENTRO DEL BANCO La evaluacin en el BID es un sistema de mltiples involucrados integrado por generadores de productos (proyectos) evaluables, generadores de evaluaciones y usuarios de productos de evaluacin. Dinmicamente este sistema comienza con la formulacin del proyecto, contina durante la ejecucin del proyecto, determinando su eficacia e impacto, y concluye despus de haber terminado el proyecto, con una evaluacin de su impacto de desarrollo y la integracin de los resultados de esta evaluacin en la formulacin de nuevos proyectos. En la prctica, este sistema dinmico se basa en: las etapas del ciclo del proyecto (segn se expresan en los objetivos, procedimientos y actividades del Banco);

la estructura operativa del Banco y sus responsabilidades departamentales; las acciones requeridas de los diferentes involucrados en cada momento donde una etapa del ciclo de un proyecto se vincula con una determinada responsabilidad operativa.

Estos tres elementos constituyen la "matriz" del Sistema de Evaluacin del Banco (BES). En el cuadro siguiente se presenta la estructura conceptual de este sistema dinmico.

Cuadro No. 2: MARCO OPERACIONAL DEL BES GRUPOS FUNCIONES SEDE REPRESENTACION ES Y PRESTATARIOS Establecen lineamientos y puntos de referencia a nivel de pas, mantienen dilogos de poltica con los prestatarios y contribuyen a programas de pases y al diseo de proyectos. EVO

Evaluacin Ex-ante

Marcos y lineamientos de las metas del Octavo (Formativa) Programas de pas Aumento de Capital, Desarrollo de Diseo y programas de aprobacin de pas, proyectos identificacin de proyectos y preparacin de proyectos con indicadores para evaluacin.

Estrategias y polticas operativas

Contribuye a la generacin de hitos de base, monitoreo y producto e indicadores; proporciona insumos sobre experiencia adquirida, propone criterios de seguimiento para proyectos, ofrece apoyo en el uso del marco lgico. Ofrece apoyo a actividades de seguimiento de proyectos, respalda y/o ejecuta evaluaciones (formativas) de seguimiento de proyectos y programas / estrategias de pas, respalda mejoras a la produccin de PCR y apoya el ejercicio de gestin de carteras.

Evaluacin

Administracin de Operaciones, Modificaciones a Operativa proyectos, PCR, (Formativa) Administracin de la Cartera, Examen de Programas de pases y polticas/estrategi as.

Respalda a las Representaciones en el seguimiento de la ejecucin y reformulacin de proyectos, examen de los PCRs y preparacin de estudios de carteras de pases. Seguir/inform ar sobre el progreso alcanzado y proporcionar informacin sobre el

Siguen proyectos, producen informes de progreso, negocian y presentan modificaciones a proyectos, (si es necesario), producen PCRs, y preparan anlisis de carteras, evaluaciones operativas de proyectos y evaluaciones de programas de pases.

desempeo de programas y estrategias de pases.

Evala ciertas operaciones crticas.

Evaluacin

De resmenes sectoriales, proyectos (PCR, ex-post BEP, PPR, OER), (Sumativa) administracin y procedimientos, estrategias y polticas.

Evala programas de pases, sectores y proyectos especficos, procedimiento s de evaluacin.

Contribuyen a evaluaciones a nivel de programas de pases y de proyectos; contribuyen a los BEP y a examinar procedimientos operacionales.

Produce evaluaciones de estrategias, polticas, programas especficos de pases y proyectos, contribuyendo a los BEP y produciendo PPRs y OERs; evala procedimiento s. Produce metodologas de evaluacin y manuales de capacitacin, ayuda en campos, ejecutivos del Banco y a prestatarios en tcnicas de evaluacin, asiste en el diseo de proyectos especficos.

Diseminaci Metodologas, n Capacitacin y Apoyo Tcnico.

Examina metodologas de diseo de proyectos, contribuye a la capacitacin y aplica prcticas ptimas y herramientas de evaluacin en el diseo de proyectos.

Aseguran la aplicacin de metodologas de diseo y seguimiento en programas y proyectos.

I. LA EVALUACIN Y EL DESEMPEO El Banco se ha comprometido a utilizar la evaluacin para desarrollar su capacidad para verificar el desempeo de sus acciones en todas las etapas del ciclo del proyecto. El diagrama siguiente muestra el ciclo de los proyectos, las contribuciones de la funcin de evaluacin en cada etapa del ciclo, y la funcin principal del desarrollo de esta capacidad de desempeo.

2. Matrices de evaluacin del BID En el Banco se utilizan tres matrices bsicas de evaluacin en las actividades de evaluacin: El Marco Lgico (ver pgina 16) y lineamientos para datos de referencia (ver pginas 20 y 21), utilizados en la etapa de preparacin (o diseo) del proyecto;

Un marco que incorpora los conceptos de continuidad de la justificacin, eficiencia, eficacia, efectos/impactos y experiencia adquirida, que se utilizan durante la etapa de ejecucin/terminacin y posterminacin o evaluaciones ex-post; Un marco con campos de evaluacin sumativa (estrategia, poltica, programa, diseo, monitoreo y ejecucin, procedimientos, desempeo, poder de sustentacin) usados en la etapa ex-post para evaluar los impactos.

3. Importancia del BES Estas funciones de evaluacin son ms fciles de realizar si, en los niveles de diseo ex-ante y de monitoreo de la ejecucin, se generan datos de referencia y sistemas de generacin de datos e informes de estado de gestin apropiados. La participacin de todos los involucrados en el BES (ver pgina 10) es esencial para asegurar que estas funciones se cumplan. PUNTOS IMPORTANTES El proceso de evaluacin mejora el desempeo de desarrollo de los proyectos. La evaluacin incluye a todos los involucrados. La evaluacin debe ser pertinente para todos los involucrados primarios de los proyectos. Las evaluaciones eficaces son imparciales, crebles, tiles, participativas, retro-alimentadoras y costo eficientes

1

Vase el cuadro intitulado "Evaluacin, Ciclo, Herramientas y Productos del Proyecto en la pgina 4. 2 PCR Informe de Terminacin de Proyecto - determinacin sistemtica de la cartera del Banco de operaciones terminadas segn mandatos de los Manuales de las Representaciones. BEP Informe Ex-post del Prestatario, tambin llamado Informe de Evaluacin del Prestatario - (el BID ya no lo requiere) respalda la capacidad de evaluacin del prestatario, as como la consolidacin institucional y anlisis de nuevos prstamos. PPR Anlisis de Ejecucin de Proyectos - examina con alcances y metodologas ms indagatorias que el PCR: un proyecto, un programa, un sector, lecciones aprendidas y/o mejores prcticas. OER Informe de Evaluacin de Operaciones - compara las proyecciones con los logros obtenidos, estudia los impactos econmicos y sociales, hiptesis originales y factores que contribuyen al xito del proyecto o lo obstaculizan. 3 Ms adelante se ofrece informacin sobre el Sistema de Evaluacin del Banco.

II LA EVALUACIN Y LA PREPARACIN DE PROYECTOS

A. LA EVALUACIN Y EL DISEO DE PROYECTOS

Este captulo explica cmo la evaluacin puede mejorar el diseo y la planificacin de proyectos, estableciendo as las condiciones para las actividades de evaluacin que se deben llevar a cabo a lo largo del ciclo del proyecto. Comienza examinando los pasos destinados a asegurar que el proyecto responda a la problemtica identificada y tenga un propsito claramente definido, ya que estos dos atributos son fundamentales para asegurar un buen desempeo de desarrollo de los proyectos y facilitar las actividades correspondientes de evaluacin. Considera luego los productos de evaluacin que se generan en esta etapa del proyecto. Cabe enfatizar que para todo ello, algunos de los aspectos ms importantes del diseo de un proyecto son: 1. establecer un entendimiento claro de la problemtica a resolver; 2. incorporar en el diseo del proyecto las experiencias adquiridas de operaciones anteriores; y 3. establecer dentro del diseo del proyecto las condiciones para una evaluacin efectiva, tanto durante la etapa de ejecucin como ex-post. Cabe aclarar que estas consideraciones no sustituyen a los instrumentos de anlisis econmico, financiero, tcnico e institucional del Banco, aunque s los complementan.

1. Matriz de evaluacin para el diseo de proyectos El Marco Lgico es un instrumento que se puede usar en la fase ex-ante o de diseo de los proyectos en el proceso de evaluacin. Aunque en esta gua no es posible incursionar en todos los detalles del mtodo del marco lgico, se tratar de ofrecer una sinopsis del mismo. Para el lector que quiera ms detalles, vase el Anexo I de esta Gua.

2. Preparacin para la produccin de un marco lgico Una parte vital del trabajo de un evaluador consiste en determinar si un proyecto ha tenido xito en resolver la problemtica de desarrollo para la cual fue diseado. En muchos proyectos ello ha sido difcil ya que, a la hora de disear el proyecto, no se entendi bien la problemtica, y no qued establecida su vinculacin con la solucin proporcionada por el proyecto.

3. Anlisis de los involucrados o partes interesadas Este anlisis contribuye a describir las caractersticas e interacciones entre los grupos que intervienen directa o indirectamente en la problemtica para la cual se busca una solucin por la va de un proyecto de inversin. Se trata de comprender sus intereses respectivos en relacin con la problemtica identificada; sus percepciones de los problemas relacionados con la problemtica, los recursos (polticos, legales, humanos, financieros, etc.) de que disponen para contribuir a resolver dicha problemtica, sus respectivos mandatos con respecto a la situacin emergente del problema, cmo pueden reaccionar ante una posible estrategia para

el proyecto, y los conflictos existentes o potenciales entre ellos. Este anlisis de involucrados es una fuente til de informacin para la evaluacin del proyecto durante su ejecucin, y por lo tanto es importante efectuarlo y entender los papeles que desempean estos actores en la ejecucin del proyecto.

4. El rbol de problemas El rbol de problemas es una ayuda importante para entender la problemtica a resolver. En l se expresan, en encadenamiento tipo causa/efecto, las condiciones negativas percibidas por los involucrados en relacin con el problema en cuestin. Confirmado el mencionado encadenamiento causa/efecto, se ordenan los problemas principales permitiendo al equipo de diseo identificar el conjunto de problemas sobre el cual se concentrarn los objetivos del proyecto. Esta clarificacin de la cadena de problemas permite mejorar el diseo, efectuar un monitoreo de los "supuestos" del proyecto durante su ejecucin y, una vez terminado el proyecto, facilita la tarea del evaluador, quien debe determinar si los problemas han sido resueltos (o no) como resultado del proyecto. En el cuadro se presenta un ejemplo simplificado de rbol de problemas, donde se muestra la situacin de un servicio de autobuses urbano y se identifican las relaciones de causa/efecto entre los problemas principales.

5. El rbol de objetivos Los problemas de desarrollo identificados en el rbol de problemas se convierten, como soluciones, en objetivos del proyecto como parte de la etapa inicial de disear una respuesta. Los objetivos identificados como componentes o productos de un proyecto se convierten en los medios para encarar el problema de desarrollo identificado y proporcionar un instrumento para determinar su impacto de desarrollo. En el cuadro aparece un rbol de objetivos en el que se utilizan los problemas sealados en el rbol de problemas.

B. LA MATRIZ DE MARCO LGICO El marco lgico es uno de los principales instrumentos utilizados hoy en da por las agencias de desarrollo para el diseo y planificacin de proyectos. Concebido para la Agencia para el Desarrollo Internacional de los Estados Unidos (USAID) a fines de los aos setenta, el marco lgico es una herramienta de trabajo con la cual un evaluador puede examinar el desempeo de un proyecto en todas sus etapas. Este tipo de instrumento metodolgico ofrece las siguientes ventajas: claro anlisis de la relacin de medios/fines de las actividades del proyecto que conducen a productos (o componentes) requeridos para lograr el propsito establecido para contribuir al logro de un fin (u objetivo de desarrollo); especificacin precisa de las actividades de un proyecto y de sus costos; descripcin de indicadores de desempeo y fuentes de verificacin de tales indicadores; especificacin de los supuestos (o riesgos) principales que podran condicionar el xito del proyecto; y un marco de referencia para identificar las experiencias adquiridas e incorporarlas a otros proyectos.

El marco lgico es, pues, un instrumento que ayuda a los diseadores de proyectos a entender mejor la naturaleza de los problemas que estn tratando de resolver. La matriz del marco lgico est basada en dos principios bsicos: primero, las relaciones lgicas verticales de causa-efecto entre las diferentes partes de un problema, que corresponden a los cuatro niveles o filas de la matriz que relacionan las actividades (o insumos), los componentes (o productos), el propsito y el fin como el conjunto de objetivos jerarquizados del proyecto; segundo, el principio de la correspondencia (lgica horizontal), que vincula cada nivel de objetivos a la medicin del logro (indicadores y medios de verificacin) y a las condiciones que pueden afectar su ejecucin y posterior desempeo (o supuestos principales). Para seguir la descripcin que se har a continuacin, se recomienda hacer referencia al Cuadro 3.

1. Lgica vertical El marco lgico ayuda a sistematizar y aplicar un enfoque sistemtico y racional al diseo, ejecucin y evaluacin de proyectos. En los Cuadros 3 y 4, la lgica vertical postula que si contribuimos con ciertas actividades (o insumos), produciremos ciertos componentes (o resultados): por lo tanto, existe una relacin necesaria y suficiente entre las actividades y sus componentes correspondientes, siempre y cuando los supuestos identificados sean confirmados en la realidad de la ejecucin y posterior uso de los productos. En el nivel siguiente de la lgica vertical de la matriz volvemos a hacer una inferencia causal. Si el proyecto produce estos componentes (o resultados), y los supuestos de este nivel se ratifican, se lograr el propsito (la hiptesis) (los componentes son condiciones necesarias y suficientes siempre y cuando los supuestos tambin se confirmen en la realidad de la ejecucin). Siguiendo hasta el nivel de objetivo superior (fin), si se logra el propsito, y se confirman los supuestos de este nivel, se habr contribuido de manera significativa a alcanzar el fin (es decir, el propsito es necesario, pero no suficiente). 2. Lgica horizontal En trminos prcticos, la dimensin horizontal es una descripcin de cmo los gerentes de proyectos, el responsable del monitoreo de la Representacin, y los evaluadores, pueden medir el nivel de logro de los resultados esperados a cada nivel de objetivos. En los cuadros ya mencionados, la segunda columna describe lo que hemos llamado "indicadores". Estos son determinados en la etapa de diseo, y deben ser medidas cuantitativas y cualitativas del estado de ejecucin de componentes, del logro del propsito (efecto directo del proyecto) o la magnitud de la contribucin hacia el logro del fin (impacto de desarrollo). La tercera columna explica a travs de qu medios se verificarn los indicadores, especificando las fuentes de informacin y mtodos que se emplearn. La cuarta columna a la que ya hemos hecho referencia en el punto anterior, es donde se describen los supuestos (y su jerarqua) que deben materializarse para asegurar el logro de las acciones o productos de cada nivel y a su vez se transformen en lo esperado, en el objetivo del nivel superior subsiguiente. 3. Indicadores Como ya se sealara, stos son el eje que define la recopilacin de los datos necesarios para efectuar el seguimiento de la ejecucin del proyecto y su posterior evaluacin. Los indicadores deben ser especificados con cuidado y precisin. El marco lgico debe incluir indicadores para todos los niveles de objetivos, pero al mismo tiempo el nmero de los mismos debe ser cuidadosamente elegido para que sea el mnimo necesario para poder asegurar veracidad, pero con eficacia gestionaria. Al fijar indicadores, es preciso que se definan de manera tal que queden claros los niveles de cantidad, calidad y tiempo requeridos para asegurar que se alcance el siguiente nivel de objetivos. Estos indicadores son muy importantes porque enmarcan las caractersticas de las respuestas operativas a los problemas que est tratando de resolver el proyecto. Adems, proporcionan un punto de referencia para la recopilacin de datos en la etapa de preparacin y una "carta de navegacin" para guiar las actividades de gestin/monitoreo y evaluacin del proyecto. La primera funcin se presenta ms adelante en este captulo; la segunda, en los captulos IV, V y VI. En el Cuadro 4 se presenta una sntesis de la matriz de marco lgico. Este es seguido de un ejemplo de marco lgico derivado del caso usado para los rboles de problemas y objetivos ya presentados en este captulo. 4. Supuestos

Tal como se ha mencionado en las secciones anteriores para que la lgica vertical (de causa efecto) sea "vlida", la gestin del proyecto depende de la verificacin o confirmacin de los supuestos establecidos. Estos se especifican, para cada nivel de objetivo, en la cuarta columna del marco lgico. Quizs lo ms importante de los supuestos es reconocer que se trata de elementos que implican riesgo relacionados con el entorno del proyecto, que estn fuera del control de la gerencia del proyecto y de la agencia ejecutora.Cuadro No. 4: LA ESTRUCTURA DEL MARCO LGICO RESUMEN NARRATIVO DE OBJETIVOS FIN El Fin es una definicin de cmo el proyecto o programa contribuir a la solucin del problema (o problemas) del sector. Los indicadores a nivel de Fin miden el impacto general que tendr el proyecto. Son especficas en trminos de cantidad, calidad y tiempo. (grupo social y lugar, si es relevante). Los medios de verificacin son las fuentes de informacin que se pueden utilizar para verificar que los objetivos se lograron. Pueden incluir material publicado, inspeccin visual, encuestas por muestreo, etc. Los supuestos indican los acontecimientos, las condiciones o las decisiones importantes necesarias para la "sustentabilidad" (continuidad en el tiempo) de los beneficios generados por el proyecto. INDICADORES VERIFICABLES OBJETIVAMENTE MEDIOS DE VERIFICACIN SUPUESTOS

PROPSITO El Propsito es el impacto directo a ser logrado como resultado de la utilizacin de los Componentes producidos por el proyecto. Es una hiptesis sobre el impacto o beneficio que se desea lograr. Los indicadores a nivel de Propsito describen el impacto logrado al final del proyecto. Deben incluir metas que reflejen la situacin al finalizar el proyecto. Cada indicador especifica cantidad, calidad y tiempo de los resultados por alcanzar. Los medios de verificacin son las fuentes que el ejecutor y el evaluador pueden consultar para ver si los objetivos se estn logrando. Pueden indicar que existe un problema y sugieren la necesidad de cambios en los componentes del proyecto. Pueden incluir material publicado, inspeccin visual, encuestas por muestreo, etc. Los supuestos indican los acontecimientos, las condiciones o las decisiones que tienen que ocurrir para que el proyecto contribuya significativamente al logro del Fin.

COMPONENTES Los Componentes son las obras, servicios, y capacitacin que se requiere que complete el ejecutor del proyecto de acuerdo con el contrato. Estos deben expresarse en trabajo terminado (sistemas instalados, gente capacitada, etc.) ACTIVIDADES Las Actividades son las tareas que el ejecutor debe cumplir para completar cada uno de los Componentes del proyecto y que implican costos. Se Este casillero contiene el presupuesto para cada Componente a ser producido por el proyecto. Este casillero indica donde un evaluador puede obtener informacin para verificar si el presupuesto se gast como estaba planeado. Normalmente Los supuestos son los acontecimientos, condiciones o decisiones (fuera del control del gerente de proyecto) que tienen que suceder para Los indicadores de los Componentes son descripciones breves, pero claras de cada uno de los Componentes que tiene que terminarse durante la ejecucin. Cada uno debe especificar cantidad, calidad y oportunidad de las obras, servicios, etc., que debern entregarse. Este casillero indica dnde el evaluador puede encontrar las fuentes de informacin para verificar que los resultados que han sido contratados han sido producidos. Las fuentes pueden incluir inspeccin del sitio, informes del auditor, etc. Los supuestos son los acontecimientos, las condiciones o las decisiones que tienen que ocurrir para que los componentes del proyecto alcancen el Propsito para el cual se llevaron a cabo.

hace una lista de actividades en orden cronolgico para cada Componente.

constituye el registro contable de la unidad ejecutora.

completar los Componentes del proyecto.

Cuadro No. 5: MARCO LGICO PARA EL DISEO Y EVALUACIN DE PROYECTOS DEL BID Ejemplo: Caso de Proyecto de Transportes PAS: PROYECTO: FECHA ESTIMADA DE INICIO DEL PROYECTO: FECHA ESTIMADA DE TERMINACIN DEL PROYECTO: RESUMEN NARRATIVO INDICADORES MEDIOS DE VERIFICACIN - Las estadsticas auditadas de la Compaa de Autobuses de la Ciudad son notificadas al Consejo de la Ciudad. - Resultados de encuestas entre pasajeros. SUPUESTOS EQUIPO DE PROYECTO __________: PROYECTO NO.:

FIN DEL PROYECTO Aumenta el uso del servicio de autobuses urbano (SAU).

- El nmero de pasajeros aumenta de X0 en el ao base a X3 a fines del ao 3, X4 a fines del ao 4, X5 para Diciembre 2002 y X6 para diciembre 2003. - El nmero de quejas de pasajeros disminuye de B0 en el ao base a B3 a fines del ao 3, B4 a fines del ao 4, B5 para Diciembre del 2002 y B6 para diciembre del 2003.

PROPSITO DEL PROYECTO El servicio ofrecido por SAU es confiable.

- La tasa de accidentes disminuye de Y0 en el ao base a Y1 a fines del ao 1, Y2 a fines del ao 2, Y3 a fines del ao 3 e Y4 al final del proyecto (diciembre del 2001). - El nmero de demoras (+/- 5 minutos) baja de Z0 en el ao base a Z1 a fines del ao 1, Z2 a fines del ao 2, Z3 a fines del ao 3 y Z4 al final del proyecto (diciembre del 2001).

- Estadsticas del Departamento de Caminos de la Ciudad. - Estadsticas del Departamento de Polica de la Ciudad. - Las estadsticas auditadas de la Compaa de Autobuses de la Ciudad son notificadas al Concejo de la Ciudad.

- El precio relativo del combustible se mantiene estable.

COMPONENTES DEL PROYECTO 1. Los choferes conducen con cuidado 2. Los autobuses se encuentran en buen estado. 3. Los itinerarios y el uso de los autobuses han sido optimizados.

- Las infracciones del reglamento de seguridad disminuyen de S0 en el ao base a S1 a fines del ao 1, S2 a fines del ao 2, S3 a fines del ao 3 y S4 al final del proyecto (diciembre del 2001). (1) - Los autobuses incapacitados disminuyen de J0 en el ao base a J1 a fines del ao 1, a J2 a fines del ao 2, a J3 a fines del ao 3 y a J4 a final del proyecto (diciembre del 2001).(2) - Los residentes de la ciudad que viven dentro de un radio de 3/4 km de las paradas del autobs en horas pico aumenta de R0 en el ao base a R1 a fines del ao 1, R2 a fines del ao 2, R3 a fines del ao 3 y R4 al final del proyecto (diciembre del 2001).(3)

- Las estadsticas auditadas de la Compaa de Autobuses de la Ciudad son notificadas al Concejo de la Ciudad. - Las estadsticas auditadas de la Compaa de Autobuses de la Ciudad son notificadas al Concejo de la Ciudad. - Datos bsicos del censo; las actualizaciones son del censo mensual actual de poblacin realizado por la Oficina Nacional de Estadsticas.

- (El Concejo Municipal aprueba sendas especiales para los autobuses).

ACTIVIDADES DEL PROYECTO 1.1 Entrenar choferes de autobs. 1.2 Ofrecer incentivos por conducir con cuidado. 1.3 Mejorar las condiciones de trabajo. 1.4 Introducir reglamento de seguridad y sistema de inspeccin. 2.1 Tener existencias de equipos y partes de repuesto. 2.2 Mejorar el taller de reparaciones. 2.3 Establecer un calendario para el reemplazo de autobuses. 3.1 Optimizar las rutas e itinerarios. 3.2 Dotar los autobuses con radios para comunicaciones. 3.3 Establecer una estacin de comunicaciones en la terminal central de autobuses. 3.4 Recopilar estadsticas sobre cumplimiento con

PRESUPUESTO

DOCUMENTOS SOBRE LA EJECUCIN DEL PRESUPUESTO

- El mantenimiento y reconfiguracin de caminos por el Departamento de Obras Pblicas de la Ciudad es adecuado. - (El sindicato de choferes est de acuerdo con la estrategia del proyecto). - (Los derechos de importacin sobre las piezas de vehculos no aumentan). - (Los ingresos por concepto de pasajes son suficientes para reemplazar los autobuses). - (El Concejo de la Ciudad aprueba un itinerario y rutas). revisados).

itinerarios y reglamento de seguridad. 4.1 Establecer un programa continuo de encuestas entre pasajeros

C. EVALUACIN Y APROBACIN DE PROYECTOS Todos los que participan en el diseo y la aprobacin de proyectos deberan cerciorarse de que cada proyecto nuevo podr beneficiarse de futuros procesos de evaluacin. En la etapa de diseo se debera incorporar una tarea de verificacin de la futura "evaluabilidad" del proyecto, y los documentos presentados para la aprobacin del proyecto deberan incluir un Marco Lgico y dems elementos que garanticen tal "evaluabilidad". La verificacin de "evaluabilidad" de un proyecto es una tarea que debera realizar el Equipo de Proyecto para determinar hasta qu grado el diseo descrito en los documentos del proyecto permite realizar un monitoreo y una evaluacin adecuados. Dicha verificacin: ayudar al Equipo de Proyecto asegurar que el proyecto es de la ms alta calidad tcnica; asegurar que la estrategia de ejecucin del proyecto proporciona criterios adecuados para su monitoreo y evaluacin; indicar hasta qu punto se han incorporado las lecciones y experiencias de otros proyectos; asegurar que se estn siguiendo los principios del marco lgico.

Para esta verificacin de "evaluabilidad" de los proyectos, se sugieren las siguientes guas: Cuadro No. 6: GUA DE VERIFICACIN DE EVALUABILIDAD Requisitos de Evaluabilidad Objetivos El problema que el proyecto se dirige a resolver ha sido identificado y analizado. Se ha determinado a qu involucrado(s) corresponde el problema o necesidad. Las causas del problema han sido identificadas y jerarquizadas. Los objetivos a lograr han sido definidos consistentemente. Las experiencias adquiridas de operaciones anteriores han sido tomadas en cuenta. Indicadores Prrafo No.

Las condiciones (fsicas, institucionales, econmicas y sociales) previas a la ejecucin del proyecto han sido descritas. Los datos del ao base (o de arranque) previos a la ejecucin del proyecto han sido incluidos. Si no existen datos del ao base, el diseo del proyecto incluye su generacin. Se incluyen datos del ao base, metas u otra evidencia para hacer monitoreo y determinar el logro de los objetivos. Productos Los bienes y servicios que el proyecto generar han sido identificados y descritos. Se ha previsto una descripcin de cundo y cmo los beneficiarios utilizarn los bienes y servicios generados por el proyecto. Los beneficios derivados del uso de los bienes y servicios a ser generados por el proyecto han sido identificados. Supuestos Los individuos, grupos, instituciones y otras organizaciones que pudieran afectar, positiva o negativamente, la ejecucin del proyecto han sido identificadas. Los elementos que estn fuera del control directo de la gerencia del proyecto y que pudieran afectar la viabilidad del proyecto, de sus productos y objetivos han sido identificados y descritos.

Cuadro No.7: ESTRUCTURA DE PROYECTO: DATOS DE REALIZACIN ETAPA DEL CICLO DE PROYECTO TIPOS DE HITOS TEMAS CLAVES EJEMPLOS DE INDICADORES MEDIOS DE VERIFICACIN

CONDICIN AL COMIENZO DEL PROYECTO SITUACIN: a ser cambiada como resultado del proyecto y sus objetivos (exante). (Para usuarios del Marco Lgico: se refiere a HITOS DEL AO BASE: o cero del sistema de indicadores del proyecto. (a) problema o necesidad identificado y analizado (b) causas del problema identificadas y analizadas (c) datos sobre las condiciones iniciales de la problemtica (fsicas, econmicas, sociales, de gnero, financieras, institucionales, (a) alta mortalidad de nios de entre 0 y 5 aos en reas rurales, de los cuales "x" % con infecciones de la piel, "y" % con enfermedades gastrointestinales, etc. (b) (1) condiciones sanitarias en hospitales; (2) condiciones sanitarias en la casa; (3) desnutricin de los Se debe identificar medios especficos de verificacin para todos los indicadores (i.e., archivos de hospitales y escuelas, fuentes sociales y demogrficas, etc.) con la actualidad y periodicidad requerida. Si

Anlisis de Involucrados y de Problemas)

ambientales, etc.) (d) identificacin de los involucrados en el proyecto (i.e. poblacin que se beneficiar del proyecto, organizaciones pblicas y privadas interesadas, organizaciones pblicas y privadas que podran obstaculizar el proyecto) y listado de los supuestos sobre el comportamiento de los involucrados y/o acontecimientos que podran afectar la ejecucin del proyecto y/o el impacto sobre el desarrollo una vez concluido. (e) experiencia adquirida de operaciones previas

nios; (4) bajo nivel educativo de las madres. (c) (1) "x" nmero de hospitales sin mdulos bsicos de saneamiento en pabellones de nios; (2) "x" % del personal de enfermera con slo "y" aos de entrenamiento; (3) "x" % de madres con slo "y" aos de escuela primaria; (4) "x" % de nios menores de cinco aos con slo "y" nivel de nutricin, etc. (d) (1) el empleo de mujeres debe aumentar en la regin/pas/ciudad, etc; (2) las funciones del Ministerio de Salud sern descentralizadas; etc (e) (1) no se necesitan nuevos hospitales rehabilitacin y mejoramiento de los existentes es suficiente para lograr objetivo del proyecto; (2) no se requiere entrenar ms mdicos entrenamiento de personal de enfermera es suficiente; etc.

estas fuentes no existen, la generacin de informacin para convalidar deber incluirse como actividad del proyecto.

PRODUCCIN DE COMPONENTES Y COMPORTAMIENTO DEL PROYECTO PRODUCTOS: a ser generados como resultado de las actividades del proyecto durante la ejecucin y una vez concluido, o desembolso final (exdure). (Para usuarios del Marco Lgico: se refiere a los niveles de Actividades y Componentes) HITOS PARA EL MONITOREO: (a) medir el progreso y la eficiencia en la ejecucin del proyecto (observando calendarios y productos previstos) en la etapa intermedia y de terminacin. (b) evaluar el comportamiento de supuestos crticos en la medida que afecten la ejecucin del proyecto. (a) bienes y servicios que el proyecto entregar en la etapa intermedia y una vez concluido el proyecto. (b) supuestos sobre el comportamiento de involucrados y los acontecimientos que estn fuera del control directo de la gerencia del proyecto. (a) Etapa Intermedia: (1) "x" nmero de hospitales rehabilitados con nivel "y" de calidad de agua para los aos "t1", "t2", "t3", etc; (2) "x" nmero de personal de enfermera capacitados en "y" tcnicas de calidad para los aos "t1"..., etc.; (a) Una vez concluido: (1) un total de "x" hospitales rehabilitados y capaces de sustentar niveles "y" de calidad de atencin mdica al grupo de 0 a 5 aos para el ao "z"; (2) un total de "x" personal de enfermera capacitados al nivel tcnico "y" y capaces de asistir en la capacitacin de otras

enfermeras para el ao "z"; etc. (b) (1)"x" nmero de presupuestos de hospitales son ajustados al nivel "y" para los aos "t1"...etc. para facilitar los programas de rehabilitacin; (2) "x" nmero de presupuestos escolares y programas de enseanza son mejorados en "y" niveles para facilitar la capacitacin de madres para los aos "t1" ...etc. REALIZACIN DEL IMPACTO DE DESARROLLO

RESULTADO: o situacin deseada despus de concluido el proyecto a medida que los productos son utilizados por los beneficiarios (ex-post). (Para usuarios del Marco Lgico: se refiere a los niveles de Propsito y Fin)

HITOS DE LA META: miden el uso y la efectividad de los productos del proyecto y evalan el comportamiento de los supuestos que pueden afectar el impacto de desarrollo del proyecto.

(a) uso que los beneficiarios harn de los bienes y servicios producidos por el proyecto y los beneficios que ellos derivan; (b) Solucin, o contribucin a la solucin, del problema identificado en la etapa "situacin" descrita arriba; (c) lista de supuestos sobre el comportamiento de acontecimientos en manos de los prestatarios/beneficiarios, o fuera de su control, una vez concluido el proyecto (desembolso final).

(a) (1) "x" % de personal hospitalario utiliza "y" % de servicios bsicos mejorados en "z" nmero de hospitales; (2) "x" % de enfermeras mejor capacitadas proporcionan atencin de nivel "y" a "z" nmero de nios en el grupo de edad meta, por ao; etc. (b) disminucin de mortalidad infantil en reas rurales: (1) tasa de infecciones de nios en el cohorte meta disminuye de "x" a "y" % entre los aos "z" y "v"; (2) nmero de hospitalizaciones de nios en el grupo de edad meta disminuye de "x" % a "y" % entre los aos "z" y "v"; etc. (c) (1) todos los supuestos en la etapa de terminacin del proyecto se mantienen y se alcanza la sustentabilidad del proyecto en base a las contribuciones de los beneficiarios al mejoramiento

D. DATOS DEL AO BASE Estos datos, y sus correspondientes indicadores (vase el Cuadro 8), son muy importantes y tienen por objeto dar una idea de la situacin existente antes de que intervenga el proyecto. Describen dicha situacin cuantificando los niveles de los indicadores seleccionados de manera que se puedan volver a examinar ms tarde

para verificar los avances del proyecto o efectuar una evaluacin. La expectativa es que los cambios en los niveles de comportamiento de los indicadores tengan una relacin verosmil con los efectos del proyecto. Los datos del ao base proporcionan un "piso" (o "cero" del sistema de indicadores del proyecto) desde el cual se podr medir el cambio y probar la fiabilidad, validez y factibilidad de ciertos tipos de informacin sobre los cuales se puede establecer el seguimiento y la evaluacin.

E. ESTABLECIMIENTO DE DATOS DEL AO BASE A menos de que ya existan, quiz haya que recopilar y/o generar datos del ao base para por lo menos algunos de los indicadores fundamentales identificados en el marco lgico del proyecto. Como gua para ello, se puede usar la lista de verificacin presentada ms abajo para identificar los datos bsicos necesarios e indicar cundo se deben actualizar. Algunas veces ocurre que cuando se quiere evaluar proyectos a nivel operativo y/o ex-post, es difcil o imposible generar u obtener los datos apropiados, por su alto costo y/o dificultad de acceso a fuentes. La adecuada consideracin de estos problemas en la etapa de preparacin del proyecto puede ayudar mucho a enfrentar estos problemas. El primer paso para completar esta lista de verificacin consiste en identificar el estado de los datos disponibles para cada indicador. El equipo de diseo debera preguntarse: De qu datos se dispone ahora? Se deben recopilar ms datos del ao base antes de implementar el proyecto? Har falta datos sobre estos indicadores para las actividades de monitoreo del proyecto? Har falta datos sobre este indicador para las evaluaciones operativas o expost?

Como ejemplo, la siguiente lista de verificacin ha sido llenada en referencia a dos de los indicadores identificados en el marco lgico presentado con anterioridad en este captulo. Cuadro No. 8: LISTA DE VERIFICACIN DE DATOS DEL AO BASE Indicadores Datos del Ao Base Datos Disponibles Datos por Recopilar Cuando habr que actualizar los datos? Monitore o Evaluacin Operativ a o de Ejecucin PC R PPR BEP OER o de Impact o

Nmero de Pasajeros que usan el CBS

2,317 pasajeros pagaron pasaje, Agosto 1994 (estadstica s de CBS)

N/A

N/A

Confiabilida d del CBS

Datos requeridos sobre demoras (5 minutos) para una muestra representativ a de paradas de autobuses en horas de pico

PUNTOS IMPORTANTES

Atravs de la consideracin de la experiencia adquirida, la evaluacin contribuye a una parte fundamental del proceso de diseo de proyectos. La verificacin de la evaluabilidad de los proyectos proporciona informacin importante a los encargados de tomar las decisiones de aprobacin de proyectos y a los involucrados en su ejecucin. Los datos del ao base son esenciales para una planificacin bien concebida del diseo y ejecucin del proyecto y su posterior evaluacin

III LA EVALUACIN Y LA EJECUCIN DE PROYECTOSCon frecuencia sucede que los encargados del seguimiento y control de proyectos se ven obligados a trabajar con mucha ms informacin que la realmente necesaria para tomar decisiones claves, mientras al mismo tiempo carecen de la informacin crtica que realmente requeriran para tomarlas. Una cuidadosa seleccin de indicadores y la eficaz organizacin del monitoreo puede revertir esta situacin fcilmente. En este captulo se presentan las ventajas del monitoreo y los pasos necesarios para llevarlo a cabo. A. QU ES EL MONITOREO? El monitoreo es el procedimiento mediante el cual verificamos la eficiencia y eficacia de la ejecucin de un proyecto mediante la identificacin de sus logros y debilidades y en consecuencia, recomendamos medidas correctivas para optimizar los resultados esperados del proyecto. B. LA FUNCIN DE LA REPRESENTACIN DEL BANCO La Representacin es responsable del monitoreo continuo de los proyectos y tiene la funcin primariade identificar problemas de desempeo y de trabajar con los ejecutores para solucionarlos satisfactoriamente. Un monitoreo eficaz le permite al Banco y al prestatario actuar antes de que los problemas se compliquen demasiado, para poder as resolverlos de manera efectiva. La Representacin se encarga de este proceso de monitoreo y de elevar informes a la administracin del Banco sobre los acontecimientos importantes del proyecto. C. BENEFICIOS DEL MONITOREO El monitoreo de proyectos genera los siguientes beneficios: identifica fallas en el diseo y el plan de ejecucin; establece si el proyecto se est realizando conforme al plan; examina continuamente los supuestos del proyecto, determinando as el riesgo de no cumplir con objetivos;

determina la probabilidad de que se produzcan los componentes o productos en la forma planificada; verifica si los Componentes resultarn en el logro del Propsito; identifica problemas recurrentes que necesitan atencin; recomienda cambios al plan de ejecucin del proyecto; ayuda a identificar soluciones a problemas; y establece vnculos entre el desempeo de las operaciones en marcha y la futura asistencia del Banco al pas. Cuadro No. 9 EL PROCESO DE MONITOREO Familiarizarse con el proyecto Determinar los requisitos de informacin Estabelecer un sistema de informacin gerencial Presentar informes a la Administracin del Banco y al organismo de contraparte. Intervenir para mejorar el desempeo del proyecto.

D. PASOS REQUERIDOS PARA EL MONITOREO EXITOSO DE UN PROYECTO La funcin de monitoreo de la Representacin, en coordinacin con el gerente de contraparte del proyecto, es la clave para mejorar el desempeo de un proyecto. Los cinco pasos para realizar un monitoreo satisfactorio, delineados en el Cuadro 9, ayudan a asegurar un seguimiento eficaz y exitoso del proyecto. Aunque ya se estn aplicando algunos de estos procedimientos, es til volver a examinarlos para los fines de esta gua. 1. Familiarizarse con el proyecto Si el monitor del proyecto (profesional asignado de la Representacin) no est familiarizado con el mismo, debe comenzar por conocer su contexto e historia. Para ello, el monitor debe: examinar los documentos del proyecto, incluyendo el marco lgico y los informes disponibles; entrevistar a los equipos/profesionales encargados del diseo y la administracin del proyecto; y visitar el sitio del proyecto y entrevistar al personal del organismo ejecutor.

2. Determinar los requisitos de informacin de los involucrados Es importante proporcionar la informacin correcta a los involucrados en el momento oportuno para asegurar que el monitoreo ayude a mejorar el desempeo del proyecto. Las personas que hacen tareas de monitoreo deben: identificar a los involucrados primarios y secundarios del monitoreo; aclarar, con el administrador de contraparte del proyecto y el supervisor correspondiente del Banco (o jefe del equipo del proyecto), quines deben recibir los informes de monitoreo y quines copias de stos (si sto se hace al principio, ms tarde se evitarn dificultades de protocolo); establecer, con el jefe del equipo del proyecto, la frecuencia de presentacin de los informes formales; y determinar, con el administrador de contraparte del proyecto, si los involucrados en el monitoreo tienen problemas o inquietudes que se deben incorporar.

3. Establecer un sistema de informacin gerencial (SIG) Las necesidades de informacin sobre monitoreo se deben usar para estructurar un sistema de informacin gerencial (SIG) para el proyecto. Este proceso se simplificar si ya se ha preparado un marco lgico para el proyecto. Para que un SIG sea eficaz, la informacin recopilada debe: ser importante, en el sentido de que sea la informacin correcta; ser oportuna, en el sentido de que est disponible en el momento en el que se necesita; ser de bajo costo de obtencin; responder a cuestiones estratgicas del proyecto; y contribuir a perfeccionar las actividades de monitoreo, evaluacin y de produccin de informes especiales.

Los pasos para conceptualizar un plan de SIG son: identificar a los usuarios de la informacin; aclarar las necesidades de los usuarios; identificar los tipos de informacin prioritaria; vincular las necesidades y fuentes de informacin (o sea, determinar qu datos existentes se pueden usar y cules se debern generar especialmente); establecer mtodos apropiados para efectuar la recopilacin de datos para satisfacer las necesidades de informacin del proyecto; identificar funciones y responsabilidades de los diversos responsables e interesados en la informacin; identificar los requisitos y formatos de los informes; identificar los recursos (humanos, financieros, tecnolgicos) requeridos para hacer que el sistema de monitoreo sea confiable y creble; y establecer procedimientos para el intercambio de informacin.

4. Informes para los involucrados/interesados en monitoreo Los informes de monitoreo pueden ser formales o informales. La mayora de los procedimientos a seguir para la presentacin de informes ya existen en el Banco, y un buen monitor sabe que cuanto ms pronto se puedan identificar y comunicar los problemas (incluso de manera informal), ms fcil ser resolverlos. Sin embargo, consideramos que la lista de verificacin qe aparece ms abajo puede ser til para un responsable de monitoreo. En general, los datos a recopilar para el monitoreo de un proyecto deben contribuir a responder a las siguientes preguntas: Las actividades, o insumos, del proyecto (desembolsos, fondos de contrapartida, cofinanciamiento, gerencia del proyecto, personal del proyecto, bienes y servicios)se estn llevando a cabo en forma oportuna y eficaz en relacin a sus costos? Hasta qu punto siguen siendo vlidos la justificacin y los supuestos del proyecto, o se estn transformando en riesgos que pueden afectar el progreso e impacto de desarrollo del proyecto? Los componentes, o productos, del proyecto (bienes, servicios, acciones de capacitacin, medidas de poltica) se estn logrando tal como fueron planificados en cuanto a cantidad, calidad, tiempo y costo? Hasta qu punto est cumpliendo el prestatario con las clusulas del contrato?

Hasta qu punto es probable que el proyecto alcance sus objetivos de desarrollo en funcin de la continua validez de su justificacin y la verificacin del cumplimiento de los supuestos?

Para su Informe Anual sobre la Administracin de la Cartera, el Banco ha desarrollado un nuevo formulario para la evaluacin operativa de desempeo del proyecto, en el que se resume el estado de estos asuntos, tal como se muestra en el Cuadro 10. Cuadro No. 10 INFORME DE SEGUIMIENTO DEL DESEMPEO DEL PROYECTO (ISDP) I. DATOS BASICOS (Montos en millones de US$) Pas: Titulo del Proyecto: Prestatario: Agencia Nmero del Proyecto: Ejecutora: Nmero de Prstamo(s): Sector: Especialista Sectorial: Fecha de Actualizacin del Informe: Personal Encargado en la Sede: Fecha de Ultima Revisin por Representante. Prstamos Sectoriales - Montos Primer Tramo: Segundo Tramo: Tercer Tramo: Aos en Ejecucin: Fecha Aprobacin por Directorio: Fecha de Contrato: Fecha de Elegibilidad: Fecha de Ultimo Desembolso: Modalidad de Prstamo: [] Inversin [] Por Etapas [] Sectorial [] CT [] Hbrido [] Otros

Monto(s) Original del Prstamo(s): Monto Actual: Extensin Desembolsos: Acumulada de Fecha de Ultimo % Desembolso (en Desembolsos: Costo Original: meses): Costo Actual: Cancelacin(es): Fecha Monto

Fechas de Actual Desembolso Programada

Cofinancimiento Monto Fuente(s): Contraparte:

II. OBJETIVOS(S)/PROPOSITO(S) DE DESARROLLO DEL PROYECTO E INDICADORES CLAVES DE DESEMPEO Los objetivo(s) de desarrollo/proposito(s) del proyecto deben describir los resultados o impacto especficos que se esperan alcanzar a travs de los componentes del proyecto. El nmero de indicadores de desempeo debera ser reducido y su medicin fcilmente realizable. Debe existir acuerdo con el prestatario/agencia ejecutora respecto a los objetivo(s) e indicadores de desempeo. Objetivo(s) de Desarrollo del Proyecto: 1. Indicadores Claves de Desempeo: 1.

2. 3. Han cambiado los objetivo(s) de desarrollo del proyecto despus de su aprobacin por el Directorio? Se han acordado con el prestatario/agencia ejecutora los objectivo(s) de desarrollo del proyecto y los indicadores?

2. 3. [] si [] no

[] si

[] no

[] si

[] no [] no [] no

Fecha:

Han cambiado los objetivo(s) [] si de desarrollo del proyecto y los indicadores desde el ltimo [] si informe? Ha sido el proyecto oficialmente reestructurado? Est el prestatario manteniendo informacin sobre los indicadores de desempeo?

III. PROGRESO EN LA EJECUCION DEL PROYECTO La implementacin de los componentes del proyecto se relaciona directamente al logro de los objetivo(s)/propsito(s) de desarrollo del proyecto. Al clasificar el progreso en la ejecucin, por favor considere el progreso fsico y la calidad de los componentes, as como los indicadores de desempeo identificados para su realizacin. Indicadores Claves de Componentes/ Desempeo Clasificacin Productos de Progreso 1. 2. 3. 4. 5. 6. MS S IN MI

Clasificacin Resumen del Progreso en la Ejecucin (PE): [] Muy Satisfactorio(MS) [] Satisfactorio (S) [] Insatisfactorio (IN) [] Muy Insatisfactorio (MI) Marque las razones principales para las clasificaciones muy insatisfactorio o insatisfactorio: [] Aprobacin legislativa [] Oposicin [] Compromiso prestatario poltica/Comunidad [] Escasez de fondos de [] Personal agencia [] Cumplimiento condiciones

contrapartida [] Gobierno Central [] Estatal/Provincial/Local [] Capacidad institucional agencia ejecutora

ejecutora [] Desempeo Consultores [] Coordinacin interagencias [] Desempeo Proveedor/contratista [] Diseo proyecto/componentes

contractuales [] Eficiencia Banco [] Dificultades en adquisiciones [] Problemas Medio ambiente [] Sobre costos

Indentifique causas, otras razones o comentarios adicionales:

IV. SUPUESTOS CLAVES El logro de los objetivos de desarrollo del proyecto y la entrega de los componentes depende, frecuentemente, de supuestos que se encuentran fuera del control del administrador del proyecto. Al evaluar si tales supuestos sern cumplidos, se requiere tomar en consideracin tanto calidad como oportunidad. Identifique e informe slo aquellos supuestos que puedan tener un impacto en el logro de los objetivos de desarrollo/entrega de componentes. Estos supuestos pueden ser implcitos o explcitos. (Un ejemplo de un supuesto implcito podra ser que la autoridad reguladora permita ajustes oportunos de tarifas por parte de una empresa pblica). Cuando informe sobre supuestos claves, por favor tome en cuenta el cumplimiento de aquellas condiciones contractuales que son de particular importancia para el proyecto y que podran haber sido formuladas para incrementar la probabilidad que un supuesto se cumpla. La clasificacin resumen se refiere a la probabilidad que los supuestos ocurran y permitan alcanzar los objetivos del proyecto. Supuestos Supuestos Relacionados a los Objetivos de Desarrollo 1. 2. 3. 4. 5. 6. Supuestos Relativos a la Implementacin de Componentes Evaluacin de la Probabilidad de Ocurrencia Alta Baja

1. 2. 3. 4. 5. 6. Enumere los factores principales sobre los que se basa la clasificacin:

Clasificacin Resumen de Supuestos:

[] Alta

[] Baja

V. LOGRO DE LOS OBJETIVOS DE DESARROLLO Para clasificar la probabilidad del logro de los objetivos(s) de desarrollo, tome en consideracin los objetivo(s) de desarrollo del proyecto, los indicadores de desempeo, entregada de componentes, y supuestos claves. Enumere los factores principales sobre los cuales se basa la clasificacin de objetivo(s) de desarrollo: Evaluacin de Logro [] Muy Probable de Objetivo(s) de (MP) Desarrollo (OD): [] Probable (P) [] Dudoso (DU) [] Improbable (I)

VI. RESUMEN DEL ESTADO DEL PROYECTO, PROBLEMAS Y ACCIONES Estado del proyecto:

Identifique los problemas principales que afectan la ejecucin del proyecto y/o el logro de los objetivos de desarrollo: 1. 2. 3. 4. 5. 6. Identifique las acciones que se requieren para enfrentar los principales problemas: quien es bsicamente responsable por llevar a cabo la(s) accin(es) (Banco, agencia ejecutora, etc.) si existe o no acuerdo con el prestatario/agencia ejecutora sobre la(s) accin(es) a adoptarse, y cual es el calendario para su adopcin (fechas de adopcin de la(s) accin(es)): 1. 2. 3. 4. 5. 6. Aunque el formato puede cambiar con el tiempo, el ISDP est diseado para seguir el estado de las actividades/componentes, clusulas sobre el cumplimiento por el prestatario, supuestos/riesgos, y la probabilidad de que se alcancen los objetivos de

desempeo. Independientemente del formato, es importante que la informacin sea: oportuna; lo ms sucinta posible y que transmita la informacin esencial a sus usuarios; de calidad tcnica adecuada en cuanto a contenido, presentacin, credibilidad y orientacin para la accin.

5. Intervenciones de monitoreo para mejorar el desempeo de los proyectos Hasta ahora hemos mencionado dos actores en el monitoreo de los proyectos: el Administrador de contraparte del proyecto y la Representacin. Sin embargo, puede haber casos en los que, adems de estos actores, se requiera asistencia especializada para efectuar el monitoreo. El cuadro siguiente muestra algunos ejemplos de dichos casos. Los mismos dejan claro que las personas que hacen el monitoreo no son simplemente recopiladores y comunicadores pasivos de informacin. Deben adems decidir cuando es necesario contar con especialistas en evaluacin que puedan respaldar sus acciones de monitoreo. Estos servicios especializados se proporcionan, ya sea directa o indirectamente, por medio de las funciones consultivas de EVO, que puede as aportar su experiencia y conocimiento a la administracin del Banco. En otras ocasiones, EVO puede programar, a solicitud, actividades especiales de monitoreo para contribuir a la administracin de proyectos a travs de informes especiales de monitoreo (menos formales) o evaluaciones operativas o de ejecucin (ms formales). Independientemente de la modalidad de evaluacin adoptada, lo fundamental (tratndose de proyectos en ejecucin) es que los evaluadores y los agentes de monitoreo conviertan, al corto plazo, sus recomendaciones en acciones apropiadas. Cuadro No. 11 Comportamientos Detectados por los Agentes Acciones de Monitoreo del Monitoreo 1. No hay ninguna desviacin 1. Esto confirma las acciones notable respecto de los planes de ejecucin del proyecto, por trazados. lo que no cabe accin alguna. 2. Desviaciones de calendarios para el suministro de insumos y/o generacin de componentes debido a dificultades con la ejecucin. 3. Evidencia de problemas emergentes de la administracin/ gestin del proyecto. 2. El agente de monitoreo debe determinar los efectos de los retrasos y sus causas probables; verificar si hay que hacer cambios en la ejecucin del proyecto y qu tipos de cambios recomendar. 3. El agente de monitoreo debe determinar la gravedad de los problemas y analizar y entender sus causas probables; proponer soluciones que se basen en una estrategia de intervenciones de gestin progresivas de manera que se consideren niveles jerrquicos de intervencin ms bajos

antes de apelar a los ms altos; finalmente debe planificar los ajustes y modificaciones necesarios. Debe tambin, considerar la conveniencia de efectuar una evaluacin intermedia o de ejecucin. 4. Desviaciones considerables respecto de los calendarios para el suministro de insumos y/o la generacin de componentes debido a un diseo inadecuado del proyecto. 4. El agente de monitoreo debe determinar si el diseo puede ser revisado adecuadamente de manera que todava se pueda alcanzar el propsito del proyecto (si es vlido), o recomendar que se cancele el proyecto. Debe tambin considerar la necesidad de ejecutar una evaluacin de ejecucin y monitoreo. 5. El agente de monitoreo debe definir las causas y efectos para determinar cursos de accin y recomendar medidas tales como auditoras, cambios considerables del diseo y/o gestin del proyecto, o bien su cancelacin.

5. Costos que sobrepasan significativamente los estimados de diseo.

6. Bajo desempeo de 6. Recomendar y/o hacer una insumos y productos, pero sin evaluacin intermedia o de causas claras. ejecucin. De los diversos instrumentos que pueden ser usados para identificar y resolver problemas de desempeo de ejecucin de los proyectos, dos procedimientos de evaluacin formal (mencionados en la tabla) son particularmente tiles: a. Evaluacin de monitoreo Este instrumento permite analizar posibles problemas de diseo. Se trata de lograr que los involucrados en el proyecto participen en un taller intensivo para examinar y reformular el diseo del proyecto. El marco lgico, acompaado de las tcnicas de anlisis de involucrados, rbol de problemas, seleccin de estrategias y diseos especficos es la herramienta principal para volver a analizar la problemtica, los involucrados, los objetivos del proyecto y sus datos del ao base, indicadores y supuestos. Asimismo, tambin es evidente que en este ejercicio deben participar especialistas en anlisis econmico, financiero y tcnico. Descubierto un serio problema de diseo, cuanto ms pronto se efecte esta evaluacin, mejor, ya que no se desperdician tiempo y recursos tratando de ejecutar un diseo deficiente. b. Evaluacin intermedia La evaluacin intermedia se puede hacer en cualquier momento durante la ejecucin del proyecto. Suele usarse para analizar ms a fondo los problemas de ejecucin, o para ayudar a tomar decisiones sobre la programacin del proyecto. En el Captulo VI se describen los requisitos y mtodos que se incorporan en estas evaluaciones. El marco de trabajo utilizado para las evaluaciones operativas es

importante y se presenta en el Captulo V. Los asuntos examinados en una evaluacin intermedia dependen de las razones para efectuar dicha evaluacin, pero suelen seguir en un esquema genrico. En el Cuadro 12 se muestra el esquema de un informe para una evaluacin intermedia. Cuadro No. 12: Esquema de Informe - Evaluacin Intermedia o de Ejecucin

Indice/Resumen 1.0 Introduccin 1.1 Antecedentes o o Propsito de la Evaluacin Involucrados Principales

1.2 Descripcin del Proyecto o o Resumen del Marco Lgico Estado General (fecha de inicio, terminacin)

1.3 Metodologa de Evaluacin 1.3.1 Diseo/Enfoque General 1.3.2 Fuentes de Datos 1.3.3 Instrumentos 1.3.4 Equipo de Evaluacin 1.3.5 Factores Limitantes 1.4 Organizacin del Informe 2.0 Justificacin del proyecto 2.1 Introduccin 2.2 Cambios en el Contexto del Proyecto y Examen de Supuestos 2.3 Validez de la lgica del proyecto 2.4 Pertinencia continua del proyecto 2.5 Repercusiones de continuar el proyecto con o sin reformulacin 3.0 Eficiencia 3.1 Introduccin 3.2 Administracin de las Actividades al proyecto 3.2.1 Normas y control de calidad 3.2.2 Costos y control de costos o o 3.3 Informes sobre: o o o finanzas del proyecto programacin y entrega de actividades consecucin de los componentes costos de administracin costos de otras actividades

o

del proyecto problemas y riesgos del proyecto

3.4 Problemas en la Ejecucin del Proyecto o o identificacin anlisis y soluciones propuestas

3.5 Conclusiones y recomendaciones 4.0 Eficacia 4.1 Logro de los Componentes del Proyecto 4.1.1 Planificados y reales hasta la fecha 4.1.2 Repercusiones de deficiencias encontradas 4.2 Componentes, Efectos y Propsito del Proyecto 4.2.1 Efectos planificados y su contribucin al propsito 4.2.2 Efectos no planificados y su congruencia con el propsito y las prioridades del prestatario/BID. 4.3 Conclusiones y Recomendaciones 5.0 Conclusin 5.1 Introduccin 5.2 Continuidad de la justificacin del proyecto 5.3 Medidas para mejorar el desempeo 5.4 Experiencia adquirida y lecciones emergentes 5.4.1 Desempeo Operativo 5.4.2 Impacto de Desarrollo 5.5 Repercusiones para prstamos futuros 5.6 Resumen de Recomendaciones Referencias ApndicesPUNTOS IMPORTANTES

La informacin de monitoreo, vlida y oportuna, puede mejorar la ejecucin de los proyectos. Los mecanismos eficaces, para recopilar y distribuir informacin, facilitan la toma de decisiones para mejorar el desempeo de los proyectos. La evaluacin de monitoreo puede contribuir al rediseo de los proyectos para mejorar su desempeo. La evaluacin intermedia puede servir para diagnosticar problemas de gestin durante la ejecucin. A veces es necesario efectuar las dos evaluaciones por existir problemas de diseo y gestin

IV INFORMES DE TERMINACIN Y DE EVALUACIN DE PROYECTOSAdems de las actividades de monitoreo y de evaluacin formales ejecutadas durante la ejecucin de los proyectos en el ciclo de evaluacin, tambin se producen evaluaciones de terminacin y de pos-terminacin o ex-post. Tal

continuidad en el ciclo de evaluacin asume que la terminacin de un proyecto no significa el final de las contribuciones del mismo al proceso de desarrollo. An cuando, durante su ejecucin, un proyecto haya tenido xito en generar sus componentes o productos generalmente falta mucho para alcanzar los objetivos de contribucin directa a la calidad de vida de los beneficiarios (a nivel de propsito) y de impacto de desarrollo (a nivel de fin). Ello ocurre porque todava hay que confirmar muchos de los supuestos planteados para estos niveles (propsito y fin) del proyecto. Estas evaluaciones tambin son importantes porque un aspecto del desempeo de un proyecto, que cada vez cobra ms importancia, es su contribucin a futuras operaciones del Banco y a lo aprendido por el prestatario en base a la experiencia adquirida. Segn se indic en el primer captulo de esta gua, la inversin para el desarrollo debe mejorar su desempeo y resultados. Uno de los principales medios para lograr estos objetivos es mediante la aplicacin de la experiencia adquirida en el diseo y ejecucin de nuevos proyectos. Por ello, cada vez adquiere ms importancia en el diseo de los proyectos la inclusin, hitos e indicadores para medir el impacto econmico, financiero, ambiental y social de un proyecto. Un ejemplo de ello es el documento de poltica del Banco (OP-761) sobre La Mujer en el Desarrollo (WID) que especficamente seala que "los lineamientos y criterios para la evaluacin expost... deben ser revisados para que reflejen las cuestiones principales" esquematizadas en la poltica. La adquisicin de conocimiento institucional emergente de la experiencia adquirida se pu