d lqvwlwxflrqdol]dflyq gh od hydoxdflyq gh … · 2014. 10. 30. · después de cambios de gobierno...

Presupuesto y Gasto Puacuteblico 682012 41-52 Secretariacutea de Estado de Presupuestos y Gastos

copy 2012 Instituto de Estudios Fiscales

DLQVWLWXFLRQDOL]DFLyQGHODHYDOXDFLyQGHSROtWLFDV S~EOLFDVHQ$PpULFDDWLQD 269$21e6725)(167(1

Consultor Internacional

Recibido Julio 2012 Aceptado Septiembre 2012

Resumen

La institucionalizacioacuten de la evaluacioacuten de poliacuteticas puacuteblicas en Ameacuterica Latina ha ido avanzando paulatinamente a iquestQDOHVGHOVLJORVHKDDFHOHUDGRHQHOVLJOR(ODUWtFXORVLQWHWL]DODVH[SHULHQFLDVGHLQVWLWXFLRQDOL]DFLyQ en la regioacuten y sentildeala el papel clave de la evaluacioacuten en una reforma institucional orientada a mejorar la calidad de las poliacuteticas puacuteblicas En siacutentesis la institucionalizacioacuten de la evaluacioacuten de poliacuteticas puacuteblicas en Ameacuterica Latina se presenta como un medio para mejorar la gobernanza y contribuir al desarrollo humano y social

Palabras clave poliacuteticas puacuteblicas evaluacioacuten reforma institucional

ampODVLiquestFDFLyQ-(++

Abstract

The institucionalization of the evaluation of public policies in Latin America has proceeded at a slow place until the HQGRIWKHWKFHQWXUDQGLWKDVDFFHOHUDWHGLQWKHVWFHQWXU7KLVSDSHUVQWKHVL]HVWKHUHJLRQparaVHYDOXDWLRQ LQVWLWXWLRQDOL]DWLRQH[SHULHQFHVDQGSRLQWVRXWWKHNHUROHWKDWHYDOXDWLRQSODVLQDQLQVWLWXWLRQDOUHIRUPRULHQWHG towards an enhancement of the quality of public policies Summing-up the institutionalization of the evaluation of public policies in Latin America is presented in this paper as a means to improve governance and to contribute to human and social development

Key words public policies evaluation institutional reform

-(ampODVVLiquestFDWLRQ++

1 Introduccioacuten

La institucionalizacioacuten de la evaluacioacuten de poliacuteticas puacuteblicas en Ameacuterica Latina ha ido DYDQ]DQGRSDXODWLQDPHQWH D iquestQDOHV GHO VLJOR VH KDDFHOHUDGR HQHO VLJOR LFKR proceso de institucionalizacioacuten considerando las experiencias maacutes destacadas en Ameacuterica Latina se aborda en la segunda seccioacuten de este trabajo

En la seccioacuten tercera se consideran otras experiencias de institucionalizacioacuten de la eva-OXDFLyQSDUWLFXODUPHQWHHQSDtVHVGHOD2(ampTXHVRQUHOHYDQWHVSDUD$PpULFDDWLQDD

42 Osvaldo Neacutestor Feinstein

VHFFLyQFXDUWDVHUHiquestHUHDOSDSHOGHODFRRSHUDFLyQELODWHUDOPXOWLODWHUDOHQODLQVWLWXFLRQD-lizacioacuten de la evaluacioacuten en Iberoameacuterica tanto a su papel efectivo como a su contribucioacuten potencial La seccioacuten quinta considera el rol de la evaluacioacuten en un proceso de reforma institucional Para concluir se presenta un conjunto de desafiacuteos y oportunidades para la ins-titucionalizacioacuten de la evaluacioacuten en Iberoameacuterica

2 QVWLWXFLRQDOL]DFLyQGHODHYDOXDFLyQHQ$PpULFDDWLQD

A mediados de los antildeos 70 en Brasil y Meacutexico comienzan a implementarse macro-SURHFWRV GH GHVDUUROOR UXUDO LQWHJUDGR FRQ iquestQDQFLDPLHQWR GHO DQFR 0XQGLDO 3(5 HQ Meacutexico Polonordeste en Brasil y Caqueza en Colombia) y como parte de esos programas se incluyeron unidades yo componentes de seguimiento y evaluacioacuten Fueron experiencias pioneras que en ambos paiacuteses constituyeron embriones del futuro desarrollo de la evaluacioacuten institucionalizada1 con un efecto de demostracioacuten para el resto de la regioacuten

Por otra parte y con apoyo de la Organizacioacuten de Estados Americanos (OEA) el Banco QWHUDPHULFDQR GH HVDUUROOR HO DQFR 0XQGLDO VH IRUWDOHFH OD FDSDFLGDG GH ORV JRELHUQRVSDUDODHYDOXDFLyQH[DQWHGHSURHFWRVSDUWLFXODUPHQWHHQODVRiquestFLQDVRPLQLV-WHULRV GH SODQLiquestFDFLyQ SURPRYLHQGR OD LQWURGXFFLyQ GHO DQiOLVLV HFRQyPLFR iquestQDQFLHUR social (en la forma de precios-sombra) de proyectos Por ejemplo en Costa Rica y Chile el DQiOLVLVFRVWREHQHiquestFLRGHORVSURHFWRVGHLQYHUVLyQVHLQWURGXFHDPHGLDGRVGHODGpFDGD de los 70

La crisis de la deuda externa en los antildeos 80 acentuacutea y ampliacutea los esfuerzos realizados en la deacutecada precedente con relacioacuten a la evaluacioacuten ex-ante y las unidades de seguimiento y evaluacioacuten se van propagando en la regioacuten Ademaacutes de las organizaciones mencionadas en HOSiUUDIRSUHFHGHQWHHO)RQGRQWHUQDFLRQDOGHHVDUUROOR$JUtFROD)$GHODV1DFLRQHV 8QLGDV FRPLHQ]D D MXJDU XQ SDSHO GH OLGHUD]JR HQ HVWDiUHD XUDQWH HVWRV DxRV PDUFDGRV por las poliacuteticas de ajuste estructural y sectorial la evaluacioacuten continuacutea relegada a los proyec-tos y los trabajos de evaluacioacuten de las poliacuteticas son realizados por economistas socioacutelogos y cientistas poliacuteticos que casi sin excepcioacuten careciacutean de formacioacuten e informacioacuten sobre la evaluacioacuten como disciplina (o transdisciplina)

A principios de los antildeos 90 Colombia desarrolla un sistema de evaluacioacuten de poliacuteticas 61(5$HVWDEOHFLGRSRUOHTXHFRPLHQ]DFRQJUDQDSRRJXEHUQDPHQWDOGHO Posteriormente dicho sistema se debilita pero maacutes adelante vuelve a cobrar importancia Pocos antildeos despueacutes del comienzo de la experiencia de SINERGIA Costa Rica sigue los pasos de Colombia y por ley se crea un sistema similar tambieacuten anclado en el organismo de SODQLiquestFDFLyQQDFLRQDOFRQDSRRGHORVGRVVLVWHPDVGHHYDOXDFLyQKDQFRQWLQXDGR despueacutes de cambios de gobierno en ambos paiacuteses En Chile el Ministerio de Hacienda intro-duce en 1994 indicadores de desempentildeo y en 1996 la evaluacioacuten de programas del gobierno en base a revisiones del marco loacutegico2

$iquestQHVGHORVDxRVODVH[SHULHQFLDVGHLQVWLWXFLRQDOL]DFLyQGHODHYDOXDFLyQVHSURSD-gan a varios paiacuteses de la regioacuten En dos trabajos recientes Cunill y Ospina (2008) y Zaltsman

La institucionalizacioacuten de la evaluacioacuten de poliacuteticas puacuteblicas en Ameacuterica Latina

(2006) se presenta una descripcioacuten y comparacioacuten de estas experiencias Se resumen las caracteriacutesticas de las mismas

Aspectos destacables de experiencias de institucionalizacioacuten de la evaluacioacuten HQ$PpULFDDWLQD

Chile viacutenculo presupuestario UDVLO YtQFXORSODQLiquestFDFLyQ Colombia sectores involucrados Meacutexico poliacuteticas sociales Argentina sistemas paralelos Costa Rica principalmente seguimiento Uruguay principalmente seguimiento

Asiacute mientras en Chile sobresale el viacutenculo de la evaluacioacuten con el presupuesto (ademaacutes de varios aspectos adicionales mencionados en el paacuterrafo precedente y en las referencias al iquestQDOGHHVWHWUDEDMRSDUWLFXODUPHQWHHQORVWUDEDMRVGHampXQLOO2VSLQD5RMDVet al y Zalts-PDQHQHOFDVRGHUDVLOYDOHODSHQDGHVWDFDUHOYtQFXORFRQSODQLiquestFDFLyQHOpQIDVLVHQ ODDXWRHYDOXDFLyQ3RURWUDSDUWHHQWDQWRHQampKLOHVHKDYHULiquestFDGRSRFDSDUWLFLSDFLyQGHORV sectores en Colombia se observa una fuerte participacioacuten de los sectores (ademaacutes el siste-ma de Colombia incluye las contraloriacuteas sociales dirigidas por la Contraloriacutea General de la Repuacuteblica)

En Meacutexico la evaluacioacuten ha estado centrada en las poliacuteticas sociales y a pesar de la intencioacuten de extender este sistema a las demaacutes poliacuteticas todaviacutea no ha sido posible realizar-lo plenamente auacuten cuando hay algunos avances importantes mdashver Feinstein y Hernaacutendez (2008) y Cunill y Ospina (2008) asiacute como el estudio de caso para Meacutexico que es uno de los insumos utilizados por Cunill y Ospinamdash En Argentina se han creado sistemas paralelos con muy poca relacioacuten entre siacute Por otra parte tanto en el caso de Argentina como el de Uruguay a pesar de sus denominaciones los llamados sistemas de seguimiento y evaluacioacuten nacional son en rigor sistemas de seguimiento

3 Otras experiencias

Hay experiencias de institucionalizacioacuten de la evaluacioacuten en varios paiacuteses del mundo fuera de Latinoameacuterica y algunas de ellas son interesantes para la regioacuten Estas experiencias se encuentran bien documentadas Una de las experiencias maacutes recientes y relevantes para Ameacuterica Latina en esta aacuterea es la realizada por la Agencia Estatal de Evaluacioacuten y Calidad de Espantildea que comenzoacute a operar en 2007

HODEUHYHSHURULFDH[SHULHQFLDGHOD$JHQFLD4 las lecciones que se presentan a conti-nuacioacuten son pertinentes para la institucionalizacioacuten de la evaluacioacuten en Ameacuterica Latina


HFFLRQHVGHODH[SHULHQFLDGHOD$JHQFLD(VSDxRODGH(YDOXDFLyQ

1 Inspirarse en otras experiencias pero no copiarlas 2 Aceptar que la institucionalizacioacuten es un proceso que lleva tiempo Crear instancias asesoras para el apoyo y la legitimacioacuten 4 Incorporar academia y sector puacuteblico 5 Involucrar diferentes niveles de gobierno 6 DULPSRUWDQFLDDODFDSDFLWDFLyQ 7 Controlar la calidad de las evaluaciones 8 Vincular evaluacioacuten y calidad

En cuanto a otras experiencias internacionales es interesante mencionar brevemente algunas que presentan aspectos que vale la pena tomar en cuenta por ejemplo en Canadaacute desde hace pocos antildeos hay una poliacutetica de evaluacioacuten formal por medio de la cual la Teso-UHUtDH[LJHGHWRGRVORVPLQLVWHULRVXQFLFORGHDDxRVGHHYDOXDFLRQHVGHSURJUDPDV3RU su parte en Australia DVHKDEtDHVWDEOHFLGRXQVLVWHPDGHHYDOXDFLyQIRUPDODiquestQHVGHORV ochenta vinculaacutendolo con el presupuesto Nueva Zelanda enfatizoacute la evaluacioacuten focalizada en productos (hacia la cual tambieacuten fue reorientaacutendose Australia despueacutes de una primera fase en que se centroacute en los efectos mdashlaquooutcomesraquomdash) En el caso de los Estados Unidos de Ameacute-rica la evaluacioacuten de programas ha estado liderada por el General Accounting (hoy en diacutea copy$FFRXQWDELOLWordf 2IiquestFH XQD HVSHFLH GH7ULEXQDO GH ampXHQWDV TXH H[DPLQD ORV SURJUDPDV del gobierno en funcioacuten de demandas del Congreso y tambieacuten por decisioacuten propia En el caso de Suecia hay una cultura de evaluacioacuten de larga data y que opera a traveacutes de Comisiones que involucran a las partes interesadas y generan informes puacuteblicos Finalmente de la experien-cia de Francia PHUHFHGHVWDFDUVHHOampRQVHMRampLHQWtiquestFRSDUDOD(YDOXDFLyQFXDIXQFLyQHV supervisar las evaluaciones principales del sector puacuteblico5

4 Papel de la cooperacioacuten bilateral y multilateral

La cooperacioacuten internacional ha realizado importantes aportes al desarrollo de sistemas de seguimiento y evaluacioacuten en Ameacuterica Latina y el Caribe (lo cual ya fue en parte men-cionado en la seccioacuten segunda de este trabajo) En cuanto a la cooperacioacuten bilateral cabe destacar el apoyo de Alemania (GTZ que ha impulsado la versioacuten participativa del marco loacutegico el ZOPP aplicado al seguimiento y evaluacioacuten) Holanda y Canadaacute (que han apoyado el desarrollo de capacidades evaluativas en los paiacuteses maacutes pobres de la regioacuten y en el caso de Canadaacute patrocinado la maestriacutea centroamericana en evaluacioacuten) Espantildea desde el primer antildeo de la creacioacuten de su Agencia de Evaluacioacuten ha realizado seminarios de evaluacioacuten en Ameacuterica Latina (en el 2007 en Santa Cruz de la Sierra y en el 2008 en Cartagena de Indias) 7DPELpQ HO 5HLQR 8QLGR ) 1RUXHJD (VWDGRV 8QLGRV 86$ KDQ FRQWULEXLGR DO fortalecimiento de capacidades evaluativas en la regioacuten

3RUVXSDUWHODFRRSHUDFLyQPXOWLODWHUDOSDUWLFXODUPHQWHHODQFR0XQGLDOHO ha tenido un papel importante en la institucionalizacioacuten de la evaluacioacuten en Ameacuterica Latina HOampDULEH(QHOFDVRGHOHVWRVHKDGDGRDWUDYpVGHODSRRDSURHFWRVFRPRVHPHQ-

45 La institucionalizacioacuten de la evaluacioacuten de poliacuteticas puacuteblicas en Ameacuterica Latina

cionoacute en la seccioacuten segunda) en algunas de sus operaciones de apoyo a la modernizacioacuten del HVWDGRPiVUHFLHQWHPHQWHPHGLDQWHHO352(96

En el caso del Banco Mundial ademaacutes del apoyo brindado a la evaluacioacuten en el marco de proyectos y en operaciones orientadas a la reforma del sector puacuteblico (por ejemplo en Bra-sil Colombia Chile Honduras y Meacutexico) el departamento de evaluacioacuten de este banco tiene un programa de desarrollo de capacidades de evaluacioacuten que comenzoacute en los antildeos 80 y que en Ameacuterica Latina ha realizado diagnoacutesticos de capacidades de evaluacioacuten contribuyendo a la realizacioacuten de seminarios y aportando conocimientos para el desarrollo de sistemas de evaluacioacuten (ver ZZZZRUOGEDQNRUJLHJHFd)7

3RURWUDSDUWHFDEHGHVWDFDUHOSDSHOGHO)RQGRQWHUQDFLRQDOSDUDHOHVDUUROOR$JUtFR-OD)$GHODV1DFLRQHV8QLGDVTXHGHVGHSULQFLSLRVGHORVDxRVKDDSRDGRHOGHVDUUR-OORGHODHYDOXDFLyQHQ$PpULFDDWLQDHOampDULEH$SHVDUGHVXQRPEUHHO)$VHRFXSD principalmente de actividades rurales no agriacutecolas y en el aacuterea de seguimiento y evaluacioacuten ha impulsado la institucionalizacioacuten de sistemas de evaluacioacuten que trascienden el aacuterea rural (ODSRRGHO)$VHKDUHDOL]DGRSDUWLFXODUPHQWHDWUDYpVGHFRQVXOWRUtDVSDUDHODVHVRUD-miento del disentildeo de unidades de seguimiento yo evaluacioacuten con la muacuteltiples actividades de capacitacioacuten en SampE y mediante el programa de desarrollo de capacidades en evaluacioacuten (PREVAL) aprobado y en implementacioacuten a partir de 19978

7DPELpQKDTXHPHQFLRQDUHOVRSRUWHDODHYDOXDFLyQSRUSDUWHGHOD2iquestFLQDGH(YD-OXDFLyQ GHO 3URJUDPD GH ODV 1DFLRQHV 8QLGDV SDUD HO HVDUUROOR 318 GH OD 2iquestFLQD de Evaluacioacuten de UNICEF (ver wwwuniceforgevaluation y wwwuniceforgevaldataba-se) Esta uacuteltima ha tenido un papel crucial en el apoyo al establecimiento y funcionamiento de redes regionales como la Red Latinoamericana de Evaluacioacuten (ReLAC) La ReLAC ha organizado dos conferencias bianuales en los antildeos 2005 y 2007 proporcionando a los eva-luadores latinoamericanos una oportunidad para intercambiar experiencias y para desarrollar su capacidad en evaluacioacuten

)LQDOPHQWHFRQODiquestUPDHQIHEUHURGHOGHODHFODUDFLyQGH3DUtVSRUORVSDtVHVGH Ameacuterica Latina (y otras regiones) y por los organismos de la cooperacioacuten bilateral y multila-teral se ha abierto un marco mucho maacutes propicio para el fortalecimiento de la institucionali-]DFLyQGHODHYDOXDFLyQHQ$PpULFDDWLQDHOampDULEH(QHIHFWRGLFKDHFODUDFLyQHVWDEOHFH como uno de sus principios fundamentales la alineacioacuten de los donantes con los sistemas de los paiacuteses incluyendo entre otros los sistemas de seguimiento y evaluacioacuten Esto lleva a que los donantes tengan un intereacutes adicional en promover la calidad de los sistemas de evaluacioacuten de los paiacuteses y por tanto la institucionalizacioacuten de la evaluacioacuten en Ameacuterica Latina

5 DHYDOXDFLyQODUHIRUPDLQVWLWXFLRQDO

La institucionalizacioacuten de la evaluacioacuten es uno de los aspectos importantes en las expe-riencias de reforma institucional de Ameacuterica Latina porque permite avanzar en la rendicioacuten de cuentas y por su contribucioacuten al aprendizaje basado en la experiencia Asiacute la evaluacioacuten deviene un importante apoyo al aportar evidencias sobre resultados que pueden utilizarse para el disentildeo yo redisentildeo de reformas basadas en evidencias9


Es decir que por un lado la evaluacioacuten es uno de los componentes de la reforma ins-titucional que se concreta mediante la institucionalizacioacuten de la evaluacioacuten Por otro lado la evaluacioacuten es un instrumento que permite laquoreformar las reformasraquo incorporando a las mismas las evidencias que se generan en la implementacioacuten de las reformas

Una forma pragmaacutetica de considerar la evaluacioacuten en el marco de la reforma institu-cional y que tambieacuten resulta uacutetil para diagnosticar el nivel de institucionalizacioacuten y disentildear planes de accioacuten para avanzar en la institucionalizacioacuten es considerar los sistemas de evalua-cioacuten como la articulacioacuten de un subsistema de seguimiento con un subsistema de evaluacioacuten Esto lleva a plantear el tema de la demanda y de la oferta de evaluacioacuten asiacute como los viacutenculos entre ambas

ampRQ UHVSHFWR DOD(0$1$GH HYDOXDFLyQ HV LPSRUWDQWH FRQVLGHUDU ODGHPDQGD de los diferentes niveles de gobierno (gobierno central municipios y el nivel medio para el cual en algunos pero no todos los paiacuteses latinoamericanos hay autoridades como go-bernadores de estadosprovincias) Ademaacutes tambieacuten es importante considerar la demanda real o potencial del legislativo y de organizaciones de la sociedad civil (como ONGs y sindicatos)10 Otra fuente de demandas de evaluacioacuten son los organismos internacionales que en Ameacuterica Latina constituyeron la primera fuente importante de demanda de eva-luaciones

HVGH HO SXQWR GH YLVWD GH OD UHIRUPD LQVWLWXFLRQDO OD GHPDQGD GH HYDOXDFLyQ WLHQH un papel central y un tema crucial en este sentido son los incentivos para que se demanden HYDOXDFLRQHVHKHFKRODGHPDQGDGHHYDOXDFLRQHVSXHGHFRQFHELUVHFRPRXQDGHPDQGD derivada de la demanda por rendicioacuten de cuentas11 y responsabilizacioacuten y por evidencias para apoyar los procesos de aprendizaje y mejoriacutea del disentildeo redisentildeo e implementacioacuten de poliacuteticas programas y proyectos Esta demanda tiene una dimensioacuten poliacutetica y otra teacutecnica para la cual es importante la concientizacioacuten de los tomadores de decisiones mencionados en el paacuterrafo precedente

En cuanto a la OFERTA de evaluacioacuten es importante el rol de las instituciones del sec-tor puacuteblico y el de las universidades institutos ONGs y consultores nacionales y extranjeros HKHFKRFRPRVHVHxDODUiHQODSUy[LPDVHFFLyQGHEHQFRQVLGHUDUVHGLIHUHQWHVcapacida-des de evaluacioacuten cuyo desarrollo es fundamental para nutrir la oferta de evaluadores

Pero para la institucionalizacioacuten de la evaluacioacuten no basta con el desarrollo de la de-manda y la oferta de evaluacioacuten Tambieacuten es fundamental establecer mecanismos que vin-culen la oferta con la demanda de manera tal que la oferta se ajuste a las necesidades de HYDOXDFLRQHVGHOSDtVHQGLVWLQWRViPELWRVSDUDGLIHUHQWHVVHFWRUHVWHPDVampRQHVWHiquestQHV GHHVSHFLDOLPSRUWDQFLDODSODQLiquestFDFLyQGHODVHYDOXDFLRQHVGHODVDFFLRQHVGHGHVDUUROOR de capacidades evaluativas eliminando las brechas que se puedan presentar entre demandas y ofertas de evaluacioacuten

Combinando los aspectos mencionados precedentemente seriacutea posible construir un laquoIacutendice de Institucionalizacioacuten del Sistema de Evaluacioacutenraquo (ININSE) que podriacutea servir para establecer una liacutenea de base para medir el progreso realizado establecer planes de accioacuten SDUDPHMRUDUORVVLVWHPDVGHVHJXLPLHQWRHYDOXDFLyQUHDOL]DUXQEHQFKPDUNLQJHQWUHORV sistemas nacionales


El ININSE combinariacutea informaciones sobre diferentes dimensiones del sistema la de-manda de evaluacioacuten la oferta la vinculacioacuten entre oferta y demanda y la utilizacioacuten de la HYDOXDFLyQ6HFODVLiquestFDUtDQORVVLVWHPDVQDFLRQDOHVFRQUDQNLQJVGHWUHVYDORUHVFRUUHVSRQ-dientes a niveles por cada dimensioacuten del sistema

DOWRRPXFKR 2 medio o poco 1 bajo o nada

Los valores de las diferentes dimensiones se promediariacutean aritmeacuteticamente para obte-ner un nivel promedio (simple) para cada sistema La informacioacuten podriacutea presentarse en un cuadro compuesto por las dos primeras columnas (la tercera con las notas a pie se incluye VyORDWtWXORLOXVWUDWLYRSDUDPRVWUDUORTXHGHEHWRPDUVHHQFXHQWDDOFODVLiquestFDUHOQLYHOGHOD dimensioacuten correspondiente

EumlQGLFHGHQVWLWXFLRQDOL]DFLyQGHOD(YDOXDFLyQ116(

LPHQVLyQGHORVVLVWHPDVGH6( a nivel nacional

Nivel 3 alto 2 medio 1 bajo

(OHPHQWRVDFRQVLGHUDU

(0$1$ de evaluacioacuten

OFERTA de evaluacioacuten

VINCULACIOacuteN entre demanda y oferta

USO de las evaluaciones

3520(2 ININSE

i) iquestHay demandas expliacutecitas y perioacutedicas de evaluaciones ii) iquestQuieacuten(es) demanda(n) evaluaciones iii) iquestHay fondos para contratar evaluaciones

i) iquestHay institucionesprofesionales con experiencia en contratar yo realizar eva-luaciones ii) iquestExisten actividades de desarrollo de capacidades en evaluacioacuten iii) iquestHay instituciones con capacidad potencial para contratar yo realizar evaluaciones o partes de evaluaciones

i) iquestExisten vinculaciones sistemaacuteticas entre oferta y demanda de evaluaciones ii) iquestHay mecanismos para ajustar demandas y ofertas de evaluaciones iii) iquestHasta queacute punto se ha desarrollado un mercado de evaluaciones

i) iquestSe usan las evaluaciones ii) iquestQuieacutenes usan las evaluaciones iii) iquestSe promue-ve el uso de las evaluaciones12

En este contexto es pertinente mencionar el trabajo realizado por el Banco Interameri-FDQRGHHVDUUROORHQUHODFLyQFRQODJHVWLyQSDUDUHVXOWDGRV en el que se ha desarrollado


una meacutetrica para los pilares de la gestioacuten orientada a resultados Uno de estos pilares es el monitoreo y la evaluacioacuten Con respecto a los sistemas de evaluacioacuten dicho trabajo sentildeala que soacutelo cinco paiacuteses de Ameacuterica Latina tienen un marco legal que establece la necesidad de evaluar los resultados de las poliacuteticas los programas y los proyectos Brasil Chile Colom-ELD0p[LFR3HU~HHVRVSDtVHVVDOYR3HU~ORVGHPiVGLVSRQHQGHPHFDQLVPRVLQVWLWX-cionalizados para la evaluacioacuten de resultados disponiendo de un programa de evaluaciones con su correspondiente presupuesto

Finalmente un aspecto importante en la institucionalizacioacuten de las evaluaciones que ha sido fuente de confusiones es la laquoindependenciaraquo de las evaluaciones Frecuentemente se tiende a establecer una equivalencia entre evaluaciones independientes y evaluaciones ex-ternas (y anaacutelogamente entre evaluaciones internas y evaluaciones no independientes) Sin embargo la independencia de las evaluaciones no depende de que sean externas y por otra parte las evaluaciones internas pueden ser independientes Para aclarar este punto que tiene implicaciones para la institucionalizacioacuten de las evaluaciones y para determinar hasta queacute punto es necesario realizar reformas institucionales que garanticen la independencia de las evaluaciones (un factor clave para su credibilidad y por tanto para su uso) es conveniente UHFRUGDU OD GHiquestQLFLyQ GH copyHYDOXDFLyQ LQGHSHQGLHQWHordf LQFOXLGD HQ HO JORVDULR GH OD 2(amp laquoevaluacioacuten realizada por entidades y personas que no estaacuten bajo el control de los responsa-bles del disentildeo y la implementacioacuten de la intervencioacuten para el desarrolloraquo14

En el caso de organizaciones que incluyen varias entidades y personas algunas de las cuales no se encuentran bajo el control de quienes son responsables del disentildeo yo de la im-plementacioacuten de las intervenciones (y noacutetese que esto se aplica no soacutelo a las intervenciones de desarrollo) dichas entidades y personas seriacutean independientes e internas a la organizacioacuten Un ejemplo de este tipo de entidad es el laquoGrupo Independiente de Evaluacioacutenraquo del Banco Mundial cuyas evaluaciones han sido consideradas laquoindependientesraquo por un panel que las examinoacute a la luz de un conjunto de criterios generalmente aceptados para determinar la inde-pendencia de las evaluaciones

Si bien las autoevaluaciones pueden y deben jugar un papel importante deben ser com-plementadas por evaluaciones independientes y esto debe contemplarse en el proceso de institucionalizacioacuten de las evaluaciones realizando las reformas institucionales que sean ne-cesarias cuando el sistema de evaluacioacuten no fuera independiente

6 Desafiacuteos y oportunidades

A modo de siacutentesis es uacutetil considerar en forma conjunta los principales desafiacuteos y las oportunidades que enfrenta la evaluacioacuten en Ameacuterica Latina En este sentido los tres desafiacuteos centrales que se presentan en el aacutembito de la evaluacioacuten en Ameacuterica Latina son los siguientes

1 Fomentar la demanda de evaluaciones 2 HVDUUROODUFDSDFLGDGHVHYDOXDWLYDV Institucionalizar la evaluacioacuten


El primer desafiacuteo es clave porque se ha observado reiteradamente que si no hay deman-da de evaluaciones sucede que las evaluaciones no se realizan o lo que puede ser auacuten peor se las lleva a cabo y no se utilizan Por otro lado esto lleva a un ciacuterculo vicioso porque si las evaluaciones no se utilizan y consiguientemente no se aprecia su valor no se desarrolla la demanda por evaluaciones

El segundo desafiacuteo es fundamental para desarrollar la oferta de evaluacioacuten con base en los recursos existentes Frecuentemente se hace referencia a la capacidad de evaluacioacuten (en singular)15 Sin embargo es maacutes apropiado referirse a capacidades de evaluacioacuten (en plural) para enfatizar la diversidad de capacidades que deben tomarse en cuenta tanto para un diag-noacutestico apropiado como para realizar planes de accioacuten (incluyendo particularmente activida-des de capacitacioacuten y oportunidades para laquoaprender haciendoraquo) adecuados En efecto deben distinguirse las siguientes capacidades16

1 capacidad para contratar evaluaciones 2 capacidad para realizar evaluaciones capacidad para administrar evaluaciones 4 capacidad para comunicar evaluaciones

La capacidad para contratar evaluaciones no debe darse por sentada Los gobiernos laquotercerizanraquo (o subcontratan) sin tener frecuentemente la capacidad para formular teacuterminos de referencia adecuados previendo fases de los trabajos y condicionando pagos a calidad de las presentaciones parciales Hacen falta normas o guiacuteas para orientar a quienes contratan las HYDOXDFLRQHV FRPSOHPHQWDGDV HYHQWXDOPHQWH SRU FXUVLOORV HVSHFtiquestFRV EDVDGDV HQ GLFKDV guiacuteas

Por otro lado la capacidad de realizar evaluaciones requiere conocimientos metodoloacute-gicos que pueden desarrollarse en parte durante la propia praacutectica de la evaluacioacuten (laquoapren-der haciendoraquo) y en parte a traveacutes de cursos o cursillos Entre los cursos maacutes destacados de evaluacioacuten para el desarrollo cabe mencionar el laquoInternational Program for Development Evaluationraquo 3(7 RUJDQL]DGR SRU HO GHSDUWDPHQWR GH HYDOXDFLyQ GHO DQFR 0XQGLDO que se realiza anualmente en Canadaacute entre junio y julio Por otro lado tambieacuten hay que men-cionar las conferencias y cursos organizados por la Red Latinoamericana de Evaluacioacuten y 6LVWHPDWL]DFLyQ5H$ampOD3ODWDIRUPD5HJLRQDOGHHVDUUROORGHampDSDFLGDGHVHQ(YDOXD-cioacuten (PREVAL programa para el desarrollo de capacidades evaluativas en Ameacuterica Latina y el Caribe el primero de su geacutenero a nivel mundial) asiacute como los eventos organizados por el Banco Mundial (particularmente los apoyados en Ameacuterica Latina por el Fondo Espantildeol para OD(YDOXDFLyQGHPSDFWRHO

La capacidad para administrar evaluaciones estaacute relacionada con la primera de las ca-pacidades mencionadas ya que se trata de administrar el contrato de las evaluaciones Si bien requiere un conocimiento miacutenimo sobre evaluacioacuten se trata fundamentalmente de una capacidad administrativa

En cuanto a la comunicacioacuten de las evaluaciones que es crucial para facilitar su utili-zacioacuten lo que se observa en la praacutectica es que frecuentemente los evaluadores no son buenos laquocomunicadoresraquo Una de las soluciones que se han adoptado para corregir esta carencia es ofrecer oportunidades a los evaluadores para que desarrollen su capacidad para la comu-


nicacioacuten de las evaluaciones tanto para la preparacioacuten de informes y notas que transmitan claramente los mensajes principales de las evaluaciones como para la realizacioacuten de presen-taciones efectivas

Una alternativa complementaria a la anterior es aplicar el principio de la divisioacuten de trabajo y recurrir a expertos en comunicacioacuten (por ejemplo escritores profesionales yo edi-tores yo periodistas) para que se trabajen en equipo con los evaluadores y produzcan infor-mes o laquoproductos derivadosraquo (por ejemplo notas breves) que faciliten la comunicacioacuten (el departamento de evaluacioacuten del Banco Mundial ha adoptado ambos enfoques los expertos en comunicacioacuten pueden ser contratados ad-hoc o como personal de planta si la dimensioacuten GHODRiquestFLQDGHHYDOXDFLyQORMXVWLiquestFD

Finalmente el tercer desafiacuteo es avanzar en la institucionalizacioacuten de la evaluacioacuten en Ameacuterica Latina auacuten en aquellos contextos en los que el progreso en este campo sea muy limitado Como se ha sentildealado en el resto de este trabajo hay varias experiencias que apor-tan conocimientos relevantes incluyendo lecciones de la experiencia que permiten aprender de los problemas que otros paiacuteses han enfrentado y de las soluciones que desarrollaron para enfrentarlos

En el apoyo del trabajo a nivel de los paiacuteses la cooperacioacuten internacional ha sido y continuaraacute siendo una importante fuente de recursos tanto en conocimientos como en recur-VRV KXPDQRV iquestQDQFLHURV TXH SHUPLWDQ UHDOL]DU SURJUHVRV HQ OD LQVWLWXFLRQDOL]DFLyQ GH OD HYDOXDFLyQFRPRXQPHGLRSDUDPHMRUDUODJREHUQDQ]DFRQWULEXLUGHXQPRGRPiVHiquestFD] HiquestFLHQWHDOFRPEDWHDODSREUH]DDODSURPRFLyQGHOGHVDUUROORKXPDQRVRFLDO

Notas

3DUDHOFDVRGH0p[LFRYHU)HLQVWHLQ+HUQiQGH]7HQGOHUSDUDODH[SHULHQFLDEUDVLOHUDDOOL (1981 cap 2) para el caso de Colombia

2 Sobre el caso de Chile ver Rojas (2006) y httpwwwhaciendaclprensaphpopc=showContenidoampid=12 151ampnav_id=10247ampcontar=1amptema_id=ampcode=sa1mVHJ5YsPYc sobre las demaacutes experiencias ver May 0DFNDampXQLOO2VSLQD=DOWVPDQ)HLQVWHLQ+HUQiQGH]

9HU)XUXERORVHVWXGLRVGHFDVRVTXHDSDUHFHQHQZZZZRUOGEDQNRUJLHJHFd

HWDOOHVVREUHHVWDH[SHULHQFLDUHIHUHQFLDVELEOLRJUiiquestFDVSXHGHQHQFRQWUDUVHHQwwwaevales

6REUHHVWDVRWUDVH[SHULHQFLDVGHOD2(ampYpDQVHDGHPiVGHODVUHIHUHQFLDVPHQFLRQDGDVHQODFLWDORV WUDEDMRVLQFOXLGRVHQ0DSDUWLFXODUPHQWHHOFDStWXORGHDYLG6KDQG

(O352(9HVHOcopy3URJUDPDGHPSOHPHQWDFLyQGHO3LODU([WHUQRGHO3ODQGH$FFLyQD0HGLDQR3OD]RSDUD OD(IHFWLYLGDGGHOHVDUUROORordf

$GHPiVHV~WLOFRQVXOWDU0DFND

8 Ver Feinstein (1997) y wwwprevalorg

6REUHODHFRQRPtDSROtWLFDGHODSUHQGL]DMHGHODKLVWRULDHOSDSHOGHODHYDOXDFLyQHQHVWHSURFHVRYHULHV-ner (2008 44-45)

10 La demanda de evaluacioacuten que hagan los poliacuteticos y la poblacioacuten es fundamental para que se realicen evalua-ciones y para que las mismas sean de calidad Ver Ramiro (2002)


11 Sobre la rendicioacuten de cuentas en un contexto maacutes amplio relevante para la evaluacioacuten veacutease Peruzzotti y 6PXOWRYLW]2paraRQQHOO

12 Sobre los factores a tomar en cuenta al considerar el uso de las evaluaciones ver Feinstein (2002)

9HUDUFtDySH]DUFtD0RUHQR

9HU2(ampS

15 Ver por ejemplo la serie de publicaciones sobre laquodesarrollo de capacidad de evaluacioacutenraquo del Banco Mundial el organismo internacional que ha dedicado mayores recursos a esta aacuterea en la cual ha ejercido un papel de OLGHUD]JRSDUWLFXODUPHQWHGXUDQWHOD~OWLPDGpFDGDYHUZZZZRUOGEDQNRUJLHJHFG

16 La distincioacuten entre estas diferentes capacidades de evaluacioacuten se presenta y elabora en Feinstein (2009)

LEOLRJUDItD

Cunill Grau N y Ospina Bozzi S (2008) laquoFortalecimiento de los sistemas de monitoreo y evaluacioacuten 0(HQ$PpULFDDWLQDordfampDUDFDVDQFR0XQGLDOamp$

Feinstein O ed (1997) Experiencias latinoamericanas en seguimiento y evaluacioacuten D3D])$ 128amp268(

Feinstein O (2002) laquoUse of Evaluations and the Evaluation of their Useraquo en Evaluation 8

)HLQVWHLQ2HFN7copy(YDOXDWLRQRIHYHORSPHQWQWHUYHQWLRQVDQG+XPDQLWDULDQ$FWLRQordf en Handbook of Evaluation Policies Programs and Practices in F Shaw Jennifer C Greene 0HOYLQ00DUNHGVRQGRQ6DJH3XEOLFDWLRQV

Feinstein O (2007) laquoEvaluacioacuten pragmaacutetica de poliacuteticas puacuteblicasraquo en Informacioacuten Comercial Espa-ntildeolaQ~P0DGULG

Feinstein O y Hernaacutendez G (2008) El papel de la evaluacioacuten en Meacutexico Logros desafiacuteos y oportu-nidades SHCF y Banco Mundial

Feinstein O (2009) laquoNational Evaluation Capacities Lessons Learned and a Conceptual Schemeraquo in (YDOXDWLRQ2IiquestFH National Evaluation Capacities 1HZltRUN813

)XNXDPD)State-Building Ithaca Cornell University Press

Furubo J-E Rist R C y Sandahl R (2002) International Atlas of Evaluation New Jersey Tran-saction

Galli R ed (1981) The Political Economy of Rural Development1HZltRUN6WDWH8QLYHUVLWRI1HZ ltRUN3UHVV

Garciacutea Loacutepez R y Garciacutea Moreno M (2010) La gestioacuten para resultados en el desarrollo DVKLQJWRQ ampDQFRQWHUDPHULFDQRGHHVDUUROOR

0DFNDHow to Build MampE Systems to Support Better Government DVKLQJWRQamp7KH RUOGDQN

May E et al eds (2006) Hacia la Institucionalizacioacuten de los sistemas de monitoreo y evaluacioacuten en Ameacuterica Latina y el Caribe DVKLQJWRQampDQFR0XQGLDO

2paraRQQHOODisonancias Buenos Aires Prometeo


2(amp$ampGlosario de los principales teacuterminos sobre evaluacioacuten y gestioacuten basada en resul-tados 3DUtV2(amp

Perrin B (2006) Moving from outputs to outcomes practical advice from governments around the World DVKLQJWRQamp7KHampHQWUHIRUWKHXVLQHVVRIRYHUQPHQW

Peruzzotti E y Smulovitz C (2002) eds Controlando la Poliacutetica Buenos Aires Temas

Ramiro Saacutenchez A (2002) Demandas de calidad de la Administracioacuten Puacuteblica Un derecho de la ciudadaniacutea 0DGULGNLQVRQ

Rojas F et al (2006) Chile Anaacutelisis del Programa de Evaluacioacuten del Gasto PuacuteblicoDVKLQJWRQamp Banco Mundial

7HQGOHU-New lessons from old projects the workings of rural development in Northeast Bra-zil DVKLQJWRQamp2SHUDWLRQV(YDOXDWLRQHSDUWPHQW7KHRUOGDQN

LHVQHU(The Political Economy of Macroeconomic Policy Reform in Latin America Chel-tenham Edward Elgar

Zaltsman A (2006) Experience with Institutionalizing Monitoring and Evaluation Systems in Five Latin American Countries Argentina Chile Colombia Costa Rica and Uruguay DVKLQJWRQamp (ampRUNLQJ3DSHUV6HULHV


VHFFLyQFXDUWDVHUHiquestHUHDOSDSHOGHODFRRSHUDFLyQELODWHUDOPXOWLODWHUDOHQODLQVWLWXFLRQD-lizacioacuten de la evaluacioacuten en Iberoameacuterica tanto a su papel efectivo como a su contribucioacuten potencial La seccioacuten quinta considera el rol de la evaluacioacuten en un proceso de reforma institucional Para concluir se presenta un conjunto de desafiacuteos y oportunidades para la ins-titucionalizacioacuten de la evaluacioacuten en Iberoameacuterica

2 QVWLWXFLRQDOL]DFLyQGHODHYDOXDFLyQHQ$PpULFDDWLQD

A mediados de los antildeos 70 en Brasil y Meacutexico comienzan a implementarse macro-SURHFWRV GH GHVDUUROOR UXUDO LQWHJUDGR FRQ iquestQDQFLDPLHQWR GHO DQFR 0XQGLDO 3(5 HQ Meacutexico Polonordeste en Brasil y Caqueza en Colombia) y como parte de esos programas se incluyeron unidades yo componentes de seguimiento y evaluacioacuten Fueron experiencias pioneras que en ambos paiacuteses constituyeron embriones del futuro desarrollo de la evaluacioacuten institucionalizada1 con un efecto de demostracioacuten para el resto de la regioacuten

Por otra parte y con apoyo de la Organizacioacuten de Estados Americanos (OEA) el Banco QWHUDPHULFDQR GH HVDUUROOR HO DQFR 0XQGLDO VH IRUWDOHFH OD FDSDFLGDG GH ORV JRELHUQRVSDUDODHYDOXDFLyQH[DQWHGHSURHFWRVSDUWLFXODUPHQWHHQODVRiquestFLQDVRPLQLV-WHULRV GH SODQLiquestFDFLyQ SURPRYLHQGR OD LQWURGXFFLyQ GHO DQiOLVLV HFRQyPLFR iquestQDQFLHUR social (en la forma de precios-sombra) de proyectos Por ejemplo en Costa Rica y Chile el DQiOLVLVFRVWREHQHiquestFLRGHORVSURHFWRVGHLQYHUVLyQVHLQWURGXFHDPHGLDGRVGHODGpFDGD de los 70

La crisis de la deuda externa en los antildeos 80 acentuacutea y ampliacutea los esfuerzos realizados en la deacutecada precedente con relacioacuten a la evaluacioacuten ex-ante y las unidades de seguimiento y evaluacioacuten se van propagando en la regioacuten Ademaacutes de las organizaciones mencionadas en HOSiUUDIRSUHFHGHQWHHO)RQGRQWHUQDFLRQDOGHHVDUUROOR$JUtFROD)$GHODV1DFLRQHV 8QLGDV FRPLHQ]D D MXJDU XQ SDSHO GH OLGHUD]JR HQ HVWDiUHD XUDQWH HVWRV DxRV PDUFDGRV por las poliacuteticas de ajuste estructural y sectorial la evaluacioacuten continuacutea relegada a los proyec-tos y los trabajos de evaluacioacuten de las poliacuteticas son realizados por economistas socioacutelogos y cientistas poliacuteticos que casi sin excepcioacuten careciacutean de formacioacuten e informacioacuten sobre la evaluacioacuten como disciplina (o transdisciplina)

A principios de los antildeos 90 Colombia desarrolla un sistema de evaluacioacuten de poliacuteticas 61(5$HVWDEOHFLGRSRUOHTXHFRPLHQ]DFRQJUDQDSRRJXEHUQDPHQWDOGHO Posteriormente dicho sistema se debilita pero maacutes adelante vuelve a cobrar importancia Pocos antildeos despueacutes del comienzo de la experiencia de SINERGIA Costa Rica sigue los pasos de Colombia y por ley se crea un sistema similar tambieacuten anclado en el organismo de SODQLiquestFDFLyQQDFLRQDOFRQDSRRGHORVGRVVLVWHPDVGHHYDOXDFLyQKDQFRQWLQXDGR despueacutes de cambios de gobierno en ambos paiacuteses En Chile el Ministerio de Hacienda intro-duce en 1994 indicadores de desempentildeo y en 1996 la evaluacioacuten de programas del gobierno en base a revisiones del marco loacutegico2

$iquestQHVGHORVDxRVODVH[SHULHQFLDVGHLQVWLWXFLRQDOL]DFLyQGHODHYDOXDFLyQVHSURSD-gan a varios paiacuteses de la regioacuten En dos trabajos recientes Cunill y Ospina (2008) y Zaltsman













































3520(2 ININSE



























Notas















9HU2(ampS



LEOLRJUDItD




































































3520(2 ININSE



























Notas















9HU2(ampS



LEOLRJUDItD













































Notas















9HU2(ampS



LEOLRJUDItD




























9HU2(ampS



LEOLRJUDItD
























d lqvwlwxflrqdol]dflyq gh od hydoxdflyq gh … · 2014. 10. 30. · después de cambios de gobierno...

Documents