estado de los sistemas de monitoreo y evaluación de los programas sociales públicos en el perú

8/14/2019 Estado de los sistemas de monitoreo y evaluacin de los programas sociales pblicos en el Per

1/72

ESTADO DE LOSSISTEMAS DE MONITOREO YEVALUACIN DE LOSPROGRAMAS SOCIALES PBLICOS EN EL PER

Informe final

Junio del 2000


2/72

Estado de los Sistemas de Monitoreo y Evaluacin de los Programas Sociales Pblicos en el Per

Instituto APOYO 2

CONTENIDO

1. Marco conceptual: monitoreo y evaluacin (M&E)

a) Los sistemas de monitoreo y evaluacin

b) Importancia de los sistemas de M&E

c) Presentacin de los objetivos generales del estudio de investigacin

d) Presentacin de la metodologa del estudio de investigacin

e) Hiptesis del estudio

2. La situacin del M&E en el Per

a) Sistemas de monitoreo y evaluacin al interior de la administracin pblica: Oficinade Inversiones (ODI), Sistema de Informacin Administrativa y Financiera (SIAF) yPlaneamiento Estratgico Sectorial Multianual (PESEM)

b) Entrevistas en profundidad para la evaluacin de los sistemas de M&E en el mbitode los programas y proyectos sociales peruanos

c) Estudios de casos para la evaluacin de los sistemas de M&E en el mbito de losprogramas y proyectos sociales peruanos

3. Conclusiones y recomendaciones

BIBLIOGRAFA


3/72


Instituto APOYO 3

1. Marco conceptual: monitoreo y evaluacin (M&E)

a) Los sistemas de monitoreo y evaluacin 1

El monitoreo es el seguimiento contnuo de proyectos, durante la implementacin delos mismos. Se busca controlar que se cumpla con los cronogramas establecidos, encuanto a la utilizacin de los insumos necesarios ( inputs), la realizacin de lasactividades establecidas (procesos) y la produccin de los bienes y/o servicios(outputs) previamente definidos.

La evaluacin, por su parte, es el anlisis del impacto del proyecto sobre losbeneficiarios o el entorno. Busca establecer el nivel de logro en relacin alcumplimiento de los objetivos que dieron origen al proyecto, y los determinantes deello. Esta se realiza en determinados momentos en el tiempo y se concentra en losindicadores de resultado y de impacto, con el fin de evaluar el cumplimiento de losobjetivos del proyecto. Las evaluaciones se pueden desarrollar antes de iniciarse elproyecto, sobre la base de supuestos, en cuyo caso son evaluaciones de pre-inversin; a la mitad del proyecto, evaluaciones de medio trmino; al momento en quese ha concluido evaluaciones expost- o varios aos despus de finalizado el proyecto-evaluaciones de sostenibilidad-. Las evaluaciones de pre-inversin se realizan sobrela base de resultados e impactos proyectados, con el fin de evaluar la factibilidad delproyecto. Las evaluaciones de medio trmino se realizan con el fin de evaluar elproyecto durante su implementacin, ya que proveen seales de alerta que permitenrealizar correcciones sobre la marcha. Estas se utilizan comnmente para evaluar lasdiferentes fases que puedan tener algunos proyectos.

Las evaluaciones post proyecto se realizan al final del mismo o tambin puedenrealizarse varios aos despus de finalizado. Las evaluaciones que se realizan cuandofinalizan los proyectos permiten obtener una visin integral del impacto de los mismos,desde su inicio hasta su fin; las evaluaciones despus de varios aos de que hayafinalizado el proyecto, por su parte, buscan medir la sostenibilidad del mismo, con el finde determinar si el impacto se mantiene a pesar de haber culminado la asistencia delproyecto. La principal desventaja de las evaluaciones expost es el hecho de que loshallazgos ya no pueden ser incorporados al proyecto, porque este ya finaliz. Sinembargo, estos sirven para evaluar la situacin de otros proyectos similares.

La principal diferencia entre el monitoreo y la evaluacin es que el primero seconcentra en los indicadores de insumo, proceso y producto, mientras que laevaluacin analiza principalmente los indicadores de resultado e impacto. Adems, elmonitoreo es un sistema de seguimiento continuo, en el que la informacin se recoge,en algunos casos, da a da. En el caso de la evaluacin, por su parte, se elige unmomento en el tiempo y se comprara esta situacin con otra del pasado. Por otro lado,los requerimientos de informacin, aspectos metodolgicos y utilizacin final de lainformacin es diferente en cada caso. La informacin requerida para la evaluacin delimpacto es siempre ms demandante y su metodologa ms compleja que la utilizada

para el monitoreo.La introduccin de un enfoque de evaluacin por resultados e impactos de losprogramas y proyectos pblicos contribuye, adicionalmente, a lograr un mejor diseode los mismos, porque cuestiona la estructura lgica de los mismos y las relacionescausales asumidas entre las distintas variables que se ven afectadas. Es decir, la

1 La resea referida al marco conceptual sobre M&E se ha elaborado a partir de la bibliografa que seanexa a la investigacin.


4/72


Instituto APOYO 4

definicin de los indicadores ms adecuados para medir el impacto del programaobliga a los evaluadores a cuestionar los objetivos planteados y a validar lasrelaciones causales asumidas en el marco lgico de la intervencin. Asimismo, laincorporacin de sistemas de M&E en los programas pblicos permiten la informacinnecesaria para que las decisiones de presupuesto sean ms acertadas, lasautoridades e instituciones pblicas puedan rendir cuentas a la ciudadana, etc.

La introduccin de sistemas de monitoreo y evaluacin adecuados, objetivos yoperativos es un requisito indispensable para la Reforma de la Administracin Pblicao Modernizacin del Estado. La teora moderna de las fallas de la administracinpblica para actuar de acuerdo con los intereses de los ciudadanos pone nfasis en ladificultad para medir los productos que la administracin pblica entrega a laciudadana. Los programas de reforma del Estado buscan dar flexibilidad en losprocesos a cambio de mejoras en los resultados, lo que obliga a tener sistemas demedicin de resultados e impactos.

Asimismo, el estado actual de los sistemas de M&E tiene relacin muy estrecha conlos dems problemas vinculados a este campo. Las instituciones que han sido creadaso reformadas recientemente, como los rganos reguladores, la Sunat, la SBS, etc.enfrentan una problemtica muy distinta en este campo que la estructura pblicatradicional. Este estudio tiene mayor inters por analizar el estado de los sistemas deM&E, y los factores que podran explicar el grado desigual de avance entre uno y otroprograma o proyecto, en el mbito de la administracin pblica tradicional.

En la administracin pblica tradicional existen limitaciones que dificultan lamotivacin y capacidad de reaccin del aparato estatal para la introduccin ymantenimiento una cultura de M&E. Por ejemplo, la imposibilidad de establecer, dentrode la carrera administrativa, incentivos econmicos para aquellos funcionarios einstituciones que desarrollen sistemas de monitoreo y evaluacin. Igualmente, lasdificultades para acopiar informacin, dada la estructura hbrida de dependencia de losrganos de lnea respecto de la autoridad sectorial. Por efecto del proceso apresuradoy trunco de regionalizacin de fines de los ochenta, las Direcciones Regionales de lossectores fueron transferidas con sus presupuestos a los Gobiernos Regionales, paraluego convertirse en los Consejos Transitorios de Administracin Regional a partir de1992, que dependen presupuestalmente del Ministerio de la Presidencia.

Al inicio de un proceso de introduccin de prcticas de M&E al interior de laadministracin pblica, siempre existen reticencias a adecuarse a las mismas,principalmente cuando se trata de gobiernos que estuvieron acostumbrados a no sernunca fiscalizados y a aprobar sin ninguna demora ni estudio previo cualquierproyecto. Por lo tanto, los requerimientos para adecuarse a un sistema de M&Edifcilmente sern implementados, ya que entorpecen su flujo normal de operaciones.Por estas razones, comnmente no existe el apoyo necesario para introducir estasprcticas al interior de la administracin pblica.

Cuando no existe una cultura de rendicin de cuentas, entonces surgen resistencias alinterior de la administracin pblica, producto de la sensibilidad de los funcionariosante la fiscalizacin de sus actividades, generndose temores por la crticas quepuedan recibir de parte de otras instancias del Gobierno o del pblico, as como por elcosto poltico que podra derivar de los hallazgos de la evaluacin. Puede hacerse unadistincin entre dos niveles de falta de apoyo poltico para implantar una cultura deM&E, dependiendo de sus implicancias en trminos de la efectividad de la gestinpblica. En un extremo, puede haber poca apertura hacia que otros agentes conozcande la eficacia y eficiencia del proyecto o programa, pero s inters porque el proyectotenga los mejores resultados. Ello sera consistente con la evidencia de que s existen


5/72


Instituto APOYO 5

sistemas de M&E, pero sus resultados son conocidos slo por las altas autoridades dela institucin. En el otro extremo, no existe inters por medir el desempeo, por lo queno existen sistemas de M&E vigentes o en construccin. Este extremo puede debersea diversos motivos, desde apata e ineficiencia, hasta problemas ms serios comomanipulacin poltica o corrupcin. Sin embargo, no es necesario que exista unasituacin de corrupcin para que polticamente sea ms conveniente no evaluar nimonitorear. Se deben crear incentivos al interior de la administracin pblica queinduzcan hacia la creacin y fortalecimiento de sistemas de M&E.

La falta de apoyo poltico se refleja, en ltima instancia, en una definicin difusa y pococlara del mbito de M&E y de las responsabilidades de las unidades encargadas derealizar estas tareas. No se definen las unidades a las cuales se debe reportar nitampoco los mecanismos de retroalimentacin para que los hallazgos sean de utilidadpara los funcionarios que ejecutan los proyectos.

La ausencia de un sentimiento de propiedad por parte de los funcionarios pblicos, porsu parte, se genera cuando no existe una asignacin clara de funciones yresponsabilidades, ni tampoco una evaluacin de su desempeo en funcin al logro delos objetivos propuestos. Esto impide que el xito en el proyecto est acompaado deuna mejor evaluacin de su desempeo, lo que origina que a veces no existamotivacin ni tampoco los incentivos adecuados. Adems, en muchos casos losfuncionarios no tienen margen de accin para realizar modificaciones sobre la base dehallazgos del proceso de M&E, entonces no encuentran ninguna utilidad en eldesarrollo de estas actividades.

La ausencia del sentimiento de propiedad por parte de los beneficiarios es un temaque tambin es relevante. Ello se genera cuando se utilizan enfoques que no sonparticipativos. Estos esquemas no integran la poblacin objetivo al desarrollo delproyecto ni a los sistemas de M&E y, por lo tanto, la posibilidad de vigilanciaciudadana sobre el proyecto y los resultados que viene logrando es ms remota.

La importancia de los sistemas de M&E radica en que proveen a los hacedores depoltica los elementos de juicio necesarios para que puedan tomar decisiones acercade continuar, reducir, aumentar o eliminar la asistencia de determinados proyectos. Sise dispone de esta informacin, entonces es posible asignar los recursos mseficientemente, transfirindolos de programas que ya han cumplido con sus metashacia otros que an no lo han conseguido; o rediseando los programas que no hayanalcanzado los objetivos buscados; o ampliando la cobertura de programas que hayandemostrado ser efectivos.

Adems de los beneficios propios de una mejor evaluacin y monitoreo al interior decada proyecto, estas prcticas de M&E tiene efectos positivos colaterales en laadministracin pblica, como son:

Incrementar la motivacin de los funcionarios pblicos (ya que se los evala

objetivamente en funcin a los resultados obtenidos) Controlar el impacto de efectos no deseados (si es que se utilizanindicadores de alerta temprana)

Fortalecer la rendicin de cuentas o el accountability Fortalecer el diseo y la implementacin de proyectos Generar benchmarking o informacin que permita realizar comparaciones

entre distintos proyectos o entre distintos momentos del tiempo. Promover una mayor coordinacin entre las agencias del Estado y los

beneficiarios del programa.


6/72


Instituto APOYO 6

Sin embargo, la incorporacin de estas prcticas deber lidiar con las trabas oproblemas que comnmente surgen al interior de la administracin pblica y quefrenan o atenan el impacto de las mismas:

Poca difusin de los hallazgos del M&E. Dbil relacin entre las instituciones que realizan la M&E y las agencias o

instancias del Gobierno encargadas de ejecutar los programas y/oproyectos de lucha contra la pobreza. Por lo tanto, el flujo de informacin noes fluido.

Ausencia de una cultura de M&E que permita difundir su utilidad. Falta de capacitacin y entrenamiento de las personas que debern aplicar

estas prcticas. Mayor preocupacin por preparar, aprobar y disear nuevos programas y

proyectos, en lugar de evaluar el desempeo de los que ya existen y decidirsi se aumenta, reduce o se mantiene igual el apoyo; si se elimina elprograma; o si se modifican sus objetivos.

Poca iniciativa o convencimiento de los funcionarios nacionales parapromover estos modelos, que comnmente son auspiciados pororganismos externos.

Dbiles vnculos entre el pago y la evaluacin de la performance de losfuncionarios, por lo que existe poca motivacin para aplicar estas prcticas.

Poco margen de accin para realizar correcciones a mitad de los proyectos,por lo que no se alcanza el fin principal del M&E.

Dbil estructura lgica de los programas y/o proyectos, lo que dificulta laimplementacin de prcticas cuando los programas no han sidoadecuadamente formulados desde su inicio.

b) Importancia de los sistemas de M&E

Los fondos para la lucha contra la pobreza en los pases en desarrollo son sumamenteescasos. La poblacin pobre que requiere algn tipo de asistencia essignificativamente superior a la que es posible atender con los recursos disponibles.Por ello, es importante mejorar la eficiencia del gasto social, a travs de laimplementacin de sistemas de M&E que permitan hacer seguimiento y medir elimpacto que tienen los proyectos sociales en el bienestar de la poblacin ms pobre.Mientras mayor sea la eficiencia por cada dlar de gasto social, entonces podrincrementarse la cobertura de los proyectos de asistencia social, atendiendo a unmayor nmero de pobres.

En el caso peruano, el gasto social se increment significativamente durante la ltimadcada. De acuerdo con informacin proporcionada por el Ministerio de Economa yFinanzas (MEF), ste pas de un promedio de US$131 entre 1991-1995, a US$175 en1999. Dada la escasez de los recursos pblicos, el Estado ha determinado una escalade prioridades para la ejecucin del gasto social, dividindola en dos componentes. El

primero, el de primera prioridad (bsico), est orientado, principalmente, a evitar daospermanente en la poblacin ms vulnerable (64% del gasto social). El otrocomponente, uno ms general, est enfocado al desarrollo futuro de la poblacin (36%restante). En trminos macroeconmicos, el gasto pblico social alcanza cerca de 8%del PBI, donde el de primera prioridad es aproximadamente 5% y el de gasto general3%.


7/72


Instituto APOYO 7

EVOLUCION DEL GASTO SOCIAL PER CAPITA(US$ de 1999)

69,662,372,572,866,649,7

110,6113,1128,4127,0110,3

81,2

0

50

100

150

200

250

1991-95 1/ 1996 1997 1998 1999 2000 2/

Fuente: MEFPrimera prioridad Resto

1/ Promedio2/ Presupuestado.

De los dos componentes del gasto social, el que destaca es el de primera prioridad porhaber registrado un mayor crecimiento (pas de un promedio de US$81 en el perodo

1991-95 a US$113 en 1999). Sin embargo, a pesar del significativo crecimiento delgasto social en la dcada de los 90s, existen serios cuestionamientos a la eficienciadel mismo.

La evolucin de algunos indicadores socioeconmicos durante los ltimos aos esconsistente con esta hiptesis. Si bien algunos indicadores, como los de desnutricininfantil y analfabetismo, mantuvieron la tendencia decreciente registrada en los ltimosaos, sta se desaceler. Mientras que los indicadores de pobreza se estancaron y seincrementaron en el periodo entre 1997 y 2000.

1994 1997 2000

Tasa de desnutricin infantil 1/ 30,0% 23,8% 22,9%Tasa de alfabetismo 87,6% 90,2% 92,8%

Tasa de pobreza 53,5% 49,0% 54,1%Tasa de pobreza extrema 18,8% 14,8% 14,8%Trabajo de menores 7,8% 11,8% 25,7%Conexin a servicios elctricos 68,8% 73,7% 77,6%Conexin a servicios sanitarios 48,2% 58,6% 58,7%Red pblica de agua dentro del hogar 65,0% 72,8% 71,4%

1/ Para menores de 5 aos. Fuente: ENNIV 1994, 1997 y 2000.

INDICADORES DE BIENESTAR SOCIAL

Por ello, la evidencia de estos indicadores sugiere que an falta realizar importantesreformas para lograr que el gasto destinado a la poblacin ms pobre tenga los nivelesde eficiencia deseables. Sin embargo, existen muy pocas investigaciones quepermitan saber de la eficiencia o eficacia de la mayora de programas pblicos que sedesarrollan para atender estas necesidades. Este estudio busca suplir esa deficiencia,al identificar el estado de los sistemas de M&E del presupuesto social de mltiplesproyectos y programas sociales, y analizar en mayor profundidad cuatro casos. Elestudio tambin analiza los motivos del mayor o menor avance relativo de los sistemasde M&E.


8/72


Instituto APOYO 8

En la dcada de los 90s, la evolucin del gasto pblico registr dos etapas claramentediferenciadas. Al inicio, luego del programa de estabilizacin, se canaliz ayuda deemergencia para amortiguar los efectos que tendra este programa de ajusteeconmico tan drstico en la poblacin. En esta etapa no existi mayor preocupacinpor la eficiencia del gasto ni tampoco por realizar programas que evalen elcumplimiento de los objetivos del mismo. En la segunda etapa, cuando el periodo deemergencia haba finalizado, existi ms preocupacin por lograr una mayor eficienciadel gasto social y evaluar el cumplimiento de los objetivos del mismo. Este intersestuvo motivado principalmente por los organismos multilaterales, que canalizaron unaparte importante de los recursos de asistencia social, y ahora deseaban medir elimpacto de los mismos. Es as que comienzan a implementarse prcticas de M&E,pero solamente en algunos casos aislados, principalmente en los programas oproyectos sectorials que estaban financiados con fondos externos.

Al mismo tiempo se iniciaron en la administracin pblica dos intentos que buscabanintroducir prcticas de M&E, pero cada uno con objetivos distintos. Por un lado, en1995 se estableci la Oficina de Inversiones (ODI) en el Ministerio de Economa yFinanzas (MEF), y se promulg la nueva ley de inversiones que comenz a regir apartir del 2001. Por otro lado, casi en el mismo periodo, se cre el Sistema Integradode Administracin Financiera (SIAF) en el MEF, con el fin de controlar la ejecucin delgasto pblico y proveer seales de alerta ante retrasos o adelantos respecto a lopresupuestado. Este sistema se encuentra implementado a plenitud desde el 2000.

A partir del 2000, por su parte, se inici un nuevo intento por introducir prcticas deM&E al interior de la administracin pblica, por el cual cada sector tiene la obligacinde elaborar planes estratgicos multianuales (PESEM), que incorporen la visin,misin, objetivos y actividades que guiarn los gastos pblicos.

Sin embargo, estos sistemas recin se estn implementando y an no hay un impactosignificativo. El PESEM est en una etapa inicial y se concentra principalmente a nivelde sectores, lo que impide evaluar las prcticas de M&E en unidades ms pequeas,como son los proyectos sociales. El SIAF es el nico de los tres esquemas que ya estprcticamente implementado en su totalidad. No obstante, este es un sistema que fuecreado con un objetivo claro, que fue el de controlar que la ejecucin de los gastospblicos se realice de acuerdo a lo programado, mas no busc implementar unsistema ms integral de M&E.

En el mbito de la nueva ley de inversiones impulsada por la ODI, por su parte, ladirectiva recin se promulg a fines del 2000 y los proyectos de inversin estnadecundose a partir de este ao. Todava se encuentran en una fase de aprendizajey muchas de las unidades an no entregan la informacin requerida.

Sin embargo, la nueva ley de inversiones slo abarca a las unidades ejecutoras deproyectos de inversin, mas no los programas y/o proyectos que realizan gastoscorrientes. Es decir, analiza solamente los proyectos de carcter eventual, con un

plazo de tiempo definido. En el grueso del gasto estatal, no existe un marco a travsdel cual se controle la utilizacin de sistemas de M&E.

La importancia de este estudio radica en que permitir conocer la utilizacin deprcticas de M&E en el caso de los programas sociales peruanos y resaltar laimportancia de la utilizacin de estos mtodos. Este estudio, adems, se convierte enuna especie de lnea de base que registra la situacin al inicio de la aplicacin delnuevo marco legal de las inversiones, que podr ser comparado con la situacinfutura, cuando la nueva ley haya sido aplicada por un tiempo razonable para evaluarsu impacto.


9/72


Instituto APOYO 9

En el Per, una gran cantidad de los programas sociales tienen un diseo y unaestructura lgica dbiles, porque surgieron sin un trabajo de pre-inversin con unanlisis adecuado que aseguren su viabilidad. Esto dificulta la implementacin deprcticas de M&E, pues no existen objetivos, actividades, relaciones causales, etc,establecidos adecuadamente para cada proyecto. Por ello, en estos casos deberexistir amplio margen de accin y flexibilidad para que, a la luz de los resultados delM&E, sea posible realizar las correcciones requeridas, como reformular y modificar laestructura lgica de los programas.

En el caso peruano, son pocos los programas sociales que cuentan con una lnea debase o con grupo de control. Por lo tanto, a veces ser muy til y necesario aplicartcnicas intermedias de M&E, como estimaciones de las caractersticas de lapoblacin objetivo al inicio del proyecto, comparaciones al interior del mismo grupo debeneficiarios, series de tiempo, etc. La tcnica de series de tiempo, por ejemplo, serimportante para medir la sostenibilidad de los programas, ya que definir si es que latendencia es similar a la que registraba el indicador antes de la asistencia delproyecto, si mejor, si empeor o si se mantuvo igual durante su desarrollo, etc. Enestos casos, puede ser importante complementar la informacin con data de cuentasnacionales, cuando sea posible, para reconstruir las series de tiempo.

Asimismo, las tcnicas cualitativas adquieren especial relevancia para el caso de losprogramas sociales peruanos. La realidad peruana es compleja, debido a lasdiferencias culturales entre los distintos grupos poblacionales. En muchos casos,grupos distintos de beneficiarios pueden reaccionar de manera muy diferente a laintervencin de un proyecto similar. Adems, comnmente la realidad de losevaluadores y/o los ejecutores de programas sociales es significativamente diferente ala de la poblacin beneficiaria. A menudo, estos factores impiden anticipar elcomportamiento que tendr la poblacin objetivo. Por ello, en estos casos serimportante utilizar tcnicas de recoleccin de informacin cualitativas, ya que habraspectos que no ser posible indagar a travs de tcnicas cuantitativas. Por ejemplo,las razones por las cuales la poblacin beneficiaria no utiliza ciertos productos oservicios que le fueron entregados, muchas veces son anecdticas y no es posibledescubrirlas sin un estudio ms cualitativo y exploratorio.

c) Presentacin de los objetivos generales del estudio de investigacin

En las secciones anteriores se presentan y analizan algunas caractersticas generales,as como otras ms especficas referidas a la calidad misma de las metodologas deM&E aplicadas. Considerando que la utilizacin de prcticas de M&E en laadministracin pblica peruana se encuentra en una etapa muy incipiente y que,adems, la disponibilidad de informacin es escasa, este estudio de investigacinbusca analizar la existencia de sistemas de M&E pero desde una perspectiva msgeneral, que no enfatizar tanto en la calidad de los mtodos aplicados.

El objetivo del estudio es explorar la etapa de desarrollo en la que se encuentran estossistemas de M&E, concentrando el anlisis en el caso especfico de los programas yproyectos sociales. Sin embargo, se realizar un breve anlisis descriptivo de lasexperiencias integrales de introducir sistemas de M&E al interior del aparato pblico,como el caso del SIAF, ODI y PESEM.

Para ello, se utilizarn tres tcnicas de anlisis. En primer lugar, para el anlisis de lasexperiencias del SIAF, ODI y PESEM, se realizarn entrevistas a los funcionariosencargados de estas unidades y se revisar el marco legal vigente. Luego, con el finde analizar los mtodos de M&E utilizados por los programas y proyectos sociales,


10/72


Instituto APOYO 10

que es nuestro foco de estudio, se realizarn entrevistas a terceros vinculados a losprogramas, as como tambin estudios de casos para algunos programas escogidos.Los programas o proyectos representarn nuestra unidad de anlisis, ya que sonintervenciones independientes que deberan estar supervisadas por estos esquemaspara asegurar su viabilidad. Estas podrn ser intervenciones eventuales, as comotambin intervenciones permanentes, del Gobierno Central. Asimismo, se analizartanto proyectos de inversin no solamente en infraestructura, sino tambin enintangibles- como tambin de gastos corrientes.

Finalmente, se complementar el estudio con cuatro estudios de caso. Dado elobjetivo de buscar recomendaciones de poltica que pudieran servir para introducirmejores sistemas de M&E en el aparato tradicional del Estado, los casos han sidoseleccionados entre aqullos que en principio exista alguna evidencia de que tenanrelativamente mejores sistemas de M&E que el resto. Asimismo, para poder aislarmejor los elementos que puedan explicar los avances relativos, se prefiri limitar loscasos al rea de servicios, dos de los cuales corresponden a sectores donde lanecesidad de trabajar con los rganos de lnea del ministerio es ineludible (educaciny salud). Los otros casos seleccionados son Projoven (capacitacin laboral a jvenes)y Wawa Wasi (cuidado y atencin a infantes y nios).

d) Presentacin de la metodologa del estudio de investigacin

En la primera parte del anlisis del estado de los programas de M&E en laadministracin pblica peruana, se presentar una breve descripcin de los tresintentos mencionados anteriormente SIAF, ODI y PESEM-. Par ello, se revisar elmarco legal y se realizarn entrevistas con los funcionarios encargados de estasunidades.

Luego, el anlisis se concentrar en recoger informacin sobre la mayor cantidad deprogramas y proyectos sociales pblicos en el Per, a partir de entrevistas ainformantes clave. La metodologa utilizada ser principalmente cualitativa oexploratoria, debido principalmente al desarrollo incipiente de estos sistemas y lacomplejidad de cada una de estas intervenciones. La recopilacin de informacin deesta manera permite avanzar respecto de estudios anteriores, basados en lainformacin provista por los propios programas y proyectos para el I Foro de Pobreza.Esta informacin, que an as indicaba graves deficiencias en los sistemas de M&E,posiblemente sobrestimaba los niveles de desarrollo de dichos sistemas, por ser unadeclaracin de parte frente a un requerimiento de un evento auspiciado por losdonantes que en muchos casos los financiaban. Dadas las limitaciones encontradasen dicho estudio, el cuestionario desarrollado en esta oportunidad es ms detallado ytambin incluye preguntas que corresponden a requisitos mnimos, ms pertinentespara sistemas de M&E muy incipientes.

Es por ello que el cuestionario abordar la utilizacin de prcticas de M&E, bajo la

perspectiva de analizar la existencia de condiciones necesarias -aunque nosuficientes- para la existencia de un adecuado M&E. En primer lugar, se analizarnfactores generales que son necesarios para que exista un adecuado M&E, comopueden ser el compromiso poltico, una cultura de M&E, el margen de accin quepermite el M&E que se realiza actualmente, etc. En segundo lugar, se analizarnfactores ms especficos, pero que representan insumos para lo que sera unadecuado M&E, como son manuales para la aplicacin de prcticas de M&E, formatospreestablecidos para recoger la informacin de este proceso, reportes del mismo, etc.


11/72


Instituto APOYO 11

Por ltimo, tambin se recoger informacin relativa a productos de M&E ms que ainsumos, como podran ser la realizacin de evaluaciones, experiencias quedemuestren que haya habido correcciones a los programas, como consecuencia deloshallazgos del M&E, etc.. Estos ltimos aspectos analizados son ms especficos, perola perspectiva de anlisis sigue siendo la misma, pues no se evaluar la calidad deestas herramientas, sino que slo se preguntar si se utilizan o no.

Este trabajo consistir en realizar un diagnstico acerca de la utilizacin de sistemasde M&E por parte de los programas sociales peruanos. Para ello, habr que definiralgunos aspectos metodolgicos de las herramientas que utilizaremos, como son lastcnicas de levantamiento de la informacin; el mbito de la investigacin, loscuestionarios que se aplicarn, en base al marco conceptual definido anteriormente ylas limitaciones de la metodologa propuesta.

d.1) Tcnicas de levantamiento de la informacin

En primer lugar, utilizaremos dos tcnicas de levantamiento de informacin: por unlado, se realizarn entrevistas en profundidad a terceras personas vinculadas aprogramas sociales y, por otro lado, se realizarn estudios de casos para algunosprogramas sociales escogidos, que consistirn en entrevistar a funcionarios vinculadosdirectamente con el programa, as como otros vinculados indirectamente a los mismos.

d.1.1) Entrevistas en profundidad

Por medio de las entrevistas en profundidad se buscar explorar acerca de lautilizacin de prcticas de M&E tanto a nivel de los sectores econmicos comotambin en los casos especficos de los programas y proyectos de cada sector. Elcuestionario se dividir en dos partes. En la primera parte, se aplicar una tcnica mscualitativa, con la que se explorarn los aspectos generales del M&E a nivel del sectoreconmico analizado y las opiniones respecto al nuevo marco legal implementadopara el caso de los proyectos pblicos de inversin. Considerando que es un mtodoexploratorio, se indagar acerca de las razones detrs de las respuestas delentrevistado.

En la segunda parte, en que se realizarn preguntas acerca de los principalesproyectos sociales del sector, se aplicar una tcnica mixta, ya que incorporaraspectos tanto cuantitativos como cualitativos. En esta parte se preguntar si es queestos proyectos cumplen con ciertas caractersticas predefinidas de acuerdo al marcoconceptual revisado anteriormente, y en la mayora de los casos las respuestas sernS o No. En estos casos, no se indagar acerca de la calidad de esos instrumentos,pero habr interaccin entre el entrevistador y el entrevistado, porque las preguntasrequerirn a veces que el entrevistador explique el contenido de las mismas y,adems, en muchos casos no ser fcil responder S o No. Por ello, en estos casosigualmente se registrarn las razones detrs de las respuestas del entrevistado.

El perfil del funcionario entrevistado tendr las siguientes caractersticas:o Funcionarios de las Oficinas de Planificacin de Inversiones (OPIs) de cada

sector, o funcionarios de la Oficina de Inversiones (ODI) que conocen orealizan seguimiento a los proyectos del sector de inters o funcionarios quehasta hace poco tiempo hayan estado encargados de la planificacin de lasinversiones y gastos en los sectores de inters.

o Funcionarios que no estn vinculados directamente con los proyectos pblicos,sino que realicen algn tipo de seguimiento de los mismos, pero desde unaperspectiva ms global.


12/72


Instituto APOYO 12

De esta manera, se lograr una mayor objetividad en las respuestas, ya que elfuncionario no est directamente involucrado en el proyecto ni tampoco esresponsable por las prcticas de M&E que se aplican en el mismo. En caso contrario,existira la tendencia a sobreestimar las bondades de los mtodos de M&E y seradifcil contrastar la respuestas. Adems, esta metodologa reduce el tiempo quedemorara la etapa de recoleccin de la informacin si es que fuese necesarioentrevistarse con los funcionarios responsables de cada proyecto. Las personasentrevistadas tendrn conocimiento de la cartera de los principales proyectos delsector de inters.

d.1.2) Estudios de casos

Por medio de los estudios de casos se buscar realizar una indagacin msexhaustiva de los mismos aspectos contenidos en el cuestionario aplicado en lasentrevistas en profundidad, con nfasis en identificar factores de xito o fracaso en elmarco de la aplicacin de las prcticas de M&E para el caso de programas y/oproyectos sociales, principalmente en lo referido al marco institucional, autonoma enla toma de decisiones, y capacidad tcnica del personal.

El perfil de los funcionarios entrevistados para los estudios de casos tendrn lassiguientes caractersticas:

o Funcionarios responsables de la ejecucin del proyecto.o Funcionarios responsables del M&E del proyecto.o Funcionarios vinculados externamente al proyecto, como puede ser la

contraparte extranjera o funcionarios que conocen de manera indirecta acercadel proyecto.

d.2) mbito de aplicacin

En trminos generales, el mbito del estudio est constituido por los programas y/oproyectos sociales pblicos. Sin embargo, las definiciones en el mbito de laadministracin pblica no necesariamente coinciden con las de este estudio deinvestigacin. De acuerdo a la normativa de la nueva ley de inversiones, un proyectoes toda intervencin limitada en el tiempo que implique la aplicacin de recursospblicos con el fin de ampliar, mejorar y modernizar la capacidad productora de bieneso prestadora de servicios, cuyos beneficios son independientes de otros proyectos. Eneste sentido, este marco slo abarca a las intervenciones eventuales, con una vida tillimitada en el tiempo.

Nuestro foco de anlisis no se restringe a los proyectos de inversin de capital nitampoco a los que son eventuales. Nos interesar analizar todo tipo de proyectos, assea clasificado como inversin o de gasto corriente, respecto al tipo de obra; o comoordinario o eventual, respecto al tiempo de duracin. Esto se debe a que la definicin

de proyecto, como la entendemos para efecto de este estudio de investigacin, es unaunidad de anlisis independiente que tiene un marco lgico (si bien puede ser que nose haya sido formulado a travs del marco lgico, al menos debera ser susceptible deformularse bajo ese marco), que define la visin, misin, objetivos, objetivosespecficos y actividades. As sea un proyecto de inversin o de gasto corriente,eventual u ordinario, en cualquier caso debera requerir un monitoreo y evaluacinpara analizar el cumplimiento de metas y objetivos deseados.

Los sectores que se analizarn en la investigacin son agricultura, educacin, salud,Promudeh, Ministerio de la Presidencia y transportes, de acuerdo a la estructura del


13/72


Instituto APOYO 13

Gobierno Central, pues concentran los principales programas y/o proyectos sociales.Para efectos de las entrevistas en profundidad, se identific a los funcionarios quereunan las caractersticas del perfil definido anteriormente, quienes tenan elconocimiento requerido, tanto del sector como de los proyectos del mismo, para quese les pueda aplicar el cuestionario. Los proyectos analizados, por su parte, sedefinieron en funcin a la importancia en el gasto pblico, as como tambin a ladisponibilidad de informacin de parte de los funcionarios entrevistados.

En cuanto a los criterios utilizados para escoger los proyectos que se analizarn en losestudios de casos, se busc que estos pertenezcan a diferentes sectores, que eltamao de los mismos sea diverso incluyendo proyectos grandes y pequeos-, quetengan niveles de desarrollo distintos de sus sistemas de M&E de acuerdo al sondeoprevio que se realiz- y que tengan niveles de interaccin ms o menos intensivos conlos rganos de lnea de los ministerios.

d.3) Caractersticas deseables para un sistema de M&E de proyectos sociales:seleccin y justificacin de indicadores para medir el estado de los sistemas de M&Ede los proyectos pblicos

Con el fin de formular el cuestionario de preguntas que se aplicarn en las entrevistas,ser necesario definir qu entendemos por un adecuado sistema de M&E, en funcinal marco terico definido previamente. De esta manera, ser posible evaluar lossistemas de M&E que utilizan actualmente los programas sociales peruanos, enfuncin a las caractersticas y parmetros establecidos en esta seccin.

En primer lugar, para la fase exploratoria en que se analizarn los aspectos generalesa nivel de los sectores econmicos, ser relevante indagar acerca de lascaractersticas generales del marco en el cual se desenvuelve el proceso de M&E. Eneste sentido, hay algunos aspectos que son necesarios, a nivel de los sectores, paraque tenga xito la implementacin de prcticas de M&E, como por ejemplo:

o Respaldo poltico que haya recibido la aplicacin del M&Eo La existencia de una cultura de M&E en el sectoro Margen de accin del sistema de M&E que se realiza en el sector en cuanto a

la posibilidad de que permita realizar correcciones de poltica, detener,fortalecer o eliminar proyectos.

o Importancia que le otorgan las autoridades del sector al tema de la planificacinde las inversiones

o Fortalecimiento de las unidades de planeamiento de las inversiones: margen deaccin de estas unidades, capacidad de liderazgo, rol promotor vs. pasivo yposibilidad de contratacin definitiva del personal de estas unidades.

Adems, se explorarn las opiniones de estos funcionarios respecto a la nueva ley deinversiones:

o

Opinin acerca de la nueva ley de inversiones, tanto respecto al diseoconceptual de la misma como tambin a la facilidad de aplicacin

En estos casos, se busc cuantificar las respuestas de los entrevistados, con el fin deobtener calificaciones que faciliten el anlisis posterior de la informacin. Para ello, seles pidi a los entrevistados que califiquen en una escala del 1 al 7, donde 1 es peory 7 es mejor. Sin embargo, el puntaje ms alto, 7, no necesariamente significa loptimo, sino ms bien los aspectos ms bsicos con los que debera contar cadasector para realizar M&E. Ms an, considerando que no se analiza la calidad de losmismos. Entonces, el puntaje mayor se deber interpretar como que las condiciones


14/72


Instituto APOYO 14

son las adecuadas para el inicio, a nivel sectorial, de un proceso que busque alcanzarun sistema de M&E eficiente y de calidad.

En segundo lugar, se buscar analizar aspectos ms especficos, relacionados a lossistemas de M&E para el caso especfico de los proyectos del sector. Si no existiesenlimitaciones de ningn tipo -monetarias, de tiempo, recursos humanos, etc.- entoncesprobablemente el sistema de M&E ideal sera aquel que considere todas lasherramientas posibles. Es decir, uno que permita realizar comparaciones en el tiempo

grupos antes y despus-; que considere grupos de control para aislar los factoresexgenos; que utilice series de tiempo para medir la sostenibilidad del proyecto y otrasherramientas que complementen el anlisis.

Sin embargo, ser necesario definir algunos aspectos que debe considerar todosistema de M&E de proyectos, como son las caractersticas ms generales de lossistemas de M&E, que no dependen tanto de la realidad especfica del proyecto. Paradefinir un modelo ideal de M&E, no pondremos tanto nfasis en las tcnicas o losinstrumentos utilizados en cada caso, sino ms bien en lo que busca medir el modelode M&E. Por ejemplo, nos importar que el modelo de M&E incluya algn tipo deevaluacin, sin necesidad de exigir que exista algn tipo de evaluacin especfica.Igualmente incluimos en el cuestionario algunas preguntas especficas, referidas porejemplo a la existencia de lnea de base o un grupo de control, pero cuya ponderacinen el ndice definido no es tan importante.

Por lo tanto, los aspectos que se analizarn para la recoleccin de informacin relativaa los sistemas de M&E de los proyectos, se pueden dividir en tres grupos:

o Aspectos que no estn relacionados a tcnicas metodolgicas, sino ms bieninstrumentos que todo proyecto debera utilizar para llevar a cabo actividadesde M&E. Estos podran definirse como los insumos necesarios, aunque nosuficientes, para que las prcticas de M&E sea adecuadas. Estos son: La existencia de formatos para registrar el consumo de insumos o el

cumplimiento de las actividades que permitan recolectar la informacin quees necesaria para monitorear y evaluar un proyecto.

La existencia de manuales que guan a los funcionarios encargados derealizar las tareas de monitoreo y evaluacin en sus funciones.

La elaboracin de reportes que contengan los resultados del proceso deM&E, que contengan los hallazgos y que permitan retroalimentar elproceso.

La existencia de una capacidad de M&E al interior del proyecto, reflejada enuna unidad que define plan de trabajo con las actividades que sedesarrollarn, los funcionarios responsables, las funciones definidas, elpresupuesto y los entregables o productos finales del proceso de M&E.

La utilizacin del marco lgico como herramienta para el diseo deprogramas, lo que a veces contribuye a aplicar ms fcilmente las tcnicasde M&E.

o Aspectos relacionados a las tcnicas metodolgicas utilizadas para M&Eproyectos, que podran definirse como los productos del proceso de monitoreoy evaluacin. Estos son: Perfiles de los proyectos Evaluaciones de los proyectos Lnea de base Grupo de control o comparacin


15/72


Instituto APOYO 15

Si bien en esta parte tambin sera importante analizar la utilizacin deprcticas de monitoreo, no se realiz esta pregunta. Esto se debe a quesiempre existe algn tipo de seguimiento de los proyectos, ms an con laintroduccin del SIAF. Por lo tanto, exista el riesgo de que la respuesta a estapregunta siempre sea afirmativa.

o Aspectos que buscan medir el beneficio que se obtiene de la aplicacin deprcticas de M&E en los proyectos, que depender de factores como: Margen de accin para realizar modificaciones a los proyectos.

Todas las caractersticas evaluadas, adems de ser ms o menos generales, debernser contrastables tambin, con el fin de evitar que los entrevistados sobreestimen lasbondades de los sistemas de M&E de los proyectos analizados. Por tanto, habr queevitar el riesgo de respuestas sesgadas.

d.4) Cuestionario

De esta manera, el cuestionario aplicado para el caso de las entrevistas enprofundidad, as como tambin para realizar los estudios de casos, fue el siguiente:

Preguntas exploratorias, de carcter ms general, aplicadas a nivel de lossectores econmicos y sociales:

1. Existe el compromiso poltico necesario para el desarrollo de un sistema de M&Een los proyectos del mbito de su sector? Es similar al compromiso que existepara el caso de los dems sectores? En una escala del 1 al 7, dnde 1 es nada decompromiso poltico y 7 es total compromiso poltico: Cmo calificara?

2. Existe una cultura que promueva los procesos de M&E en el caso de losproyectos de su sector? En una escala del 1 al 7, dnde 1 es nada de cultura y 7es mucha cultura: Cmo calificara?

3. A nivel conceptual: qu opiniones tienen del marco legal bajo la nueva ley deinversiones? El mbito que abarca es el adecuado? Existen vacos legalesimportantes (caso regiones)? En una escala del 1 al 7, dnde 1 es nada adecuadoy 7 es muy adecuado: Cmo calificara al diseo conceptual del nuevo marcolegal?

4. Es prctico el sistema? Es de fcil aplicacin? Es posible aplicar la norma talcomo est? Qu problemas tiene? Es flexible o rgido? En una escala del 1 al 7,dnde 1 es nada prctico-aplicable y 7 muy prctico-aplicable: Cmo calificara alnuevo marco legal?

5. Para qu sirve el M&E que se realiza en su sector? Permite margen de accinpara realizar correcciones de poltica? Cuando los proyectos ya tienen un estudiodefinitivo: existen mecanismos para detenerlo en caso que se detecte que no seraeficiente iniciar su ejecucin? Cite algunos ejemplos. Califique la capacidad demargen de accin: Amplio margen de accin (7); nada de margen de accin (1).

6. Las autoridades de su sector siguen el tema de inversiones? Realizan algn

tipo de planificacin de las mismas? Es este un tema de agenda? Es ms unaagenda presidencial o sectorial? Qu tan frecuentes son las reuniones entre elministro y el jefe de la oficina de inversiones del sector? Califique la importanciaque le otorgan las autoridades del sector a la planificacin y evaluacin de losproyectos de inversin del sector, donde 1 en nada importante y 7 es muyimportante.

7. La estrategia para fortalecer las oficinas sectoriales de inversin ha logrado susobjetivos? Tienen el liderazgo deseado? Ha mejorado con respecto a antes?Van por el camino correcto? Tienen margen de maniobra para negociar conministros? Tienen un rol promocional o slo responden y analizan las propuestas


16/72


Instituto APOYO 16

del ministerio? Las personas destacadas a las OPI sectoriales, han sidocontratadas o existen altas probabilidades de que lo sean? Califique el liderazgo(a) y margen de maniobra (b), en escalas donde 1 es nada y 7 es mucho. Califiqueel tipo de rol que juega la OPI (c), donde 7 es ms promocional y 1 es ms pasivo.Califique la posibilidad de contratacin del personal destacado de la Odi a las OPIs(d): 1 es nada probable y 7 muy probable.

Preguntas ms especficas, aplicadas a nivel de cada proyecto:

1. Antes de adecuarse a la nueva ley de inversiones: Qu proyectos de inversiny/o de gasto corriente realizaban prcticas de M&E?

2. Existe margen de accin y/o poderes para realizar correcciones al programa, sies que los hallazgos del proceso de M&E as lo exigiesen?Han habidocorrecciones especficas en el caso de los proyectos del sector? En cules?Puede dar algunos ejemplos?

3. Cuntos proyectos han sido reformulados, detenidos, eliminados, etc.?4. Se ha diseado una capacidad de M&E al interior del programa? Existe un plan

de trabajo, con las actividades que se desarrollarn, los funcionarios responsables,las funciones definidas, el presupuesto y los entregables o productos finales delproceso de M&E? Se ha definido cmo es el flujo de la informacin que segenera del proceso de M&E, cules son las reas que deben reportar y a qureas se debe reportar los resultados de M&E?

5. Tienen manuales de M&E para la aplicacin de estas prcticas?6. Existen formatos estandarizados y pre-establecidos para la recopilacin de la

informacin que se procesar para el M&E?7. Se producen reportes con el anlisis del proceso de M&E, sus resultados y

hallazgos (a)? Si se producen reportes: Se utilizan para retroalimentar el ciclo delproyecto (b)?

8. Se utiliza el marco lgico para el diseo del proyecto?9. Realizaron perfiles de los proyectos al inicio de los mismos?10. Realizaron algn tipo de evaluacin intermedia o expost?11. Tienen lnea de base (a)? Tienen grupo de control o comparacin (b)?

d.5) Limitaciones de la metodologa planteada

Si bien la eleccin de entrevistar a terceros que no estn relacionados directamentecon los proyectos sociales reduce el sesgo de obtener respuestas que sobreestimenlas bondades del sistema de M&E del mismo, se introduce el riesgo de que elfuncionario entrevistado pueda tener, en algunos casos, un conocimiento que no seasuficiente para contestar algunas preguntas. En estos casos, si el funcionarioresponde a la pregunta sin estar completamente seguro y sin informarle alentrevistado, entonces existir el riesgo de que algunas respuestas sean erradas.

El escaso desarrollo de las prcticas de M&E en el Per impide que los conceptos quese manejan tengan acepciones similares, principalmente para el entrevistador y elentrevistado. No existe un consenso acerca de lo que se puede entender como unaevaluacin de proyectos y puede ser que una evaluacin sea adecuada para unpersona pero inadecuada para otra. En estos casos, existir el riesgo de que, porejemplo, el entrevistado conteste afirmativamente ante la pregunta de si es querealizan algn tipo de evaluacin, pero que en realidad sta sea tan simple que nocalce dentro de lo que el entrevistado entiende por una evaluacin adecuada para losefectos del estudio. Adems, es difcil y prcticamente imposible realizar este trabajode campo si previamente a la aplicacin del cuestionario habra que realizar


17/72


Instituto APOYO 17

definiciones de los conceptos para llegar a algunos consensos entre el entrevistador yel entrevistado.

En muchos casos, los programas y proyectos analizados se subdividen a su vez enproyectos ms pequeos. Esto ocurre porque algunos proyectos tienen variosobjetivos o reas de intervencin, que pueden ser, por ejemplo, para el caso delprograma MECEP del Ministerio de Educacin, los de gestin administrativa,infraestructura y calidad educativa. En otros casos, puede ser que el proyecto sesubdivida en proyectos ms pequeos dependiendo del rea geogrfica que atiende.En todos estos casos, el trabajo de exploracin inicial, previo al inicio de lasentrevistas, confirm la creencia de que en la mayora de los mismos se puede hablarde un mismo sistema de M&E. Esto se debera a que el marco general que gua estosprocesos tiende a ser el mismo, a pesar de que en cada uno de los subproyectospueda haber caractersticas que son a la medida del mismo.

Sin embargo, es probable que no en todos los casos sea posible que el entrevistadoresponda de manera uniforme par el caso de algunas preguntas. Por ejemplo, puedeser que algunos de los subproyectos hayan realizado evaluaciones, mientras que otrosno lo hayan hecho. En estos casos, quizs la respuesta ms adecuada y que tendramenos error sera la que haya considerado qu tan diseminada est la prctica de lasevaluaciones al interior del proyecto. Es decir, si la mayora de los subproyectosrealizan evaluaciones entonces la respuesta ms adecuada sera afirmativa. Sinembargo, igual existir el riesgo de error en algunos casos, en los que, siguiendo conel ejemplo, slo unos pocos proyectos realicen evaluaciones y se conteste S o quecasi todos realicen y que se conteste No, lo que sera menos probable.

Sin embargo, la tcnica de recoleccin de informacin aplicada busc atenuar estaslimitaciones, recogiendo la informacin cualitativa que estaba detrs de las respuestasde los entrevistados. Por lo tanto, en algunos casos ha sido posible evitar estossesgos, a travs de una repregunta y permitiendo que el entrevistado se explaye mscon su respuesta.

Considerando estas limitaciones, los hallazgos y conclusiones ms slidos del estudiosern de carcter general, a nivel de todos los sectores y/o a nivel de todos losproyectos analizados. En estos casos, es ms probable que los errores que hayahabido en las respuestas se neutralicen unos con otros. Las conclusiones a nivel desectores especficos y/o proyectos especficos, por su parte, as como lascomparaciones de unos con otros en cada caso, sern menos slidas.

e) Hiptesis del estudio

En base al conocimiento previo de las polticas pblicas en el Per, producto de losestudios realizados as como de las entrevistas sostenidas con funcionariosinvolucrados con la realidad de los mismos, se pueden plantear algunos hiptesis,acerca de los sistemas de M&E de los proyectos pblicos:

A nivel sectorial:o La importancia que se le otorga al planeamiento de las inversiones es baja.o Las oficinas de planeamiento de las inversiones an no tienen el respaldo que

requieren.o El respaldo poltico para la aplicacin de prcticas de M&E es sumamente bajo.o La cultura de M&E es escasa.


18/72


Instituto APOYO 18

A nivel de los proyectos pblicos:o Los proyectos pblicos ms antiguos suelen tener los sistemas de M&E ms

dbiles, debido a que no incorporan las ltimas tendencias de monitoreo yevaluacin que surgieron en los ltimos aos.

o Los proyectos pblicos con financiamiento externo suelen tener los sistemas deM&E ms slidos, as como tambin un mayor margen de maniobra pararealizar correcciones que surjan de los resultados del proceso de M&E.

o Menos del 20% de los proyectos pblicos realizan evaluaciones deldesempeo.

o Los proyectos pblicos ms importantes, con mayor presupuesto, suelen estarms influenciados por factores polticos y, por lo tanto, tienen sistemas de M&Ems dbiles.

o Los proyectos de inversin suelen tener mejores sistemas de M&E que losproyectos de gastos corrientes, debido en parte al impacto de la nuevanormativa de inversiones.


19/72


20/72


Instituto APOYO 20

a.1) Oficina de Inversiones (ODI)

a.1.1) Antecedentes

En 1995, se cre la ODI, uni dad que asumi las funciones del desaparecido INP. Estaanaliz la utilizacin de las prcticas de M&E en el mbito de los proyectos pblicos deinversin y, en 1998, elabor un informe que resuma el estado de los mismos.Durante el segundo gobierno del presidente Fujimori, entre 1995 y el 2000, la ODIfuncion como una unidad rectora de las inversiones pblicas, analizando las nuevaspropuestas de inversiones presentadas por los diferentes sectores y procurando questas se formulen adecuadamente. De esta manera, funcionaba como un filtro queintent frenar proyectos que no tenan una formulacin adecuada que, en la mayorade los casos, la intencin de desarrollarlos responda ms a factores polticos que acriterios de eficiencia.

Durante estos aos, la ODI diseo el marco legal que deba regir para las inversionespblicas y, en el 2000, public la nueva Ley de Inversiones, as como su reglamento ydirectivas, que definen todas las etapas del ciclo de proyectos que deben seraprobadas para asegurar la viabilidad de los mismos. A partir del 2001, todos losproyectos pblicos deben adecuarse a estas nuevas normas.

a.1.2) Objetivos

Los principales objetivos de la nueva Ley de Inversiones son:

I Propiciar la aplicacin del ciclo de proyectos para los proyectos de inversinpblica, compuesto por las etapas de perfil, pre-factibilidad, factibilidad,expediente tcnico, ejecucin y evaluacin expost.

I Fortalecer la capacidad de planificacin del sector pblico.I Crear condiciones para la elaboracin de planes de inversin pblica por

periodos multianuales no menores de tres aos.

a.1.3) mbito de influencia

El mbito de influencia del nuevo marco legal es los proyectos de inversin de lasentidades y empresas del sector pblico no financiero, pero no incluye los gobiernoslocales y sus empresas. Entonces, su mbito de influencia est definido por lossiguientes organismos:

I Ministerios y sus rganos desconcentrados.I Organismos pblicos descentralizados.I Organismos constitucionalmente autnomos.I Gobiernos regionales.I Empresas del Estado, de propiedad del Gobierno Central o Regional y que no

desarrollen actividades financieras.I

Otros organismos y dependencias del Estado que ejecuten proyectos deinversin.

Para efectos de este nuevo marco legal, los proyectos que deben cumplir con la nuevanormativa son todos aquellos que representan una intervencin limitada en el tiempo,que implique la aplicacin de recursos pblicos con el fin de ampliar, mejorar ymodernizar la capacidad productora de bienes o prestadora de servicios, y cuyosbeneficios son independientes de otros proyectos.


21/72


Instituto APOYO 21

a.1.4) Autoridades

Las autoridades que tienen algn tipo de injerencia en el contexto de esta nuevanormatividad son el Ministerio de Economa y Finanzas (MEF), principalmente a travsde la Oficina de Inversiones (ODI), los rganos resolutivos de los sectores y lasOficinas de Planificacin de Inversiones de los sectores (OPIs).

MEF-ODI: es la ms alta autoridad tcnico-normativa. Le corresponde regular lasfases con las que deben cumplir los proyectos de inversin, as como calificar suviabilidad. La facultad de calificacin de la viabilidad puede ser delegada a los rganosresolutivos de los diferentes sectores y stos, a su vez, a las OPIs.

rganos resolutivos: son los ministros o las mximas autoridades de los sectores.Autorizan la elaboracin de los expedientes tcnicos y la ejecucin de los proyectos deinversin. Asimismo, deben velar por el cumplimiento de la normatividad.

Oficinas de planificacin de las inversiones (OPIs): se encargan de priorizar losproyectos de inversin, primero en sus fases de inversin y luego en sus fases de pre-inversin. Las OPIs tienen una relacin muy estrecha con la ODI, registrndose unflujo de informacin continuo entre las mismas. La ODI determina las atribuciones yresponsabilidades de las OPIs.


22/72


Instituto APOYO 22

FUNCIONES DE LAS AUTORIDADES QUE PARTICIPAN EN EL MARCO DE LANUEVA LEY DE INVERSIONES

Ministerio de Economa yFinanzas Oficina de

inversiones

rgano resolutivo delsector

Oficinas de Programacinde Inversiones

Autorizar la ejecucin deestudios de factibilidad

Velar por el cumplimiento delmarco legal en su sector

Revisar los estudios de perfily prefactibilidad elaboradospor las unidades deformulacin de proyectos(UF)

Aprobar los estudios en lafase de factibilidad

Designar al rganoencargado de realizar lasfunciones de las OPIs ydefinir un funcionarioresponsable en las mismas

Determinar si los proyectosson compatibles con losobjetivos estratgicos delsector.

Determinar la viabilidad delos proyectos

Solicitar al MEF laautorizacin para ejecutarestudios de factibilidad

Elaborar y someter al rganoresolutivo el PMIP del sectorque contiene los PIP

priorizados por las OPIs.Aprobar los manualesmetodolgicos de proyectos

Solicitar al MEF lacalificacin de viabilidad delos proyectos de inversinpblica.

Mantener actualizado elBanco Sectorial deProyectos.

Establecer losprocedimientos, preciossociales, parmetros deevaluacin y otras normasde observancia obligatoria

Autorizar la elaboracin delexpediente tcnico de losPIP declarados viables por laODI.

Mantener actualizado elSOSM de la inversin delsector.

Definir los niveles de accesoa la informacin contenidaen el Banco de Proyectos

Autorizar la ejecucin de losPIP declarados viables por laODI.

Realizar procesos decapacitacin permanentescon personal de las

unidades ejecutoras.Capacitar al personal de lasOPIs y al de las unidadesejecutoras en el desarrollometodolgico del contenidode los manuales.

Decidir a qu unidadejecutora de su sectorcorresponde realizar cadaproyecto declarado viable.

Coordinar la realizacin delas evaluaciones ex post.

Mantener actualizado elBanco de Proyectos deinversin pblica y elSistema Operativo deSeguimiento y Monitoreo

Aprobar el ProgramaMultianual de InversinPblica.

Consolidar los programasmultianuales de inversin

pblica y presentarlos a laalta direccin del MEF parasu puesta a consideracin alConsejo de Ministros.

Fuente: Decreto Supremo N 086-2000-EF

a.1.5) Exigencias que deben cumplir los proyectos pblicos en el marco de lanueva Ley de Inversiones


23/72


Instituto APOYO 23

Etapa de pre-inversin

En la etapa de pre-inversin, la elaboracin del perfil de un proyecto esobligatoria. Las evaluaciones de prefactibilidad y factibilidad, en cambio,pueden no ser requeridas, dependiendo de las caractersticas del proyecto deinversin pblica (PIP). Los procedimientos para la aprobacin de los diferentesestudios ya estn definidos: los perfiles son elaborados por las unidades deformulacin de proyectos y deben ser aprobados por las OPIs sectoriales; losestudios de prefactibilidad y de factibilidad deben ser elaborados por lasunidades de formulacin, deben ser aprobados por las OPIs y posteriormentepor la ODI. La declaracin de viabilidad de los PIP depende de la sostenibilidadeconmica, ambiental e institucional de los proyectos, as como de surentabilidad social. Para que sean rentables, stos debern aprobar los anlisisde costo beneficio o de costo efectividad.

Etapa de inversin

La etapa de inversin consiste en la elaboracin del expediente tcnico y en laejecucin del proyecto. El sistema operativo de seguimiento y monitoreocontiene los procedimientos para realizar el seguimiento fsico y financiero delos PIP, con el fin de contribuir con el proceso de toma de decisiones en la fasede inversin. Las unidades ejecutoras son las encargadas de registrar lainformacin en las fichas de seguimiento provistas por la directiva y deactualizar peridicamente esta informacin. Las OPIs son las encargadas deconsolidar esta informacin a nivel sectorial, y la ODI lo hace a nivel nacional.

Etapa de post inversin

La etapa de post inversin consiste en la evaluacin expost de los proyectos,que debe ser realizada por las unidades ejecutoras. Las OPIs estn facultadaspara solicitar, en los casos en que lo determinen, una evaluacin de unaagencia externa. Los trminos de referencia de las evaluaciones expost debenser aprobados por las OPIs y por la ODI.

Planes multianuales de inversin pblica

Con el fin de alcanzar el objetivo de que los planes de inversin se elaborenpor un periodo de largo plazo, se estableci la obligacin de realizar losprogramas multianuales de inversin pblica. Por medio de estos planes, elsector determina el conjunto de proyectos en etapa de preinversin e inversin,que debern ser evaluados o ejecutados en los prximos tres aos. De estosproyectos, los que sern ejecutados en el primer ao debern contar con lacalificacin de viabilidad por parte de la ODI. Los planes multianuales deberncontar con una evaluacin fsico y financiera de las inversiones de los tres aosanteriores, as como con una programacin de las mismas para los prximos

cinco aos, que contenga un anlisis de tres escenarios: neutro, optimista ypesimista. La OPI es la encargada de la formulacin de estos planesmultianuales.

a.1.6) Limitaciones

Desde el punto de vista del M&E de proyectos en general, la principal limitacindel nuevo marco legal es que slo abarca lo que son intervenciones pblicasde carcter eventual. Sin embargo, existen importantes proyectos o programaspblicos de carcter ordinario, que realizan gastos corrientes, y que tambin


24/72


Instituto APOYO 24

requieren ser monitoreados y evaluados, con el fin de asegurar el cumplimientode sus objetivos.

Por otro lado, es necesario que este esquema de M&E planteado por la ODIpermita evaluar la sostenibilidad de los programas, luego de varios aos dehaber finalizado. En la nueva normativa se establece que las unidadesejecutoras de los proyectos sern las encargadas de hacer las evaluaciones expost. Sin embargo, lo ms probable es que stas se encuentren desactivadascuando culminen los proyectos, lo que impedira realizar evaluaciones desostenibilidad. Adems, en muchos casos, luego de que culmina la ejecucinde un proyecto de carcter eventual, hay partes del mismo que se transfieren alos rganos de lnea del sector, porque se generan gastos corrientes futuroscomo consecuencia del mismo, que tambin sera necesario monitorear yevaluar.

Otra limitacin es la cantidad de equipo tcnico y el compromiso poltico porasignar a esta unidad los recursos necesarios para implementar eficientementeeste sistema. Cabe destacar que, actualmente, slo ocho sectoristas de la ODIrealizan el seguimiento de todos los proyectos de inversin de la administracinpblica, con el fin de verificar que cumplan con la nueva normativa. En muchoscasos, esta unidad, que justamente es la promotora de estas nuevas prcticas,se convierta en un cuello de botella en el proceso de aprobacin de nuevosproyectos. En este sentido, la iniciativa del gobierno de TransparenciaEconmica y Fiscal permit avanzar en el proceso de fortalecer procesos deM&E de la accin pblica en general, incluso incorporando la dimensin devigilancia ciudadana.

a.2) Sistema Integrado de Administracin Financiera (SIAF)

a.2.1) Antecedentes

Entre 1997 y 1998, se inici la implementacin del SIAF en Gobierno Central ylas regiones, que consisti en el entrenamiento de las unidades ejecutoras y laentrega de equipos. En 1997 se llevaron registros mensuales paralelos paradefinir algunos aspectos adicionales del sistema y en 1998 se comenz aregistrar automticamente las operaciones. Recin en 1999 se inici laimplementacin oficial del sistema para el registro de las operaciones deingresos y gastos de las unidades ejecutoras, que se logr plenamente en el2000.

a.2.2) Objetivos

El objetivo del SIAF consiste en controlar la ejecucin de los gastos pblicoscon el fin de evaluar el avance de los mismos con respecto a lo programado.

Desde el punto de vista de un sistema de M&E integral, el SIAF es limitado, yaque slo funciona como un sistema de monitoreo de la ejecucin de los gastos,pero como un sistema integral de M&E. Esto significa que no permite hacerseguimiento de indicadores ms especficos, que son los ms adecuados, puesson a la medida del proyecto. Su principal utilidad es que se puede utilizarcomo un sistema de alerta temprana, que permite identificar demoras oadelantos en la ejecucin de los gastos, con respecto a lo planeado, con el finde realizar correcciones a tiempo.


25/72


Instituto APOYO 25


El mbito de influencia del SIAF es el Gobierno Central. No controla los gastosde las empresas pblicas, los municipios, ni las instituciones descentralizadasbajo el mbito del Fonafe, como Essalud y los organismos reguladores. Sumbito de influencia, al interior del Gobierno Central, est compuesto por 26sectores (16 ministerios y 10 sectores autnomos), que abarcan 140 pliegosque, a su vez, realizan sus gastos a travs de 550 unidades ejecutoras. El SIAFcontrola la ejecucin fsica y financiera de los gastos de todas las unidadesejecutoras bajo su mbito, algunas de las cuales realizan gastos corrientes yotras ejecutan proyectos de inversin, que tienen carcter eventual.

a.2.4) Funcionamiento del sistema

El SIAF es un sistema de ejecucin, mas no de formulacin de los gastos delas unidades bajo su mbito. Fue creado para que funcione como unaherramienta de gestin del Tesoro, con el fin de que ste pueda supervisar losgastos de las unidades ejecutoras. Es un sistema de seguimiento financiero entiempo real, mientras que los indicadores meta son fsicos, y se recopilan conuna periodicidad trimestral. Las unidades ejecutoras tienen la obligacin dedefinir y realizar el seguimiento de, por lo menos, un indicador fsico de metapor proyecto de inversin pblica. Sin embargo, la nueva Ley de Inversiones,por su parte, exige una mayor cantidad de estos indicadores, al menos para elseguimiento de los proyectos de inversin.

a.2.5) Utilidad del sistema

El SIAF registra la informacin financiera del Estado en tiempo real, lo quepermite una visin global de la ejecucin de los gastos del Estado, as como deltiming de su ejecucin, comparando los gastos ejecutados versus losprogramados. Si bien es un sistema limitado desde el punto de vista de M&E, almenos permite cierto tipo de monitoreo de indicadores de efectividad, alcontrastar indicadores fsicos y financieros como, por ejemplo, dlaresgastados por kilmetro de carretera. Esto permitir comparar los resultados conbenchmarkspreestablecidos y, de esta manera, evaluar la efectividad de losgastos y/o inversiones. Sin embargo, an no tiene mecanismos eficientes quepermitan contrastar la informacin proporcionada por las unidades ejecutoras.

a.2.6) Ventajas y limitaciones

Las principales ventajas que tiene, desde el punto de vista del monitoreo, esque permite hacer un seguimiento en tiempo real de los indicadores financierosy un seguimiento trimestral de algunos pocos indicadores fsicos de los gastoscorrientes y de inversin del sector pblico. De esta manera, es posible obtenerratios de efectividad comparando ambas informaciones, como por ejemplo,

cunto esta costando cada bien producido por el proyecto. Sin embargo, elSIAF tiene serias limitaciones si es que se lo considera como un sistemaintegral de M&E, ya que no fue creado con ese objetivo. Adems, no permiteidentificar las causas por las cuales se haya avanzado ms o menos que loprogramado y la informacin procesada por el sistema no retroalimenta a losorganismos ejecutores, que son quienes realizan el seguimiento de susunidades y quienes deberan estar ms interesados en conocer estosresultados.


26/72


Instituto APOYO 26

a.3) Planes Estratgicos Sectoriales Multianuales (PESEM)

a.3.1) Antecedentes

En el 2000, el Viceministerio de Economa encarg a la Direccin dePlaneamiento Multianual de Inversiones la tarea de impulsar el proceso deelaboracin de los Planes Estratgicos Multianuales de los sectores. Estaunidad realiz investigaciones y formul el marco conceptual que deba regirlos PESEM. Se capacit a los funcionarios que estaran involucrados en esteproceso y se elaboraron manuales para facilitar y estandarizar el proceso.

a.3.2) Objetivos

I Orientar la gestin pblica hacia una administracin guiada porresultados, en lugar de que prevalezca solamente el cumplimientode los procesos. Para ello, se buscar atribuir responsabilidades alos funcionarios y realizar el seguimiento a las metas planteadas.

I Programar el gasto pblico de manera multianual.

a.3.3) Planes Estratgicos Sectoriales Multianuales (PESEM)

Los PESEM son un esfuerzo por planificar estratgicamente las operacionesque desarrollarn los sectores del Gobierno Central en el futuro. En estos seestablecen claramente la visin, misin y objetivos del sector, lo que permitedefinir, a su vez, los objetivos especficos y las actividades acordes con elmarco definido previamente. Asimismo, los pliegos de cada sector tambindebern presentar sus planes estratgicos institucionales (PEI), con el fin deevaluar que sean consistentes con los PESEM.


El mbito de influencia de este nuevo marco legal son todos los sectores delGobierno Central, conformado por 16 ministerios y 10 sectores autnomos.Estos debern presentar sus PESEM a la DGAEF, que es la Direccin Generalde Asuntos Econmicos y Financieros. Considerando que los sectores realizansus gastos a travs de pliegos que, a su vez, los ejecutan por medio de lasunidades ejecutoras, entonces los planes del sector debern ser coordinadosen todos los niveles de la cadena funcional de los gastos pblicos.

De alguna manera, la normativa del PESEM fuerza esta interaccin entresectores y sus pliegos, ya que no slo revisa y aprueba los planes estratgicosde los 26 sectores sino tambin los 149 planes estratgicos institucionales(PEI) de los pliegos. Si bien se entiende que los pliegos, a su vez, deberninteractuar con las unidades ejecutoras bajo su mbito con el fin de definir susplanes estratgicos, an no se defini quin se encargar de revisar los planes

de estas ltimas y completar el ciclo de retroalimentacin que debera haber enla cadena funcional.

a.3.5) Autoridades

Las autoridades que tienen algn tipo de injerencia en el contexto de estanueva normatividad son el Ministerio de Economa y Finanzas (MEF),principalmente a travs del Viceministerio de Economa, por medio de laDGAEF. Sin embargo, en el futuro, esta direccin se encargar de lasfunciones del marco macroeconmico multianual, tanto financiero como social.


27/72


Instituto APOYO 27

En este sentido; se ha creado una nueva direccin, de PlaneamientoEstratgico Multianual, a la cual se transferirn las funciones que realizaactualmente la DGEAF, vinculadas especficamente a la administracin yseguimiento de los PESEM. En cada sector, ya se ha definido un representantepara efectos del cumplimiento de la normativa del PESEM, as como tambinoficinas de apoyo de planeamiento y de presupuesto.

a.3.6) Proceso de evaluacin de los PESEM

Las evaluaciones de los PESEM se realizar bimestralmente, para el caso delanlisis del cumplimiento de los insumos, procesos y productos;semestralmente, para el caso del cumplimiento de los resultados; yanualmente, para el caso del cumplimiento de los impactos. Para esta etapa,los sectores recibirn un aplicativo, que todava no est concluido, que lespermitir elaborar sus reportes para efectos de la evaluacin. Actualmente, elsistema solamente registra las metas establecidas por cada sector, pero norecoge la informacin de ejecucin de los mismos, lo que ser evaluado a partirde este ao. Por lo tanto, an no permite realizar un contraste entre ambasinformaciones, con el fin de verificar el cumplimiento de las metas planteadas.

En el ao 2000, los sectores elaboraron y presentaron por primera vez losPESEM, que contenan las metas para el 2001. Sin embargo, estos no fueronevaluados, ya que se hizo necesario corregir ciertos errores y capacitar anms a los funcionarios o reas que se encargaran de estas labores. En el2001, por su parte, se presentarn los PESEM, con las metas para el 2002,pero en esta oportunidad s sern evaluados. Luego, la DGAEF, ser la unidadencargada de discutir con cada sector los criterios utilizados para laelaboracin de los PESEM, realizar las modificaciones que surjan de estascoordinaciones y consolidar los PESEM en el plan estratgico multianual(PEM). Finalmente, el PEM se someter a la aprobacin del Consejo deMinistros para que luego sea tomado como referencia para la formulacin delpresupuesto del 2002.

a.3.7) Fortalezas y debilidades del nuevo marco legal

El proceso del PESEM todava est en una etapa inicial. La presentacin de losPEM en el 2000 reflej problemas de concepcin de los mismos, que oblig arealizar una mayor capacitacin de los funcionarios involucrados con suelaboracin. En muchos casos no existe consistencia entre los objetivosplanteados y los indicadores definidos para medir su cumplimiento. Adems,an no estara funcionando como un sistema de planificacin estratgico sinoms bien como un sistema de programacin.

Este sistema se enmarca dentro del proceso de transparencia y prudenciafiscal del Gobierno y contribuir significativamente al mismo. Se elaborarn

reportes de evaluacin de los PESEM de los sectores, que sern publicadossemestralmente, para el caso del anlisis de resultados, y anualmente, para elcaso de impactos. Sin embargo, la consolidacin de la informacin a nivelsectorial es un reto importante. Cada sector tiene pliegos y unidades ejecutorasbajo su mbito, que debern interactuar para definir un plan estratgicoconsistente para el sector, que refleje la verdadera misin, visin, objetivos ymetas del mismo. Slo as se obtendrn planes estratgicos que seanconsistentes y que permitan un anlisis posterior que fortalezca la ejecucin delos gastos pblicos.


28/72


Instituto APOYO 28

Sin embargo, ser necesario desarrollar mtodos para la verificacin delcumplimiento de las metas planteadas por los sectores, as como de laveracidad de la informacin presentada. Esto se podra lograr a travs deauditores externos, con el fin de que el proceso sea ms transparente.

a.4) Conclusiones

Adems de los retos y limitaciones analizados en cada caso, es importantedestacar algunas conclusiones respecto a estos esfuerzos por introducirprcticas de M&E al interior de la administracin pblica. Estas iniciativas nohan surgido como un esfuerzo comn y coordinado, ni tampoco con una mismavisin. Por lo tanto, uno de los retos pendientes es el de coordinar accionesentre los mismos y disear un marco que integre todas estas estrategias quesurgieron de manera independiente.

Como se mencion anteriormente, el proceso se desarroll de manera inversaa lo normal. Inicialmente, la ODI introdujo estas prcticas a nivel de proyectosde inversin pblica, que son las unidades ms pequeas dentro de la cadenainstitucional. As, en el Gobierno Central ya existen proyectos, con planesestratgicos en algunos casos, que han comenzado a adecuarse a estasnuevas prcticas. Sin embargo, recin ahora los sectores en los que realizansus actividades han comenzado este proceso. Por lo tanto, el reto ser que, enel menor plazo posible, los planes estratgicos de cada nivel de la cadenainstitucional sector, pliego y unidades ejecutora- converjan, con el fin de queexista consistencia en los planes estratgicos al interior de cada sector.

b) Entrevistas en profundidad para la evaluacin de los sistemas de M&E en elmbito de los programas y proyectos sociales peruanos

En 1998, se realiz el PFP, que consisti en la presentacin de los sistemas deM&E de algunos programas y proyectos sociales, tanto del sector pblico comode ONGs. Este foro motiv la iniciativa del Instituto APOYO de profundizar enlos problemas que presentan los sistemas de monitoreo y evaluacin de losprogramas sociales pblicos en el Per.

Para la presentacin del primer avance, se seleccion un conjunto deindicadores que permitieran describir el grado de desarrollo de los sistemas demonitoreo y evaluacin, y aplicar dichos indicadores a los sistemas que fueronpresentados en el I Foro de Pobreza. Estos indicadores fueron:

Existencia o no de marco lgico Existencia o no de lnea de base Existencia o no de grupo de control para la evaluacin Naturaleza de la evaluacin (interna o externa)

Existencia o no de indicadores de sostenibilidad Frecuencia con que se realiza el monitoreo y la evaluacin

Sin embargo, la informacin recogida en el PFP tiene las siguienteslimitaciones, producto de los sesgos que pueden haber tenido las respuestas.Primero, fueron los mismos proyectos quienes decidieron participar paraexponer sus sistemas de M&E, por lo que existe el riesgo de la autoseleccin.Los sistemas de M&E de estos proyectos podran ser ms avanzados que elpromedio, mientras que los proyectos con sistemas de M&E relativamentedbiles se habran abstenido. Segundo, la informacin se obtuvo de parte de


29/72


Instituto APOYO 29

los responsables directos de los proyectos, lo que podra haber incentivado asobreestimar las bondades del mismo. Tercero, en este foro participarontambin algunos funcionarios de los organismos prestamistas, lo que tambinpuede haber influenciado las respuestas en el mismo sentido.

Por estas razones, se decidi utilizar una metodologa diferente, que buscsuperar las limitaciones de la informacin obtenida en el PFP, que tena variossesgos. Esta consisti en realizar entrevistas en profundidad a funcionariosrelacionados indirectamente con los programas y/o proyectos pblicos.Igualmente, esta nueva metodologa incorpora ciertas limitaciones, como puedeser la subjetividad del entrevistado, en cuanto a la mayor o menor rigurosidadal responder las preguntas. Sin embargo, se cree que es ms adecuada que laanterior. Adicionalmente, se decidi realizar estudios de casos, para cuatroproyectos, con el fin de ahondar ms en los factores de xito de los sistemasde M&E de los proyectos pblicos.

En las entrevistas en profundidad sostenidas con los funcionarios vinculadosindirectamente a la ejecucin de los programas y proyectos sociales delGobierno Central, se aplic el cuestionario diseado de acuerdo con lametodologa planteada, y que fue presentado en la primera seccin de lainvestigacin. Sobre la base de estas entrevistas, se obtuvo resultados a nivelsectorial y a nivel de los proyectos y/o programas.

b.1) Nivel sectorial

b.1.1) Definicin de la muestra de sectores

Las entrevistas realizadas se concentraron en los sectores agricultura,educacin, salud, Promudeh, Ministerio de la Presidencia y transportes, deacuerdo a la definicin de sectores de la estructura organizativa del sectorpblico. En el 2000, estos sectores concentraron el 48% de los gastos totalesdel Gobierno Central. Pero si se eliminan los gastos del servicio de deudaincluidos para el caso del MEF, entonces este indicador asciende a alrededorde 60%.

Gastos Estructuraejecutados porcentual

(US$ millones)

Educacin 752 9,4%Salud 495 6,2%Trabajo 14 0,2%Agricultura 232 2,9%Transportes 408 5,1%Presidencia 1 754 22,0%Promudeh 153 1,9%

Sub-total 3 808 47,7%Otros 4 172 52,3%

Total 7 980 100,0%Fuente: SIAF

GASTOS DEL GOBIERNOCENTRAL POR SECTORES

(2000)


30/72


Instituto APOYO 30

Sin embargo, para tener una idea ms clara del universo que representan estossectores para efectos de esta investigacin, se debera considerar los gastosque realizan pero solamente por concepto de programas y/o proyectossociales. Esto se debe a que los gastos presentados en el cuadro anteriorincluyen todos aquellos desembolsos ordinarios de los sectores,correspondientes a sus rganos de lnea que no se destinan a programas y/oproyectos sociales. Sin embargo, la informacin pblica no permite una mayordesagregacin de los gastos del Gobierno Central, que permita definir eluniverso de los programas y proyectos del Estado, tanto de inversin como degasto corriente.

Definitivamente, lo ms lgico hubiese sido concentrarse en funciones en lugarde sectores, debido principalmente a que, en muchos casos, hay variossectores que gastan en funciones similares. Por ejemplo, el sector educacinno es el nico que gasta en programas y proyectos educativos. El Promudeh,por ejemplo, tiene cuatro programas y/o proyectos que destinan gastos para laalfabetizacin de la poblacin, como es el caso de COOPOP, PAR, PRONAA yPNA.

Gastos Estructuraejecutados porcentual

(US$ millones)

Agraria 360 4,5%Asistencia y previsin social 1 887 23,6%Educacin y cultura 1 537 19,3%Salud y saneamiento 758 9,5%Trabajo 13 0,2%Transportes 396 5,0%Vivienda y desarrollo urbano 42 0,5%

Sub-total 4 993 62,6%Otros 2 987 37,4%

Total 7 980 100,0%

Fuente: SIAF

GASTOS DEL GOBIERNOCENTRAL POR FUNCIONES(2000)

Sin embargo, no fue posible concentrarse en funciones por dos razones. Enprimer lugar, a nivel de la administracin pblica, los programas y proyectospertenecen a un determinado sector y los funcionarios que pertenecen a stoso que tienen algn tipo de vnculo con los mismos, son nombrados a nivelsectorial. Esto significa que es comn que un funcionario conozca acerca deldesempeo de un grupo de proyectos de un mismo sector, pero es muchomenos probable que un funcionario pblico conozca acerca de los proyectosque pertenecen a una misma funcin. Por lo tanto, como nuestro pblicoobjetivo para el caso

estado de los sistemas de monitoreo y evaluación de los programas sociales públicos en el perú

Documents