evaluación de resultados en el contexto del ppr israel fainboim

Fondo Monetario Internacional Lima, Marzo 29-30, 20071

Israel Fainboim

Fondo Monetario InternacionalDepartamento de Asuntos Fiscales

Evaluación de Resultados en Evaluación de Resultados en el Contexto del PpRel Contexto del PpR

Seminario “Hacia un Presupuesto por Resultados en el Perú”Lima, Marzo 29-30


ContenidoContenido

Introducción2. Definición3. Tipos y Usos de la Evaluación4. Ejemplos de Sistemas de Evaluación5. Implementación de Sistemas de Evaluación


1. Introducción1. IntroducciónHasta hace pocos años en América Latina las evaluaciones se restringían a la evaluación ex-ante de los proyectos de inversión, o a la “evaluación” de la ejecución física y financiera de los programas o proyectos en ejecución. Pocas tentativas de evaluación en profundidad de los programas, tanto ex-ante, como durante y ex-post, la mayoría como resultado de las exigencias contractuales de las entidades multilaterales, o de los organismos de cooperación. Su utilización se restringía a la mejora del diseño y gestión de los programas y no a incidir sobre el presupuesto.


2. Definición2. DefiniciónDos definiciones similares:

Las evaluaciones son formas objetivas y sistemáticas de determinar la contribución que ha realizado una política o un programa, o que se espera realice, al logro de las prioridades de política y los resultados. (definición de un documento Australiano)

Las evaluaciones son estudios de los resultados de las políticas publicas, programas, proyectos u organizaciones, que enfatizan la confiabilidad y utilidad de los hallazgos. (definición de Rossi)

Una tercera definición tiene una óptica diferente, que no se asocia estrechamente a los objetivos de la presupuestacion por resultados:

Las evaluaciones tratan de encontrar explicaciones de los resultados observados y entender la lógica de la intervención pública.


3. Tipos y Usos de la Evaluación3. Tipos y Usos de la Evaluación

Puede distinguirse entre evaluaciones ex-ante (o análisis de política), concurrente/intermedia y evaluaciones ex-post. Las primeras examinan las opciones futuras de política. Las segundas son mas comúnmente consideradas como evaluaciones.

La literatura también distingue entre evaluaciones formativas y evaluaciones “sumativas”. Las primeras generalmente se realizan durante la ejecución de un programa (intermedia), para mejorar su implementación. Los clientes son generalmente los administradores del programa. Las segundas se llevan a cabo cuando el programa lleva algún tiempo de operación y buscan establecer su efectividad y juzgar su valor. Se utilizan típicamente para apoyar la asignación de recursos.



La literatura identifica una gran variedad de instrumentos de evaluación, incluyendo entre otros:

Medición de indicadores de desempeñoMétodos rápidos de evaluación y encuestas ciudadanas Métodos participativosEncuestas de seguimiento del gasto públicoAnálisis de impacto Evaluaciones costo-beneficio y costo-efectividad

Están organizados en orden de profundidad de la evaluación y deltiempo y recursos requeridos. Algunos de ellos son instrumentos complementarios. En su mayoría pueden utilizarse como insumos de las evaluaciones de impacto, o de costo- beneficio (o costo-efectividad). No todos son en sentido estricto instrumentos de evaluación y no todos apoyan en forma directa el PpR.


Medición de indicadores de desempeño

Medición periódica de algún aspecto del desempeño de un programa, para hacer un seguimiento de los progresos realizados. Ya se mencionó en la presentación anterior que es difícil utilizar los indicadores para vincularlos estrechamente con el presupuesto. Son útiles para advertir tempranamente que existen problemas y tomaracciones correctivas y para indicar si se requiere una evaluación en profundidad (de impacto, de costo-beneficio o de costo-efectividad). Su información alimenta los análisis de impacto o las evaluaciones costo-beneficio. Algunos autores no los consideran como una forma de evaluación, pero se ajustan a las dos primeras definiciones. (OED, WB, 2004)



Métodos rápidos de evaluación y encuestas. Los primeros son formas rápidas y de bajo costo de obtener opiniones de los beneficiarios y otros grupos con interés en el proyecto (stakeholders). Proveen contexto e interpretación para los datos obtenidos mediante métodos mas formales. Constituyen una versión menos costosa de las encuestas. Las encuestas pueden proveer líneas de base, comparar diferentes grupos en un momento del tiempo o el mismo grupo en diferentes momentos, o las condiciones actuales con las metas. (OED, WB, 2004)




Métodos participativos. Permiten el involucramiento activo de aquellos que tienen algún interés en el proyecto o programa. Permiten el aprendizaje de las condiciones locales y de las perspectivas de los agentes locales para diseñar intervenciones que respondan mejor a las necesidades; para identificar problemas durante la implementación y para evaluar un programa o una política. La evaluación debe ser un proceso interactivo entre los beneficiarios y los ejecutores de los programas. (OED, WB, 2004)



Encuestas de seguimiento del gasto publico. Determinan el grado en que los recursos llegaron a los grupos objetivo. Sirven para identificar los problemas de provisión de los servicios. Pueden proveer evidencia de retrasos, cuellos de botella burocráticos, desvíos de fondos y corrupción. (OED, WB, 2004)



Análisis de impacto. Identificación sistemática de las repercusiones –positivas o negativas, deliberadas o involuntarias- en los hogares, instituciones y el medio ambiente, como consecuencia de un proyecto o programa. Incluyen desde encuestas por muestreo en gran escala en que las poblaciones afectadas por los proyectos se comparan con grupos de control, antes y después de los mismos y, posiblemente, en diferentes momentos de su ejecución, hasta evaluaciones rápidas en pequeña escala. (OED, WB, 2004)



Evaluaciones costo-beneficio y costo-efectividad. Evalúan si los costos de un programa se justifican por sus resultados. El primero mide costos y beneficios (inputs y outputs) en términos monetarios, mientras que el segundo se utiliza cuando los outcomes no se pueden monetizar (como por ejemplo, las mejoras en resultados de tests de lectura). Identifican los programas mas eficientes para asignar los recursos. Usan los datos en forma intensiva y con horizontes de largo plazo. (OED, WB, 2004)


4. Ejemplos de Sistemas de Evaluación4. Ejemplos de Sistemas de EvaluaciónAmérica Latina

U.C.BilateralU.C.SSPG

Mexico

U.C.BilateralU.C.SEV Uruguay

BilateralU.C.CARPeru

U.C.BilateralU.C.SINECosta Rica

ExternoBilateralU.C.BilateralU.C.SINERGIA Colombia

ExternoU.C.U.C.BilateralU.C.MCSChile

Brasil

U.C.BilateralU.C.RBMS

U.C.BilateralU.C.PFMSExternoU.C.BilateralBilateralU.C.SIEMPROArgentina

EvaluadorDecisiónProgramasa Evaluar

Publicac.Eval. deDesemp.

Definic. Indic. y Metas

Def.Metod.

Tipo Nombre del Sistema

Pais

M E

Si

Si

Si

Si

Si

Si

Si

Si

Si

Si

Si

Si

Si

Si


4. Ejemplos de Sistemas de Evaluación4. Ejemplos de Sistemas de EvaluaciónAmérica Latina

Brasil usa un sistema de indicadores de desempeño para sus programas. Legalmente, el proceso arranco con un Decreto de 1998. Ghirlanda (2003) reporta por ejemplo que en 2001 se evaluaron casi el 90% de los programas del Plan Plurianual 2000-2003 (347 de 388). Estos se evaluaron por el Ministerio de Planeamiento, presupuesto y Gestión, junto con el Instituto de Pesquisa Económica Aplicada (IPEA).

Colombia también usa indicadores de desempeño para sus inversiones, junto con evaluaciones de impacto (muy limitadas en numero).

En México la Secretaria de Desarrollo Social (SEDESOL) realiza evaluaciones de impacto y cualitativas e utiliza indicadores de desempeño (tiene la obligación legal de evaluar los programas sociales).


4. Ejemplos de Sistemas de Evaluación: 4. Ejemplos de Sistemas de Evaluación: ChileChile

El sistema chileno es un ejemplo de la combinación de varios tipos de evaluación utilizados en forma complementaria. Como se ve, no se utilizan análisis costo beneficio ex-post de los programas.

Las gran variedad de tipos de evaluación utilizados no es lo que lo hace exitoso, sino la calidad de la mayoría de estas (son contratadas mediante concurso publico con consultores y la academia) y el uso de ellas por el Ministerio de Hacienda para las decisiones de asignación de recursos del presupuesto y para imponer mejoras en la gestión de los programas.


Análisis ex-ante costo-beneficio. Se requiere para todos los proyectos de inversión (1974).Indicadores de desempeño. Recolección periódica de información para todos los programas (1994). En la actualidad se recolecta información sobre aproximadamente 1600 indicadores.Reportes comprehensivos del gasto (1996) Evaluaciones de los programas (1996). Son revisiones de los programas, que comprende la clarificación de los objetivos, la preparación de una análisis de la lógica del programa, un revisión de escritorio (desk review) y un analisis de los datos existentes (se han hecho aprox. 160).

4. Ejemplos de Sistemas de Evaluación: Chile4. Ejemplos de Sistemas de Evaluación: Chile



Evaluaciones de impacto (2001). Usan grupos de control y diferencias en diferencias (se han realizado 14). Son los mas largos y costosos.Revisiones comprehensivas del gasto (2002). Revisan todos los programas dentro de un área funcional, identificando ineficiencias y duplicaciones. Incluyen evaluaciones de escritorio (desk reviews). Se han hecho 5.


Tiene algunas debilidades: las evaluaciones de programas y las de impacto no siempre reportan su metodología ni ponen atención suficiente a la lógica del programa; algunas evaluaciones de impacto no tienen un grupo de control y una línea de base; y tienden a acentuar el uso de métodos cuantitativos y subutilizar información cualitativa, como el nivel de satisfacción de los beneficiarios.



Australia, Estados Unidos y Gran Bretaña utilizan simultáneamente indicadores de desempeño, revisiones rápidas y evaluaciones de impacto.

Estados Unidos también utiliza análisis costo-beneficio.

4. Ejemplos de Sistemas de 4. Ejemplos de Sistemas de Evaluación: Países DesarrolladosEvaluación: Países Desarrollados


Responsabilidad por la Evaluación y Financiación

Hay que asegurar también la objetividad y credibilidad de las evaluaciones. El hecho de ser externo no garantiza la imparcialidad, pues puede tratar de agradar a quien lo contrato. Por eso debe contratar Hacienda. Los incentivos a justificar los programas, llevan a que sean los Ministerios de Hacienda quienes hagan evaluaciones y no los ministerios sectoriales.

Chile lo hace vía outsourcing por el Ministerio de Hacienda de una forma completamente transparente. En USA se utiliza el PART por la Office of Management and Budget para calificar el desempeño de los programas.

5. Diseño Institucional e Implementación5. Diseño Institucional e Implementación


5. Diseño Institucional e Implementación5. Diseño Institucional e ImplementaciónResponsabilidad por la Evaluación y Financiación

En algunos países las evaluaciones las realizan los Ministerios sectoriales (auto-evaluaciones), lo que da lugar a cuestionamientos sobre su confiabilidad.

Deben existir recursos presupuestales específicos destinados a la evaluación, como un fondo para el financiamiento de las evaluaciones.

evaluación de resultados en el contexto del ppr israel fainboim

Documents