Evaluación socio-económicaControl de la EjecuciónMonitoreo y Evaluación

Eduardo AldunateExpertoÁrea de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL

Curso InternacionalPolíticas presupuestarias y gestión por resultados:Mazatlan, Sinaloa, México23 al 27 de octubre de 2006

Monitoreo y EvaluaciónSe funden en el caso de programas

Preinversión Inversión Operación

Formulación y evaluación

Monitoreo y evaluación de

proceso

Evaluación de resultados e

impactos

Evaluación Ex-Post

Evaluación socio-económica

Objetivo de la Evaluación Ex-ante

Identificar y valorar los costos y los beneficios de un proyecto o programa para compararlos y decidir la conveniencia de su ejecución.

¿Para quién evaluamos?

Persona o empresa:Evaluación PrivadaEvaluación financieraEvaluación económica

Todos los habitantes del país por igual:Evaluación socialEvaluación económica

Determinación de Beneficios y Costos

• Identificación:¿cuáles?

Pasos a seguir:

• Cuantificación: ¿cuánto?

• Valoración:¿cuánto vale?

Determinación de Beneficios y Costos

Tipo de evaluación:

Evaluación Acción Costos BeneficiosIdentificar

Beneficio - Costo

Cuantificar

Valorar Identificar

Costo eficiencia

Cuantificar

Valorar X

Categorías de costos

• Inversión

• Operación

• Mantenimiento

Tipos de Beneficios

• Ingresos monetarios• Ahorro de costos• Otros:

– Revalorización de bienes

– Reducción de riesgos– Mejor imagen

Flujo de ingresos y costos

• Ordena la información• Facilita detectar errores u omisiones• Simplifica los cálculos

48801880288018802880-512018802880890900-

10000Flujo neto

3000300030003000300030003000300020001000Beneficios

-1000-1000-1000-1000Mantención

-120-120-120-120-120-120-120-120-110-100Operación

2000-8000-

10000Inversión

109876543210Año

48801880288018802880-512018802880890900-

10000Flujo neto

3000300030003000300030003000300020001000Beneficios

-1000-1000-1000-1000Mantención

-120-120-120-120-120-120-120-120-110-100Operación

2000-8000-

10000Inversión

109876543210Año

Indicadores Beneficio - Costo

• VAN• TIR• Otros criterios

– Razón Beneficio/Costo– Período de recuperación del capital– VAN del año 1– Tasa de rentabilidad imediata

Indicadores Costo - Eficiencia

• Valor actual de los costos VAC• Costo anual equivalente CAE• VAC / VAB

¿Porqué requerimos la evaluación social?

• Los precios mienten!– No reflejan el verdadero costo para la

sociedad.– No reflejan el beneficio para la sociedad.

• Hay bienes que no tienen precio • Existen externalidades

Precios mentirosos

•Impuestos•Subsidios•Cuotas•Monopolios•Monopsonios

No reflejan los verdaderos costos o beneficios para la sociedad debido a distorsiones en los mercados:

Precios sociales

• Tasa social de descuento• Precio social de la mano

de obra– No calificada– Semicalificada– Calificada

• Precio social de la divisa• Valor social del tiempo

(Precios Sombra - Precios de Cuenta)

Inadecuada valoración de los beneficios

• No hay mercado del bien

• Excedente del consumidor y liberación de recursos

ODA AL AIREPablo Neruda

(fragmentos)

Andando en un caminoencontré al aire,lo salude y le dijecon respeto:"Me alegrode que por una vezdejes tu transparencia, así hablaremos"..…Yo le besé su capade rey del cielo,me envolví en su banderade seda celestialy le dije:

monarca o camarada,hilo, corola o ave,no sé quién eres, perouna cosa te pido,no te vendas.

El agua se vendióy de las cañeríasen el desiertohe vistoterminarse las gotasy el mundo pobre, el pueblocaminar con su sedtambaleando en la arena........

No, aire,no te vendas,que no te canalicen,que no te entuben,que no te encajenni te compriman,que no te hagan tabletas,que no te metan en una botella,cuidado!

Oda al Aire, Pablo Neruda

No hay mercado del bien

• Estimamos un precio utilizando:– Precios hedónicos– Valoración contingente

(no conocemos el precio)

• Evaluamos con criterio de– Mínimo costo– Costo - eficiencia

Existen importantes efectos indirectos

• Sobre el medio ambiente• Sobre otros usuarios• En mercados relacionados

Referencias

• “Reflections on Social Project Evaluation”, Harberger, A.

• "Economic Project Evaluation, Part 1: Some Lessons for the 1990s“, Harberger, A.

• Metodología de evaluación socioeconómica de inversiones nacionales y extranjeras; Ferra, Coloma y Botteon, Claudia.

• Errores más frecuentes en la evaluación de políticas y proyectos, Joan Pasqual Rocabert y Guadalupe Souto Nieves.

Proyecto: De la Ejecución a la Operación

Objetivos de la Ejecución Objetivos de la Operación

Fin

Propósito

Componente

Actividad

Fin

Propósito

Componente

Actividad

Monitoreo yevaluación de proceso

Evaluación de resultadose impactos

Programa: Ejecución-Operación

Fin

Propósito

Componente

Actividad

Mediano o largo plazo Impactos

Corto o mediano plazo Resultados

Corto plazo C4

Corto plazoC4

Objetivos de la gestión de la ejecución de proyectos

• Transformar expectativas en realidades• Hacerlo en forma efectiva y eficiente

¿Qué es la Gestión de la Ejecución de Proyectos?

• Métodos• Técnicas• Herramientas• Habilidades• Principios

Es un conjunto de:

No existe una teoría que unifique todos estos elementos.

Se aplican por igual a proyectos pequeños y grandes.

Un poco de historia

• "Organización científica del trabajo". Federico Taylor y Henry Gantt. Década de 1910.

• P.E.R.T. Program Evaluation and Review Tecnique. U.S. Navy, Booz-Allen and Hamilton, Lockheed. 1958.

• C.P.M. Critical Path Method. Univac Aplications Research Center, James Kelly y Morgan Walker. 1957.

• Project Management Institute, 1969. Más de 18.000 Miembros• PMBOK. Project Management Body of Knowledge. 1987.• Introducción de los PC. Década del 80.

El PMBOK:Project Management Body of Knowledge

(Conjunto de conocimientos sobre administración de proyectos)

• Proveer una estructura consistente para programas de desarrollo profesional:– Certificación de PM (Project Managers).– Acreditación de entidades que otorguen

título de PM.– Acreditación de diplomados en el tema.

• Servir de guía sobre estandares aceptados por la industria.

http://www.pmi.org/

Programación de la ejecución

• Desagregación en actividades• Estudio de las actividades y sus relaciones• Cálculo de la malla• Curvas de uso de recursos• Factibilidad y optimización• Análisis e incorporación de riesgos• Métodos PERT y CPM• Documentación y presentación

Malla en MS Project

Carta Gantt en MS Project

Monitoreo y evaluación

• Recopilar datos para el cálculo de los indicadores de la MML.

• Validar los datos.• Calcular los indicadores.• Interpretar la información.• Preparar recomendaciones.

Recopilación de datos

• Fuentes de información Test de 10 preguntas sobre las materias tratadas en la capacitación.• Método de recopilación Selección de muestra aleatoria de 45 personas capacitadas, encuesta en

persona.• Responsable de la recopilación Juanita Pérez• Frecuencia de recopilación Por una vez, a los tres meses de concluido el último evento de capacitación.• Método de análisis Cada respuesta correcta da un punto, aprobación con siete puntos. Se calculará

porcentaje de aprobación, media y desviación estandar.• Modo de distribución Correo electrónico• Usuarios Unidad de planificación y evaluación, gerente del proyecto, entidades

cooperantes, junta de vecinos.

Detalle para medios de verificación

Validación de los datos

• Identificar “outliers”– Comparar con datos históricos

– Comparar con otros datos del período

• Verificar validez de datos “disparados”

• Corregir errores

• Eliminar aquellos datos en que no existe justificación para la desviacón.

Cálculo de los indicadores

• Utilizar una misma moneda para indicadores relacionados con costos.

• Utilizar base actualizada para el cálculo de indicadores de eficacia (aumento de la población objetivo).

• Considerar el costo total, no sólo el directo.

• Comparar con situación sin programa.

Poner cuidado en:

Con versus sin programa

Impacto?

Impactoreal

Linea base Actual

Interpretando la información

• Comparar valor del indicador con la meta.• Analizar evolución histórica del indicador.

• Identificar causas de las desviaciones

Preparando recomendaciones

• Las recomendaciones deben estar fundamentadas en el análisis.

• Proponer acciones para materializar las recomendaciones.

• Analizar beneficios y costos de implementar las recomendaciones.

• Proponer una estrategia de implantación y seguimiento.

• Ser claro, preciso y conciso en la redacción.

Cómo Mejorar la Calidad de la Información para Monitoreo y Evaluación

• Usar varios indicadores para cada objetivo.

• Combinar métodos cuantitativos y cualitativos.

• Promover la participación de los involucrados.

• Capacitación a los recopiladores de información.