Uso de la MML para Evaluación de Gestión y

de Resultados

Uso de la MML para Uso de la MML para EvaluaciEvaluacióón de Gestin de Gestióón y n y

de Resultadosde Resultados

Eduardo AldunateExpertoÁrea de Políticas Presupuestarias y Gestión Pública ILPES, CEPALeduardo.aldunate@cepal.org

Curso Internacional 2008

Políticas presupuestarias y gestión por resultados

Se funden en el caso de programas

Ciclo de Vida de un Programa o Proyecto

Preinversión Inversión Operación

Formulacióny evaluación

Evaluación de gestión

Evaluación de resultados e

impactos

EvaluaciónEx-Post

Aporte de la MI a la fase de Preinversión

• Contribuye a un mejor diseño del programa o proyecto.

• Obliga a pensar y definir como se evaluará el programa o proyecto.

• Obliga a establecer metas claras.

• Obliga a identificar y analizar los riesgos queenfrenta el programa o proyecto.

• Resume en un formato estandar las principalescaracterísticas del programa o proyecto.

Preinversión

Aporte de la MI a la fase de Inversión

• Resume las principales actividades a desarrollar y productos a entregar.

• Aporta indicadores que permiten un seguimientoy control gerencial y evaluar la gestión.

• Establece como se hará el seguimiento.

• Ayuda a la gerencia a estar pendiente de losriesgos.

Inversión

Fin

Propósito

Componente

Actividad

Aporte de la MI a la fase de Operación

• Resume los principales aspectos del diseño del programa necesarios paraevaluarlo (objetivos, metas).

• Establece como evaluar resultados e impactos.

• Ayuda a la gerencia a estar pendiente de los riesgos.

Operación

Fin

Propósito

Componente

Actividad

Evaluación de Gestión y Resultados

Objetivos de la Ejecución Objetivos de la Operación

Fin

Propósito

Componente

Actividad

Fin

Propósito

Componente

Actividad

Evaluación de lagestión del programa

Evaluación deresultados e impactos

Programa: Ejecución-Operación

Fin

Propósito

Componente

Actividad

Mediano o largo plazoImpactos

Corto o mediano plazoResultados

Corto plazo

Corto plazo

Monitoreo y evaluación

• Recopilar datos para el cálculo de losindicadores.

• Validar los datos.

• Calcular los indicadores.

• Interpretar la información.

• Preparar recomendaciones.

Recopilación de datos

• Fuentes de informaciónTest de 10 preguntas sobre las materias tratadas en la capacitación.

• Método de recopilaciónSelección de muestra aleatoria de 45 personas capacitadas, encuesta en persona.

• Responsable de la recopilaciónJuanita Pérez

• Frecuencia de recopilaciónPor una vez, a los tres meses de concluido el último evento de capacitación.

• Método de análisisCada respuesta correcta da un punto, aprobación con siete puntos. Se calcularáporcentaje de aprobación, media y desviación estándar.

• Modo de distribuciónCorreo electrónico

• UsuariosUnidad de planificación y evaluación, gerente del proyecto, entidades cooperantes, junta de vecinos.

Detalle para medios de verificación

Validación de los datos

• Identificar “outliers”– Comparar con datos históricos

– Comparar con otros datos del período

• Verificar validez de datos “disparados”

• Corregir errores

• Eliminar aquellos datos en que no existe justificaciónpara la desviación.

Cálculo de los indicadores

• Utilizar una misma moneda para indicadores relacionados con costos.

• Utilizar base actualizada para el cálculo de indicadores de eficacia (aumento de la población objetivo).

• Considerar el costo total, no sólo el directo.

• Comparar con situación sin programa.

Poner cuidado en:

Evaluación

• Evaluación de la MML– Lógica vertical (estructura del programa)

– Lógica horizontal

• Evaluación de gestión y de resultados– Eficacia - Calidad

– Eficiencia – Economía

– Justificación de la continuidad

Supuestos

Supuestos

Supuestos

SupuestosFin

Propósito

Compo-nentes

Activi-dades

Lógica vertical

Lógica Vertical: Preguntas sobre los Objetivos

• ¿El problema que espera solucionar el programa estácorrectamente identificado?

• ¿El Fin y el Propósitodel programa están claramente definidos?

• ¿El Fin y el Propósitocorresponden a la solución del problema?

• ¿A quéobjetivo estratégicode la entidad estávinculado o contribuye el programa?

Lógica Vertical: Preguntas sobre los Objetivos

• ¿Las Actividadesdel programa son las necesarias y suficientespara producir cada uno de los Componentes?

• ¿Los Componentes son los necesarios y suficientespara el logro del Propósito?

• ¿Hay evidenciade estudios o investigaciones que muestre que el tipo de servicios o productosque brinda el programa son adecuadospara la consecución del Propósito y Fin?

• ¿Es claro y lógico que el logro del Propósito contribuye al logro del Fin?

Lógica vertical: Preguntas sobre los Supuestos

• ¿Son necesarios y válidos los supuestos del programa tal como figuran en la matriz de marco lógico?

• ¿Están bien redactados?

• ¿Faltan supuestos importantes?

Fin

Propósito

Compo-nentes

Activi-dades

Lógica horizontal

• Indicadores bien definidos, necesarios y suficientes

• Medios de verificación bien identificados

Lógica horizontal: Preguntas sobre los Indicadores

• ¿Existen indicadores suficientes para medir el desempeño del programa a nivel de Fin, Propósito, Componentes y Actividades?

• Cada uno de los indicadores es:– ¿Objetivo?

– ¿Medible objetivamente?

– ¿Práctico y económico?

– ¿Relevante?

– ¿ Específico?

Lógica horizontal: Preguntas sobre los Indicadores

• ¿Los indicadores incluidos en la matriz tienen identificada su línea de base y temporalidad en la medición?

• ¿Están bien definidas las formulas de cálculo de los indicadores?

• ¿Las unidades de medida de los indicadores son las correctas?

• ¿Se han establecido metas razonables y asociadas a plazos para los indicadores?

Lógica horizontal: Preguntas sobre Medios de Verificación

• ¿El programa ha identificado los medios de verificación para obtener cada uno de los indicadores?

• Para aquellos medios de verificación que corresponda (por ejemplo encuestas), ¿el programa ha identificado el tamaño de muestra óptimo necesario para la medición del indicador, especificando sus características estadísticas como el nivel de significancia y el error máximo de estimación?

Lógica horizontal: Preguntas sobre Medios de Verificación

• ¿El programa recolecta regularmente información oportuna y veraz que le permita monitorear su desempeño?

• ¿De qué manera el programa valida la veracidad de la información obtenida a través de los medios de verificación?

Evaluación

• Evaluación de la MML– Lógica vertical (estructura del programa)

– Lógica horizontal

• Evaluación de resultados– Eficacia - Calidad

– Eficiencia – Economía

– Justificación de continuidad

Eficacia del ProgramaLa eficaciase relaciona con el logro del Propósito y el Fin después de terminado el proyecto o al cabo de algún tiempo de operación del programa. Se ocupa del grado hasta el cual:

• El programa produjo los Componentes en la cantidad y con la calidad previstos.

• Los Componentes han sido los adecuados para atender la necesidad y conducen al logro del Propósito.

• El logro del Propósito ha contribuido al Fin.

Area de análisis de la Eficacia

Fin

Propósito

Componente

Actividad

POBLACION SIN PROBLEMA

POBLACIÓN POTENCIAL

(Población con problema)

POBLACIONPOTENCIALPOSTERGADA

POBLACION OBJETIVO

Análisis de Población

Preguntas sobre la Población Objetivo

• La población que presenta el problema y/o necesidad (población potencial), así como la población objetivo están claramente definidas?

• ¿El programa ha cuantificado y caracterizado ambas poblaciones, según los atributos que considere pertinentes?

• ¿Cuál es la justificación de que los beneficios que otorga el programa se dirijan específicamente a dicha población objetivo?

Preguntas sobre la Población Objetivo

• ¿Los criterios y mecanismos que utiliza el programa para determinar las unidades de atención (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los adecuados?

• ¿Existe información sistematizada y actualizada que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios), cuáles son las características socio-económicas de la población incluida en el padrón de beneficiarios y con quéfrecuencia se levanta la información?

Preguntas sobre la Población Objetivo

• ¿El programa cuenta con algún método para cuantificar y determinar la población potencial y objetivo?

• ¿El avance de la cobertura, que a la fecha presenta el programa, es el adecuado considerando su Fin y Propósito?

• ¿El programa cuenta con una estrategia de cobertura de corto, mediano y largo plazo?

• ¿Esta estrategia es la adecuada?

• ¿Se ha llegado a la población que se desea atender?

Preguntas sobre Eficacia

• ¿El avance de los indicadores a nivel de Componente del programa es el adecuado para el logro del Propósito?

• ¿Se identifica algún Componente o Actividad que no es producido en la actualidad y que podría mejorar la eficacia del programa?

• ¿Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por otros más eficaces?

Preguntas sobre Calidad

• ¿ Los bienes y servicios se entregaron oportunamente?

• ¿Las características del bien o el servicio entregado son las especificadas?

• ¿Los beneficiarios del programa están satisfechos con la oportunidad y calidad del bien o servicio recibido?

• ¿Existió continuidad en la prestación del servicio?

Eficiencia del ProgramaLa eficienciahace referencia a la manera como se realizaron las actividades para la entrega de los componentes y se entregaron los componentes para el logro del propósito . Verifica el grado en que:

• Los insumos se proveyeron de manera organizada, oportuna y al mínimo costo posible.

• Las Actividades se ejecutaron al menor costo en los plazos establecidos.

• Los productos (Componentes) se obtuvieron al menor costo.

• Los costos administrativos fueron lo mas bajo posible.

Area de análisis de la eficiencia

Fin

Propósito

Componente

Actividad

Preguntas sobre Eficiencia

• ¿El programa ha identificado y cuantificado costos de operación y costos unitarios dependiendo del Propósito y de sus Componentes? Si fuera el caso, presentar dichos costos.

• ¿El programa tiene procedimientos para medir costo-efectividad en su ejecución?

• ¿Se identifica algún componente, actividad o proceso que no se esté llevando a cabo en la actualidad y que podría mejorar la eficiencia del programa?

Preguntas sobre Eficiencia

• ¿Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por mecanismos de menor costo?

• ¿Existen indicadores de eficiencia en la operación del programa?

Economía del Programa

La economíase refiere a la capacidad de la gerencia del programa para administrar adecuadamente los recursos financieros. Analiza cómo:

• Se utilizó el presupuesto asignado.

• Se captaron recursos adicionales a los presupuestarios.

• Se recuperaron recursos en caso existir créditos.

Area de análisis de la economía

Fin

Propósito

Componente

Actividad

Preguntas sobre Economía

• Cuantificar el presupuesto ejercido al término del presente ejercicio fiscal en relación al presupuesto asignado. ¿Cuáles son las razones de la situación que se observa?

• ¿Cuál es el monto o porcentaje de aportaciones de terceros (otras instituciones, otros niveles de gobierno, beneficiarios, etc.) en relación al presupuesto ejercido?

• En función de los objetivos del programa, ¿se han aplicado instrumentos de recuperación de costos (gasto que le genera al Estado la producción/entrega de servicios del programa)?

Preguntas sobre Economía

• ¿Existe evidencia de que el programa utiliza prácticas de administración financiera que proporcionen información oportuna y confiable para la toma de decisiones de los responsables de la administración política y administrativa?

• ¿Existe una integración entre los distintos sistemas de información que conforman la administración financiera?

Impactos del Programa

• Dos tipos de impactos:– Contribución al logro del Fin

– Influencia en otros ámbitos

• Impactos planificados e imprevistos

Fin

Propósito

Componente

Actividad

Area de análisis de los impactos

Continuidad de la Justificación

• ¿Continúa el programa siendo compatible con las

prioridades de desarrollo del país o del estado?

• ¿Se alcanzarán (on) los objetivos a nivel de

Propósito y Fin una vez generados los

Componentes del programa?

Area de análisis de la justificación

Fin

Propósito

Componente

Actividad

Dos preguntas fundamentales:

Preparando recomendaciones

• Las recomendaciones deben estar fundamentadas en el análisis.

• Proponer acciones para materializar las recomendaciones.

• Analizar beneficios y costos de implementar las recomendaciones.

• Proponer una estrategia de implantación y seguimiento.

• Ser claro, preciso y conciso en la redacción.

Relación MML - Plan - Presupuesto

MML y presupuesto de proyectos

• A nivel de actividades se detalla el costoestimado de cada actividad.

• El costo de un componente se puedeobtener sumando el costo de susactividades

• El costo del proyecto es la suma del costode los componentes

• Durante la ejecución se comparan costosincurridos con presupuestados

Costo de un proyecto y MML

}}

}Fin

Costo A1Costo A2Costo A3

Costo B1Costo B2

Propósito

Componente A

Componente B

Actividad A1Actividad A2Actividad A3

Actividad B1Actividad B2

Σ

Σ

Σ

Indicadores relacionados con los costos

• Indicadores de eficiencia– Costo por unidad de bien o servicio provisto

(Componente)

– Porcentaje de costos de administración

– Costos por “unidad de resultado” (Propósito)

• Indicadores de economía– Porcentaje de ejecución del presupuesto

(Propósito o Componente)

Problemas en programas

• El costo total del programa no se conocecon certeza.– El financiamiento puede provenir de varias

fuentes o ítem presupuestarios.

– No se identifican costos de oportunidad de bienes propios.

– No se estiman costos de administración

– No se consideran costos de entidadescolaboradoras

• Consecuencia: Indicadores mentirosos

Costo de un programa y MML

}}

}Fin

Costo A1Costo A2Costo A3

Costo B1Costo B2

Propósito

Componente A

Componente B

Actividad A1Actividad A2Actividad A3

Actividad B1Actividad B2

Σ

Σ

+ costos de administracióndel componente+ costos de otras entidadesparticipantes en el componente

+ costos de oportunidad de recursos empleados

+ costos de administracióndel programa+ costos de oportunidad de recursos utilizados en la administración

Propósito

Compo-nentes

Activi-dades

Fin

Plan y Matriz de Indicadores

• La lógica vertical exige unarelación clara y verificable(indicadores) entre los distintosniveles de objetivos.

• El programa o proyecto debe estaralineado un objetivo del Plan

Matriz de Indicadores

Objetivos: Fin

Fin

Propósito

Compo-nentes

Activi-dades

Objetivo estratégico al que contribuye el programa¿ Objetivo del PND?¿Objetivo sectorial?

¿ Objetivo estratégico institucional?

Depende!

Otorgamiento de becas - CONACYT

Ramo:

Unidad Responsable:

Clasificación de Grupos y Modalidades de los Programas Presupuestarios:

Denominación del Programa Presupuestario:

Nombre de la Matriz:

Eje de Política Pública:

Objetivo Nacional:

Grupo Tema:

Tema:

Objetivo de Eje de Política Pública:

Estrategia del Objetivo de Eje de Política Pública :

Tipo de Programa:

Programa:

Objetivo del Programa:

Objetivo Estratégico del Programa Sectorial:

Objetivo Estratégico de la Dependencia ó Entidad:

Sin Información

Profundizar y facilitar los procesos de investigación científica, adopción e innovación tecnológica para incrementar la productividad de la economía nacional.

Generar conocimiento científico, desarrollo tecnológico e innovación para mejorar la competitividad del país, el bienestar de la población y difundir sus resultados.

Datos de Identificación del programa

Alineación del PND y sus programas

Estrategia 5.3 Disminuir los costos para la apertura y operación de los negocios a través de la mejora regulatoria.

Estrategia 5.4 Fomentar condiciones de competencia económica y libre concurrencia; así como combatir a los monopolios.

Estrategia 5.5 Profundizar y facilitar los procesos de investigación científica; adopción e innovación tecnológica para incrementar la productividad de la economía nacional.

Estrategia 5.6 Aprovechar el entorno internacionalpara potenciar el desarrollo de la economía mexicana.

Sin Información

Sin Información

Tener una economía competitiva que ofrezca bienes y servicios de calidad a precios accesibles, mediante el aumento de la productividad, la competencia económica, la inversión en infraestructura, el fortalecimiento del mercado interno y la creación de condiciones favorables

para el desarrollo de las empresas, especialmente las micro, pequeñas y medianas.

Productividad y Competitividad

Promoción de la Productividad y la Competencia

Objetivo 5. Potenciar la productividad y competitividad de la economía mexicana para lograr un crecimiento económico sostenido y acelerar la creación de empleos.Estrategia 5.1 Integrar una agenda nacional para la competitividad que involucre a los tres Poderes de la Unión; los tres órdenes de gobierno y al sector privado; con objeto de suscitar el compromiso de los diversos actores políticos y sociales con objeto de realizar las reformas

necesarias y traducirlas en resultados tangibles a corto y mediano plazo.

Estrategia 5.2 Diseñar agendas sectoriales para la competitividad de sectores económicos de alto valor agregado y contenido tecnológico; y de sectores precursores; así como la reconversión de sectores tradicionales; a fin de generar empleos mejor remunerados.

Otorgamiento de becas

Economía Competitiva y Generadora de Empleos

Consejo Nacional de Ciencia y Tecnología

Centro de Investigación en Geografía y Geomática, "Ing. Jorge L. Tamayo", A.C.

U Otros programas de subsidios

001 Otorgamiento de becas

Propósito: Facilitar al capital humano el acceso a oportunidades de formación de alto nivel, orientada a la

investigación científica, desarrollo tecnológico e innovación.

Componente: Generar conocimiento científico, desarrollo tecnológico e innovación para mejorar la competitividad

del país, el bienestar de la población y difundir sus resultados

Actividad: Becas otorgadas

Fin: Contribuir al incrementode la competitividad del país

Fin

ObjetivosLógica vertical del programa

No debe ocurrir:

• Forzar a que en todos lo programas el Fin corresponda a un objetivo del Plan Nacional de Desarrollo.

• En grandes programas (Oportunidades– Bolsa Familia) puede ser.

• En los pequeños el salto es muygrande. Deja de existir la lógicavertical entre Propósito y Fin.

Propósito

Compo-nentesActivi-dades

Programa Oportunidades

SEDESOL

SEP SS

Relación correcta

Para terminar .....

FIN

FI N

Ahora si!Supongo!

NF

F

NI