evaluación de programas: eficacia - eficiencia · la evaluaciónapunta al mejoramiento del diseño...

EvaluaciEvaluacióón de Programas:n de Programas:Eficacia Eficacia ‐‐ EficienciaEficiencia

Lucy Winchester ILPES/CEPAL

18 noviembre 2010

Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre

EvaluaciEvaluacióón y programas pn y programas púúblicos. Un blicos. Un repasorepaso

La evaluación corresponde a estudios o revisiones técnicasque haciendo uso de un conjunto de información ordenada y relacionada según un marco metodológico,tienen por finalidad construir valoraciones de aspectos concretos de un ámbito del quehacer de políticas públicas, como un programa,y encontrar factores explicativos a estos juicios evaluativos (Guzmán, 2007).Y hacer recomendaciones respecto a los hallazgos significativos.

La evaluación apunta al mejoramiento del diseño e implementación de los programas públicos.

• Dos papeles:– retroalimentación permanente, en fases de diseño o de ejecución (aporta al proceso de aprendizaje institucional, y mejoramiento del desempeño del PP).

– informar, a partir de criterios técnicos, el proceso de toma de decisión sobre la asignación de recursos públicos.

Se defiere del monitoreo en que éste suele ser parte de procesos internos de gestión programática, más regulares, y que utilizan mediciones a través de indicadores, principalmente de procesos y productos.

Los focosfocos o ámbitos de una evaluación de PP¿qué se va a analizar?

• Justificación. Diagnóstico o problema abordado. • Diseño. Ordenamiento y consistencia de objetivos, y componentes y

actividades para responder a cada uno; y en relación a la evolución del diagnóstico (lógica horizontal y vertical MML, análisis de supuestos e indicadores).

• Organización y Gestión. Principales aspectos institucionales dentro de los cuales opera el programa, y los principales procesos, instancias de coordinación e instrumentos de que éste dispone.

• Resultados. EficaciaEficacia (y calidad, sustentabilidad de R.) desde la perspectiva de los procesos, productos, y resultados intermedios y finales, y eficienciaeficiencia (y economía).

• Sostenibilidad Institucional. Soporte institucional (dependencia administrativa, rel. autoridad / programa, recursos institucionales).

• Continuidad. Necesidad de existencia (relacionar diagnóstico y resultados alcanzados).

RelaciRelacióón Causan Causa‐‐Efecto / Resultados esperadosEfecto / Resultados esperados

• Los resultados esperados de un programa corresponden a los efectosque se supone tendrán los bienes y servicios en la población beneficiaria.

• Se basan en la teoría y la evidencia empírica en la materia, y en análisis y discusión en relación al inicio del programa (forman parte de la justificación del PP).

• Explicitar las hipótesis de causa – efecto que están expresados genéricamente en los resultados esperados de un programa permite delimitar el objeto de la evaluación, y a la vez, precisar los hallazgos.

• Forman parte del marco metodológico de la evaluación, en conjunto con otros aspectos como las dimensiones a medir, criterios de valoración, métodos cuantitativos y cualitativos, entre otros.

(Se fundamenta en la Teoría del Cambio.)

RelaciRelacióón Causan Causa‐‐Efecto y HipEfecto y Hipóótesis. Ejemplostesis. EjemplosCaso: Programa de empleo que entrega servicios de capacitación al

interior de la empresa.Hipótesis: Servicios de capacitación al interior de la empresa (causa) logran aprendizajes más relevantes que mejoran las competencias de los trabajadores (efecto).

Caso: Programa de innovación tecnológica que incluye el financiamiento de actividades de selección de socios estratégicos y de prospección asociativa (por parte de estos).Hipótesis: Las actividades de prospección asociativas (causa) facilitan la formulación, evaluación y el desarrollo de proyectos de inversión (efecto).

Caso: Programa de bibliotecas en el aula en establecimientos de educación primaria.Hipótesis: La disponibilidad de textos en un espacio físico cercano y familiar (causa) facilita su incorporación en las prácticas pedagógicas (efecto).

Marco MetodolMarco Metodolóógicogico• Garantizar independencia y confiabilidad, relevancia o

pertinencia y oportunidad.• Tipo de evaluación en función de lo que se desea averiguar:

evaluaciones rápidas o de escritorio (MML; otros) ; evaluaciones de impacto; evaluaciones ex ante (costo – beneficio, costo –efectividad)

• Marco de evaluación:– ámbitos de control (procesos, productos, resultados)– focos a analizar– hipótesis a testear– criterios técnicos (eficacia, calidad, eficiencia, economía,

sostenibilidad)– dimensiones a medir

• Mediciones de desempeño a través de indicadores (temporalidad y fuentes de información)

• Métodos de análisis• Métodos de recolección de información

Monitoreo (durante la ejecución del programa) y su uso en la evaluación

• Recopilar datos para el cálculo de los indicadores.

• Validar los datos.

• Calcular los indicadores.

• Interpretar la información.

• Preparar recomendaciones.


Recopilación de datosDetalle para medios de verificación

• Fuentes de informaciónTest de 10 preguntas sobre las materias tratadas en la capacitación.

• Método de recopilaciónSelección de muestra aleatoria de 45 personas capacitadas, encuesta en persona.

• Responsable de la recopilaciónJuanita Pérez

• Frecuencia de recopilaciónPor una vez, a los tres meses de concluido el último evento de capacitación.

• Método de análisisCada respuesta correcta da un punto, aprobación con siete puntos. Se calcularáporcentaje de aprobación, media y desviación estándar.

• Modo de distribuciónCorreo electrónico

• UsuariosUnidad de planificación y evaluación, gerente del proyecto, entidades cooperantes, junta de vecinos.

Validación de los datos

• Identificar “outliers”– Comparar con datos históricos

– Comparar con otros datos del período

• Verificar validez de datos “disparados”

• Corregir errores

• Eliminar aquellos datos en que no existe justificación para la desviación.

Cálculo de los indicadoresPoner cuidado en:

• Utilizar una misma moneda para indicadores relacionados con costos.

• Utilizar base actualizada para el cálculo de indicadores de eficacia (aumento de la población objetivo).

• Considerar el costo total, no sólo el directo.

• Comparar con situación sin programa.

Con versus sin Programa

Impacto?

Impactoreal

Linea base Actual

Interpretando la información• Comparar valor del indicador con la meta.

• Analizar evolución histórica del indicador.

• Identificar causas de las desviaciones

Evaluación de Gestión y Resultados

Objetivos de la Ejecución Objetivos de la Operación

Fin

Propósito

Componente

Actividad

Fin

Propósito

Componente

Actividad

Evaluación de la gestión del programa

Evaluación de resultados e impactos

Evaluación

• Evaluación de la MI– Lógica vertical (estructura del programa)

– Lógica horizontal

• Evaluación de gestión y de resultados– Eficacia ‐ Calidad

– Eficiencia – Economía

– Justificación de la continuidad


Indicadores de resultados

FinIndicadores de impactos

Indicadores de gestión

Indicadores de servicios

Propósito

Componentes

Actividades

Indicadores utilizados

Eficacia

Eficacia – Economía(Eficiencia)

Eficacia – Eficiencia ‐ Calidad(Economía)

Eficacia – Eficiencia(C4)

Eficacia del ProgramaLa eficacia se relaciona con el logro del Propósito y el Fin después de terminado el proyecto o al cabo de algún tiempo de operación del programa. Se ocupa del grado hasta el cual:

• El programa produjo los Componentes en la cantidad y con la calidad previstos.

• Los Componentes han sido los adecuados para atender la necesidad y conducen al logro del Propósito.

• El logro del Propósito ha contribuido al Fin.

Area de análisis de la Eficacia

Fin

Propósito

Componente

Actividad

Población: conceptos importantes para el diseño y la evaluación de la eficacia

• Población de referencia

• Población potencial

• Población objetivo

• Focalización de la población objetivo


POBLACION SIN PROBLEMA

POBLACIÓN POTENCIAL

(Población con problema)

POBLACIONPOTENCIALPOSTERGADA

POBLACION OBJETIVO

Análisis de Población


Población de Referencia• Corresponde a la población global (con y sin problema), que se toma como referencia para el cálculo, comparación y análisis de la población objetivo.

• La importancia de definir la población de referencia, está en que para esta suele conocerse con mayor precisión. Datos estadísticos, tasa de crecimiento, y otros suelen estar asociados a áreas geográficas y grupos etareos, étnicos, laborales, etc..


Población Potencial• Es el aquella parte de la población de referencia, que es afectada por el problema(o será afectada por el), y que por lo tanto requiere de los servicios o bienes que proveerá el programa.

• Indica la magnitud total de la población en riesgo. Dicha estimación permitirá proyectara largo plazo el aumento de dicha población, si no se interviene adecuadamente.


Población Objetivo• Es el número de beneficiarios potenciales del programa (personas, familias, empresas, instituciones).

• Es aquella parte de la población potencial a la que el programa (una vez analizados algunos criterios y restricciones), estará en condiciones reales de atender.

• La población objetivo será la “meta” del programa, y constituirá la base de su dimensionamiento.


Descripción de la Población Objetivo

• En la medida que se conozcan mejor las particularidades de la población o los afectados, mayor serán las posibilidades de logro de los objetivos de la intervención.

• Por ello, la presentación de la población objetivo debe incluir una acabada caracterización, que describa el grupo afectado y sus particularidades, de acuerdo al tipo de problema a resolver.


Focalización de la Población Objetivo• La focalización es la selección de la población a atender con el programa (población objetivo).

• La focalización, se puede realizar mediante diferentes criterios, por ejemplo:

• Lineamientos de política

• Ubicación espacial

• Grupos etarios

• Género

• Nivel de ingreso

• Grupos vulnerables

• Límites administrativos

• Limitaciones técnicas

Demanda– Se denomina Demanda a los requerimientos, que realiza la población potencial sobre el conjunto de acciones, bienes y/o servicios necesarios para satisfacer una necesidaddeterminada.

– La estimación de la demanda se puede realizar a partir de: registros históricos, registros de solicitudes, encuesta a usuarios, entre otros.

– Por lo general se calcula a partir de la población potencial y un parámetro de consumo:

D = P x C

Oferta

– Se denomina Oferta al conjunto de acciones, bienes y/o servicios que se entregan a la población potencial para resolver una determinada necesidad.

– Debe diferenciarse la Oferta Actual de la Oferta Potencial.

20km/h

Déficit• Se denomina Déficit a la diferencia existente entre la oferta de acciones, bienes y/o servicios y la demanda de los mismos, referidos a una población específica.

• El propósito principal de analizar la demanda y la oferta, es el de cuantificar el déficit. Es decir dimensionar la magnitud de la población o afectados que no tiene acceso actualmente a los bienes y serviciosexistentes y cuánto de estos es necesario proveer con el programa para atender el déficit.

Preguntas sobre la Población Objetivo• La población que presenta el problema y/o

necesidad (población potencial), así como la población objetivo están claramente definidas?

• ¿El programa ha cuantificado y caracterizado ambas poblaciones, según los atributos que considere pertinentes?

• ¿Cuál es la justificación de que los beneficios que otorga el programa se dirijan específicamente a dicha población objetivo?


Preguntas sobre la Población Objetivo• ¿Los criterios y mecanismos que utiliza el

programa para determinar las unidades de atención (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los adecuados?

• ¿Existe información sistematizada y actualizada que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios), cuáles son las características socio‐económicas de la población incluida en el padrón de beneficiarios y con quéfrecuencia se levanta la información?

Preguntas sobre la Población Objetivo• ¿El programa cuenta con algún método para

cuantificar y determinar la población potencial y objetivo?

• ¿El avance de la cobertura, que a la fecha presenta el programa, es el adecuado considerando su Fin y Propósito?

• ¿El programa cuenta con una estrategia de cobertura de corto, mediano y largo plazo?

• ¿Esta estrategia es la adecuada?

• ¿Se ha llegado a la población que se desea atender?

Preguntas sobre Eficacia

• ¿El avance de los indicadores a nivel de Componente del programa es el adecuado para el logro del Propósito?

• ¿Se identifica algún Componente o Actividad que no es producido en la actualidad y que podría mejorar la eficacia del programa?

• ¿Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por otros más eficaces?

Preguntas sobre Calidad

• ¿ Los bienes y servicios se entregaron oportunamente?

• ¿Las características del bien o el servicio entregado son las especificadas?

• ¿Los beneficiarios del programa están satisfechos con la oportunidad y calidad del bien o servicio recibido?

• ¿Existió continuidad en la prestación del servicio?


Eficiencia del ProgramaLa eficiencia hace referencia a la manera como se realizaron las actividades para la entrega de los componentes y se entregaron los componentes para el logro del propósito. Verifica el grado en que:

• Los insumos se proveyeron de manera organizada, oportuna y al mínimo costo posible.

• Las Actividades se ejecutaron al menor costo en los plazos establecidos.

• Los productos (Componentes) se obtuvieron al menor costo.

• Los costos administrativos fueron lo mas bajo posible.

Area de análisis de la eficiencia

Fin

Propósito

Componente

Actividad

Preguntas sobre Eficiencia• ¿El programa ha identificado y cuantificado costos de operación y costos unitarios dependiendo del Propósito y de sus Componentes? Si fuera el caso, presentar dichos costos.

• ¿El programa tiene procedimientos para medir costo‐efectividad en su ejecución?

• ¿Se identifica algún componente, actividad o proceso que no se esté llevando a cabo en la actualidad y que podría mejorar la eficiencia del programa?


Preguntas sobre Eficiencia

• ¿Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por mecanismos de menor costo?

• ¿Existen indicadores de eficiencia en la operación del programa?


Economía del ProgramaLa economía se refiere a la capacidad de la gerencia del

programa para administrar adecuadamente los recursos financieros. Analiza cómo:

• Se utilizó el presupuesto asignado.

• Se captaron recursos adicionales a los presupuestarios.

• Se recuperaron recursos en caso existir créditos.

Area de análisis de la economía

Fin

Propósito

Componente

Actividad

Preguntas sobre Economía• Cuantificar el presupuesto ejercido al término del presente ejercicio fiscal en relación al presupuesto asignado. ¿Cuáles son las razones de la situación que se observa?

• ¿Cuál es el monto o porcentaje de aportaciones de terceros (otras instituciones, otros niveles de gobierno, beneficiarios, etc.) en relación al presupuesto ejercido?

• En función de los objetivos del programa, ¿se han aplicado instrumentos de recuperación de costos (gasto que le genera al Estado la producción/entrega de servicios del programa)?

Preguntas sobre Economía• ¿Existe evidencia de que el programa utiliza prácticas de administración financiera que proporcionen información oportuna y confiable para la toma de decisiones de los responsables de la administración política y administrativa?

• ¿Existe una integración entre los distintos sistemas de información que conforman la administración financiera?


Impactos del Programa

• Dos tipos de impactos:– Contribución al logro del Fin

– Influencia en otros ámbitos

• Impactos planificados e imprevistos

Fin

Propósito

Componente

Actividad

Area de análisis de los impactos

Continuidad de la Justificación

• ¿Continúa el programa siendo compatible con las

prioridades de desarrollo del país o del estado?

• ¿Se alcanzarán(on) los objetivos a nivel de

Propósito y Fin una vez generados los

Componentes del programa?

Area de análisis de la justificación

Fin

Propósito

Componente

Actividad

Dos preguntas fundamentales:

Preparando recomendaciones• Las recomendaciones deben estar fundamentadas en el análisis.

• Proponer acciones para materializar las recomendaciones.

• Analizar beneficios y costos de implementar las recomendaciones.

• Proponer una estrategia de implantación y seguimiento.

• Ser claro, preciso y conciso en la redacción.Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción,

Paraguay. Noviembre

MML y presupuesto de proyectos• A nivel de actividades se detalla el costo estimado de cada actividad.

• El costo de un componente se puede obtener sumando el costo de sus actividades

• El costo del proyecto es la suma del costo de los componentes

• Durante la ejecución se comparan costos incurridos con presupuestados


Indicadores relacionados con los costos

• Indicadores de eficiencia– Costo por unidad de bien o servicio provisto (Componente)

– Porcentaje de costos de administración– Costos por “unidad de resultado” (Propósito)

• Indicadores de economía– Porcentaje de ejecución del presupuesto (Propósito o Componente)


Problemas en programas • El costo total del programa no se conoce con certeza.– El financiamiento puede provenir de varias fuentes o ítem presupuestarios.

– No se identifican costos de oportunidad de bienes propios.

– No se estiman costos de administración

– No se consideran costos de entidades colaboradoras

• Consecuencia: Indicadores mentirosos

Costo de un programa y MML

}}

}Fin

Costo A1Costo A2Costo A3

Costo B1Costo B2

Propósito

Componente A

Componente B

Actividad A1Actividad A2Actividad A3

Actividad B1Actividad B2

Σ

Σ

+ costos de administración del componente+ costos de otras entidades participantes en el componente+ costos de oportunidad de recursos empleados

+ costos de administración del programa+ costos de oportunidad de recursos utilizados en la administración

Pamela Vera S. Consultora ILPES

Población objetivo:

Personaso afectados hacia las cuales se dirige el accionar del programa.

Es la población potencial focalizada con diferentes criterios.

POBLACIPOBLACIÓÓN OBJETIVON OBJETIVO

POBLACIÓNOBJETIVO

POBLACIÓN POTENCIAL

META DEL PROGRAMA

LOCALIZACIÓN

• Corresponde al área geográfica, en la que se ubica la población potencial. La definición y caracterización de la localización, permite comprender con mayor profundidad las particularidades del problema central

• Se refiere a la descripción del área geográfica en la cual se presenta el problema a resolver

• A partir de la localización de la población objetivo, se deriva la determinación del área de influencia para la futura intervención


Estimación del Déficit

• Uso de parámetros o estándares : este procedimiento consiste en estandarizar la manifestación del problema según los parámetros establecidos (hipotéticas o comprobadas) sobre el mismo fenómeno y/o características, ya elaboradas por instituciones especializadas en la temática a intervenir.

Así las diferencias entre el "estándar" y lo"observado" permitirá determinar la magnitud del déficit.


Línea Base

• La línea de Base, es el valor que tienen las variables objetivos, en la situación sin programa.

• Es la situación inicial que servirá de base para la comparación ex post. Permite conocer resultados, incidencias e impactos mediante la comparación entre dos momentos diferentes en el tiempo.


Ejercicio Eficacia y EficienciaEjercicio Eficacia y EficienciaAnalizar críticamente los antecedentes respecto a la eficacia y la eficiencia del programa, y emitir juicios evaluativos al respecto.

Formular recomendaciones respecto a estos ámbitos de control.


EFICACIA Y CALIDAD DEL PROGRAMAEFICACIA Y CALIDAD DEL PROGRAMADesempeDesempeñño del Programa en cuanto a la Produccio del Programa en cuanto a la Produccióón de n de

ComponentesComponentes

• Evaluar el desempeño de los componentes en cuanto a: niveles de producción, oportunidad de producción y entrega del servicio, calidad de los componentes, logro de metas.

¿Es la producción de los componentes suficiente para el logro del propósito?


EFICACIA Y CALIDAD DEL PROGRAMAEFICACIA Y CALIDAD DEL PROGRAMADesempeño del Programa a nivel de Propósito

• Análisis de Cumplimiento del Propósito. Evaluar si se ha cumplido el objetivo a nivel de propósito. Realizar el análisis en base a los indicadores definidos en la Matriz de Evaluación.

• Beneficiarios Efectivos del Programa. Caracterizar y analizar los beneficiarios efectivos

• Análisis de Cobertura. Realizar un análisis de cobertura considerando las particularidades y objetivos del Programa. Considerar la cobertura en relación a la población total que presenta el problema (población potencial) y en relación a la población objetivo (programada). Lo anterior, para todas las categorías de análisis relevantes. (por ejemplo, edad; nivel socio‐económico; sexo; región; residencia (rural/urbana); entre otros). Este análisis debe considerar la construcción de indicadores que permitan medir dicha cobertura.


EFICACIA Y CALIDAD DEL PROGRAMAEFICACIA Y CALIDAD DEL PROGRAMADesempeño del Programa a nivel de Propósito

• Focalización del Programa (en caso que corresponda). En caso que el Programa tenga definidos criterios de focalización, realizar un análisis y evaluación de los resultados de la focalización sobre la base de los indicadores y/o información disponible.

¿Se ha llegado a la población que se deseaba atender?, ¿si no ha sido así, qué explicación existe?.

• Grado de satisfacción de los beneficiarios efectivos.¿Existe alguna evaluación que mida el grado de satisfacción de los beneficiarios del Programa?

¿Cuál es el grado de satisfacción que éstos presentan?


EFICACIA Y CALIDAD DEL PROGRAMAEFICACIA Y CALIDAD DEL PROGRAMADesempeño del Programa a nivel de Fin

• ¿El Programa ha contribuido al logro del fin?, ¿de qué forma?. Fundamentar.

• ¿Se ha producido algún efecto no planeado del Programa o cambios en grupos de población diferentes a la población objetivo?.


Eficiencia del Programa

• Análisis de eficiencia actividades y/o componentes. Analizar, comparar y emitir juicios evaluativos sobre los indicadores de costos disponibles.

• Análisis de Otros Indicadores de Eficiencia. Se debe evaluar la productividad media de los recursos humanos y otros factores de producción relevantes que utilice el Programa. Lo anterior implica construir y analizar indicadores tales como: promedio de fiscalizaciones por fiscalizador; usuarios atendidos por unidad de tiempo; número de docentes por alumnos.


Economía del Programa

• Ejecución presupuestaria del ProgramaAnalizar y emitir juicios evaluativos a partir del porcentaje de gasto efectivo en relación al presupuesto y razones que fundamentan esta relación.

• Aportes de Terceros. En los casos que corresponda, evaluar la capacidad del Programa para allegar recursos de terceros, sean estos aportes de otras instituciones (públicas o privadas) o de los beneficiarios.– Analizar, cuando corresponda, los aportes de terceros en relación al total del

gasto.

– Analizar, cuando corresponda, los aportes de beneficiarios en relación al total del gasto.


Economía del Programa

• Recuperación de Costos Evaluar la política de recuperación de costos y presentar un análisis de las tarifas aplicadas y su relación con los costos.

¿Se ha aplicado la política de recuperación de costos adecuadamente, en función de los objetivos del Programa?

¿Cómo se han desempeñado los mecanismos de recuperación de costos?

Si el Programa no contempla estos mecanismos, ¿existen condiciones para una eventual recuperación de costos por los servicios prestados?. En los casos que corresponda, indicar qué mecanismos podrían utilizarse (tarifas, derechos, etc.).

En caso que corresponda, calcular el porcentaje de recuperación de costos del Programa y emitir un juicio evaluativo al respecto.


!Muchas gracias!!Muchas gracias!

Lucy WinchesterLucy Winchester

ILPESILPES

[email protected]@cepal.org


evaluación de programas: eficacia - eficiencia · la evaluaciónapunta al mejoramiento del diseño...

Documents