Evaluación e Indicadores de Desempeño de Programas

Públicos

Francisco López Herrera

Universidad Nacional Autónoma de México

Mayo 18, 2015

Evaluación

¿Para qué evaluar programas públicos?

• Apoyo a la toma de decisiones • Información sobre el impacto de las políticas

• Ayuda a la valoración de las contribuciones de las acciones de gobierno en la ejecución de políticas y programas

• Permite mejorar el resultado de las intervenciones

EVALUACION Y GESTION POR RESULTADOS

TIPOS DE EVALUACIONES DE PROGRAMAS • Evaluación de escritorio: describir la situación del programa en un

tiempo corto, a través de la sistematización de la información disponible.

• Evaluación de impacto: logros finales de los efectos esperados por el Programa en el grupo de beneficiarios al cual está dirigido. Si se ha resuelto el problema que justifica la acción pública.

• Evaluación costo – efectividad: conocer la relación entre la eficacia del programa como resultado final en los beneficiarios y los costos que se incurre para alcanzar dicho resultado.

TIPOS DE EVALUACIONES:Chile

Evaluaciones de Programas Gubernamentales (EPG) Evaluación de consistencia en diseño, gestión y resultados Basado en la metodología de marco lógico Realizadas por paneles de 3 expertos independientes, seleccionados por concurso público Informe Final en 6 meses

Evaluación de Impacto (EI) Evaluación de los resultados finales de programas en base a mediciones de impacto Metodología considera recolección de datos, técnicas de medición más sofisticadas (“Matching”, LATE), grupos de control Realizadas por consultoras privadas, universidades, seleccionadas a través de licitación pública Informe Final en 1-1/2 años

Evaluación Comprehensiva del Gasto (ECG) Evaluación del diseño y gestión institucional y resultados y uso de recursos en la provisión de los productos estratégicos. Se evalúa la posible existencia de duplicidades, inconsistencias, oportunidades para generar sinergías y ahorros

Evaluación de operaciones y evaluación de impacto • La evaluación de operaciones analiza con cuánta efectividad se

instrumentaron los programas y si hay brechas entre los resultados planeados y los resultados obtenidos.

• La evaluación de impacto estudia si los cambios en el bienestar se deben en verdad al programa evaluado y no a otros factores.

Seguimiento versus Evaluación

• El establecimiento de objetivos, indicadores y metas para los programas es el corazón de un sistema de seguimiento. • La información y datos obtenidos mediante el sistema de seguimiento pueden usarse

para evaluar el programa.

• La evaluación es una apreciación sistemática y objetiva de los resultados alcanzados por el programa.

• En conjunto, el seguimiento y la evaluación de programas pueden incluir: • evaluación de procesos, enfocada en el análisis de cómo opera el programa y cómo

atiende los problemas de dicha operación • Análisis del costo-beneficio • Evaluaciones del impacto

Retos de un sistema de seguimiento

• Identificar las metas para las que está diseñado el programa

• Identificar indicadores clave

• Establecer metas que especifiquen la cantidad o valor que deben alcanzar los indicadores en una fecha específica

• Establecimiento de un sistema para darle seguimiento al avance hacia las metas y generar reportes requeridos por los tomadores de decisión de los diferentes niveles involucrados con la marcha y resultados del programa

Etapas del proceso de evaluación

• Ex-ante • Diseño del programa

• Operativa • Ejecución del programa

• Ex-post • Medición del desempeño o impacto del programa

PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTO • Efectos de mediano y largo plazo sobre la población beneficiaria que espera obtener el Programa

• ¿Cuáles serán los beneficios con que quedará la población beneficiaria una vez que concluya su participación en el programa?

• Incremento en el nivel de remuneraciones

• Reducción de la tasa de morbilidad de menores beneficiados con un programa de vacunación

• Aumento del rendimiento escolar de los alumnos participante en un programa de reforzamiento educativo

Indicadores

Indicadores para la toma de decisiones

• Se requieren datos sobre diferentes indicadores que reflejen la información que se necesitan en diferentes niveles para tomar decisiones

• Los cuerpos legislativos, secretarios y los directores de las instituciones requieren información de carácter estratégico en relación con los programas

• Tanto los encargados de la operación de los programas como su equipo de apoyo necesitan detalles sobre los insumos empleados, las actividades efectuadas y los resultados intermedios y finales que se generan.

Indicadores y presupuesto

• Los indicadores y metas propuestas sirven como marco de referencia para la asignación de recursos presupuestales

• El reporte sobre indicadores y logro de metas justifica el ejercicio presupuestal

(Coneval)

Tipos de indicadores

• Indicadores finales, miden los resultados de los programas y el impacto en las dimensiones del bienestar.

• Indicadores intermedios, miden los insumos del programa y los resultados del mismo.

¿Qué medir?

• Recursos

• Cargas de trabajo

• Resultados

• Impacto

• Productividad

• Satisfacción del usuario

• Calidad y oportunidad del producto y/o servicio

Principales características de un indicador • Oportuno

• Excluyente

• Práctico

• Claro

• Explícito

• Sensible

• Transparente/verificable

Interrelación entre procesos y tipos de indicadores

Indicadores de eficacia

• Establecen el cumplimiento de planes y programas para evaluar la oportunidad y cantidad, se pueden asociar con: • Cobertura • Focalización • Capacidad de cubrir la demanda • Resultado final

• Ejemplos: • Número de desempleados capacitados/Total de desempleados inscritos en el

programa (focalización) • Número de beneficiarios/Universo de beneficiarios (cobertura) • Número total de inscritos al programa de empleo que se reinsertan en el

mercado laboral (resultado final)

Indicadores de eficiencia

• Evalúan la relación entre recursos y su grado de aprovechamiento • Analizan los costos efectuados para el logro de los resultados

• Se obtienen relacionando el volumen de subsidios entregados, cantidad de usuarios atendidos, etcétera con el nivel de recursos que se utilizan como son gastos en infraestructura, el personal ocupado, horas-hombre, otros gastos erogados

• Ejemplos: • Costo de un curso de capacitación en relación con el número de asistentes

• Costo total del programa Prepa Sí / Total de beneficiarios

Indicadores de efectividad

• Logro de los resultados programados en el tiempo y los costos más razonables posibles (Departamento Administrativo Nacional de Estadística, Colombia)

• Medición del nivel de satisfacción del usuario en relación con la cobertura

• Ejemplos: • Porcentaje de disminución del desempleo involuntario durante un periodo

determinado

• Porcentaje de disminución de la deserción escolar en el nivel medio superior durante un periodo determinado

Indicadores de calidad

• Enfoque en el usuario de acuerdo con sus necesidades actuales y futuras

• La calidad del servicio se refiere a la capacidad para responder rápida y directamente a las necesidades del usuario, con oportunidad, accesibilidad, precisión, continuidad, comodidad y cortesía

• Ejemplos: • Porcentaje de respuestas a los usuarios antes del cumplimiento del término

de ley (oportunidad) • Número de puntos de atención para trámites y procedimientos (accesibilidad) • Porcentaje de quejas en un periodo determinado respecto del total de

encuestados (percepción de los usuarios)

Indicadores de economía

• Miden la capacidad para generar y movilizar adecuadamente los recursos financieros disponibles para el logro de sus objetivos

• Como indicadores típicos se señalan la capacidad de generación de recursos propios, ejercicio presupuestal acorde con lo programado y capacidad de recuperar créditos concedidos

• Ejemplos: • Porcentaje de recursos privados obtenidos por medio de convenios de

cooperación o alianzas con otros sectores u organismos

• Ahorros en trámites y procedimientos por mejores técnicas de operación

Es necesario definir indicadores para:

PROYECTOS

PROGRAMAS

INSUMOS PROCESO PRODUCTOS RESULTADOS

• Eficacia

• Calidad

• Eficiencia

• Eficacia • Calidad • Eficiencia • Economía

• Eficacia • Calidad • Eficiencia

• Eficacia

• (Eficiencia)

Bienes

SERVICIOS

Indicadores ambientales

• Uso racional de los recursos naturales para la protección del ecosistema mundial

• Ejemplos: • Uso eficiente de materiales, insumos, agua y energía

• Reducción de consumos innecesarios (reducción de costos implícitamente)

• Reducción de residuos y emisiones

• Separación y manejo de residuos y desechos

• Mejoras en la planeación de la logística de vehículos oficiales

Ciclo de la construcción de indicadores

1. Identificar y/o revisar metas, objetivos estratégicos, usuarios o beneficiarios, productos o servicios

2. Establecer medidas clave de desempeño

3. Asignar responsabilidades según el nivel dentro de la organización

4. Establecer referentes comparativos (benchmarks)

5. Construir fórmulas

6. Validar los indicadores

7. Comunicar y elaborar reportes e informes

8. Regresar al punto 1

Estructura básica de un indicador

• Objetivo señalando para qué se establece y qué mide

• Definición simple y clara, incluyendo sólo una característica

• Responsables de las actividades y acciones derivadas del proceso al cual está vinculado el indicador

• Recursos humanos, materiales y financieros involucrados

• Periodicidad adecuada para generar los reportes e informes con oportunidad

• Nivel de la referencia comparativa (benchmark)

• Puntos de lectura, ¿cuándo se llevará a cabo la medición?, ¿al inicio?, ¿en etapas intermedias?, ¿al final?

Fuentes

• Armijo, Marianela (2009) Evaluación de programas públicos, Planificación Estratégica Gubernamental, Sistemas de Seguimiento y Evaluación del Desempeño. Apoyo a la Gestión Presupuestaria en Guatemala, noviembre 16 y 17: Guatemala.

• Coneval (2009) Curso-taller para la construcción de indicadores de desempeño, octubre: Ciudad de México.

• Coneval-Ilpes-Cepal (2009) Curso-taller para la construcción de indicadores de desempeño, Organo Superior de Fiscalización del Estado de México, noviembre 9-11: Toluca

• Departamento Administrativo de la Función Pública (2012). Guía para la construcción de indicadores de Gestión: Bogotá, Colombia.

• Khander, Shahidur R., Gayatri B. Koolwal y Hussain Samad (2010) Handbook on impact evaluation. Quantitative methos and practices,

¡Muchas gracias!