evaluación de políticas y programas - comisión económica para américa latina y … ·...

Evaluacin dePolticas y Programas

Eduardo Aldunate RiedemannExperto rea de Polticas Presupuestarias y Gestin PblicaILPES/CEPAL

Curso "Planificacin Estratgica y Construccin de Indicadores de Desempeo"

Temario

Aspectos generales

Evaluacin de Polticas

Evaluacin de Programas

Evaluaciones

Antes Durante DespusEvaluacin social

de proyectos y programas

Evaluacinex-post

Evaluacin de la ejecucinEvaluacin de resultadosEvaluacin de impactos

Partimos?Con qu rumbo?

Cmo vamos?Corregimos el rumbo?

Llegamos?Qu tal lo hicimos?Qu aprendimos?

Se funden en el caso de programas

Ciclo de Vida de un Programa o Proyecto

Preinversin Inversin Operacin

Formulacin y evaluacin ex-ante

Evaluacin de la ejecucin

Evaluacin de resultados e

impactos

Evaluacinex-post

Un principio fundamental:

Impacto?

Impactoreal

Antes Actual

X

Siempre debemos compararCON versus SIN

( Poltica, Programa o Proyecto)

Evaluacin socio-econmica (antes)

De qu se trata ?

Identificar, estimar y comparar los costos y beneficios esperados de un proyecto, programa o poltica para decidir la

conveniencia de su ejecucin.

Para quin evaluamos?

Persona o empresa:Evaluacin Privada

Todos los habitantes del pas por igual:Evaluacin social (socio-econmica)

Porqu hacer evaluacin social?

Queremos obtener ms de lo que gastamos.

- + Debemos jerarquizar, ya que los recursos

no son suficientes para todas lasnecesidades.

Evaluacin de la ejecucin (durante)

Objetivos: Asegurar cumplimiento de la ejecucin, de

conformidad con el rumbo: C4 Mantener la capacidad de ejecucin.

Se debe: Verificar sistemticamente lo realizado versus lo

programado Corregir oportunamente cualquier desvo Reprogramar para lograr metas originales o

mejorarlas

FinFin

PropsitoPropsito

ComponentesComponentes

ActividadesActividades

ObjetivosObjetivos IndicadoresIndicadores Medios deverificacinMedios de

verificacin SupuestosSupuestos

Evaluacin de resultados

Objetivo: Saber si la poblacin objetivo est solucionando o

solucion su problema Mantener o ajustar el rumbo

Se debe: Analizar los cambios provocados en la poblacin

objetivo como resultado directo de la accin emprendida (poltica, programa o proyecto)

Cambiar la estrategia si es necesario Redefinir la poblacin objetivo si esta ha cambiado

FinFin

PropsitoPropsito





Altamortalidad

Grandes daos a la propiedad

Descontento con la autoridad

comunal

Gran nmero de heridos

Altos costos reparaciones

Prdida de votos Altos costos de atencin de salud

Alta inasistencia laboral

Menor calidad de vida

Prdida de productividad

Alta tasa de accidentes en la interseccin

Gran nmero de peatones cruzando

Visibilidad limitada

Falta de sealizacin

Exceso de velocidad de los vehculos

Imprudencia de los conductores

Inexistencia de un puente peatonal

Imprudencia de los peatones

Gran distancia a semforos aguas

arriba y abajo

Hay vehculos estacionados

No hay seal de prioridad

No hay semforo

Altamortalidad



comunal


Altos costos reparaciones

Prdida de votos Altos costos de atencin de salud




Altamortalidad

Altamortalidad




comunal


comunal



Altos costos reparaciones Altos costos reparaciones

Prdida de votos Prdida de votos Altos costos de atencin de salud


Altos costos de atencin de salud




Alta tasa de accidentes en la interseccinAlta tasa de accidentes en la interseccin





Falta de sealizacin

Falta de sealizacin

Exceso de velocidad de los vehculos








arriba y abajo


arriba y abajo

Hay vehculos estacionados Hay vehculos estacionados



No hay semforo No hay

semforo

Evaluacin de impactos

Objetivo: Conocer el aporte a objetivos superiores Identificar consecuencias inesperadas

Se debe: Analizar las consecuencias de los cambios

provocados en la poblacin objetivo por la accin emprendida (poltica, programa o proyecto)

Cambiar la estrategia si es necesario

FinFin

PropsitoPropsito





Evaluacin de polticas

La mayora de las veces las polticaspblicas se traducen en conjuntos de programas y/o proyectos.

Estos programas y proyectos pueden ser evaluados individualmente.

Pero la suma de dichas evaluaciones no necesariamente es la evaluacin de la poltica.

Dificultades en la Evaluacin de Polticas

Objetivos poco claros y sin metas establecidas. Ejemplo: Generar ms y mejores empleos

Imposibilidad de contar con grupos de control Como excluimos un grupo del acceso a los empleos

mejorados?

Alta interrelacin de variables Empleo = f (economa, leyes laborales, migracin,

poltica de gnero, tasa de inters, estabilidad social y poltica, educacin, salud, etc, etc.)

El caso de Chile

http://www.dipres.cl/572/propertyvalue-15222.html

El caso de Chile

En Colombia

http://www.dnp.gov.co/PortalWeb/Programas/Sinergia/EvaluacionesEstrat%C3%A9gicas/tabid/215/Default.aspx

En Colombia

Qu son las Evaluaciones Estratgicas?Son anlisis exhaustivos del desempeo de polticas y programas prioritarios del gobierno para conocer su impacto, resultados y/o gestin. Se aplican segn las prioridades del Plan Nacional de Desarrollo y con ellas es posible generar informacin confiable que sirva a los responsables de orientar y ejecutar dichas polticas y programas para la toma de mejores decisiones.

Qu tipos de evaluacin consideran? Evaluaciones de Impacto Evaluacin de procesos Evaluacin costo-beneficio o eficacias.

Evaluacin de la poltica de desarrollo social de Mxico

Evaluacin de Programas

Qu es un programa? Matriz de Marco Lgico -MML

Lgica vertical (estructura del programa) Lgica horizontal

Evaluacin de gestin y de resultados Eficacia - Calidad Eficiencia Economa Justificacin de la continuidad

Evaluacin de impactos

Qu es un Programa ? programa.(Del lat. programma, y este del gr. ).1. m.

Edicto, bando o aviso pblico.2. m. Previa declaracin de lo que se piensa hacer en alguna materia u ocasin.3. m. Tema que se dapara un discurso, diseo, cuadro, etc.4. m. Sistema y distribucin de las materias de un curso o asignatura, que forman y publican losprofesores encargados de explicarlas.5. m. Anuncio o exposicin de las partes de que se han de componer ciertos actos o espectculoso de las condiciones a que han de sujetarse, reparto, etc.6. m. Impreso que contiene este anuncio.7. m. Proyecto ordenado de actividades.8. m. Serie ordenada de operaciones necesarias parallevar a cabo un proyecto.9. m. Serie de las distintas unidadestemticas que constituyen una emisin de radio o de televisin.10.m. Cada una de dichas unidades temticas. Va a comenzar el programa deportivo.11. m. Cada una de las operaciones que, en un orden determinado, ejecutan ciertas mquinas.12. m. Inform.Conjunto unitario de instrucciones que permite a un ordenadorrealizar funciones diversas, como el tratamiento de textos, el diseode grficos, la resolucin de problemas matemticos, el manejo de bancos de datos, etc.13. m. coloq. Ecuad. y Ur. Relacin amorosafurtiva y pasajera.14. m. coloq. Ur. Cita amorosa.15. m. coloq. Ur.Persona con quien se tienen relaciones sexuales pasajeras.Fuente: Diccionario RAE

Programa presupuestal

Programa: Conjunto de proyectos relacionados

por tipo de Bandera

Agua Potable 77

Electrificacin 62

Drenaje 70

Piso Firme 102

Caminos 120

Educacin 157

Salud 56

CCA 119

Abasto 235

Telefona 14

ProyectosProductivos

58

1,070 banderas

Resultados 2002

Programa: Proyecto social sin infraestructuraApoyo Alimentario

El apoyo alimentario que otorga el programa

consiste en una transferencia en efectivo, a entregarse en el curso del ao, cada Adulto Mayor beneficiario recibir un

subsidio de 2,100.00 (Dos mil cien pesos 00/100 M.N) anuales en un

mnimo de tres exhibiciones.

Apoyo para CapacitacinNutricional

Los Adultos Mayores recibirn capacitacin para

el mejoramiento de su cultura nutricional, a travs

de talleres, folletos o publicaciones elaboradas

por la Sedesol.

La Matriz de Marco Lgico

Fin

Propsito

Componentes

Actividades

Objetivos Indicadores Medios deverificacin Supuestos

Objetivos

Esta columna se conoce tambin como Resumen Narrativo del Programa.

Responde a las interrogantes: A que objetivo estratgico contribuye

el programa? Qu se espera lograr con el programa? Qu bienes o servicios se requiere

producir? Cmo se producirn los Componentes?

Fin

Propsito

Compo-nentes

Activi-dades

Propsito

Compo-nentes

Activi-dades

Fin

Lgica vertical del programa

Si el programa est bien diseado se pueden examinarlos vnculos causales de abajo hacia arriba:

Las Actividades son las necesarias y suficientes para producir cada Componente.

Los Componentes son los necesarios y suficientes para lograr el Propsito.

Si se logra el Propsito, el programa, contribuir al logro del Fin.

rbol de Objetivos y Resumen Narrativo

Fin

Propsito

Compo-nentes

Activi-dades

Baja tasa de enfermedades en la localidad

Baja tasa de mortalidad

Menorinasistencia

laboral

Menor inasis-tencia y repi-tencia escolar

Moderados costosde atencin de

salud

Mayor rendimiento

Adecuadacalificacin laboral

Menor costode produccin

Priorizacin de otras

necesidades

Menor nivel de pobreza

Buen potencialproductivo local

Mayoresremuneraciones

Adecuado accesoa centros de salud

No hay contami-nacin del agua

Ambiente descon-taminado y sano

Buenos hbitosde higiene

Vas a centros vecinosen buenas condiciones

Hay atencin en la localidad

Existealcantarillado

Existe educacinen higiene

Buen manejo de losresiduos slidos

Curso de capacitacin en

higiene personal y manejo de alimentos

Mejoramientodel camino a

Abancay

Construccin de un centro de salud

Construccin de unaplanta de tratamiento

Construccin de sistema de

alcantarillado

Mejorar la recolecciny la disposicin final

Mejoramiento del camino a

Andahuaylas

Baja tasa de enfermedades en la localidadBaja tasa de enfermedades en la localidad



Menorinasistencia

laboral

Menorinasistencia

laboral

Menor inasis-tencia y repi-tencia escolar

Moderados costosde atencin de

salud

Mayor rendimiento

Adecuadacalificacin laboral

Menor costode produccin

Priorizacin de otras

necesidades

Menor nivel de pobreza

Buen potencialproductivo local



Adecuado accesoa centros de salud

No hay contami-nacin del agua

Ambiente descon-taminado y sano

Buenos hbitosde higiene

Vas a centros vecinosen buenas condiciones



Existealcantarillado



Buen manejo de losresiduos slidos

Curso de capacitacin en

higiene personal y manejo de alimentos

Mejoramientodel camino a

Abancay

Construccin de un centro de salud

Construccin de unaplanta de tratamiento

Construccin de sistema de

alcantarillado

Mejorar la recolecciny la disposicin final

Mejoramiento del camino a

Andahuaylas

Supuestos

Cada supuesto corresponde a un riesgo queenfrenta el programa y que est ms alldel control directo de la gerencia.

Slo se consideran los riesgos que tenganuna probabilidad razonable de ocurrencia.

El supuesto se expresa como una condicinque tiene que darse para que se cumpla la relacin de causalidad en la jerarqua de objetivos.

Fin

Propsito

Compo-nentesActivi-dades

Supuestos

Cmo podemos incorporar los riesgos?

Supuestos

Supuestos

Supuestos

SupuestosFin

Propsito

Compo-nentes

Activi-dades

Supuestos y Lgica vertical

Los Supuestos son condicionesnecesarias para el logro de los objetivos.

Indicadores

Fin

Propsito


Proporcionan la base para supervisar y evaluar el programa.

Tienen asociadas metas que nos permitenconocer en que medida se cumplen losobjetivos

Establecen una relacin entre dos o msvariables.

Pueden cubrir aspectos cualitativos o cuantitativos.

Entregan informacin cuantitativa.

Es recomendable acordarlos con losprincipales involucrados

Indicadores

Caractersticas de un buen indicador

Objetivo Medible objetivamente Relevante Especfico Prctico y econmico Meta asociada a un plazo

SMART

Resultado

Fin Impacto

Proceso

Producto

Propsito

Compo-nentes

Activi-dades

Tipo de Indicadores segn nivel de objetivo

Miden contribucin al logro del Fin a mediano o largo plazo: eficacia.

Miden el logro del Propsito en trminos de: eficacia, economa. Eventualmente eficiencia.

Miden eficacia, eficiencia y calidaden el logro de los componentes. A veces economa

Miden C4 de las actividades.

Medios de VerificacinCmo obtenemos la evidencia?

Son las fuentes de informacin que se puedenutilizar para verificar el logro de los objetivos(clculo de los indicadores).

Pueden incluir: Estadsticas Material publicado Inspeccin visual Encuestas Informes de auditora Registros contables

Fin

Propsito


Medios deverificacin

Lgica horizontal

Los Indicadores estn bien definidos y son los necesarios y suficientes para evaluar el logro de cada objetivo.

Los Medios de Verificacin estn bien identificados y son los necesarios para calcular cada indicador

Fin

Propsito

Compo-nentes

Activi-dades

Fin

Propsito

Compo-nentes

Activi-dades

De la Ejecucin a la Operacin

Fin

Propsito

Componente

Actividad

Fin

Propsito

Componente

Actividad

Objetivos de la Ejecucin

Objetivos de la Operacin

Evaluacin de resultadose impactos

Evaluacin de la ejecucin

Eficiencia del Programa

La Eficiencia hace referencia a la manera como se realizaron las Actividades para la entrega de los Componentes y se entregaron los Componentes para el logro del Propsito . Verifica el grado en que:

Los insumos se proveyeron de manera organizada, oportuna y al mnimo costo posible.

Las Actividades se ejecutaron al menor costo en los plazos establecidos.

Los bienes o servicios (Componentes) se obtuvieron al menor costo. Los costos administrativos fueron lo mas bajo posible.

Area de anlisis de la eficiencia

Fin

Propsito

Componente

Actividad

Preguntas sobre Eficiencia

El programa ha identificado y cuantificado costos de operacin y costos unitarios dependiendo del Propsito y de sus Componentes?

El programa tiene procedimientos para medir costo-efectividad en su ejecucin?

Se identifica algn Componente, Actividad o proceso que no se est llevando a cabo en la actualidad y que podra mejorar la eficiencia del programa?

Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podran ser prescindibles o posibles de sustituir por mecanismos de menor costo?

Existen adecuados indicadores de eficiencia en la operacin del programa?

Eficacia del ProgramaLa Eficacia se relaciona con el logro del Propsito y el Fin despus de terminado el proyecto o al cabo de algn tiempo de operacin del programa. Se ocupa del grado hasta el cual:

El programa produjo los Componentes en la cantidad y con la calidad previstos.

Los Componentes han sido los adecuados para atender la necesidad de la POBLACIN OBJETIVO y conducen al logro del Propsito.

El logro del Propsito ha contribuido al Fin.

Area de anlisis de la Eficacia

Fin

Propsito

Componente

Actividad

Preguntas sobre Eficacia

Cul es el avance de los indicadores a nivel de Componente del programa? Este avance es el adecuado para el logro del Propsito?

Se identifica algn Componente o Actividad que no es producido en la actualidad y que podra mejorar la eficacia del programa?

Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podran ser prescindibles o posibles de sustituir por otros ms eficaces?

Existen adecuados indicadores de eficacia en la operacin del programa?

Economa del Programa

Area de anlisis de la Economa

La Economa se refiere a la capacidad de la gerencia del programa para administrar adecuadamente los recursos financieros. Analiza cmo:

Se utiliz el presupuesto asignado. Se captaron recursos adicionales a los presupuestarios. Se recuperaron recursos en caso existir crditos.

Fin

Propsito

Componente

Actividad

Preguntas sobre Economa

Qu porcentaje del presupuesto asignado fue ejercido al trmino del ejercicio fiscal? Cules son las razones de la situacin que se observa?

Cul es el monto o porcentaje de aportaciones de terceros (otras instituciones, otros niveles de gobierno, beneficiarios, etc.) en relacin al presupuesto ejercido?

En funcin de los objetivos del programa, se han aplicado instrumentos de recuperacin de costos?

Existe evidencia de que el programa utiliza prcticas de administracin financiera que proporcionen informacin oportuna y confiable para la toma de decisiones de los responsables de la administracin poltica y administrativa?

Existe una integracin entre los distintos sistemas de informacin que conforman la administracin financiera?

Impactos del Programa

Dos tipos de impactos: Efecto en el desarrollo (Fin) Influencia en otros mbitos

Impactos planificados e imprevistos

Fin

Propsito

Componente

Actividad

Area de anlisis de los Impactos

Continuidad de la Justificacin

Contina el programa siendo compatible con las prioridades de desarrollo del pas?

Se alcanzarn(on) los objetivos a nivel de propsito y fin una vez generados los componentes del programa?

Area de anlisis de la Justificacin

Fin

Propsito

Componente

Actividad

Dos preguntas fundamentales:

Es necesario precisar las caractersticas de la poblacin afectada por el problema que abordarel Programa.

Dadas las necesidades ilimitadas y los recursos escasos, es necesario delimitar adecuadamente el conjunto de personas afectadas que se constituirn en los beneficiarios del programa.

Estos sern nuestra Poblacin Objetivo

Poblacin Objetivo

POBLACION SIN PROBLEMA

POBLACIN POTENCIAL

(Poblacin con problema)

POBLACIONPOTENCIAL

POSTERGADA

POBLACION OBJETIVO

Anlisis de Poblacin

Es el nmero de beneficiarios esperados del programa (personas, familias, empresas, instituciones).

Es aquella parte de la poblacin potencial a la que el programa (una vez analizados algunos criterios y restricciones), estar en condiciones reales de atender.

La poblacin objetivo ser la meta del programa, y constituir la base de su dimensionamiento.

Poblacin Objetivo

Preguntas sobre la Poblacin Objetivo

La poblacin que presenta el problema y/o necesidad (poblacin potencial), as como la poblacin objetivo estn claramente definidas?

El programa ha cuantificado y caracterizado la poblacin objetivo, segn los atributos que se consideren pertinentes?

Cul es la justificacin que sustenta que los beneficios que otorga el programa se dirijan especficamente a dicha poblacin potencial y objetivo?


Los criterios y mecanismos que utiliza el programa para determinar las unidades de atencin (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los adecuados?

Existe informacin sistematizada y actualizada que permita conocer quines reciben los apoyos del programa? (padrn de beneficiarios)

Cules son las caractersticas socio-econmicas de la poblacin incluida en el padrn de beneficiarios?

Con qu frecuencia se actualiza el padrn de beneficiarios?


El programa cuenta con algn mtodo para cuantificar y determinar la poblacin potencial y objetivo?

El avance de la cobertura, que a la fecha presenta el programa, es el adecuado considerando su Fin y Propsito?

El programa cuenta con una estrategia de cobertura de corto, mediano y largo plazo?

Esta estrategia es la adecuada? Se ha llegado efectivamente a la poblacin que

se deseaba atender?

Para terminar .....

FIN

FI N

Supongo!

NF

F

NI

www.ilpes.cl [email protected]
Evaluacin dePolticas y ProgramasTemarioEvaluacionesCiclo de Vida de un Programa o ProyectoUn principio fundamental: Evaluacin socio-econmica (antes)Para quin evaluamos?Porqu hacer evaluacin social? Evaluacin de la ejecucin (durante)Evaluacin de resultadosEvaluacin de impactosEvaluacin de polticasDificultades en la Evaluacin de PolticasEl caso de ChileEl caso de ChileEn ColombiaEn ColombiaEvaluacin de la poltica de desarrollo social de MxicoEvaluacin de Programas Qu es un Programa ?Programa presupuestalPrograma: Conjunto de proyectos relacionadosPrograma: Proyecto social sin infraestructuraLa Matriz de Marco LgicoObjetivosLgica vertical del programarbol de Objetivos y Resumen NarrativoSupuestosSupuestos y Lgica vertical IndicadoresCaractersticas de un buen indicadorTipo de Indicadores segn nivel de objetivoMedios de VerificacinCmo obtenemos la evidencia?Lgica horizontal De la Ejecucin a la OperacinEficiencia del ProgramaPreguntas sobre EficienciaEficacia del ProgramaPreguntas sobre EficaciaEconoma del ProgramaPreguntas sobre EconomaImpactos del ProgramaContinuidad de la JustificacinPoblacin ObjetivoAnlisis de PoblacinPoblacin ObjetivoPreguntas sobre la Poblacin ObjetivoPreguntas sobre la Poblacin ObjetivoPreguntas sobre la Poblacin ObjetivoPara terminar .....

evaluación de políticas y programas - comisión económica para américa latina y … ·...

Documents