diplomado en monitoreo y evaluaciÓn de polÍticas pÚblicas mÓdulo: evaluaciones

MODULO EVALUACIONES

DIPLOMADO EN MONITOREO Y EVALUACIÓN DE POLÍTICAS PÚBLICAS

MÓDULO: EVALUACIONES

MAURICIO AGUILARNoviembre de 2011

1

MODULO EVALUACIONES

Objetivo General

El objetivo de esta clase es familiarizar a los

participantes con las principales metodologías de

evaluación exponiendo el conocimiento básico

requerido para poner en marcha ejercicios de

evaluación efectiva tanto al interior de las entidades

o a través de evaluadores externos.

MODULO EVALUACIONES

Objetivos Específicos

Al final del curso, los estudiantes estarán familiarizados con: • Conceptos y técnicas básicas en evaluación de

programas.• Cómo replicar el proceso de evaluación.• Diferenciar entre tipologías de evaluación y su alcance.• Cómo diseñar modelos de análisis y de recolección de

información.• Cómo utilizar los resultados en toma de decisiones de

política

MODULO EVALUACIONES

Metodología de trabajo

• Se realizarán presentaciones de los temas.• Se conformarán grupos de trabajo.• Se usarán estudios de caso como ejemplo durante la

clase.• Al final del módulo los grupos presentarán sus trabajos.

MODULO EVALUACIONES

MOTIVACIÓN

http://www.youtube.com/watch?v=hJIMAHePjts

5

http://www.youtube.com/watch?v=hJIMAHePjts

MODULO EVALUACIONES

SESIÓN I

LA EVALUACIÓN: CONCEPTOS BÁSICOS – EL

CASO COLOMBIANO

6

MODULO EVALUACIONES

Contenido

III. ¿Por qué el Gobierno evalúa las políticas públicas?

IV. Fin y medios de la evaluación

V. Proceso de evaluaciones efectivas

VI. ¿Hacia dónde vamos?

I. ¿Qué es la evaluación de políticas públicas?

7

II. Enfoques de Sistemas de S&E

MODULO EVALUACIONES


• El proceso encaminado a determinar sistemática y objetivamente la pertinencia, eficiencia, eficacia e impacto de las actividades a la luz de sus objetivos

(ONU - 1984)

• Emitir juicios sobre el valor y el mérito de un programa o aspectos del mismo.

(CIDEC)

• Es aquella evaluación que se emprende antes de iniciar un programa o proyecto para apreciar si están dadas las condiciones requeridas para su implementación, y eventualmente poder decidir acerca de su aprobación , perspectiva de éxito y resultados.

Petra Tood & Kenneth Wolpin

University of Pennsylvania 8

MODULO EVALUACIONES

• “Valoración exhaustiva de la causalidad entre una intervención de Estado y sus efectos para determinar su relevancia, eficiencia, efectividad, impacto y sostenibilidad.”

(Documento Conpes 3294)

• La evaluación viene considerándose como el proceso sistémico de observación, medida, análisis e interpretación encaminado al conocimiento de una intervención pública, sea esta una norma, programa, plan o política, para alcanzar un juicio valorativo basado en evidencias, respecto de su diseño, puesta en práctica, efectos, resultados e impactos. La finalidad de la evaluación es ser útil a los decisores y gestores públicos y a la ciudadanía.

(Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios)9


MODULO EVALUACIONES

• La evaluación es un análisis de un proyecto con el objeto de TOMAR UNA DECISION alrededor del mismo.

• Lo que implica:

Implica determinar la cantidad de bienes y servicios que ofrece el proyecto y qué requiere para alcanzar su objetivo.

1. Cuantificar

2. Valorar

3. Comparar

Asignar valor a los bienes y servicios requeridos y ofrecidos por el proyecto.

Analizar las diferencias del proyecto con otros proyectos

10


MODULO EVALUACIONES

El monitoreo y la Evaluación se han convertido en un instrumento constante de administración pública en Colombia y otros países en el mundo.

Los bancos internacionales, BM, BID, ADB han contribuido no sólo al incremento de programas sociales sino también de evaluaciones alrededor del gasto público.


MODULO EVALUACIONES

CONEVAL - MEXICO

El Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) es un organismo público descentralizado de la Administración Pública Federal, con autonomía y capacidad técnica para generar información objetiva sobre la situación de la política social y la medición de la pobreza en México.

Dos Funciones principales

Normar y coordinar la evaluación de la Política Nacional de Desarrollo Social y las políticas, programas y

acciones que ejecuten las dependencias públicas; y

Establecer los lineamientos y criterios para la definición,

identificación y medición de la pobreza, garantizando la

transparencia, objetividad y rigor técnico en dicha actividad.

MODULO EVALUACIONES

Objetivo Estratégico

Mejorar la eficacia y eficiencia, así como la rendición de cuentas de la política de desarrollo social, mediante la evaluación y el monitoreo de programas y políticas sociales y la medición de la pobreza.

CONEVAL - MEXICO

MODULO EVALUACIONES

El CONEVAL establece que contribuirá a mejorar el desempeño y la rendición de cuentas de la política de desarrollo social en la medida que cumpla con los dos objetivos estratégicos :

CONEVAL - MEXICO

MODULO EVALUACIONES

• Generar un sistema de evaluaciones oportunas, de acuerdo con las necesidades de las Dependencias y Entidades, de las cuales se generen recomendaciones a utilizar en la retroalimentación del diseño y mejoramiento de los programas.

Coordinar estudios de evaluación de los programas sociales

• Contar con evaluaciones transversales de acciones focalizadas hacia un mismo fin, independientemente de los actores que ejecuten las estrategias.

Coordinar estudios de evaluación de las políticas sociales

• Se busca que los funcionarios y operadores de los programas determinen la consecuencia directa del programa sobre una necesidad o problema específico

Impulsar la generación y aprobación de indicadores de resultados, servicios y gestión

CONEVAL - MEXICO

MODULO EVALUACIONES

Estrategia transversal 1• Analizar la información generada de las evaluaciones a las políticas y

programas de desarrollo social, así como de la medición de la pobreza, para emitir recomendaciones que contribuyan a la toma de decisiones en materia de política de desarrollo social

Estrategia transversal 2• Difundir la información que se genera de manera concisa y oportuna

Estrategia transversal 3• Proveer asesoría en materia de evaluación de políticas y programas sociales y

medición y análisis de la pobreza

CONEVAL - MEXICO

MODULO EVALUACIONES

AEVAL - ESPAÑA

La Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios desarrolla una actividad institucional con el fin de mejorar la calidad de los servicios públicos, racionalizar el uso de los recursos públicos y rendir cuentas ante los ciudadanos. Tiene como propósito contribuir a:

- Mejorar los servicios públicos y el conocimiento de los efectos en la sociedad de las

políticas y programas públicos

- Promover una mayor racionalidad

del gasto público y la optimización en el

uso de los recursos

- Favorecer la productividad y

competitividad de la economía española,

eliminando trabas burocráticas

- Aumentar la rendición de cuentas

hacia los ciudadanos,

promoviendo la transparencia y la

participación

La evaluación se constituye una herramienta esencial para conocer los efectos y resultados de las intervenciones públicas.

MODULO EVALUACIONES

AEVAL considera la evaluación como:

• Una actividad específica claramente diferenciada de otras como el control interno, la auditoría financiera, la auditoría de gestión o el control presupuestario.

• Una actividad institucional, enmarcada dentro de un proyecto político de gobernanza, modernización e innovación administrativa.

• La evaluación incorpora análisis basado en evidencias y no cabría sustituirla por una mera descripción o medición.

• La evaluación utiliza herramientas de las ciencias sociales (cuantitativas y cualitativas) y técnicas de la gerencia pública. Aplica de manera sistemática un método riguroso de tratamiento de la información.

• La evaluación puede referirse tanto al diseño como a la aplicación, desarrollo y finalización de una intervención pública.

AEVAL - ESPAÑA

MODULO EVALUACIONES

Fase 1: Análisis del encargo

Fase 2: Diseño y Planificación de la evaluación

Fase 3: Ejecución

Fase 4: Resultados: el informe

Fase 5 : Comunicación y utilización de las evaluaciones

Fases del proceso de evaluación en AEVAL

AEVAL - ESPAÑA

MODULO EVALUACIONES

El núcleo del sistema brasileño es el Plan Plurianual (PPA) nacional, un programa de desarrollo de cuatro años incluido en la Constitución. El sistema de seguimiento y evaluación vincula los resultados de la evaluación con el plan de desarrollo y respalda la creación de una cultura de evaluación para mejorar la formulación de políticas y la implementación y gestión de los programas.

El sistema de seguimiento y evaluación se concentra en evaluar los objetivos y el desempeño de los programas a lo largo de los límites organizacionales y cubre todos los gastos públicos, integrando cuentas corrientes y de capital.

Un sistema de información centralizado, conocido como SIGPlan, divulga datos e información desde el Ministerio de Hacienda hacia el público y se hacen esfuerzos por integrar los sistemas de información de los ministerios sectoriales (INFRASIG) con SIGPlan a fin de entregar una fuente de información más unificada y facilitar con ello el uso del proceso de seguimiento y evaluación en la toma de decisiones pública.

Otros países

MODULO EVALUACIONES

El Ministerio de Economía y Finanzas de Perú puso en marcha el Sistema Nacional de Seguimiento y Evaluación del Gasto Público (SSEGP) en 2004 como parte de un esfuerzo mayor por promover la gestión basada en los resultados.

Sus objetivos son mejorar la gestión pública entregando más información sobre los resultados logrados a través del gasto público. Los indicadores de desempeño que se desarrollan a diferentes niveles del gobierno nacional (sectores, organismos, unidades orgánicas, etc.) se vinculan a productos estratégicos.

El sistema todavía se encuentra en las etapas de desarrollo de modo que aún se debe determinar una estructura de evaluación, que incluya herramientas de evaluación y criterios para definir los programas que serán evaluados.

Otros países

MODULO EVALUACIONES

22

No existe una guía única para los países en términos de lo que debería ser un buen sistema de seguimiento y evaluación. Algunos países ponen énfasis en un sistema de indicadores de desempeño, mientras que otros se concentran en llevar a cabo evaluaciones (revisiones de programas o evaluaciones rigurosas sobre su impacto).

Algunos países han creado un enfoque a nivel de todo el gobierno dirigido principalmente por los ministerios de finanzas o planificación, otros se han concentrado más en los sistemas de seguimiento y evaluación sectoriales.

A modo de conclusión:

MODULO EVALUACIONES

23

En síntesis para los países que están formulando nuevos Sistemas de Monitoreo y Evaluación se hace necesario definir ciertos criterios:

• Definir con claridad las funciones y responsabilidades de los actores principales, es decir, los ministerios de Planificación y Finanzas, la Oficina del Presidente, los ministerios sectoriales y el Congreso.

• Es fundamental crear los incentivos correctos para animar a los principales interesados para que asuman una función más activa en el proceso de seguimiento y evaluación.

• Fortalecer los sistemas de seguimiento y evaluación no es exclusivamente, un tema por el lado de la oferta que requiera una “reparación técnica”. Para que un sistema de seguimiento y evaluación sea considerado eficaz y sostenible, la información y las conclusiones del proceso de seguimiento y evaluación deben ser utilizadas por todas las partes interesadas, lo que incluye ministerios sectoriales y, según cuál haya sido la planificación del sistema


MODULO EVALUACIONES


• En cumplimiento al mandato constitucional estipulado en el artículo 343 de la Constitución Nacional y en el artículo 29 de la ley 152 de 1994.

• La evaluación le permite al Gobierno medir el avance de los compromisos que se fijó al inicio, conocer cómo va su gestión y tratar de corregir a tiempo los desaciertos.

• Tomar decisiones informadas y basadas en evidencias que permitan ajustar las políticas .

• Retroalimentar la formulación de política y los procesos de planeación.

• Establecer la existencia de efectos no esperados en la ejecución de un programa, los puntos críticos del mismo y las divergencias existentes con programas similares.

• Fortalecer la rendición de cuentas de las entidades y el ejercicio activo de control social. 24

MODULO EVALUACIONES

Apoyar a que el gobierno mantenga el rumbo y mejore el desempeño para alcanzar los

objetivos definidos en las políticas públicas


MODULO EVALUACIONES

SEGUIMIENTO ARTICULADO A LA

VISION

INDICADORES EFECTIVOS

OBSERVATORIO DE LA PERCEPCION DEL

CIUDADANO

COOPERACION HORIZONTAL

CULTURA DEL MONITOREO Y EVALUACION

INVERSION PARA CONOCER

EVALUACIONES EFECTIVAS

RADAR DE EVALUACIONES


MODULO EVALUACIONES

¿Para qué hacer seguimiento y evaluación de políticas públicas?

Formulación

Presupuestación

ImplementaciónSeguimiento

Evaluación

Para cerrar el ciclo de las políticas públicas


MODULO EVALUACIONES

Insumos Actividades Productos Resultados Impactos

¿Cómo se entienden las políticas Públicas?

¿Cómo saber cómo vamos?

¿Cómo ser más eficientes y efectivos?

Oferta y Demanda

Seguimiento

Evaluación


MODULO EVALUACIONES

Mejorar el proceso de toma de decisiones de los gestores de la Política Pública para que esta incida efectivamente en un mayor bienestar de la sociedad.

FIN


29

MODULO EVALUACIONES

Planeación

Presupuestación

Ejecución

Seguimiento

Evaluación

Ciclo de la Gerencia PúblicaLa evaluación de políticas públicas se hace para:

Generar insumos para la toma de decisiones de política. Verificar la eficiencia del gasto en relación al logro de los objetivos de las políticas. Identificar fortalezas y debilidades en la implementación de las políticas. Cuantificar los resultados de la inversión pública .

30


MODULO EVALUACIONES

La evaluación actúa teniendo como eje la Cadena de Resultados de la Intervención del Estado


FIN

Insumos Procesos Productos Resultados Impacto

31


MODULO EVALUACIONES

Evaluación de Impacto

Evaluación de Resultados

Evaluación Operaciones

Evaluación Ejecutiva

Resultados Impacto

MEDIOS

Evaluación Institucional


FIN

Insumos Procesos Productos

32


MODULO EVALUACIONES

Premisas Básicas:

Una buena evaluación es aquella que se puede utilizar en el diseño y/o rediseño de una política pública.

Una evaluación efectiva suele ser mejor cuando es concebida desde el diseño de la política pública.

FORMULACIÓN DE POLÍTICAS PÚBLICAS

Promover el uso de la información resultado de las evaluaciones en el diseño de las políticas públicas

Prever los elementos metodológicos en la formulación para el diseño de líneas de base y esquemas de seguimiento que hagan costo eficiente las evaluaciones

EVALUACION DE POLÍTICAS PÚBLICAS

Diseñar y asesorar en el desarrollo de evaluaciones costo-efectivas a las políticas públicas

Identificar esquemas de evaluación costo-efectivos para el entorno colombiano

Analizar los resultados de las políticas desde una orbita transversal en función del desarrollo esperado del País

Formulación

Presupuestación

Ejecución

Seguimiento

Evaluación

33


MODULO EVALUACIONES

La Dirección de Evaluación de Políticas Públicas desde el grupo de Evaluaciones es la encargada de liderar los proyectos de evaluación que se hacen a las políticas públicas más importantes que conforman el presupuesto de inversión.

El objetivo es garantizar la calidad técnica de las evaluaciones, mediante el diseño de proyectos que permitan dar a partir de evidencias, respuestas pertinentes a los interrogantes de la política.

34

V. Proceso de Evaluaciones Efectivas

MODULO EVALUACIONES


Selección de la política a evaluar

Diseño de la Evaluación

Ejecución

Uso de resultados

Area del Gobierno

Firmas externas

Las Evaluaciones son efectivas si estas llevan a tomar decisiones: EL RETO es llevarlas a este uso.

Contratación

MODULO EVALUACIONES


Selección de la política a evaluar

Identificar las necesidades plurianuales de evaluación, partiendo desde la formulación del PND.

Definir la agenda anual de evaluaciones

Convocar el Comité Intersectorial de Evaluación.

Presentación y aprobación de la agenda vía Conpes

Fase 0

Producto: Agenda de Evaluaciones

MODULO EVALUACIONES


Diseño de la Evaluación

Cadena de valor

Cadena de entrega

Hipótesis

Alcance

Metodología

Costeo

Perfil equipo consultor

Cronograma

Producto: Diseño de la evaluación

Fase 1

MODULO EVALUACIONES


Conformación comité de selección

Elaborar los Términos de Referencia

Apertura del proceso de selección

Evaluación de propuestas técnicas

Negociación de costo

Contratación

Producto: Términos de referencia

Fase 2

MODULO EVALUACIONES


SupervisiónTécnicaDEPP

Metodología

Diagnóstico

Diseño de Instrumentos

Levantamiento de Información

Análisis de datos e información

Comprobación de la hipótesis

Recomendaciones y conclusiones

Ejecución

Producto: Bases de datos y productos de la consultoría

Fase 3

MODULO EVALUACIONES


Análisis de recomendaciones

Plan de acción para ajustes

Monitoreo de los ajustes

Retroalimentación de la formulación

Uso de resultados

Producto: Recomendaciones de política

Fase 4

MODULO EVALUACIONES

2002 2003 2004 2005 2006 2007 2008 2009 20100

600,000

1,200,000

1,800,000

2,400,000

3,000,000

$ -

$ 500,000

$ 1,000,000

$ 1,500,000

$ 2,000,000

$ 2,500,000

Familias y Recursos(Millones de pesos a precios constantes de 2008 PGN)

Familias Beneficiarias Recursos(pesos constantes 2008)

Vigencias

Fam

ilia

s b

enef

icia

das

Recursos

Recursos Asignados

Línea de Base

Primer Seguimiento

Medición de Impacto Expansión

Familias en Acción

41


MODULO EVALUACIONES

2003 2004 2005 2006 2007 2008 2009 20100

120,000

240,000

360,000

480,000

600,000

0

50,000

100,000

150,000

200,000

250,000

Número de viviendas y recursos VISU(Millones de pesos a precios constantes 2008)

Número de viviendas Recursos Ejecutados

Vigencias

Vivi

enda

s

Recu

rsos

Vivienda de Interés Social UrbanoFonvivienda

Medición de impacto

Primer seguimiento

Recursos asignados

Línea de Base

42


MODULO EVALUACIONES

Costo del Programa vs. Costo de la evaluación :

* Recursos PGN ejecutados (2003-2008) y asignados (2009 y 2010).

0.1%COSTO PROGRAMA FAMILIAS EN

ACCIÓNCOSTO EVALUACIÓN FAMILIAS EN

ACCIÓN

6.599.478.000.000 7.747.588.173

0.035%TOTAL PROGRAMA VISU

TOTAL COSTO EVALUACIONES VISU

2.868.423.644.509 1.027.819.948

* Recursos PGN ejecutados (2002-2008) y asignados (2009 y 2010).

43


MODULO EVALUACIONES

Costo y Tiempo Promedio

En curso Finalizada Total

Ejecutiva 50.449.602$ 4,78 7 7 14Impacto 1.279.834.349$ 22,56 6 11 17

Institucional 915.205.940$ 18,60 1 2 3Operaciones 388.679.995$ 8,46 1 2 3Resultados 581.684.958$ 10,66 1 4 4

Total general 761.975.726$ 14,58 16 26 42

Promedio de Meses

Promedio de Costo ($)

Tipo

Para la asignación de recursos a las evaluaciones, tenemos entre otros, dos consideraciones:

El monto MÁXIMO de las evaluaciones de una política no debe superar el 1% del valor invertido en la política (CONPES 3294)

Existe un histórico de promedios por tipo de evaluaciones


MODULO EVALUACIONES

Guías metodológicas y procedimentales

grupo de evaluación (calidad

en procesos)

Difusión de métodos y resultados – Cultura de evaluación (demanda)

Incentivos al

mercado de

evaluadores

(oferta)

¿Cómo se articulan las evaluaciones

dentro de la nueva estrategia de SINERGIA?

45


MODULO EVALUACIONES

Entre 2004 y 2010, SINERGIA ha liderado la realización de 49 evaluaciones con, las cuales se han concentrado principalmente: en la dimensión de equidad.

Se proyecta para 2011 finalizar 15 evaluaciones que vienen de las vigencias 2009 y 2010.

La agenda de evaluaciones para 2011 se estima en 55 evaluaciones

2006 2007 2008 2009 2010

2

6 10

413

1 1

24

1 2 1 2

Equidad Competitividad Administración del Estado


MODULO EVALUACIONES

La inversión en las 49 evaluaciones ha sido del orden de los $27.000 millones. Producto de la diversificación de metodologías, el valor promedio de evaluación por año, ha disminuido de $1.750 a $345 millones.

2006 2007 2008 2009 2010 $ -

$ 1,000,000,000

$ 2,000,000,000

$ 3,000,000,000

$ 4,000,000,000

$ 5,000,000,000

$ 6,000,000,000

$ 7,000,000,000

$ 8,000,000,000

$ -

$ 200,000,000

$ 400,000,000

$ 600,000,000

$ 800,000,000

$ 1,000,000,000

$ 1,200,000,000

$ 1,400,000,000

$ 1,600,000,000

$ 1,800,000,000

$ 2,000,000,000

2

8

13

7

19

RECURSOS EJECUTADOS VALOR PROMEDIO EVALUACIÓN


MODULO EVALUACIONES

• Líneas de Base• Diseño de Sistemas de

Seguimiento• Diseño de Indicadores

Formulación

• Líneas de corte• Evaluaciones Ejecutivas• Evaluación de Operaciones• Evaluaciones Institucional

Seguimiento

• Evaluaciones de Resultados

• Evaluaciones de Impacto

Evaluación

Portafolio de Productos


MODULO EVALUACIONES

20%

47%

32%

Porcentaje de Gasto de Inversión por dimensión(2006 - 2009)

AEEquidadCompetitividad

Inversión PGN

Dimensión MontoEquidad $ 15.050.078.010.252 Administración del Estado $ 35.092.183.650.767 Competitividad $ 23.737.666.035.163 Total $ 73.879.927.696.182

11%8%

81%

Porcentaje de Gasto en Evaluación por Dimensión(2006-2009)

49


MODULO EVALUACIONES

• Diversificar la agenda de evaluaciones, incluyendo sectores que tradicionalmente no participaban.


50

De acuerdo con las temáticas de las bases del Plan Nacional de Desarrollo, la Agenda de Evaluaciones 2011 está compuesta por:

• 16 Crecimiento Sostenible y Competitividad

• 18 Igualdad de Oportunidades• 7 Consolidación de la Paz• 14 Soportes Transversales

Crecimien-to

29%

Igualdad33%

Cons. de la Paz13%

Soportes trans.25%

MODULO EVALUACIONES

• Consolidar la base de datos con las evaluaciones que otras entidades del Gobierno adelantan, a fin de garantizar los estándares internacionales de las evaluaciones (RADAR).

• Promover la Gestión por Resultados liderando la Red de Monitoreo y Evaluación de política Pública en Colombia.

• Articular las evaluaciones con dimensiones de análisis más amplias que el programa evaluado.

• Promover la realización de evaluaciones de las políticas en los gobiernos regionales y locales.


51

MODULO EVALUACIONES

GRACIAS

DIRECCION DE EVALUACION DE POLITICAS PUBLICASDEPARTAMENTO NACIONAL DE PLANEACION

REPUBLICA DE COLOMBIATel: (571) 381 5270

Email: [email protected] 52

mailto:[email protected]

diplomado en monitoreo y evaluaciÓn de polÍticas pÚblicas mÓdulo: evaluaciones

Documents