evaluación de programas públicos sistema de evaluación del desempeño sed

Evaluación de Programas Públicos

Sistema de Evaluación del Desempeño SED

El contexto de la Gestión Para

Resultados

Nueva Gerencia Pública

Es un enfoque que otorga “poder y flexibilidad” a los gerentes públicos a cambio de una mayor responsabilidad por la obtención de resultados

Enfoque de la GPR

Gerencia de recursos públicos para el logro de objetivos y resultados

Nueva Gerencia Pública

Las principales implicaciones son:

• El traslado de las funciones ejecutivas a agencias dotadas de mayor autonomía administrativa, otorgándole mayor poder a los gestores públicos (delegación ) y exigiendo la obtención de ciertos logros

• Ajustes en sus sistemas presupuestarios (PBR); flexibilidad, traspaso de

recursos basados en desempeños (contratos)

• El desarrollo de sistemas administrativos y tecnológicos de control de gestión y rendición de cuentas

• Generar valor agregado al gasto público y con resultados de impacto para los usuarios de los servicios públicos

Antecedentes del GPR

El PbR es una herramienta de mejora del gasto público para el logro de resultados que impacten en el bienestar de la población;

Los resultados se logran mediante el diseño estricto de programas públicos;

La evaluación de los programas enfatiza en los resultados por sobre los procedimientos de operación, con lo que se obtiene mejoras en la calidad de los bienes y servicios públicos;

El PbR integra un proceso basado en consideraciones objetivas para la asignación de recursos en un PRESUPUESTO, con el objeto de producir con CRITERIOS de calidad, los bienes y servicios públicos de aquellos PROGRAMAS que son pertinentes y estratégicos para lograr los RESULTADOS comprometidos.

Para Recordar

Marco Conceptual y Teórico de la

Evaluación de Programas Públicos

DEFINICIONES EVALUACION DE PROGRAMAS PUBLICOS

“Proceso de medición sistemática y continua de los resultados obtenidos de un programa, proyecto, política y la comparación de esos resultados con estándares u objetivos previamente definidos “ OCDE.

“Un estudio en profundidad, que se realiza en un tiempo definido y en el cual se utilizan instrumentos de investigación en forma sistemática y analítica, para generar un juicio sobre el valor de una intervención.....…”Evaluación del Gasto de Programas en la Unión Europea. Comisión Europea

“Conocimiento para la acción” Mejores Prácticas para la Evaluación. Public Management Public

“Apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados.” (OCDE, 2002)

Fuente: Armijo Marianela. Planificación Estratégica Gubernamental, Sistemas de Seguimiento y Evaluación del Desempeño. Apoyo a la Gestión Presupuestaria en Guatemala. 16 y 17 de Noviembre. 2009 (Láminas 2 a 19)

OBJETIVOS DE LA EVALUACION DE PROGRAMAS PUBLICOS

APOYAR EL PROCESO DE TOMA DE DECISIONES

INFORMACION SOBRE IMPACTO DE LAS POLITICAS

AYUDA A VALORAR LA CONTRIBUCION PUBLICA DE LAS ACCIONES GUBERNAMENTALES EN LA EJECUCION DE POLITICAS Y PROGRAMAS

MEJORAR EL RESULTADO DE LAS INTERVENCIONESPUBLICAS

El objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo.

• Deberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones.

• Emite juicios sobre las causas y las razones de los resultados, examina resultados no buscados, estudia el proceso que se ha seguido para obtenerlos y proporciona recomendaciones para acciones futuras.

• Es mediante un proceso sistemático de recolección y de análisis de información relevante, de acuerdo a una marco metodológico explícito.

Algunas Carácterísticas Generales

REQUISITOS DE UNA BUENA EVALUACIÓN

11

ETAPAS DEL PROCESO DE EVALUACION

ETAPAS

EX -ANTES

Diseño de Programas y Proyectos

OPERATIVA

Ejecución del Programa oProyecto, Productos, Servicios

EX-POST

Medición del desempeño o Impacto

12

Uso de la evaluación de programas

• Seguimiento de la situación de los Programas para fines de rediseño

• Decisiones de asignación de recursos

• Rendición de cuentas

PAPEL DE LA EVALUACIÓN EN LA TOMA DE DECISIONES

14

Planificación y Proceso Presupuestario: Mecanismos de articulación y uso de Evaluación de Programas

Plan Nacional de Desarrollo: TIPOS DE INDICADORES

Indicadores Macro nivel país Tasa de disminución de pobreza,

marginalidad Tasa de creación de empleo Tasa de dismunución de los delitos Indice de Calidad Educativa Indicadores de Morbilidad

Planes SectorialesTIPOS DE INDICADORES

Indicadores de Impacto y de resultados intermedios de los Programas Sectoriales

Tasas de Desnutrición Deserción escolar Disminución de déficit viviendas, etc.

Planes Institucionales TIPOS DE INDICADORES

Indicadores de Impacto, Resultados Intermedios, Productos y Procesos (Eficacia, eficiencia, calidad)

Programas PresupuestariosTIPOS DE INDICADORES

Indicadores de Resultados Intermedios, Productos y Procesos(Eficacia, Eficiencia, calidad), Insumos.

PRIORIDADESSECTORIALES

FINES Y OBJETIVOSESTRATEGICOS

Plan Estratégico Institucional

Ámbitos de Seguimiento y Evaluación

PRIORIDADESNACIONALES

Fuentes de Datos yMetodologías

Estadísticas Nacionales

Evaluaciones de Impacto

Encuestas, Paneles, etc.

Estadísticas Nacionales


Evaluaciones Cualitativas


Evaluaciones de Programas (Marco Lógico)Sistema de Seguimiento y Evaluación de Desempeño

OBJETIVOSESTRATEGICOS, METAS DE PRODUCTOS Y PROCESOS

Plan Estratégico y Plan Operativo

Evaluaciones de Programas (Marco Lógico)Sistema de Seguimiento y Evaluación de Desempeño

15

EVALUACION Y GESTION POR RESULTADOS

TIPO DE ACCION GUBERNAMENTAL

QUE SE EVALUA METODOLOGIAS/Fuentes de datos

Estrategias Nacionales Cumplimiento de compromisos, prioridades nacionales

Estadísticas NacionalesEncuestas

Política Públicas Metas nacionales, sectoriales

Comités Científicos de Evaluación, Paneles de ExpertosEVALUACION DE PROGRAMAS(Escritorio, Impacto)

Operativa-Instituciones Cumplimiento de metas de gestión y resultados finalesIndicadores de Eficiencia, Eficacia, Calidad, Economía

Sistema de Indicadores de Desempeño

Cuadro de Mando IntegralEVALUACION DE PROGRAMAS(Escritorio, Impacto)Marco Lógico

Programas Públicos Resultados, gestión, impacto

EVALUACION DE PROGRAMAS(Escritorio, Impacto)Marco Lógico

Inversiones Rentabilidad SocialCosto-Beneficio

Evaluación costo-beneficio ex-ante

Tipos de Evaluaciones

17

TIPOS DE EVALUACIONES DE PROGRAMAS

• Evaluación de gabinete: describir la situación del programa en un tiempo corto, a través de la sistematización de la información disponible (Marco Lógico)

• Evaluación de impacto: logros finales de los efectos esperados por el Programa en el grupo de beneficiarios al cual está dirigido. Si se ha resuelto el problema que justifica la acción pública

• Evaluación costo – efectividad: conocer la relación entre la eficacia del programa como resultado final en los beneficiarios y los costos que se incurre para alcanzar dicho resultado.

TIPOS DE EVALUACIÓN

Según el objeto:

Evaluación de políticas públicas: resultados sobre el cumplimiento de las políticas generales, sectoriales – decisiones sobre políticas públicas.

Evaluación de programas públicos: impacto o resultados de una intervención pública directa sobre una realidad social – mejorar el funcionamiento del programa y el impacto hacia la población beneficiaria.

Evaluación de la gestión y resultados de entidades públicas: resultados obtenidos por las instituciones públicas y su comparación con aquellos planeados – mejorar desempeño.

TIPOS DE EVALUACIÓN

Según la etapa de la intervención:

Ex ante – previa a la implantación de una acción gubernamental. Documenta necesidades iniciales y la factibilidad de programas y políticas. (estudios de diseño de políticas y programas, estudios de pre-inversión de proyectos).

Procesos – durante el ejercicio de la acción gubernamental. Se examina el uso de recursos para el cumplimiento de los objetivos, el ajuste de la programación de la generación de los productos.

Ex post – una vez finalizada la intervención o acción, o la gestión de un determinado período . Involucra análisis y pronunciamiento de los resultados inmediatos, intermedios e impactos o resultados finales.

TIPOS DE EVALUACIÓN DE PROGRAMAS

Evaluación del diseño del programa (MIR)

–Lógica vertical (estructura del programa)–Lógica horizontal

Evaluación de la gestión

Evaluación de resultados (res. Intermedios)–Eficacia - Calidad–Eficiencia – Economía

Evaluación de impactos (res. Finales)

EVALUACIÓ DE RESULTADOS INTERMEDIOS

•Evalúa los cambios en el comportamiento de los beneficiarios que se producen una vez que estos han utilizado y asimilado los componentes del programa. Son resultados de mediano plazo, que presumiblemente facilitarán la generación de los beneficios de largo plazo.

•Se desarrolla, generalmente, a través del análisis de las estadísticas descriptivas de estos resultados con base en información obtenida a través de una encuesta aplicada a una muestra representativa de beneficiarios.

EVALUACIÓ DE RESULTADOS FINALES (IMPACTO)

• Son resultados a nivel de fin del programa. Implican un mejoramiento significativo y, en algunos casos, perdurable o sustentable en el tiempo, en alguna de las condiciones o características de la población beneficiaria. Son resultados de largo plazo.

• Para evaluar el efecto del programa sobre resultados finales se debe identificar y separar los beneficios logrados como consecuencia de la intervención del programa, de aquellos que de todas maneras hubieran ocurrido sin la ejecución de éste, por efecto de la evolución normal

23

Evaluación de Diseño y Resultados Intermedios (gabinete)

• Justificación del Programa• Diseño. • Organización y Gestión..• Resultados: Eficacia, Eficiencia, Economia,

Calidad• Sostenibilidad/Continuidad. • Conclusiones y Recomendaciones.

24

Metodología: Marco Lógico

Ámbitos de Desempeño en la Matriz del marco Lógico: Resumen Narrativo

Indicadores de Evaluación del Desempeño

Medios de Verificación Supuestos

FIN (Objetivo Estratégico Institucional)

Indicadores Estratégicos

SED

Propósito (Objetivo del programa)


Componentes (Bienes y Servicios)

Indicadores Estratégicos e Indicadores de

Gestión

Actividades(Tareas y acciones)

Indicadores de Gestión

Clasificación de los Ámbitos de Desempeño:

INSUMOS O INPUTS

Recursos financieros, humanos y tecnológicos invertidos para operar las actividades del proceso. ESFUERZO. Presupuesto por Programas con base en Resultados

PROCESO

PRODUCTO OOUTPUT

IMPACTO O OUTCOME

RESULTADOS INTERMEDIOS

SM&CG

MEDICIÓN DEL DESEMPEÑO

ANÁLISIS DE EFICACIA

•Desempeño del Programa en cuanto a la producción de COMPONENTES

•Evaluar la evolución histórica en el desempeño de los componentes en cuanto a: niveles de producción, calidad técnica de los componentes, logro de metas , etc.

•Análisis si la producción de los componentes es suficiente para el logro del propósito.

• Comparar resultados del programa a nivel de componentes con aquellos de programas similares (en caso que existan).


•Desempeño del Programa a nivel de PROPOSITO

•Evaluar si se ha cumplido el objetivo a nivel de propósito

•Cuantificar y analizar el número de beneficiarios efectivos total y por componente.

•Caracterizar y analizar los beneficiarios efectivos.

•Analizar la cobertura en relación a la población total que presenta el problema (población potencial) y en relación a la población objetivo (programada), según el programa.


•Análisis y evaluación de los resultados de la focalización (si es que existen), ¿Se ha llegado a la población que se deseaba atender?, ¿Por qué?.

•Análisis del grado de satisfacción de los usuarios / beneficiarios del programa


•Desempeño del Programa a nivel de FIN

¿El Programa ha contribuido al logro del fin?, ¿de qué forma?.

¿Se ha producido algún efecto no planeado del Programa o cambios en grupos de población diferentes a la población objetivo?, ¿estos efectos son positivos o negativos?.

CALIDAD

•¿ Los bienes y servicios se entregaron oportunamente?

•¿Existió continuidad en la prestación del servicio?

•¿Las características del bien o el servicio entregado son las especificadas?

•¿Los beneficiarios del programa están satisfechos con la oportunidad y calidad del bien o servicio recibido?

ANÁLISIS DE EFICIENCIA DEL PROGRAMA

La eficiencia hace referencia a la manera como se realizaron las actividades para la entrega de los componentes y se entregaron los componentes para el logro del propósito . Verifica el grado en que:

•Los insumos se proveyeron de manera organizada, oportuna y al mínimo costo posible.

•Las actividades se ejecutaron al menor costo en los plazos establecidos.

•Los bienes y servicios (Componentes) se obtuvieron al menor costo.•Los costos administrativos fueron lo mas bajo posible.

ANÁLISIS DE LA ECONOMÍA DEL PROGRAMA

La economía se refiere a la capacidad de la gerencia del programa para administrar adecuadamente los recursos financieros.

Analiza cómo:

•Se utilizó el presupuesto asignado.

•Se captaron recursos adicionales a los presupuestarios.

•Se recuperaron recursos en caso existir créditos.

EVALUACION DE IMPACTO

EVALUACIÓN DE IMPACTO

34

PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTO

• Efectos de mediano y largo plazo sobre la población beneficiaria que espera obtener el Programa

• ¿Cuáles serán los beneficios con que quedará la población beneficiaria una vez que concluya su participación en el programa?

– Incremento en el nivel de remuneraciones– Reducción de la tasa de morbilidad de

menores beneficiados con un programa de vacunación

– Aumento del rendimiento escolar de los alumnos participante en un programa de reforzamiento educativo

35

OBJETIVOS

• Conocer si el programa produjo los efectos deseados en los beneficiarios.

• Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad).

• ¿Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto?

36

METODOLOGIAS

• Diseño experimental tradicional y aleatorio

• Método de doble diferencias• Métodos de comparaciones

Pareadas (matching)• Selección de modelos ( variables

instrumentales)• Evaluaciones cualitativas

37

Metodologías cualitativas

• Evaluación participativa: incorpora a ls beneficiarios en el diseño, la ejecución y la evaluación de un programa.

• Focus group

• Entrevistas a informantes claves

Tipos de Evaluación

Diseño

Consistencia y Resultados

Procesos

• Diagnóstico sobre la capacidad institucional, organizacional y de gestión de los programas para alcanzar resultados.

• Análisis de los procesos y la gestión del programa para cumplir con objetivos.

Consistencia y lógica interna de los programas

• Consistencia y Lógica Interna de los programas.

Estratégicas • Valoración de las políticas y estrategias de desarrollo social.

Tipos de Evaluación

Indicadores

Específica de Desempeño

Complementarias

Impacto

• Revisión de la pertinencia y el alcance de los indicadores de un programa para el logro de sus resultados.• Trabajo de campo.

• Profundiza sobre aspectos relevantes del desempeño de los programas.• Realizadas por las dependencias.

• Medición de los efectos netos del programa en la población que atiende.

• Evaluación sintética de la información contenida en el SED.

Tipo de programas•Definir los programas que se evaluarán bajo este enfoque

Objetivo• Analizar sistemáticamente el diseño y el desempeño global de los programas para mejorar su gestión y medir el logro de sus resultados con base en la matriz de indicadores

Temas de estudio

• Diseño• Planeación estratégica• Cobertura y focalización• Operación• Percepción de la población objetivo• Resultados

Resultados •Evaluación diagnóstico

Plazo aproximado de ejecución • 9 meses

Evaluación de Consistencia y Resultados

Tipo de estudio • Funcionamiento y operación

Tipo de programas •Definir el tipo de programas que se sujetarán a este tipo de evaluacion

Objetivo

• Análisis sistemático de la operación del programa, mediante trabajo de campo y gabinete, para conocer las características de sus procesos, examinar ventajas y encontrar problemáticas.

Temas de estudio• Eficacia, suficiencia y pertinencia de los procesos operativos• Problemas para la operación del programa• Buenas prácticas en la operación

Resultados

• Flujogramas generales y específicos de operación• Descripción y ficha narrativa de los procesos del programa• Insumos y productos de cada proceso• Problemas y buenas prácticas en la operación del programa • Recomendaciones

Plazo aproximado de ejecución • 9 meses

Evaluación de Procesos

Tipo de programas • Definir los programas que se sujetarán a este tipo de evaluación

Objetivo • Identifica el cambio en los indicadores a nivel de resultados atribuibles a la ejecución del programa

Temas de estudio • Medición del impacto de los programas en la población beneficiaria con respecto a un grupo control

Resultados • Documento Metodológico de la Evaluación de Impacto• Documento de Resultados de la Evaluación de Impacto

Plazo aproximado de ejecución • Anual

• Multianual

Evaluación de Impacto

Evaluación de Consistencia y Resultados

Evaluación de Programas Púlicos

Evaluar Estratégicamente la Consistencia y los Resultados de los Programas Estatales, en cuanto a su diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo, resultados y el ejercicio de los recursos.

Lo anterior, con el fin de que las recomendaciones de este análisis retroalimenten el desempeño de los programas y el ejercicio de los recursos, con base en indicadores estratégicos y de gestión para el cumplimiento de los objetivos para los que están destinados

I. Objetivo General

La evaluación se divide en los siguientes siete temas:

1. Diseño. Es un proceso analítico global que se enfoca en identificar los objetivos de los Programas para luego determinar la consistencia de su diseño y los resultados con tales objetivos.

2. Planeación Estratégica. Implica analizar los instrumentos de planeación de los Programas, y corroborar si tal planeación tiene una orientación para resultados.

3. Cobertura y Focalización. Corresponde cuantificar y determinar la población potencial y la población objetivo que está siendo atendida a través de los Programas.

4. Operación. Analiza las principales actividades y procesos establecidos en la normatividad aplicable; la eficiencia, eficacia y economía operativa de los Programas; y el cumplimiento y avance en los indicadores estratégicos y de gestión.

II.Temas de Evaluación Estratégica.

La evaluación se divide en los siguientes siete temas:

5. Percepción de la Población. Analiza el grado de satisfacción de los beneficiarios de los bienes y servicios que conforman cada Programa.

6. Resultados. Analiza los resultados intermedios y de impacto alcanzado por cada uno de los Programas, en términos de mejora o solución del problema por el cual fue creado cada uno de éstos.

7.Ejercicio de los recursos. Analiza el grado de cumplimiento en la aplicación de los recursos en tiempo y forma, de acuerdo a los objetivos para los cuales están destinados.

II.Temas de Evaluación Estratégica.

La evaluación de consistencia y resultados se realiza a través de un análisis de gabinetecon base en la información proporcionada por la dependencia ejecutora de los recursos que se evalúan.

Dicha información se envía al ente evaluador a través de una bitácora digital que contiene las fuentes de información que conforman los documentos y archivos electrónicos que serán analizados

Cada tema de revisión y análisis se presenta en forma de preguntas metodológicas específicas las cuales deberán responderse mediante un esquema binario (Sí o No).

Para determinar esta respuesta, el evaluador deberá fundamentarla con la evidencia documental previamente remitida y el análisis de la misma, de tal forma que sustente y justifique los principales argumentos de cada una de las preguntas y temas por analizar. Por tanto, en cada respuesta se deberá justificar por qué se respondió de una u otra manera

III.Metodología

Preguntas Metodológicas y Fuentes de Inforamación

Importancia de la fuentes de información para la Evaluación:

• No contar con la información necesaria complica y dificulta y alarga el proceso de evaluación.

• La base de la evaluación es la información • Es fundamental mejorar la calidad de la información sobre

el desempeño: • Registros Administrativos• Estadísticas sobre entrega de bienes y servicios• Estadísticas sobre beneficiarios

EJERCICIO:

1) Conformar equipos por cada uno de los temas que abarca la evaluación de consistencia y resultados

2) Revisar preguntas metodológicas de evaluación de consistencia y resultados por tema

3) Identificar qué fuentes de información (datos, estadísticas, normatividad, registros administrativos, planes, programas, etc) serían necesarias para responder las preguntas del tema

4) Identificar probables retos o dificultades para obtener la información

El Proceso de Evaluación

PROCESO DE EVALUACIÓN

1.Recopilar los datos

2.Validar los datos.

3.Calcular los indicadores.

4.Interpretar la información.

RECOPILACIÓN DE DATOS

Fuentes de información: ej. Test de 10 preguntas sobre las materias tratadas en la capacitación. Método de recopilación ej. Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona. Responsable de la recopilación ej. Altagracia Pérez Frecuencia de recopilación ej. Por una vez, a los tres meses de concluido el último evento de capacitación. Método de análisis ej. Cada respuesta correcta da un punto, aprobación con siete puntos. Se calculará porcentaje de aprobación, media y desviación estándar. Modo de distribución ej. Correo electrónico Usuarios ej. Unidad de planificación y evaluación, gerente del proyecto, entidades cooperantes, junta de vecinos.

VALIDAR DATOS

•Identificar “outliers”

–Comparar con datos históricos–Comparar con otros datos del período

•Verificar validez de datos “disparados”

•Corregir errores

•Eliminar aquellos datos en que no existe justificación para la desviación.

CÁLCULO DE INDICADORES

.

•Utilizar base actualizada para el cálculo de indicadores de eficacia (aumento de la población objetivo).

•Considerar el costo total, no sólo el directo.

•Comparar con situación inicial (resultado) o sin programa (impacto).

INTERPRETACIÓN DE LA INFORMACIÓN

•Comparar valor del indicador con la meta.

•Benchmarking

•Analizar evolución histórica del indicador.

•Identificar causas de la desviación

•Considerar las explicaciones de los agentes claves.

•Concluir / recomendar

• “Es una función continua que utiliza la recopilación sistemática de datos sobre indicadores predefinidos para proporcionar a los administradores y a las principales partes interesadas de una intervención para el desarrollo, indicaciones sobre el avance y el logro de los objetivos así como de la utilización de los fondos asignados” (OCDE).

• Es un instrumento para gestionar el sector público mediante un conjunto de indicadores que permiten verificar el cumplimiento de los objetivos y de sus expresiones cuantitativas: las metas.

QUÉ ES EL MONITOREO

• El monitoreo ofrece información sobre la situación relativa al cumplimiento de los objetivos y los efectos de una política, programa o proyecto.

• La evaluación explica por qué los objetivos o efectos se están logrando (o se han logrado) o no, y expone los cambios que se han producido en los beneficiarios y en la sociedad.

DIFERENCIA ENTRE MONITOREO Y EVALUACIÓN

Desafíos de la Evaluación

59

Desafíos para la evaluación de programas y su utilización en la Planificación y el proceso presupuestario

• Involucramiento político con la evaluación (Gobierno, partidos políticos, legislativo, ciudadanía)

• Retroalimentación para la toma de decisiones de política pública (arreglos institucionales y técnicos)

• Fortalecimiento de las capacidades técnicas de los mandantes

• Desarrollo de metodologías adecuadas (que permitan el uso de la información en el ciclo presupuestario y de rendición de cuentas)

• Resolver tema costo, tiempo v/s utilización de la información y sentido de la evaluación

60

Principales debilidades de la Evaluación de Programas como instrumento de apoyo a la Planificación y Presupuesto

• Las evaluaciones realizadas tienen dificultades de ser parte de los insumos de procesos regulares de planificación y presupuesto

• Escasa institucionalización de las evaluaciones de

impacto

Se aplican evaluaciones de impacto en la mayoría de los programas sociales con financiamiento externo

• Con excepciones hay escasa evidencia de que los informes de evaluación de programas (sus resultados) sean utilizados en la toma de decisiones de políticas o programas públicos

– Las evaluaciones de programas operan principalmente como insumo a nivel micro, no contribuyen a la evaluación de políticas

61

Principales debilidades de la Evaluación de Programas como instrumento de apoyo a la Planificación y Presupuesto

• Escasos mecanismos de validación y /o certificación de las metodologías utilizadas en las evaluaciones

• Los indicadores de los Programas son poco confiables: – Escasamente focalizados y estratégicos– Varían intertemporalmente y se dificulta su

seguimiento e insumo para la evaluación– No auditables

CONCLUSIONES

•Precisas y fundamentarse en las revisiones y análisis evaluativos. •Presentar resultados negativos de acuerdo a los objetivos del programa.

•Indicar resultados positivos de acuerdo a los productos y objetivos del programa.

•Señalar los antecedentes que las respaldan (indicadores, mediciones, etc.).

RECOMENDACIONES

•Deben apuntar a mejorar el diseño, gestión, eficacia/calidad y/o eficiencia/economía del programa.

•Deben indicarse solo las relevantes.

•Deben indicar los aspectos que requieren cambios; el sentido de estos cambios, identificando los elementos técnicos centrales; y las condiciones que hacen posible su implementación.

•Deben elaborarse considerando las conclusiones de la evaluación.

RECOMENDACIONES

•Deben estar fundamentadas en el análisis.

•Proponer acciones para materializar las recomendaciones.

•Analizar beneficios y costos de implementar las recomendaciones.

•Proponer una estrategia de implantación y seguimiento.

•Ser claro, preciso y conciso en la redacción.

Evaluación en el ámbito Estatal

Sistema de Evaluación del Desempeño SED

• Determinar la eficiencia y efectividad de los Programas de desarrollo social.

• Contar con evidencia sobre lo que si funciona y cómo mejorarlo.

• Mejorar el diseño, la implementación y operación del programa o política de desarrollo social.

• Entregar información (indicadores y evaluaciones) a diferentes niveles de tomadores de decisiones, para mejorar la calidad del gasto público.

• Mejorar la Rendición de Cuentas y la Transparencia.

¿Por qué evaluar?

•Los programas sociales son evaluados desde varias aristas y en diferentes etapas.•Hay un menú de instrumentos de evaluación -sustentado en conocimiento científico- que identifican:

•En: Diseño Implementación Operación y desempeño Resultados Seguimiento a recomendaciones Impacto

• Es necesario analizar el conjunto de evaluaciones, puesto que cada evaluación tiene objetivos específicos. • Se alcanza un diagnóstico adecuado gracias a la complementariedad de todos los tipos de evaluación.

Áreas de MejoraAvances Debilidades Logros

¿Por qué hay diferentes tipos de evaluación?

Vinculación de la planeación / programas públicos /

presupuesto, y por ende las metas y objetivos que se quieren lograr y los indicadores con lo que se

habrá de evaluar.

Seguimiento y evaluación a los

indicadores de los programas

públicos, establece los criterios de evaluación y

genera información para la

toma de decisiones y la

asignación de los recursos.

Permite, con base en la información

de evaluación, establecer

mejoras a la gestión de

programas y al gasto público.

Se definen objetivos de

gobierno, políticas, ejes de

desarrollo y líneas de acción.

Planeación del

Desarrollo

Presupuesto con base en

Resultados

Programas de Mejora gasto

y gestión

Sistema de Evaluación del Desempeño

Se diseñan y estructuran

para atender con pertinencia

los asuntos públicos.

Elementos.* Objetivos.* Beneficiarios* Indicadores.* B´s y S´s* Actividades.

Programas Públicos

Ruta

Administrar, Evaluar y Asignar el PRESUPUESTO con criterios de eficiencia, eficacia, economía, transparencia y honradez, para satisfacer los objetivos a los que este destinado.

Reto de gobierno para adoptar la Gestión para Resultados

Ciclo Presupuestal

Planeación

Programación

Presupuestación

EjecuciónControl

Evaluación

Transparencia

Sistema Estatal de Evaluación del

DesempeñoNormas técnico Jurídicas

Órgano técnico de evaluación

Vinculación del ciclo con la fase de Evaluación

GESTORES PÚBLICOS

RESPONSABLES DE GOBIERNOS

RESPONSABLES DE LA

FISCALIZACION CIUDADANOS

¿QUIÉN DEMANDA LA INFORMACIÓN DE LAS EVALUACIONES?

El sistema de evaluación estatal del desempeño debe producir información de evaluaciones relevantes para los

diferentes usuarios de acuerdo a la naturaleza y sus facultades de los mismos

Información de las Evaluaciones

Sistemas de Seguimiento y Evaluación


Se entiende estos últimos como procesos de reflexión y comunicación que articulan acciones de recolección y gestión de la información, para lograr una adecuada y oportuna rendición de cuentas que propicieaprendizajes.

Diseño de un Sistema de Evaluación del Desempeño

• Deben ser herramientas flexibles e innovadoras

• Hechas a la medida de las necesidades de aprendizaje de múltiples usuarios, reconociendo sus características organizacionales específicas


Sistema de Evaluación del Desempeño (SED)

Es importante atender a la demanda de los usuarios, beneficiarios e interesados con la finalidad de gestionar y administrar las evaluaciones de los programas públicos de manera integral y sistemática.

Para lo anterior es indispensable conformar un Sistema de Evaluación del Desempeño a través de un órgano técnico responsable de consolidar e integrar las evaluaciones y con un sistema de monitoreo y control de la gestión pública.

Por lo tanto un Sistema de Evaluación del Desempeño se puede concebir en dos grandes pilares:

1. Sistema Integral de Evaluación Estratégica (SIEE) Mide el impacto y evalúa los objetivos del Plan Estatal de Desarrollo.

2. Sistema de Monitoreo y Control de la Gestión (SM&CG) Mide el cumplimiento de la gestión pública de los programas públicos.

Sistema de Evaluación del Desempeño (SED)

Responsable de ejecutar

Evaluadores de impacto estratégico

SM&CG

SIEE

¿Cuánto estamos gastando?¿Se esta ejerciendo el gasto en tiempo y forma?¿En qué se esta gastando?

Debe conocerse

Debe conocerse

Impacto a los beneficiarios¿A que población beneficia el programa?¿Cuáles son los logros y resultados del programa?

Identificación de Responsabilidades

¿Quién Evalúa Qué?

Información del

Desempeño

Entidad de Evaluadora Resultados

De políticas y Programas

Dependencias Ejecutoras

Secretaría De Finanzas

Órgano de Control Interno del Gobierno

Control Interno vs. Evaluación

El control interno es un proceso que lleva a cabo la administración de una organización y que debe estar diseñado para dar una seguridad razonable, en relación con el logro de los objetivos previamente establecidos en los siguientes aspectos básicos:

• Efectividad y eficiencia de las operaciones;

• confiabilidad de los reportes financieros

• Cumplimiento de leyes, normas y regulaciones, que enmarcan la actuación administrativa.

• El campo de acción para la contraloría es el control de gestión

1. Diseño del Órgano Técnico

Artículo 134 constitucional

Soporte legal del Órgano Técnico de Evaluación

• …se administrarán con eficiencia, eficacia, economía, transparencia y honradez para satisfacer los objetivos a los que estén destinados.

1 ) Preparar y administrar recursos para resultados

Los recursos económicos de que dispongan la Federación, los estados, los municipios, el Distrito Federal y los órganos político-administrativos de sus demarcaciones territoriales…

• …serán evaluados por las instancias técnicas que establezcan…

2 ) Evaluar programas para resultados

Los resultados del ejercicio de dichos recursos…

…respectivamente, la Federación, los estados y el Distrito Federal, con el objeto de propiciar que los recursos económicos…

• …se asignen en los respectivos presupuestos en los términos del párrafo anterior…

3 ) Asignar recursos (PRESUPUESTO)

El manejo de recursos económicos federales por parte de los estados, los municipios,…, se sujetará a las bases de este artículo y a las leyes reglamentarias. La evaluación sobre el ejercicio de dichos recursos se realizará por las instancias técnicas de las entidades federativas…

Para la creación de la Instancia Técnica de Evaluación y atendiendo la

soberanía que estable en el artículo 40 Constitucional, las legislaturas

locales podrán establecer las modalidades convenientes para aplicar los

preceptos que establece el artículo 134 y evaluar los recursos propios y

federales transferidos, generando el sustento jurídico aplicable a la

legislación de la entidad.

La constitución de la Instancia Técnica de Evaluación requerirá:

reformas legales

recursos para su financiamiento

capacitar y certificar evaluadores

Diseño del Órgano Técnico

Derivado de la controversia que ha generado la creación de la Instancia Técnica de Evaluación debido a que teóricamente esta instancia pudiera constituirse tanto en el Poder Ejecutivo, Legislativo o Judicial, como en un organismo autónomo e independiente de los ejecutores de gasto, se presentan dos opciones para su aplicación en las entidades, así como sus ventajas y desventajas

Instancia Técnica Autónoma

Podría Constituirse como un órgano autónomo cuyas funciones de evaluación abarcarían a los 3 poderes del Estado, Organismos autónomos, OPD´s, así como gobiernos municipales.

Implicaría: La adecuación al marco jurídico constitucional del Estado, además de las adecuaciones a las leyes locales correspondientes.


Ventajas:

Independencia en la evaluación de todos los Poderes y Entes Autónomos, así como de los Gobiernos Municipales.

Garantiza la imparcialidad en la evaluación del desempeño. Mayor profesionalización del personal evaluador.

Desventajas:

Dado que los resultados de la evaluación del desempeño inciden en la programación y presupuestación de proyectos del Ejecutivo, pudiera verse disminuida la flexibilidad en otras etapas en el ciclo Planeación-Programación-Presupuestación.

Requiere reforma constitucional y el proceso de negociación política es significativamente mayor al de reforma legal.

Finalmente la creación de un nuevo órgano autónomo representa indudablemente un impacto presupuestal para su financiamiento.


Implicaría:

Dentro del Poder Ejecutivo se pudiera crear ente descentralizado o desconcentrado o bien un Comité.

Para el ámbito municipal correspondería a los Ayuntamientos la creación de la instancia técnica que los evalúe.

En caso de radicar en el Poder Legislativo del Estado, la función de evaluar pudiera realizarse por el Órgano Superior de Fiscalización o su equivalente o un órgano creado para estos efectos, como pudiera ser la creación de un instituto de evaluación.

Estas opciones requerirían afectar, dependiendo el Poder donde quedara radicada la instancia, tanto la Ley Orgánica, así como la Ley de Presupuesto, Contabilidad y Gasto Público, y las demás leyes y reglamentos que tengan vinculación y para dar solidez jurídica al SED incorporarlo a la Constitución Estatal

Instancia Técnica de Evaluación dependiente del Poder Ejecutivo o Legislativo

Ventajas:

Perfecciona el ciclo planeación-programación-presupuestación, dado que la información que se genera derivada de la evaluación servirá de base para la conformación de los presupuestos posteriores.

El proceso legislativo es más sencillo dado que no requiere necesariamente una modificación constitucional.

Evita el riesgo de aumento de recursos humanos y materiales que realicen las funciones de evaluación del desempeño.

Desventaja: Requiere un esfuerzo mayor en la profesionalización del personal

evaluador dentro de la unidad administrativa que se determine. El radicar la instancia evaluadora en un solo Poder, pudiera despertar una

sensación de intromisión de los demás entes evaluados.

Instancia Técnica de Evaluación dependiente del Poder Ejecutivo o Legislativo

Programa (actividades, componentes – productos, propósito)

Conjunto de programas o Estrategias de Políticas (distintos propósitos y un mismo fin)

Organización o institución (programas-productos, objetivos, misión)

Diseño del Órgano Técnico

Las evaluaciones, corresponden a estudios, exámenes o revisiones técnicas, que haciendo uso de un conjunto de información ordenada según un marco metodológico, tienen por finalidad construir valoraciones y encontrar factores explicativos a estas valoraciones o juicios evaluativos respecto de:

Evaluación de los recursos públicos

2. Aspectos tecnológicos de la Evaluación del

Desempeño

ESTRATÉGICOS (forman parte del SED)

Miden el grado de cumplimiento de los objetivos de las políticas públicas y de los programas presupuestarios; y contribuyen a corregir o fortalecer las estrategias y la orientación de los recursos

DE GESTIÓN (forman parte del SCG)

Miden el avance y logro en procesos y actividades, es decir, sobre la forma en que los bienes y servicios públicos son generados y entregados

Tipos de Indicadores de Desempeño

INDICADORES DE DESEMPEÑO Implicados en el SM&C Implicados en el SIEE

Presupuesto ($) Producción

(Q)Resultados

(desde punto de vista de los beneficiarios)

Indicadores

-Intermedio

-Final

Insumos / Procesos

ACTIVIDADES

Indicadores

-Cronograma

Programa de trabajo

-Funciones

-Ejecución de recursos

COMPONENTES

Indicadores

-Cobertura y focalización

-Oportunidad

-Características de Bs. y Ss.

PROPOSITOFIN

EficienciaRelación insumos/productos

EficaciaGrado de logro del objetivo

INSUMOSACTIVIDADES (PROCESO)

PRODUCTOS (BIENES Y SERVICOS)


(MEDIANO PLAZO)

RESULTADOS FINALES

(IMPACTOS) (LARGO PLAZO)

Calidadde los bienes y servicios

EconomíaUso de los recursos

DIMENSIONES DEL DESEMPEÑO Y CADENA DE RESULTADOS

RESULTADOS

PRODUCTOS

PROCESOS

INSUMOS

COSTOS

Eficacia

Eficiencia

Economía

Calid

adC

osto

-Efe

cti

vid

ad

Ámbitos de competencia y desempeño

IMPLICADOS EN EL SIEE del Estado Implicados en

un SM&CG por dependencia

¿Qué evaluar por ámbito de desempeño?

INPUTS

PROCESO

PRODUCTO - OUTPUT

IMPACTO - OUTCOME

¿Cómo están cambiando las condiciones que estamos interviniendo?

¿Cuántas unidades de productos y servicios estamos generando?

¿Con qué calidad?

¿Con qué rapidez lo estamos haciendo?

¿Cuánto nos cuesta?

¿Cuántos recursos invertimos, cuánto personal trabajó en el proceso?

Eficacia

Eficiencia

Calidad

Economía

Ámbitos de Desempeño en la Matriz del marco Lógico: Resumen Narrativo

Indicadores de Evaluación del Desempeño

Medios de Verificación Supuestos

FIN (Objetivo Estratégico Institucional)


SED

Propósito (Objetivo del programa)


Componentes (Bienes y Servicios)

Indicadores Estratégicos e Indicadores de

Gestión

Actividades(Tareas y acciones)

Indicadores de Gestión

Clasificación de los Ámbitos de Desempeño:

INSUMOS O INPUTS

Recursos financieros, humanos y tecnológicos invertidos para operar las actividades del proceso. ESFUERZO. Presupuesto por Programas con base en Resultados

PROCESO

PRODUCTO OOUTPUT

IMPACTO O OUTCOME


SM&CG

Programación que realizan las dependencias

LOS SISTEMAS INFORMÁTICOS DE EVALUACIÓN DEL DESEMPEÑO TIENE COMO PRINCIPAL FINALIDAD DAR SEGUIMIENTO Y MONITOREO AL

DESEMPEÑO DE LOS PROGRAMAS PÚBLICOS DE GOBIERNO

ESTE SEGUIMIENTO SE REALIZA FUNDAMENTALMENTE A PARTIR DE LOS INDICADORES PROPUESTOS EN CADA UNO DE LOS PROGRAMAS

A NIVEL ESTRATEGICO SE MONITOREA ESPECIALMENTE LOS INDICADORES QUE MIDEN AMBITOS DE LOS OBJETIVOS DE FIN Y PROPÓSITO Y AGUNOS COMPONENTES MUY

RELEVANTES EN LA AGENDA DE GOBIERNO

A NIVEL DE GESTIÓN SE MONITOREA INDICADORES QUE MIDEN LOS AMBITOS DE LOS OBJETIVOS DE COMPONENTES Y ACTIVIDADES

POR TANTO LA FUENTE DE INFORMACIÓN SOBRE LA QUE SE REALIZAN TODOS LOS PROCESOS SON LOS DATOS DE IDENTIFICACION DE ESTOS DE

INDICADORES

Sistemas Informáticos de Evaluación del Desempeño

Ficha Técnica del PP y su vinculo con la Evaluación

SIEEIndicadores Estratégicos

SM&CGIndicadores de

gestión

SIEEIndicadores

financieros y clasificadores de

gasto

Interacción de información de la ficha técnica del PP con los instrumentos de evaluación, control financiero y de la gestión pública.

Evento de entrada

Datos del indicador

Diferenciación por tipo de indicador

Procesos para

indicadores estratégicos

Proceso para indicadores de

gestión


eficacia


calidad

Proceso para indicadores de componentes

Actividades

Diferenciación por dimensiones de

evaluación


eficacia

productoProceso para

indicadores de eficiencia


Calidad

12


eficacia Indicadores

de Fin o propósito

Procesos implicados en el SIEE y SM&CG

Entradas

Datos de indicador

-Dependencia-Programa-Tipo de Indicador-Dimensión de evaluación

Clasificación de tipo de proceso

Elaboración de rutinas para el indicador de acuerdo a los

datos

Datos de las

variables del

indicador

Aplicación de formulas

del indicador

Comparación contra metas

o Contra

parámetros de referencia

Input´s de las dependencias de

gobierno

- Indicadores-Estadística- información de parámetro- Avance etc.

Salidas output´s

Entradas al inicio del cicloPp

Durante el ciclo

Ejemplo de Ruta que sigue un indicador en el SIEE

Dimensión del Indicador: Eficacia, eficiencia o calidad Ámbito del Indicador: Resultados, finales o intermedios, Productos o servicios (componentes)Descripción: Que mide el indicador.Característica del indicadorUnidad de medida: Tasa, porcentaje, Razón, Índice etc.Variables que intervienen: Fórmula del indicador:Base de Comparación oparámetro (meta): contra que se comparaLínea Base: Datos de inicio del indicadorFuente: información que alimentaran a las vairables ejm: Encuesta nacional del empleo INEGI.

Por Dependencia Por programa

público Por tipo de indicador

(estratégico o de gestión)

Por dimensión a evaluar y por

unidad de medición

Datos a procesar en el SED

3. Gestión de la Evaluación del Desempeño

Gestionar la evaluación implica reforzar los mecanismos para la realización de evaluaciones de calidad, sistemáticas, participativas y orientadas a la incorporación de sus resultados en el ciclo de la planeación y programación de estrategias de solución.

La gestión de la Evaluación implica:

•El Plan Anual de Evaluación•Términos de Referencia•Informe de la Evaluación•Informe Anual de Evaluación•Plan de mejora de la gestión

LA GESTIÓN DE LA EVALUACIÓN

• Regulan la evaluación de los programas y la elaboración de las matrices de indicadores, sistemas de monitoreo y objetivos estratégicos.

• Evaluación:

Tipos de evaluacione

Elaboración d Programa Anual de Evaluación

Elaboración de términos de referencia

Seguimiento del resultado de las evaluaciones

Organización y contratación de las evaluaciones y

Difusión de las evaluaciones

Lineamientos Generales para la Evaluación de Programas

a) Diseño

b) DESARROLLOc) COMUNICACIÓN

E INCORPORACIÓN

1. PLAN ANUAL DE EVALUACIÓN Y TÉRMINOS DE REFERENCIA

2. INFORME DE EVALUACIÓN

3. PLAN DE COMUNICACIÓN

4. PLAN DE MEJORA DE LA GESTIÓN

El Itinerario de la Evaluación

Establecer el calendario de ejecución de las evaluaciones de los programas públicos

Vincular el calendario de ejecución de las evaluaciones con el calendario de actividades de la programación y presupuesto del ejercicio fiscal correspondiente para el siguiente año

Determinar los tipos de evaluación que se aplicarán a los programas mediante un programa integral, gradual y útil para las decisiones de asignación de recursos, en el marco del proceso presupuestario para los ejercicios fiscales correspondientes

Articular las evaluaciones de los programas público presupuestarios en el marco del Presupuesto con base en Resultados y del Sistema de Evaluación del Desempeño

I. EL PLAN ANUAL DE EVALUACIÓN

Para analizar distintos aspectos de los programas y efectos del Gasto en la población, el Plan Anual de Evaluación prevé lo siguiente:

Revisión y mejora de las matrices de indicadores de los programas presupuestarios estatales

Evaluación del Impacto social y económico de los principales programas públicos

Evaluación del diseño y desempeño global de los programas

Evaluación de la eficiencia de la gestión de los sectores públicos

Evaluación de los procesos que se siguen en la generación de los bienes y servicios públicos que se entregan a los beneficiarios a través de los programas presupuestarios

Estas evaluaciones se convenian o contratan con instituciones públicas o privadas ajenas a la administración y operación de los programas. De ese modo se cumple con la premisa de “no ser juez y parte”

Para el efecto:Se entrega a los evaluadores la información pertinente así como los términos de referencia bajo los cuales se establece la evaluación; El formato a través del cual se integra el reporte de resultados;Los tiempos de entrega; ySe firman los convenios o contratos específicos y legalmente revisados.

I. EL PLAN ANUAL DE EVALUACIÓN

OBSERVACIONES IMPORTANTES A CONTEMPLAR EN EL PLAN ANUAL DE EVALUACIÓN

Publicar convocatorias en la página Web del Gobierno del Estado, así como en la de la Secretaría de Finanzas

Las entidades e instituciones interesadas en realizar la tarea de evaluación, deberán entregar la siguiente información:

- Datos de identificación de la institución evaluadora postulante;- Nombre del programa o de la dependencia pública (evaluación sectorial) con interés de evaluar;- Currículum institucional;- Resumen curricular de los evaluadores participantes;- Protocolo del proyecto de evaluación.

Una vez concluido este proceso, se publicará en las páginas Web del Gobierno del Estado y de la Secretarías de Finanzas y de la Contraloría, tanto los programas a evaluar como la correspondiente instancia evaluadora seleccionada, las fechas de realización, y las fechas de publicación de resultados.

Los TDR constituyen el llamado público para recibir propuestas de instituciones académicas o de empresas consultoras especializadas en evaluación del diseño, impacto, procesos, desempeño global y eficiencia de la gestión de programas públicos, cuyas principales características son:

Ofrecen una estructura básica que facilita la contratación de evaluaciones

Destacan los principales aspectos gerenciales detrás del uso de la contratación al exterior como un mecanismo de mercado aplicado a la gestión pública

Términos de Referencia

Estructura básica de los TDR•Antecedentes

•Objetivo General y objetivos específicos de la evaluación

•Alcance, enfoque de la evaluación, actores implicados y sus responsabilidades

•Metodología

•Actividades a Realizar

•Productos e Informes a entregar

•Duración del servicio

•Recursos y facilidades a ser provistas por la entidad contratante

•Costos y remuneración

•Perfil del evaluador

•Criterio de selección/evaluación

•Confidencialidad de la información y ANEXOS

TDR: Antecedentes del programa

Breve descripción del programa o proyecto gubernamental que se pretende evaluar, y de la o las necesidades que se pretenden satisfacer con los entregables de la consultoría, incluyendo una síntesis de la problemática que el programa aborda y los supuestos de su intervención

La descripción debe incluir aspectos generales del programa, tales como: objetivo principal, tiempo que lleva implementándose, población objetivo, cobertura geográfica, metas y logros de la intervención, principales hallazgos de evaluaciones previas, contexto institucional en el que se ubica el programa, aspectos organizativos y de gestión del programa y asignación presupuestal, entre otros

Es necesario describir el propósito esencial que persigue la ejecución de los servicios de consultoría a contratar.

Debe existir un solo objetivo general.

Los objetivos específicos deben señalar con mayor precisión y detalle los propósitos concretos que se deben alcanzar.

Estos objetivos constituirán una guía para el consultor en la ejecución de los trabajos designados, y una pauta de supervisión para la entidad contratante.

Usualmente, los objetivos específicos referidos a evaluaciones de programas en operación se relacionan con ajustes en la validación de la pertinencia de objetivos, redefinición de metas, definición y ajuste de mecanismos de focalización, elaboración de indicadores, integración de fuentes de información, diseño de sistemas automatizados de indicadores, entre otros

TDR: Objetivos de la Evaluación

TDR: Alcance y enfoque de la evaluación

Debe definirse con detalle y claridad la lista de las preguntas clave que deberán ser resueltas con la evaluación, lo que permitirá identificar los atributos más relevantes que faciliten la identificación de la modalidad de evaluación requerida

Los aspectos a definir son:

- El agente que la realizará (interno, externo o combinación de estos)

- Aspecto o aspectos gerenciales a evaluar (diseño, procesos, satisfacción de beneficiarios, información y/o impacto)

- El ciclo de vida en que se ubica la evaluación (ex ante, concurrente y de medio término, ex post), y otras dimensiones o atributos de la evaluación antes descritos

- El período temporal que comprende la evaluación

TDR: Metodología

Los elementos conceptuales básicos a incluir en la descripción metodológica de una evaluación de programa público son:

Técnicas a aplicar, cuyo empleo hará más probables los resultados esperados

Métodos y técnicas sistematizadas que deberán ser empleadas por el consultor

Estrategias de desarrollo de la consultoría

TDR: Actividades a realizar

Indicar las actividades de campo y las que comprenden el denominado trabajo de gabinete, así como los soportes con los que se respalda la información recolectada, entre otros aspectos

Las actividades deberán estar contenidas en un cronograma de trabajo tipo Gantt en el que se indiquen las fechas en las que se deberán presentar los entregables (escritos y electrónicos) a la entidad contratante

En ocasiones, los TDR de estudios de evaluación describen un listado secuencial de tareas en las que cada una de ellas refiere a un punto geográfico distinto; el cronograma debe incluir la dimensión espacial en estos casos

En resumen, este apartado de actividades es de naturaleza netamente programática; presupone objetivos específicos definidos sobre los que la asignación de responsables, tiempos, procesos y productos también es definida

TDR: Productos e Informes a entregar

Los productos deben ser definidos de manera específica y clara, así como la secuencia y los tiempos de entrega con fechas de seguimiento a través de tres tipos de informes, uno inicial, informes periódicos o de avance y el final

Determinar la frecuencia de los informes periódicos de avance y las características en cuanto a contenido, así como de edición y formato del mismo

Determinar la extensión, número de ejemplares a entregar, tipo y tamaño de letra, márgenes, tablas que deberán incluirse, anexos, tipo de soporte en el que se entregarán -impreso y/o digital-, exigencia de un resumen ejecutivo, nombre y cargo de las personas que recibirán los informes, etc.

Para evaluaciones que involucren la realización de análisis estadísticos, los requerimientos deben ser muy precisos e incluir la documentación (metadatos) requerida como respaldo, objetivos de la operación estadística, instrumento de recolección de información, diseño y tamaño de la muestra, trabajo de campo, etc. En ocasiones, los productos involucran el desarrollo de modelos geográficos que permitan referenciar las bases de datos.

La evaluación de programas públicos exige contar con resúmenes ejecutivos que presenten una síntesis de los hallazgos y las recomendaciones, así como la ubicación de los temas indicados en las síntesis

Un problema muy frecuente es querer utilizar los estudios derivados de las evaluaciones ante audiencias diversas, sin considerar que un documento enorme y con cierta complejidad técnica puede desalentar y desmotivar fácilmente a cualquier lector

TDR: Productos e Informes a entregar

TDR: Duración del Servicio

Es necesario estimar el tiempo para cada una de los entregables.

Para el caso, el cronograma de actividades deberá contener el producto o entregable correspondiente.

Los tiempos de consultoría deben ser congruentes con los tiempos legales en términos del ciclo presupuestal con el fin de que éstos sean oportunos

TDR: Recursos y facilidades por parte de la entidad contratante

Implica un listado de la información, bienes y servicios que el área técnica considere necesario para llevar a cabo la consultoría, por ejemplo: espacio de oficinas, vehículo (de ser necesario) equipo de computación, equipo de impresión, etc. En el caso de evaluaciones que involucran trabajo de campo, estos recursos y facilidades constituyen una parte fundamental del trabajo de la evaluación

Documentos a ser entregados al consultor evaluador y aquellos a los que puede recurrir, dónde los puede encontrar y la persona que se los habrá de suministrar

Se recomienda designar a un responsable de la entidad contratante que pueda suministrar la información, ya sea por una o varias áreas

En ciertos estudios, la información que provea la entidad contratante y que se establezca en los TDR resulta fundamental para llevar adelante tales estudios

TDR: Costos y remuneración

Los costos de una consultoría normalmente tienen dos componentes: los referidos a honorarios o remuneración de los consultores y los denominados gastos reembolsables (directos y necesarios)

Debe establecerse qué elementos constituyen la remuneración, ya que estos pueden variar en función de la legislación

La remuneración de consultores puede distinguir entre consultores locales y extranjeros, personal profesional y personal de apoyo o administrativo, personal de campo o de oficina

Las tarifas deben establecerse sobre la base de la complejidad del servicio y localización

La entidad contratante debe indicar los requerimientos mínimos profesionales, generalmente divididos en dos partes: formación y experiencia

En los requerimientos académicos se define el nivel máximo (licenciatura, posgrado, doctorado) y si se requiere alguna formación especializada (cursos de capacitación, diplomados, etc.)

La experiencia profesional se refiere a la experiencia previa en la realización de estudios similares; en ocasiones suele distinguirse la experiencia general en el campo y la específica en el tipo de evaluación concreta a la que se refieren los TDR; ésta, sin duda, es la más relevante

Debe precisarse la especialidad que deberá tener el consultor (en el caso de consultores individuales) o la de éste y de los miembros clave del equipo del consultor (en el caso de firmas de consultoría). Como regla práctica se recomienda que si se requieren tres o más consultores individuales, es mejor optar por una firma y designar en uno el rol de liderazgo

TDR: El Perfil del Evaluador

TDR: Criterio de selección / evaluación

La siguiente lista da una idea de la ponderación usualmente utilizada, así como la correspondiente tabla o esquema de evaluación (Medina Giopp y cols., 2004): Experiencia específica en relación con la metodología de

evaluación solicitada y el campo. Puntaje 0-10. Calidad de la metodología - plan de trabajo. Puntaje 20-50. Calificaciones personal clave. Puntaje 30 a 60. Transferencia de conocimientos (de ser necesario). Puntaje 0-

10. Otros (participación de personal nacional). Puntaje 0-10.

TDR: Confidencialidad de la información y ANEXOS

Es importante que la entidad contratante entregue al consultor información relativa a la normativa vigente en relación con la diseminación estadística

En todas las leyes estadísticas existen secciones específicas vinculadas al denominado “secreto estadístico” y “secreto tributario”, que regulan los temas de confidencialidad tanto de personas como de establecimientos comerciales; es decir, si el consultor lidera la realización de una operación estadística, debe observar las disposiciones vigentes

El monto que la entidad contratante pague al consultor en los términos del contrato de prestación de servicios que suscriban, incluye la titularidad de los derechos patrimoniales a favor de la entidad contratante, sobre los entregables y demás que resulten derivados de los servicios materia de contratación, por lo que el consultor no tendrá derecho a cobrar cantidad adicional por este concepto; en el entendido de que la metodología, herramientas y demás conocimientos que el propio consultor utilice para la prestación de los servicios, seguirán siendo propiedad de este último

Si existen documentos o información adicional que por su volumen no convenga incluir en el documento principal de los Términos de Referencia, se presentarán como anexos.

Una buena guía de “Términos de Referencia” es la desarrollada por la Secretaría de Hacienda y Crédito Público, en colaboración con la Secretaría de la Función Pública y el CONEVAL

El modelo utilizado incluye seis temas de evaluación:

1. Características del programa

2. Contribución a los objetivos estratégicos

3. Matriz de indicadores

4. Población potencial y objetivo

5. Vinculación con las Reglas de Operación

6. Coincidencias, complementariedades y duplicidades.

Ejemplo de TDR

II. Reporte de Evaluación

El documento informativo de la evaluación deberá contener lo siguiente:

A. Resumen Ejecutivo (Máximo 2 cuartillas).

B. Informe Final (bajo el siguiente índice):

1. Introducción (1 cuartilla).

2. Evaluación de Diseño (36 cuartillas).

3. Principales Fortalezas, Retos y Recomendaciones (Máximo 5 fortalezas y/o oportunidades, 5 debilidades y/o amenazas, y 5 recomendaciones).

4. Conclusiones (2 cuartillas).

5. Bibliografía

6. Anexos

- Características generales de programa.

- Objetivos estratégicos de la dependencia y/o entidad.

- Instrumentos de recolección de información.

- Bases de datos de gabinete utilizadas para el análisis en formato electrónico.

III. Informe Anual de Evaluación: El Plan de Comunicación

El plan de comunicación es una importante herramienta que permite apreciar de una mejor manera el alcance de resultados, con el fin de mejorar las políticas públicas y los programas de intervención, que para el caso, se identifican como Programas Presupuestarios

La información a comunicar debe ser transmitida a los usuarios potenciales adecuados, es decir, a quienes toman las decisiones de mejora de programas y de políticas públicas, considerando los siguientes criterios:

Los informes deben tratar temas que los usuarios perciban como importantes, y en ese sentido, los tomadores de decisión deberán considerar como base el documento informativo emitido por la instancia o institución que realizó la evaluación.

Los informes deben oportunos en tiempo y forma, así como comprensibles para los usuarios a los que están dirigidos.

IV. PLAN DE MEJORA DE LA GESTIÓN

El propósito del Plan de Mejora de la Gestión es contribuir en

toda la acción pública para lograr sus mayores y mejores efectos

con eficiencia, eficacia, calidad, economía, transparencia y

honradez

De manera articulada con el Sistema de Evaluación del

Desempeño, el Programa de Mejora de la Gestión PMGN, mide

y evalúa los avances en el desarrollo interno de las instituciones

de la Administración Pública Estatal del y la efectividad de sus

programas y servicios, a fin de encontrar y promover las mejores

formas y prácticas de ejecución orientadas al éxito de su Misión.

El Programa constituye la propuesta y estrategia del Gobierno Estatal,

para transformarlo e impulsar la consecución de sus objetivos estratégicos

En este enfoque la evaluación está orientada hacia la mejora, y sus

resultados son el insumo para promover las transformaciones

estructurales necesarias para el desarrollo social y económico de la

entidad

La mejora de la gestión es, por tanto, la estrategia enfocada a realizar

avances que transformen la operación cotidiana de las instituciones

públicas hacia el logro de resultados tangibles y verificables


El Programa de Mejora de la Gestión tiene como finalidad última contribuir con información sobre el desempeño y la gestión institucional, tanto para la toma de decisiones presupuestales como para la mejora de las políticas y programas y rendición de cuentas, con una ponderación objetiva de los resultados alcanzados y esperados de las actividades institucionales


QUÉ IMPLICA Y PARA QUÉ….

Cumplir estos objetivos y metas de gobierno, asume:

•El reto de modernizar las estructuras de la administración pública

•Mejorar los sistemas y procedimientos a través de los cuales los recursos se transforman en bienes, trámites y servicios públicos •Profesionalizar al nivel de experto la función pública

•Sustento en disposiciones de carácter institucional


Objetivos:

• Establecer el proceso que deberán seguir las dependencias para dar seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones, con el fin de contribuir a mejorar tanto el desempeño (resultados) como el proceso de programación y presupuestación

• Integrar los ASM en el diseño de los programas públicos para el siguiente ejercicio

• Articular los resultados de las evaluaciones en el marco del SED para mejorar el desempeño

• Establecer los responsables de definir los instrumentos de trabajo para el seguimiento de los ASM así como su formalización

Mecanismo para Segumiento de ASM

Contenido:

Definición del ámbito de aplicaciónProceso de Para el seguimientoIdentificación de fuentes de informaciónAnálisis y clasificación de los aspectos susceptibles de

mejoraDefinición e los instrumentos de trabajo para el

seguimiento de los ASM (planes de trabajo, documentos de trabajo, compromisos establecidos)

Mecanismo para Seguimiento de ASM

1. Selección de los aspectos

susceptibles de mejora

2. Clasificación de los aspectos susceptibles de mejora

3. Formulación de instrumentos susceptibles de mejora

4.Difusión de

instrumentos

Criterios de selección:• Claridad• Relevancia• Justificación• Factibilidad

Nivel de prioridad:• Alta• Media • Baja

Clasificación de Aspectos:• Específicos• Institucionales• Interinstitucionales• Intergubernamentales

Mecanismo para el seguimiento de los Aspectos Susceptibles de Mejora

Tipo de Aspecto:• Específico• Institucional• Social

La Alta Dirección Pública es un factor esencial (Recursos Humanos calificados) para desarrollar e instrumentar procesos de reforma del Estado que se han llevado a cabo en los países de la OCDE en los últimos 20 años.

Por ejemplo en el caso de Chile en América Latina se acompañó la instrumentación de la Gestión para Resultados con un Sistema de Alta Dirección Pública que permita conducir a niveles directivos y gerenciales la aplicación de políticas públicas hacia un mejor desempeño eficiente y eficaz del Estado

Es por eso necesario vincular el proceso de la formación de recursos humanos calificados a la gestión para resultados

Alta Dirección Pública en la implementación del PBR-SED

En la mayoría de los países de la OCDE existe una “Unidad Central” encargada de gestionar a la Alta Función Pública

Rendición de cuenta: Ante el Congreso, Presidente o Ministros

Grado de independencia del poder político

Sistemas tipo Westminster altamente independientes del poder político

Sistemas híbridos que contemplan concursos abiertos y equitativos con poder más o menos discrecional del poder ejecutivo para realizar los nombramientos

Alta dependencia del poder ejecutivo.

Sistemas de Función Pública

Sistemas basados en el mérito entregan la selección a las “Unidades Centrales”

Comisión independiente es encargada de filtrar candidatos y el nombramiento corresponde a la autoridad política

Acceso a la categoría de Alta Función se realiza por mérito pero las promociones al interior de la categoría son menos transparentes

En muchos países los cargos están abiertos a candidatos del sector privado

Los mandatos en la mayoría de los países tienen duración limitada

Muchos países aplican a los altos funcionarios remuneraciones ligadas al desempeño.

Proceso de reclutamiento

Generar información de desempeño de los programas, proyecto u otras acciones de gobierno

Asegurar la disponibilidad de información para su análisis en el proceso presupuestario

Limitar el mal uso de recursos públicos e incentivar incrementos en el desempeño

Utilizar evaluaciones de impacto en los programas públicos que genere evidencia de los resultados de la población beneficiaria del programa

Informar a los actores de la sociedad respecto de cómo se están usando los recursos por parte de los políticos y burócratas

Sugerencias para la implementación de la Evaluación

Instituto para el Desarrollo Técnico de las Haciendas Públicas

Lic. Rebeca Elizalde HernándezTécnico Investigador

Lic. René HerreraTécnico Investigador

Lerdo de Tejada 2469 , Col. Arcos Sur Guadalajara, Jalisco. C.P. 44500

T. (33) 36 69 55 50 al 59

www.indetec.gob.mx

Gracias por su Atención

http://www.indetec.gob.mx/

evaluación de programas públicos sistema de evaluación del desempeño sed

Documents