¿cómo medir los resultados de la gestión -...
TRANSCRIPT
“La Gestión Pública por Resultados.
¿Cómo medir los resultados de la gestión
gubernamental?”
XXXVIII Seminario Internacional de Presupuesto Público
Managua- Nicaragua
16 al 20 de Mayo 2011
Dra. Marianela ArmijoÁrea de Políticas Presupuestarias y Gestión Pública ILPES/[email protected]
Temas
• Gestión orientada a resultados
• Instrumentos para la medición de resultados en el Sector Publico
• Experiencias en la implementación de Sistemas de Monitoreo y Evaluación en América Latina
• Lecciones aprendidas
PROYECTOSBienes
PROGRAMAS
INFORMACIÓN
(INDICADORES)
GESTIÓN
PÚBLICADESICIONES
SERVICIOS
INSUMOS PROCESO PRODUCTOS
RESULTADOS
El proceso productivo del sector público
Es necesario contar con informacion que responden a diferentes preguntas:
PROYECTOS
PROGRAMAS
INSUMOS PROCESO PRODUCTOS RESULTADOS
• Eficacia• Calidad• Eficiencia
• Eficacia• Calidad• Eficiencia• Economía
• Eficacia• Calidad• Eficiencia
• Eficacia
• (Eficiencia)
Bienes
SERVICIOS
Elementos comunes Gestión por Resultados (GpR)
• Planeación- Presupuesto- Articuladas a prioridades de política pública (Búsqueda del Bienestar ciudadano, Valor Público)– Nivel Nacional, Sectorial, Institucional
• Sistemas de Monitoreo y Evaluación- Presupuesto- Rendición de Cuentas
• Convenios de Desempeño (Institucionales-Gerencia)
• Rendición de Cuentas
Sistemas de Monitoreo y Evaluación
Conjunto de instrumentos y procedimientos
Que entregan información para hacer el seguimiento y evaluar el desempeño.
Indicadores de desempeño
Evaluaciones
Planificación Estratégica y Evaluación del desempeño desde una perspectiva sistémica
I. Planificación-Programación-Presupuesto
II. Monitoreo y Evaluación
III. Rendición de Cuentas
Plan Nacional de
Desarrollo
Planificación Sectorial
Planificación-
Programación
Presupuestaria con
enfoque a resultados
Sistema de Indicadores
de Gestión y resultados
Evaluación de Impacto
Ex –Post de Inversiones
y Resultados
Intermedios
Informes de Evaluación
Anual Resultados de la
Gestión, Congreso,
Órganos de Control
MONITOREO Y EVALUACION
Componentes Instrumentos Metodología Uso de la
Información
Requerimientos
Evaluación
de
Resultados
Evaluaciones
Complementarias
Evaluación de
Impacto o
Resultados Finales
Evaluación de
Programas, o
Evaluación
Institucional del
Gasto Público
Econométricas,
Estadísticas
Complementada
con evaluación
cualitativa.
Marco Lógico
Consultorías
especializadas, de
carácter externo
licitadas por el Órgano
responsable.
Establecimiento de
marco metodológico.
Evaluación de Impacto
(12 meses)
Evaluación de
Programas (3-5 meses)
Monitoreo y
Evaluación de
la Gestión
(Operativa y
Presupuestaria
)
Sistema de
indicadores de
desempeño:
producto, resultado
intermedio y final,
eficiencia, calidad,
ejecución
presupuestaria
Planificación
estratégica.
Diseño de
sistema de
control de
gestión
Procesos de definición
de prioridades,
objetivos estratégicos,
metas
Sistemas de
Información para el
monitoreo de los
indicadores
Políticas,
Programas
Seguimiento y
Evaluación
Institucional
Rediseño de
Programas
Rendición de
Cuentas
Monitoreo de indicadores
De gestión y resultados
Formulación Ejecución
Evaluación
Discusión
Aprobación
Rendición de CuentasRetroalimentación
Para la toma de
decisiones
INFORMES
Planificación
Programación
Gobierno
Sectores/ Ministerios
Jerarcas
Asamblea
Legislativa
Órganos de Control
Ciudadanía
Indicadores año n-1 y
año +1
Indicadores de
Ejecución
presupuestaria,
Procesos
Indicadores
Evaluaciones
Complementarias
Evaluación de
Inversiones
Evaluación de
Impacto
Evaluación de
Programas
Uso de la información del desempeño en el Presupuesto
Avances
Se avanza a perfeccionar los Sistemas de M&E como herramientas que permiten vincular el
Plan (prioridades) y el Presupuesto
• Sistema de Evaluación para Resultados. Chile
• SINERGIA. Colombia
• SINE. Costa Rica
• SIAGPLAN. Brasil
• SED. México
• SED. Uruguay
ESTRUCTURA TIPO DE LOS PLANES NACIONALES/ INSTRUMENTOS PARA PRIORIDADES
Estado de Derecho y Seguridad
Economía Competitiva y Generadora
de Empleo
Igualdad de oportunidades
Sustentabilidad ambiental
Democracia Efectiva y política exterior
responsable
EJES
ESTRATEGICOS,
POLITICAa
OBJETIVOS ESTRATEGICOS
GUBERNAMENTALES
METAS INDICADORES
NIV
EL
GO
BIE
RN
O
NIV
EL
INS
TIT
UC
ION
ES
NIV
EL
PR
OG
RA
MA
TI
CO
OBJETIVOS
ESTRATEGICOS
INSTITUCIONALES
OBJETIVOS ESTRATEGICOS
PROGRAMATICOS
PRODUCTOS
METAS
NACIONALES
SECTORIALES
Plan Estratégico Institucional
México
Hay iniciativas para mejorar la vinculación Prioridades/Plan/Presupuesto
• Uruguay: Áreas de Programas
• Brasil: PPA
• Costa Rica: Plan Nacional/ Programación Estratégica
• Colombia: SINERGIA
• Ecuador….. Código de Planificación y Finanzas
• México: SED
INSTRUMENTOS DE CONTROL DE GESTIÓN EN
CHILE
Fuente: www.dipres,cl
EVALUACIÓN INDICADORES DE
DESEMPEÑO
PRESENTACION DE
PROGRAMAS
AL PRESUPUESTO
BGI
MECANISMOS DE INCENTIVO REMUNERACIONAL INSTITUCIONAL
• PROGRAMA DE MEJORAMIEnTO DE LA GESTIÓN• METAS DE EFICIENCIA INSTITUCIONAL
• LEY MEDICA
DEFINICIONES
ESTRATÉGICAS
DiscusiónDiscusión
AprobaciónAprobación
EjecuciónEjecución
EvaluaciónEvaluación
FormulaciónFormulación
EVALUACIÓN DE
INVERSIONES
MISIÓN
El Ministerio …..
N Sistema de
Programación
Gubernamental
1 Prioridad 1
2 Prioridad 2
3 Prioridad 3
… ….
n Prioridad n
N Objetivo
Estratégico
del
Ministerio
Número
Prioridad
Gubernamental
1
2
3
…
n
N Objetivo
Estratégico
Institución
Número Obj.
Estratégico
del Ministerio1
2
3
…
n
Misión de la Institución
La Institución….
Fuente: Arenas, Berner, Presupuesto por resultados…DIPRES, Chile
MISIÓN
El Ministerio …..
N Sistema de
Programación
Gubernamental
1 Prioridad Número
1
2 Prioridad Número
2
3 Prioridad Número
3
… ….
n Prioridad Número
n
N Objetivo
Estratégic
o
del
Ministerio
Número
Prioridad
Gubernamenta
l 1
2
3
…
n
N Objetivo
Estratégico
Institución
Número Obj.
Estratégico de
la
Subsecretaría a
la cual se
Vincula
1
2
3
…
n
Misión de la Institución
La Institución….
Nº Producto
Estratégicos
Usuario Nombre
Indicador
(Dimensión/Amb
ito de Control
Gasto
Asociado
Medio de
Verificación
Nº de Obj.
Estratégico de la
Institución a la
cual se Vincula
Uruguay: Areas Programáticas
Colombia
Brasil
MEXICO:Vinculación PND- Programas Sectoriales - Programas
Presupuestarios.
Visión estratégica de
los Programas
Algunas Preguntas:
Qué problema resuelve
El Programa
Para quiénes
En cuanto tiempo
Como se miden sus
Resultados
Que otros programas
Contribuyen al
Resultado
Qué acciones
de coordinación
Se toman entre los
Programas para
Lograr los resultados
Esperados
Cómo utilizo la
información
De desempeño
Para mejorar gestión
FIN debe estar en sintonía con el
Objetivo Estratégico¿Qué espero lograr con el
Programa en términos
concretos para operacionalizar
la Misión de la Entidad y sus
OE?
Aumentar los ingresos de las
familias
Mejorar los hábitos de aprendizaje
5 EJES DE POLITICA
PUBLICA
Componentes del POR en el Perú
1. Programas Presupuestarios Estratégicos
2. Seguimiento de Indicadores
3. Evaluaciones Independientes
4. Incentivos a la gestión
5. Transparencia y Monitoreo Participativo
6. Generación de capacidades
Fuente: MEF, Perú (2008). Nelson Shack. Articulación Plan y Presupuesto. Curso Planificación y Políticas Publicas.
ILPES/AECID. Mayo 2011
Componentes del Presupuesto por Resultados en el
Perú
22
Programa Presupuestario: UNIDAD BÁSICA DE GERENCIA Y CONTROL DE RESULTADOS
ObjetivosIndicadores Medios de
verificación
Supuestos
importantes
Resultado finalCambio en las condiciones, cualidades o características inherentes de la población y/o entorno.
Indicadores
de Impacto
Resultado específicoRevela la solución a un problema específico para contribuir al logro del resultado final.Es la justificación del programa.
Indicadores
de Efecto
ProductosSon los bienes y/o servicios que entrega el Programa a los beneficiarios como consecuencia de las actividades que realiza.
Indicadores
de Producto
ActividadesConjunto articulado de tareas que consumen los insumos necesarios (recursos físicos, humanos y financieros) para la generación de los Productos.Son enteramente controlables por el programa
Indicadores
de Proceso /
Insumo
DISEÑO / PRESUPUESTOCAUSALIDAD
Fuente: MEF, Perú (2008). Nelson Shack. Articulación Plan y Presupuesto. Curso Planificación y Políticas Publicas.
ILPES/AECID. Mayo 2011
Avances en la medicion de los resultados en el sector publico
• Están mejor informadas las decisionespresupuestarias?
• Los bienes y servicios publicos son maseficientes, eficaces y de calidad
• Los sistemas de M&E son instrumentosconocidos por los políticos, Congreso. La información técnica es parte de las decisionespolíticas?
Hay avances …para la mayor parte de los paises la medicion de la calidad del gasto es un proceso reciente……
En Chile el 42% del Presupuesto G.Centralesevaluado
80% Indicadores de Proceso y producto
20% Indicadores Resultado Intermedio/Final
A pesar de los avances persisten los clásicos problemastécnicos…y también político-institucionales
Los Técnicos/Metodológicos
• Indicadores: Relevancia, Pertinencia, Independencia, Costo/razonable, etc?
• Super población de indicadores para rendir cuentas de lasprioridades de política
• Informes poco comprehensivos de los resultados logrados queno logran cautivar al público (Presidencia, Congreso, Ciudadanos) . Promedio de Informes de Evaluación al Congreso: 500 páginas (Sin Resumen Ejecutivo)
Que nos dicen los indicadoresobservados en los Informes
• Por si solos no explican claramente el avance de lasprioridades
• Son buenos para la gestión interna (Caso Chile, granparte de las entidades tienen Sistemas de Información de Gestión.)
• Tienen muy “entretenidos” a quienes los construyen…
• El costeo de las metas es poco fiable..
Aunque los Informes de resultados entreganinformación valiosa respecto del cumplimiento de las
metas….
No son muy comprehensivos
Estan mas orientados a la propia Administracion Publica
Algunos aspectos institucionales que dificultan la medición
de los resultados y su utilización adecuada….
• Entes Rectores … .con roles difusos .Planificación, Presupuesto, Evaluacion?
• Escasa retroalimentación del proceso presupuestario con la información de desempeño (programación, formulación, ejecución, control, evaluación)
• La expresión presupuestaria final dista mucho de ser la prioritaria-programática (presupuesto anual, calendario presupuestario desconectado de la planeación-programación, etc.)
• Marcos Institucionales no facilitan hacer “gerencia” y responsabilización” por metas prioritarias
• Indicadores con poca base en sistemas de información (confiabilidad en duda)
Presupuesto orientado a resultados?
• La matriz de insumo-producción pública no es posible vincularla automáticamentea resultados de las prioridades de política pública….
• Sin un presupuesto plurianual es difícil articular prioridades a largo plazo con gasto público
• Las técnicas de presupuestación pueden apoyar, pero no son determinantes para el éxito de un presupuesto estratégico (buena calidad de información hacia donde va el gasto y que se espera). Presupuesto por programa, por objeto de gasto, por objetivos?
• Las estructuras programáticas si son claves para contar con claridad de los productos principales de los programas y las responsabilidades organizacionales por los resultados
• La información sobre el valor del dinero gastado…v/s resultados..requiere análisis de eficiencia: análisis de los costos de los productos y actividades, valorización de las metas.
Lecciones aprendidas para avanzar en la medición de los resultados en el sector
publico
INSUMOS PROCESOS PRODUCTOS
RESULTADOS
INTERMEDIOS
RESULTADOS FINALES O IMPACTOS
Área de
interés
para los
usuarios
y la
ciudadanía
Congreso
Área de interés para la organización, la gestión interna, y Órganos de
Control externo.
$ $
INDICADORES DE RESULTADOS:
DIFICULTAD DE CONSTRUCCION DE LA CADENA
DE VALOR
A diferencia del sector privado en el ámbito público los resultados no son tan fáciles de determinar…..o de consensuar …
Cual es el resultado esperado:
Programa de prevención del delito juvenil?
De un Programa de Alimentación Escolar?
De un Ministerio de Medio Ambiente?
Los indicadores presentes en los Planes Nacionales de Desarrollo en sumayoría son de Resultado Final o Impacto…o bien proxis que nos permitensaber si el resultado se lograra
• Miden el avance hacia el cumplimiento de objetivos de políticas públicas y prioridades que pretenden solucionar problemas de la población (cambiar condiciones objetivas..)
• Se orientan a medir la generación del valor público de los Programas y de las intervenciones gubernamentales
Sin embargo la medición de esos indicadores deresultados finales es compleja…
• Por que los efectos finales se dan a mediano y largo plazo
• Van más allá de un período anual de presupuesto
• En el resultado final inciden muchas organizaciones y factores….que cuesta organizar
• El efecto atribución Programa-Resultado no es tan claro.
• Se requieren metodologias costosas
Para solucionar esos problemas…es necesario tener muy claro cual es la cadena de valor pública y construir indicadores de resultados intermedios asociados a los resultados finales ……
Indicador y Meta: Reducir en un 35% la mortalidad neonatal precoz al 2013
Objetivo 3: Mejorar la calidad de vida de la población
Area: Salud Escolar
Control
Embarazo
Lactancia
MaternaPrograma
Vacunación
Programa
Piso Firme
Programa
Capacitación
Prevención Diarrea
PRODUCTOS = Bienes y Servicios
PO
BLA
CIO
N
OB
JE
TIV
O N
AC
ION
AL
Infraestructura
Atención Primaria
Rural
% de Madres
Controladas/
Total Madres
PO
Cobertura
Lograda
Los Indicadores en “Cascada”, que relacionen Productos-Resultados Intermedios – Resultados Finales son clave para identificar las responsabilidades institucionales…..
Instituciones deben decidir cuan alto alcanzan
sus indicadores claves.
Objetivo: Prevención
del crimen
adolescentes
% de jóvenes
en el programa
de prevención
del crimen
capacitados
AUMENTA.
Producto
“Éntonces”
% de jóvenes de
alto riesgo que
completan el
programa
AUMENTA
Resultado
Intermedio
“Entonces
”
% de jóvenes
atendidos que
disminuyen los
factores de
riesgo
AUMENTA.
Resultado
Intermedio
“Entonces
Disminución de
Reincidencia del
crimen Juvenil
Alto nivel:
Resultado Final
Impacto
Adaptado de: Department of Administrative Services. Oregon Progress Board. ww.econ.state.or.us/opb
La medición se puede apoyar a través de indicadores de
producto y resultado intermedio, posibilitando medir como contribuyen al resultado final
• Porcentaje de cobertura de atención a niños de 6-10 años en sistema escolar con déficit nutricional
• Porcentaje de niños de la población beneficiaria que reciben 1500 calorías en la alimentación escolar
• Porcentaje de niños beneficiarios que reciben 1500 calorías del total de niños con déficit nutricional
• Disminución del porcentaje de niños de 6-10 años en sistema escolar, con déficit nutricional
MEDICION ANUAL:INDICADORES DE RESULTADO INTERMEDIO
MEDICION A LOS TRES AÑOS:EVALUACION DE IMPACTO
Qué Instituciones, Programas, Actores y qué Estrategias son
necesarias para avanzar al logro del Objetivo.. ……
Indicador y Meta: Reducir en un 35% la mortalidad neonatal precoz al 2013
Objetivo 3: Mejorar la calidad de vida de la población
Area: Salud Escolar
INSTITUCIONES, PROGRAMAS Y NIVELES
TERRITORIALES QUE INTERVIENEN
Control
Embarazo
Lactancia
MaternaPrograma
Vacunación
Programa
Piso Firme
Programa
Capacitación
Prevención Diarrea
PRODUCTOS = Bienes y Servicios
PO
BLA
CIO
N
OB
JE
TIV
O N
AC
ION
AL
Secretaría de Salud
Atención primaria Municipal
Infraestructura
Atención Primaria
Rural
Secretaría de Vivienda
Coordinadora de Municipios Contratos Secretarías/ Municipios
Mejorar la pertinencia de los Indicadores y puntería de las Metas de los PND y de los
Presupuestos
Para 2030 queremos que 46 millones
de turistas internacionales nos visiten
cada año. ??
CREAR 200.000 NUEVOS EMPLEOS “BUENOS
“AL AÑO.??
ALCANZAR UN GINI DE 40% EL 2020
Número de planes y proyectos
Realizados ??
Cantidad de Comités de
Prevención de la violencia
Operando al 2014 ??
En lo institucional, fortaleciendo:
– Sistemas Nacionales de Planificación y Presupuesto
– Sistemas Nacionales de Inversión Pública
– Sistemas Nacionales de Evaluación del Gasto Público
– Sistemas Territoriales de Planificación
EJES ESTRUCTURANTES PRIORIDADES
Mega Objetivos
Meta
Medición
Estrategia de provisión del servicio
MetaMeta
Secretaría 1Ministerio 1
Depto 1
Secretaría 1Ministerio 1
Depto 1
Secretaría 1Ministerio 1
Depto 1
Equidad y oportunidad para todos
Mega Objetivos
Maximizar las oportunidades de empleo para todos. (4 indicadores)
1.1 INDICADOR: Incremento en la tasa de empleo
Meta:75% a un 80%
Conjunto de prioridades específicas
Vinculadas al Mega objetivo 1
Programa(s) Instituciones Responsables Roles o funciones específicasFunciones de los socios
Funciones de otras ContrapartesLos Programas, Agencias, que ejecutan tienen un PLAN
DE NEGOCIOS. La provisión de Bs y Ss tiene responsables y accountability
Respecto de línea de Base, Trimestral,97% intervalo de confidencia
Y LAS RESPONSABILIDADES A NIVEL DE LAS AGENCIAS
HACIA LAS BUENAS PRACTICAS
Mejores Practicas
• Las Prioridades de politica estan vinculadascon Áreas de Gasto (Canadá, Reino Unido, Corea)
• Los objetivos que se desprenden de las Áreasde Gasto son establecidos en términos de OUTCOMES o Resultados Finales queimpactan en la población
• “Ingresos seguros y empleo para los Canadienses”
• “Una sociedad diversa que promueve la dualidadlinguistica y la inclusión social”
Mejores Practicas
• Se establece una pirámide de responsabilidadescontractuales (hay Gerencia para materializar los Objetivos Estratégicos) con objetivos e indicadores en cascada
• Finalmente los Programas tienen un presupuesto“relacionados”con los Objetivos Estratégicos y los Indicadores de Impacto.
• Se evalúan y se rinde cuenta pública del avance de lasprioridades a través de indicadores de impacto o resultados compartidos (share outcomes) …Evaluaciónde Políticas.
Mejores Practicas
• Se fortalece la Eficiencia Operacional del Gasto (Fuerte componente de Plan Estratégico a nivel de Agencia y Programa)
• Los instrumentos de articulación de prioridades Plan-Presupuesto están sustentadas en reportes comprehensivos y simples para los diferentes actores
Los desafíos….tienen que ver con la Nueva Arquitectura del Estado…
• Mejorar viabilidad de las Metas comprometidas a largo plazo
– Presupuestos Plurianuales/claves para la credibilidad de las metas
• Que la evaluación tenga consecuencias para las políticas
– GINI: Cómo se miden los avances parciales o esperamos 20 años más?
– Seguridad Ciudadana. Qué instituciones están involucradas?
Y con los Acuerdos que se logren..respecto del desarrollo …
• Los actores políticos, la sociedad civil son lasinstituciones claves para lograr la coherenciaentre el corto y largo plazo de las políticaspúblicas…