los indicadores de los programas sociales: avances y...
TRANSCRIPT
www.coneval.gob.mx
Los indicadores de los programas sociales:
Avances y Retos
Edgar A. Martínez M.Agosto de 2014
Identificación del problema
Análisis
Diseño del programaPresupuestoOperación
Evaluación y Monitoreo
Rendición de cuentas
Los esquemas de planeación permitan medir resultados
Antes, los indicadores más relevantes eran:
– El presupuesto asignado a cada programa
– El % del presupuesto ejercido cada año
– El número de becas/cursos de capacitación/litros de leche/pasaportes
entregados/juntas realizadas, etc.
• Pero había faltado medir RESULTADOS:– ¿Aumentó el ingreso/la ocupación de quien recibió el microcrédito?– ¿Los desempleados que recibieron capacitación aprendieron y
encontraron trabajo?– ¿Más mujeres se incorporan a trabajar a raíz del programa de estancias
infantiles?– ¿Disminuyó la delincuencia por el programa de seguridad?– ¿Se disminuyó el tiempo de trámite de los pasaportes?
La medición de resultados necesita ser una prioridad...
Componentes
Actividades
Propósito
Fin
Impl
emen
taci
ónRe
sulta
dos Contribuir a mejorar el estado de salud de la niñez
mexicana
Los niños menores de 5 años, integrantes de las familias en pobreza extrema, disminuyen sus niveles de desnutrición
Paquete básico de servicios de saludComplemento alimenticioCapacitación nutrimental a los padres de familia
Padrón de familias beneficiariasAdquisición de equipo médico Instalación de equipos
• Tasa de morbilidad nacional de la población menor de 14 años
• Porcentaje de Prevalencia de desnutrición crónica en menores de 5 años
•% de paquetes básicos entregados respecto de los programados a entregar
•Variación de complementos alimenticios entregados respecto de lo entregado el año anterior
•% de padres de familia capacitados con el Curso “Alimentos con alto contenido nutrimental”
•% de variación en el número de familias del Padrón•% de equipo médico adquirido respecto del programado•% de equipos instalados respecto del total
Componentes
Actividades
Propósito
Fin
Impl
emen
taci
ónEstamos exigiendo a los programas que midan resultados y tengan un buen diseño
Resu
ltado
s
Componentes
Actividades
Propósito???Im
plem
enta
ción
Res
ulta
dos
Se pretendía pasar de esto…
¡Caricatura de una realidad!
Componentes
Actividades
Propósito
Fin
Objetivos Nacionales
Res
ulta
dos
Impl
emen
taci
ón
…a esto en un segundo momento…
La meta esperada…
Estrategia de implementación
Normativa / Implementación
Avances / Diagnóstico
Mejoramiento de indicadores
Aprobación de indicadores
Sistema de Monitoreo de programas sociales
Acción coordinada Programas Unidades de Evaluación CONEVAL SHCP SFP
Se tiene una base institucional para crear y mejorar indicadores
Emisión de normatividad que clarifica procesos, responsabilidades, actualizaciones y resultados Lineamientos Generales de Evaluación de programas (MIR e indicadores)
Vinculación Reglas de Operación y Matriz de Indicadores
Criterios de Mejora y actualización de la MIR e indicadores anualmente
Guías conjuntas de elaboración de MIR e indicadores (SHCP – CONEVAL – SFP)
Guía CONEVAL de Marco Lógico y Manual de Diseño de indicadores
Metodología para la Aprobación de Indicadores de los programas sociales
Envío de información de indicadores de todos los programas sociales a ASF y SHCP
Coordinación de revisión / recomendaciones (SHCP – CONEVAL – SFP)
Normativa / Implementación
Acompañamiento en la creación y mejora de indicadores
Avances / Capacitación
543 521
356
282 276
175115
83 76 73 61 39
386
0
100
200
300
400
500
SEP
SAG
ARP
A
SHC
P
SEM
ARN
AT
SED
ESO
L
SALU
D
CO
NA
CYT
SRA SE
STPS
IMSS
ISSS
TE
Otro
s*
De 2008 a 2014, se han impartido poco más de 100 cursos de Metodología de Marco Lógico y de indicadores a programas federales con la participación de cerca de 4,000 funcionarios
Se han impartido más de 90 asesorías técnicas especializadas en indicadores a programas federales con la participación de cerca de 400 funcionarios
Asistentes a cursos en dependencia federales
La SEP y SAGARPA son las
dependencias con mayor
número de capacitados en
MML e indicadores
A CONSIDERAR Numerosos cambios en el diseño de los programas y por consiguiente, en los
indicadores Involucramiento de las Unidades de Evaluación Alta rotación de personal y nuevas capacitaciones (no creación de experiencia)
La construcción de indicadores se ha acompañado con medición de los avances
Los avances se miden bienalmente; se han realizado 3 Diagnósticos Generalespara conocer los avances en las MIR y los indicadores
El mayor avance de las MIR se ha presentado en los indicadores; las MIR engeneral han mejorado desde 2008
2008 2010 2012Comparativo de Semaforización Total de las MIR (86 programas)
General
Indicadores
Año # MIR
2008 133
2010 219
2012 218
2014 210
A CONSIDERAR Es difícil construir una medición de resultados si los programas cambian constantemente Tan sólo 40% de los programas han tenido revisión en los 3 diagnósticos
Se ha avanzado en la aprobación de los indicadores de los programas
47 programas sociales cuentan con indicadores aprobados (31% del total de programas),
poco más del 30% del total de indicadores
37% de los programas no han tenido revisiones y se han incluido en el proceso 2014
El universo de programas sujetos a esta estrategia es de 150
Las dependencias con mayor número de programas en esta estrategia son SEMARNAT y
SEP
Programas Sociales incluidos en el proceso de aprobación de indicadores
Universo de programas de desarrollo social Aprobación de indicadores
128% 35
23%
4832%
5537%
Direc ta
Cond iconada
Sin Ap robac ión(Programas nuevos)
Sin Ap robac ión
Avances / Capacitación
Universo de programas de desarrollo social Aprobación de indicadores
En 2014, la Secretaría de Salud coordina 15 programas de desarrollo social A la fecha (de 2012 a 2014) se han aprobado los indicadores de sólo 5 de 15 programas
de desarrollo social El 60% de los programas coordinados por la Secretaría de Salud aún no cumplen con
los criterios mínimos en sus indicadores (claridad, relevancia, monitoreabilidad,adecuación, pertinencia temática y factibilidad técnica)
Aprobación de Indicadores: Secretaría de Salud
12
Año MIRIndicadores
Fin Propósito Componente Actividad Total indicadores
2008 133 207 340 694 798 2,0392009 157 191 316 737 843 2,0872010 219 245 352 723 830 2,1502011 228 256 323 680 834 2,0932012 218 246 334 689 876 2,1452013 222 274 350 779 986 2,3892014 210 275 342 785 923 2,535
El universo de programas y acciones de desarrollo social cuenta con poco más de 2,500 indicadores en sus MIR, de los cuales, 27% se refieren a resultados
El promedio de indicadores por MIR pasó de 15 a 12 de 2008 a 2014 (en 2013 eran 11)
Cada programa, en promedio tiene casi 2 indicadores de Propósito y 4 de Componentes, los cuales proporcionan información estratégica de su desempeño
El sector con mayor porcentaje de indicadores de resultados lo tienen CONACyT y la Secretaría de Salud (31%)
Evolución de número de Indicadores por nivel (2008-2014)
Los programas cuentan con mediciones de sus resultados pero también de su gestión
Los programas miden mejor ahora sus resultados
Sector / Ramo
SAGARPA
Temática Indicador
Ingreso productoresTasa de variación del ingreso neto
real de los productores agroalimentarios
Producción Tasa de variación promedio de la producción Pesquera y Acuícola
EconomíaProductividad Índice global de productividad
laboral de la economía
Inversión Inversión comprometida por las industrias de alta tecnología
Salud
Mortalidad materna
Razón de mortalidad materna
Prevención Tasa de la morbilidad en menores de cinco años
Existe un nuevo enfoque en resultados; ya no solamente se miden y reportan insumos, productos o entregas de los programas
Gran parte de los programas medían resultados a través de cobertura o entrega de bienes o servicios, ahora consideran variables de solución de problemáticas específicas
Se ha generado información valiosa de los programas para que sean analizados por tomadores de decisiones sectoriales, presupuestales y del Congreso
Los indicadores contenidos en las MIR son base fundamental de las evaluaciones de los programas
Gracias a la adopción de la MIR como instrumento de planeación, un grupo importante de programas ha rediseñado sus procesos / entregables y su relación con los resultados que pretende lograr
En algunas dependencias, se han generado sistemas de información que alimentan los indicadores con datos más precisos
Se ha contribuido a una mejor rendición de cuentas de los programas y en general, de las políticas públicas; México, primer país en publicar las Matrices de Indicadores de los programas sociales
¿Qué hemos logrado?
Se ha institucionalizado el monitoreo de los programas sociales
Los indicadores y el monitoreo aportan información para la formulación y aprobación del presupuesto y en el análisis del gasto público
Los programas cuentan con mejores instrumentos para el monitoreo y evaluación, se encuentran inmersos en numerosos procesos; incluso para casos no obligados, la MIR y los indicadores pretenden ser establecidos tal y como lo hacen los programas sociales
Los operadores se han apropiado de sus indicadores porque ellos los construyeron
Se han desarrollado capacidades en los funcionarios de la APF en materia de monitoreo
Cambio cultural de enfoque de resultados de las acciones de los programas
Se ha desarrollado un mismo lenguaje para el diseño - monitoreo – evaluación de programas
Se cuenta con instrumentos homogéneos y validados estadísticamente para el mejoramiento de los indicadores
¿Qué hemos logrado?
ANTES (2007) DESPUÉS (2014)
Los indicadores miden de mejor manera los resultados de los programas
¿Qué hemos logrado?
Programas del Fondo Nacional de Fomento a las Artesanías (FONART)
Nombre Financiamientos otorgados a Artesanos
Fórmula de cálculo
Artesanos Beneficiados en el periodo reportado / = Meta Anualizada
Nombre % de artesanos beneficiados que incrementaron su ingreso derivado de la actividad artesanal
Fórmula de cálculo
(# de artesanos que incrementaron suingreso derivado de la actividadartesanal / # de artesanosbeneficiados)*100
Nombre Sistema Nacional de Investigadores
Fórmula de cálculo
Número estimado de Investigadores pertenecientes al Sistema Nacional de Investigadores en la fecha de corte.
Nombre Factor de impacto en análisis de los artículos publicados por científicos mexicanos
Fórmula de cálculo
(# de citas recibidas en el año trelacionadas con artículos publicados en5 años precedentes/# de artículospublicados en 5 años precedentes)
Sistema Nacional de Investigadores
Los programas miden resultados y reportan avances sobre la solución de las problemáticas que buscan resolver con lo que ofrecen a sus poblaciones objetivo
Se cuenta con una estrategia integral de aprobación de indicadores, la cual, ha sido aplicada totalmente a los programas sociales
La Administración Pública Federal cuenta con instrumentos homogéneos
para el planteamiento de objetivos y el diseño de indicadores
El CONEVAL cuenta con esquemas de capacitación y de asesoría técnica para el mejoramiento de los indicadores de los programas sociales
Avanzando hacia un Sistema de Monitoreo
Que los indicadores y la MIR no se conviertan en procesos burocráticos
Depurar indicadores que no están alineados a las MIR
Reforzar los mecanismos de medición de resultados de los programas
Mejorar la calidad de las fuentes de información de los indicadores
Contar con un seguimiento más puntual de los avances en los indicadores de los programas
Se debe promover un mayor uso de la información de los indicadores en la toma de decisiones
Construyendo el Sistema de Monitoreo de los programas sociales y de la PDS
Cuestiones a considerar en el mediano plazo
ANEXO
Programa Sectorial de Salud 2013 – 2018
1) Consolidar las acciones de protección, promoción de la salud y prevención de enfermedades
Objetivo• Porcentaje de cobertura de vacunación con esquema
completo en menores de un año• Prevalencia de obesidad en niños de 5 a 11 años de
edad• Porcentaje de cambio entre el año base y el año de
registro de casos nuevos confirmados de VIH por transmisión vertical.
2) Asegurar el acceso efectivo a servicios de salud con calidad
• Tasa de mortalidad por cáncer de mama.• Tasa de mortalidad por cáncer cérvico-uterino.• Tasa de hospitalización por diabetes no controlada
con complicaciones de corto plazo (Indicador definido por la OCDE).
3) Reducir los riesgos que afectan la salud de la población en cualquier actividad de su vida
• Porcentaje de muestras de agua clorada dentro de las especificaciones de la NOM
• Tasa de mortalidad por accidentes de tráfico de vehículo de motor (ATVM).
• Tasa de mortalidad por riesgos de trabajo.
Programa Sectorial de Salud 2013 – 2018
4) Cerrar las brechas existentes en salud entre diferentes grupos sociales y regiones del país
Objetivo
• Tasa de mortalidad infantil• Razón de mortalidad materna (RMM)
5) Asegurar la generación y el uso efectivo de los recursos en salud
• Porcentaje de gasto público en salud destinado a la provisión de atención médica y salud pública extramuros
• Porcentaje de surtimiento completo de recetas médicas
6) Avanzar en la construcción de un Sistema Nacional de Salud Universal bajo la rectoría de la Secretaría de Salud
• Porcentaje de población con carencia por acceso a los servicios de salud
• Porcentaje de población con aseguramiento público en salud que usa servicios públicos de atención médica.
• Porcentaje de población con aseguramiento público en salud que usa servicios públicos de atención médica.
Algunos de los objetivos se mantienen como gestión sin que estén enfocados a resultados
Si bien los indicadores son importantes, hay algunos que no están vinculados con el objetivo que pretenden medir
Algunos indicadores podrían mejorar su interpretación si se coloca referencias de comparación (año anterior o meta sexenal)
Se debe especificar de mejor manera las fuentes de información de los indicadores
Se debe promover un mayor uso de la información de los indicadores en la toma de decisiones
Programa Sectorial de Salud 2013 – 2018