GuanajuatoNoviembre 2014

GESTIÓN POR RESULTADOS

RELEVANCIA DE LA CALIDAD DE LOS INDICADORES

Se ha adoptado un modelo de Gestión por Resultados, con dos componentes:

Sistema de Evaluación de DesempeñoPrograma de Mejora de la Gestión

Entidades federativas deben de rendir cuentas del uso de los recursos federales asignados, además de poder maximizar la calidad de su propio gasto.

GpR requiere: sistemas de planificación, programación, presupuestación, seguimiento y evaluación y acuerdos institucionales entre entidades rectoras.

GESTIÓN POR RESULTADOS

GuanajuatoNoviembre 2014

Para informar al presupuesto, conocer el desempeño de programas públicos y rendir cuentas, se requieren Indicadores Oportunos y Confiables. Sin esto, la eficiencia de un sistema de GpR se ve limitada.

El objetivo general de la asistencia técnica del Banco Mundial es de apoyar a la consolidación del sistema de GpR del Estado de Guanajuato. Entre las actividades se encuentra la evaluación de la calidad de los indicadores claves de intervenciones prioritarios.

IMPORTANCIA DE INDICADORES

GuanajuatoNoviembre 2014

¡ La consolidación del sistemas estatal de GpR exige atención sobre la cantidad y calidad de los indicadores.

¡ Si el número de indicadores es enorme y su calidad no se controla, las posibilidades de identificar hallazgos del desempeño yprovocar recomendaciones es baja o nula.

CANTIDAD Y CALIDAD DE INDICADORES

GuanajuatoNoviembre 2014

¡ La cantidad se limita por mecanismos de sistematización y requerimientos de autoridades de planeación y presupuestales.

¡ Así, en varias iniciativas hay un “número definido de indicadores”: CONEVAL/Hacienda en México; SINERGIA en Colombia; RUTA en la República Dominicana, etc.

CANTIDAD DE INDICADORES

GuanajuatoNoviembre 2014

AVANCES EN LIMITAR INDICADORES

GuanajuatoNoviembre 2014

IndicadoresDependencias yProgramas

Autoridad PresupuestalCoordinador M&E

Indica

dor=

Var1

------

Var 2

Indica

dor=

Var1

------

Var 2

Ind

ica

do

r=

Va

r1

------

Va

r 2

Ind

ica

do

r=

Va

r1

------

Va

r 2

Indicador=Var1

------

Var 2

Indica

dor=V

ar1

------V

ar 2

Ind

ica

do

r=

Va

r1

------

Va

r 2

Ind

icad

or=

Var1

------V

ar 2

Ind

icad

or=

Var1

------

Var 2

¡Diversas iniciativas aplican el criterio CREMA para valorar laCALIDAD al definir los indicadores.

¡ Iniciativas de M&E como CONEVAL en México y SINERGIA en Colombiahan desarrollado guías específicas para la aplicación de dichos criterios.

CALIDAD DE INDICADORES - CREMA

DEFINICIÓN DE METAS

GuanajuatoNoviembre 2014

¡ Si la definición de metas no considera: series de tiempo, benchmarks y análisis de recursos disponibles, será poco realista.

¡Dos problemas: definición poco precisa pordesconocimiento o “gaming”: definición a modo para maximizarel logro de resultados.

¡ Criterio SMART

¡ Sin embargo, pocas iniciativas evaluan la calidaden la definición de las metas.

¡ CONEVAL estima que 40% metas de los programasfederales plantear metas muy faciles de lograr(eficacia o eficiencia de 300 % o mayor) o inalcanzables, muestran fracasos donde no hay.

DEFINICIÓN DE METAS

¡ CREMA/SMART son herramientas necesarias pero no suficientes para valorar la calidad de un indicador y su meta.

¡ La experiencia al evaluar indicadores en varios países es: Indicadores y metas cada vez mejor definidos pero basadas en archivos de datos inconsistentes, incompletos y poco confiables.

FUENTES DE INFORMACIÓN

GuanajuatoNoviembre 2014

CREAM

SMART

INDICADORES, METAS Y FUENTES

Var 1

Var 2Indicador A =

Descripción: Mide el grado dedesnutrición de los niños de 6 a 14 añosmatriculados en los Colegios del Estado deNayarit. Año 2013

SMARTCREAM

GuanajuatoNoviembre 2014

ARCHIVOS DE DATOS(Excel; SPSS;Stata,DBF, etc.)

FUENTES DEINFORMACIÓN

v1 v2 v3 v4Hombre 2 3 5Hombre 22 22 21Mujer 2 4 2

v1 v2 v3 v4Calvillo 2 3 5San Fco 22 22 21Calvillo 2 4 2Agostadero 56 43 23

Avanzar en el GpR requiere de indicadores, metas y fuentes de calidad.

Sin embargo, hacen falta herramientas que permiten su evaluación integral y la formulación de planes de mejora.

POR LO TANTO...

GuanajuatoNoviembre 2014

GuanajuatoNoviembre 2014

HERRAMIENTA PARA EVALUAR CALIDAD DE INDICADORES, METAS Y FUENTES DE

INFORMACIÓN

APLICACIÓN DE LA HERRAMIENTA

¡ Objetivo: Analizar la formulación de indicadores y metas a través de criterios como CREMA y SMART. Hacer una valoración rápida de las fuentes de información utilizadas para tal fin.

¡ Participantes: Responsables de la preparación de las MIRs y responsables del manejo de los archivos de datos.

¡Material: archivo Excel, archivo de datos (sin importar formato), formulario, formatos, documentos técnicos, documentación relativa al indicador, etc.

LA HERRAMIENTA

La herramienta se conforma de tres partes:

§Evaluación de Calidad de los Indicadores (9 preguntas)§Evaluación de Calidad de las Metas de los

Indicadores (8 preguntas)§Evaluación de Calidad de las Fuentes de Información

(10 preguntas) → acceso archivo de datos

SECCIÓN 1: EVALUACIÓN DE LA CALIDAD LOS INDICADORES

Rubros de Evaluación de Calidad de los Indicadores3) Medible Evaluación Ejemplo Puntuación

3.1 ¿Se ha definido con claridad la línea base para el indicador?

0. No existe una clara definición de las características de la línea de base para el indicador 3. Se ha definido la línea base pero aún no se ha hecho el cálculo 5. Existe una clara definición de la línea de base 99. No aplica

La línea de base es el valor de referencia que toma el indicador, a partir del cual se pueden realizar análisis de series temporales y valorar el resultado o gestión del programa. Para lo anterior, la metodología de cálculo del indicador no debe cambiar para que la serie temporal no sea interrumpida y la línea de base sea consistente en diferentes puntos a lo largo del tiempo.

5

1) Clara 4) Adecuada2) Relevante3) Medible

SECCIÓN 2: EVALUACIÓN DE CALIDAD DE LAS METAS DE LOS INDICADORES

Rubros de la Evaluación de Calidad de las Metas de los Indicadores

2) Comparabilidad Evaluación Ejemplo Puntuación

2.2 ¿Existe un punto de referencia (nacional o internacional) que sirva de apoyo a la formulación de la meta?

0. No existe un punto de referencia (nacional o internacional) para el indicador 5. Si existe un punto de referencia (nacional o internacional) para el indicador 99. No aplica

Por ejemplo: el indicador mortalidad materna en México fue de 51 muertes por cada 100,000 nacimientos vivos en 2010. Este indicador puede compararse con el objetivo de 22.2 muertes por cada 100,000 nacimientos establecidos en los Objetivos de Desarrollo del Milenio por la ONU. Un programa para disminuir la población analfabeta mayor de 15 años en el estado de Guanajuato, cuyo indicador es 8.2, puede utilizar como referencia para su meta el promedio nacional el cual es 6.9 Si un programa es nuevo y único, y por tanto no tiene punto de referencia se debe responder "No aplica".

5

1) Específico 4) Pertinente2) Comparable 5) Acotado en el tiempo3) Acordado

SECCIÓN 3: EVALUACIÓN DE CALIDAD DE LAS FUENTES DE INFORMACIÓN

Rubros y Sub-rubros de Evaluación de Calidad de las Fuentes de Información

2) Metadatos Evaluación Criterios y/o Ejemplos Puntuación

2.2 ¿Existe una variable de identificación única por cada unidad de observación de los registros en la fuente de información?

0. No existe Las variables de identificación unívoca permiten identificar de manera única cada caso en particular. Por ejemplo: CURP, RFC, identificador del hogar, etc.

55. Si existe

99. No aplica

1) Fuente de información2) Metadatos3) Datos