el sistema nacional de monitoreo y evaluación de la ... · el equipo clad-banco mundial a cargo...

Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina

El Sistema Nacional de Monitoreo y Evaluación de la Gestión Pública en México

Alejandro Medina Giopp

El equipo CLAD-Banco Mundial a cargo del Proyecto revisó, junto con la profesora Sonia Ospina, la primera versión del informe. El documento que aquí se presenta fue sometido a la consideración de las instituciones con responsabilidad en la conducción de los sistemas en estudio, a saber:

Sistema de Evaluación del Desempeño (SED) Secretaría de Hacienda y Crédito Público (SHCP). Subsecretaría de Egresos: Guillermo Edmundo Bernal Miranda, Titular de la Unidad de Política y Control Presupuestario; Max Alberto Diener Sala, Director General Jurídico de Egresos; José Antonio Alvarado Ramírez, Consultor Coordinador del Programa para la Implementación de un Sistema de Presupuesto Basado en Resultados; Verónica Margarita Galindo Galindo, Directora de Análisis de Fideicomisos y Programas con Crédito Externo; y David Arellano Cuan, Director de Análisis Legislativo.

Modelo Integral de Desempeño de Órganos de Vigilancia y Control (MIDO) Secretaría de la Función Pública. Coordinación General de Órganos de Vigilancia y Control: Juan Marcos Gutiérrez González, Coordinador General; y Adrián Franco Barrios, Director General Adjunto de Políticas y Evaluación.

Secretaría de Desarrollo Social (SEDESOL) Subsecretaría de Prospectiva, Planeación y Evaluación: Félix Vélez Fernández Varela, Subsecretario; y Martha Gloria Rubio Soto, Directora General de Evaluación y Monitoreo de Programas Sociales.

Banco Mundial

CLAD Centro Latinoamericano de Administración para el Desarrollo

Banco Mundial

CLAD Centro Latinoamericano de Administración para el Desarrollo

Diciembre 2007 © Banco Mundial 1818 H St. NW Washington, D.C. 20433 - Estados Unidos Tel.: (1202) 4771000 Fax: (1202) 4776391 E-mail: [email protected]://www.worldbank.org

© Centro Latinoamericano de Administración para el Desarrollo (CLAD) Apartado 4181, Caracas 1010-A, Venezuela Tel.: (58212) 9922395/3297/5953/4064/9937277 Fax: (58212) 9918427 E-mail: [email protected]://www.clad.org.ve

ISBN: 978-980-6125-57-5 Depósito Legal: lf86020073323637 Las ideas y pensamientos contenidos en el documento no representan necesariamente los criterios del Banco Mundial ni del CLAD. No se permite la reproducción total o parcial de este documento, ni su almacenamiento en un sistema informático, ni su transmisión en cualquier forma o por cualquier medio, electrónico, mecánico, fotocopia u otros métodos, sin el permiso previo del Banco Mundial y del CLAD. Documentos Estudios de Casos del CLAD, No. 3

2

mailto:[email protected]

http://www.worldbank.org/

mailto:[email protected]

http://www.clad.org/

PREFACIO En 1998, el Consejo Directivo del CLAD alertó en el documento “Una Nueva Gestión Pública para América Latina”, que la administración pública en la región estaba sufriendo los males de una rutinización extrema. Por ello, el documento proclama de manera fehaciente que un nuevo modelo administrativo que permita el aumento de la eficacia, la eficiencia y la efectividad de la administración pública, además de crear nuevas condiciones que posibiliten una relación más democrática entre el Estado y la sociedad, debe estar orientado por el control de los resultados, entre otros aspectos. La consolidación de ese nuevo modelo de gestión pública requiere una modificación de la cultura administrativa que admita una definición clara de los objetivos de la organización, focalizados en sus aspectos sustanciales y no como procesos administrativos formales, de manera que la evaluación de la gestión pública se realice a través del cumplimiento de metas más que a partir del respeto a reglas que, en muchas ocasiones, son auto-referidas por la burocracia. Así, se fortalecerá la capacidad de la administración pública para aprender de su desempeño y mejorar continuamente la prestación de servicios públicos. Desde aquella oportunidad, el CLAD se ha abocado a desarrollar actividades que impulsen condiciones favorables a una “gestión por resultados”, en especial, aquellas que promuevan la construcción de sólidos sistemas gubernamentales de evaluación. Gracias a la coincidencia de objetivos, se produjo una alianza entre el CLAD y el Banco Mundial que impulsó en el 2006 un proyecto conjunto cuya finalidad es la de fortalecer los sistemas de monitoreo y evaluación de los gobiernos de América Latina y el Caribe, por medio del intercambio de conocimientos y el aprendizaje Sur-Sur. Por su parte, el Banco Mundial no solamente se encuentra dedicado al monitoreo y evaluación (M&E) de los proyectos y programas que financia, sino que también apoya a sus países miembros en el desarrollo e implementación de metodologías apropiadas de M&E en los distintos niveles del gobierno central y local, bajo un enfoque orientado a mejorar la gestión de todas las etapas del ciclo presupuestal y a motivar la participación y supervisión ciudadana durante todo ese ciclo. Bajo el primer aspecto, el Banco continuamente se encuentra mejorando los mecanismos de M&E, en lo que respecta al diseño e implementación de sus operaciones de inversión y los Préstamos para Políticas de Desarrollo (DPL, por sus siglas en inglés), a través de auto evaluaciones realizadas por las entidades ejecutoras, evaluaciones realizadas por el personal del Banco, evaluaciones independientes incorporadas en el diseño de los proyectos, y las actividades de su Grupo de Evaluación Independiente (IEG, por sus siglas en inglés) que reporta directamente al Directorio Ejecutivo del Banco. En lo referido al segundo aspecto, por solicitud de los gobiernos, el Banco apoya los esfuerzos del país por fortalecer sus sistemas de M&E. Actualmente, el Banco se encuentra trabajando con alrededor de 30 gobiernos, entre ellos, siete de la región de Latinoamérica y el Caribe, para brindarles apoyo en el fortalecimiento de dichos sistemas, incluyendo componentes específicos de créditos y donaciones. Normalmente, las unidades de Gerencia del Sector Público y el IEG proporcionan la asistencia técnica requerida por los gobiernos en materia de M&E. Para el Banco Mundial, M&E va mucho más allá de la evaluación ex post tradicional. Cuando se incluye en el ciclo del presupuesto global, M&E constituye una herramienta clave para diseñar programas y asignar presupuestos para lograr mejores resultados y mejorar los servicios prestados a la población. Al realizar un seguimiento efectivo del gasto público, es posible identificar las políticas más adecuadas para aliviar la pobreza, así como estructurar las reformas pendientes más urgentes, y asegurar que los beneficios de tales reformas efectivamente alcancen a los grupos objetivo. En general, el M&E es un insumo valioso para los congresos y gobiernos que necesitan de información confiable para la toma de decisiones sobre políticas públicas, y resulta esencial para definir un Marco de Referencia del Gasto Público a mediano plazo.

3

A partir de esta iniciativa conjunta de CLAD-Banco Mundial, se han logrado importantes avances que van desde innovaciones conceptuales sobre el objeto de estudio, que nos ofrece el término más preciso de “gestión para resultados”, hasta la obtención de los primeros productos constituidos por los Informes Nacionales que hoy publicamos. Por ello, el CLAD y el Banco Mundial agradecen el trabajo intenso de los coordinadores e investigadores de este proyecto, y el apoyo solidario de los gobiernos de América Latina y el Caribe.

Julio César Fernández Toro Secretario General

Centro Latinoamericano de Administración para el Desarrollo (CLAD)

Nicholas P. Manning

Gerente Sectorial Reforma del Sector Público

Banco Mundial

4

PRESENTACIÓN En el marco de una estrategia que aspira a orientar la gestión pública a resultados relevantes para el desarrollo, las dos últimas décadas han sido testigos de múltiples esfuerzos por institucionalizar el Monitoreo y la Evaluación (M&E) como una función clave de gobierno. Ante este panorama, diversos organismos, entre los cuales se cuentan el Banco Mundial y el CLAD, han realizado esfuerzos sistemáticos por apoyar el fortalecimiento de los sistemas gubernamentales de M&E, promoviendo el aprendizaje y el intercambio de conocimientos Sur-Sur. Un paso más en esta dirección lo constituye el proyecto "Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina y el Caribe", iniciado por ambas instituciones en diciembre del 2006, y del que forma parte el informe que acá se presenta. La atención, en una primera etapa, se ha focalizado en el estudio de los sistemas nacionales de M&E en México y en otros once países, a saber: Argentina, Bolivia, Brasil, Chile, Colombia, Costa Rica, Honduras, Nicaragua, Paraguay, Perú y Uruguay. Con base en las especificidades nacionales, el objetivo básico es ofrecer una comprensión más profunda acerca de los factores que pueden incidir en la institucionalización de los sistemas. El avance en la teoría que enriquezca la práctica es, pues, el norte de esta fase del Proyecto. Teniendo en consideración tales propósitos, dos rasgos básicos caracterizan estos estudios diagnósticos. Primero, una perspectiva integral que busca identificar los principales sistemas nacionales de M&E que operan en cada país, y conocer sus eventuales conexiones. Segundo, una base teórico-metodológica común a todos los estudios, que aspira a enriquecer un conjunto de hipótesis, enraizadas a su vez en el estado del arte acerca de la institucionalización del M&E. Han sido fundamentales, a estos efectos, las contribuciones de la profesora Sonia Ospina, integrada al equipo de dirección del Proyecto en esta primera etapa. El Proyecto ha contado, además, con el apoyo de reconocidos especialistas, que se han encargado de los diagnósticos nacionales y que intervinieron en dos encuentros colectivos para aportar a la construcción de una perspectiva común. También se ha beneficiado de la generosa colaboración de las autoridades gubernamentales con responsabilidades en los sistemas. Todo ello hace posible aspirar a que los resultados que se entregan puedan contribuir, en alguna medida, al fortalecimiento del M&E con miras a enriquecer las decisiones estratégicas de los países en pos del desarrollo. Este nuevo producto de la alianza CLAD-Banco Mundial es la continuación de una larga relación de colaboración e intercambio de experiencias entre ambas instituciones durante más de diez años, que se ha materializado en contribuciones específicas de expertos del Banco a las publicaciones del CLAD y su participación frecuente en eventos organizados por la institución y principalmente en su Congreso Anual. Cada uno de los estudios de país será presentado por un experto del Banco Mundial que ha trabajado en temas de M&E en dicho país, a fin de contextualizar el análisis del autor del estudio con las actividades del Banco en materia de M&E desde cualquiera de las dos perspectivas mencionadas en el Prefacio (como parte de la supervisión de los programas o proyectos que el Banco financia, o como parte de la asistencia técnica prestada a los países que lo solicitan en el marco general de su ciclo presupuestal).

5

Además de la publicación del estudio comparativo en el que se presenta una visión de conjunto de los hallazgos y conclusiones de los estudios de país, se espera continuar este ejercicio de investigación y difusión de conocimientos con una serie de conferencias y talleres regionales, y con el desarrollo de materiales didácticos en materia de M&E en áreas como taxonomía de sistemas de M&E, marco conceptual de indicadores, e indicadores normalizados y selectivos en áreas críticas. En esas tareas, además de prestigiosos consultores internacionales, colaborarán expertos del IEG y del Instituto del Banco Mundial (WBI, por sus siglas en inglés). David Fernando Varela S. Banco Mundial

Nuria Cunill Grau Centro Latinoamericano de Administración para el Desarrollo (CLAD)

6

ÍNDICE Prólogo Guadalupe Toscano, Banco Mundial 9

Resumen Ejecutivo 11

Introducción 15

I. Antecedentes y panorámica global del sistema 17 1.1 Descripción general 17 1.2 Línea cronológica 20

II. Descripción y análisis de las iniciativas en los ámbitos de Programas y de Gestión Pública 22 2.1 Componente de Programas 22

2.1.1 Ley General de Desarrollo Social 22 2.1.2 Evaluación externa de programas 26 2.1.3 Uso del Marco Lógico 32 2.1.4 Evaluación de políticas públicas 33 2.1.5 Evaluación de impacto 34 2.1.6 Sistema de Evaluación y Monitoreo Basado en Resultados de Programas Sociales 36 2.1.7 Focalización 46

2.2 Componente de Gestión Pública 49 2.2.1 Sistema de Seguimiento y Evaluación de Metas Presidenciales (SIMEP) 50 2.2.2 Modelo Intragob 53 2.2.3 Modelo Integral de Desempeño de Órganos de Vigilancia y Control (MIDO) 56 2.2.4 Juntando las piezas: el Presupuesto Basado en Resultados 59

III. Orientación funcional de las iniciativas, naturaleza de sus herramientas y coherencia institucional 66 3.1 Componente de Programas 66

3.1.1 Orientación funcional, normativa y financiamiento 66 3.1.2 Instrumentos gerenciales, capacidad de expansión y uso de la información 67

3.2 Componente de Gestión Pública 69 3.2.1 Orientación funcional, normativa y financiamiento 69 3.2.2 Instrumentos gerenciales, capacidad de expansión y uso de la información 70

3.3 El Sistema de Evaluación del Desempeño (SED) 71

IV. Uso de la información 76 4.1 Credibilidad de la información 76 4.2 Acceso a la información 77 4.3 Consumo de la información 79 4.4 Impacto de la información 80 4.5 Otros atributos 81

V. Institucionalización del sistema 82 5.1 Condición de la estructura organizativa y de los procesos de gestión 82 5.2 Condición de los incentivos 83

7

5.3 Condición de los resultados y del impacto 85 5.4 Otro aspecto de la institucionalización: del nivel federal a los niveles subnacionales 86

VI. Conclusiones y desafíos 88

Bibliografía 96

Normas consultadas 98

Personas entrevistadas 99

Glosario de siglas utilizadas 100

Anexos 102 1. Índice de Institucionalización del Sistema Nacional de Monitoreo y

Evaluación de la Gestión Pública 102 2. Una iniciativa regional: el caso del Gobierno del Estado de Aguascalientes 105

8

PRÓLOGO Como lo reconocen diversos estudiosos, para lograr el desarrollo socioeconómico sostenible resulta esencial contar con un Estado eficaz. El proceso de transición a la gobernabilidad democrática en México, que se ha caracterizado en la última década por exigir una mayor rendición de cuentas y transparencia, ha sido un gran factor que ha propiciado que el Estado ponga en marcha mecanismos e instrumentos que le permitan mejorar el desempeño de la administración pública, la asignación de los recursos públicos y, por tanto, su capacidad para proveer bienes y servicios públicos a los ciudadanos. Esta necesidad de rendición de cuentas y de mayor eficacia por parte del Estado, expresada por la sociedad y motivada inicialmente para desincentivar las prebendas políticas, hizo también visible la falta de mejores sistemas de información así como la necesidad de contar con herramientas de monitoreo y evaluación que permitieran medir los resultados y el impacto de las políticas, programas y proyectos puestos en marcha por el gobierno. Establecer herramientas de monitoreo y evaluación que promuevan la rendición de cuentas y que, a su vez, se conviertan en un instrumento para la formulación del presupuesto y la asignación de los recursos públicos es un proceso largo que se va llevando de manera gradual, y no existe un marco o modelo único a seguir. El proceso en México ha sido paulatino y un tanto circunstancial; prácticamente se inició con la evaluación del programa Oportunidades (Progresa) en 1997 -el cual tenía como requisito el contar con una evaluación externa dada la naturaleza de los fondos de financiamiento-, experiencia muy exitosa que encontró eco en las demandas sociales y políticas que clamaban una mayor rendición de cuentas, por lo que dicha práctica logró extenderse a todos los programas sociales para el año 2000. El gobierno del presidente Fox, que marcó un hito en la transición hacia la gobernabilidad democrática del país, estableció un sistema de metas presidenciales e institucionalizó el proceso de evaluación al crear el Consejo Nacional de Evaluación en 2004. Otro hecho importante, resultado del mismo proceso democrático y que facilitó el establecimiento y uso de los sistemas de monitoreo y evaluación, fue la entrada en vigor de la Ley Federal de Acceso a la Información Pública. Tales progresos han sido importantes; sin embargo, son varios los retos a enfrentar para la institucionalización de dicha herramienta: avanzar más allá de la agenda social; monitorear y evaluar el desempeño de la administración pública; revisar la metodología de construcción de los indicadores, la cual debe contar con una participación plena de las áreas responsables; mejorar los sistemas y la calidad de la información; armonizar las cuentas presupuestales y contables; vincular los resultados al proceso presupuestario; desarrollar y fortalecer la capacidad de evaluación de las entidades externas; y, por supuesto, avanzar en la agenda a nivel subnacional. Varios de estos desafíos están ya siendo considerados por la administración actual del presidente Calderón a través de la creación del Sistema de Evaluación del Desempeño, vía la Reforma Fiscal recientemente aprobada, que tiene como ejes el presupuesto basado en resultados y la mejora de la gestión pública. Este reporte hace un recuento del proceso que ha seguido el gobierno mexicano en la instauración de sus sistemas de monitoreo y evaluación y, por tanto, se constituye como un referente de las iniciativas y los esfuerzos institucionales que México ha emprendido en la última década para transformarse en un Estado eficaz y que rinde cuentas.

Guadalupe Toscano

Oficial de Operaciones del Sector Público Banco Mundial

9

RESUMEN EJECUTIVO Panorámica global del sistema En México coexisten diversas iniciativas orientadas al monitoreo y/o evaluación de las políticas, programas, proyectos, actividades y funciones que realizan las entidades y dependencias de la Administración Pública Federal (APF). Estas iniciativas pueden ser agrupadas en dos grandes ámbitos en los que se reconoce, de una parte, la influencia del gerencialismo proveniente de la irrupción en América Latina del movimiento denominado Nueva Gestión Pública, así como del renovado interés por la gerencia de programas sociales y, en especial, del desarrollo de sistemas de monitoreo y evaluación que permitan descifrar la paradoja de la baja elasticidad entre gasto social, pobreza y desigualdad, constituyendo un enfoque específico de monitoreo y evaluación de la gestión pública. El primero, denominado Programas, tiene por objetivo planificar y ejecutar las evaluaciones requeridas para conocer de manera oportuna y confiable sus resultados más relevantes, a fin de contribuir a la rendición de cuentas y a su rediseño para maximizar eficiencia e impacto. El segundo ámbito, Gestión Pública, tiene por objetivo introducir mejoras a la gestión de las entidades y dependencias de la Administración Pública Federal, que se traduzcan en mayores niveles de eficiencia, calidad y transparencia en la acción pública. El ámbito de Programas incluye un conjunto de iniciativas articuladas entre sí: i) Evaluaciones Externas a programas federales1. Las unidades responsables de operación de los programas, bajo los lineamientos establecidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL)2, contratan o realizan convenios con instituciones públicas o privadas para conocer la consistencia y resultados de sus programas. ii) Evaluación de Impacto a programas prioritarios; estas evaluaciones son más científicas y de carácter multianual, por lo que exceden los alcances de las evaluaciones externas; además, no se pretende, ni justifica, la evaluación de impacto de todos los programas federales. Se concentra en programas prioritarios que se incluyen en el Plan Nacional de Evaluación que lidera CONEVAL. iii) El Sistema de Evaluación y Monitoreo Basado en Resultados de Programas Sociales (SEMBR); este sistema se desarrolla solamente en la Secretaría de Desarrollo Social (SEDESOL); actualmente se encuentra en fase piloto con información de cuatro programas sociales, es operado por la Dirección General de Monitoreo y Evaluación y su objetivo es promover la institucionalización de la gestión de programas basada en resultados para establecer mecanismos para su retroalimentación y aprendizaje gerencial. Esta iniciativa podría ser replicable en otras instituciones y dependencias de la Administración Pública Federal. iv) La Medición Oficial de Pobreza. La metodología utilizada para la estimación de pobreza fue establecida por el Comité Técnico para la Medición de la Pobreza (CTMP), actualmente liderada por CONEVAL de acuerdo con la Ley General de Desarrollo Social; este conteo oficial es muy relevante, ya que se liga a las evaluaciones de impacto y a las evaluaciones externas dando consistencia e integralidad a las diversas iniciativas de este ámbito. v) Otras iniciativas; además de las descritas destaca la promulgación de la Ley General de Desarrollo Social (LGDS), que permite estandarizar criterios para el diseño, implementación y evaluación de iniciativas para resolver las demandas sociales y su correspondiente proceso de asignación de recursos. También los esfuerzos por contar con un ágil y confiable padrón de beneficiarios de programas sociales que lo requieren, así como por mejorar la focalización geográfica. El ámbito de Gestión Pública comprende tres iniciativas. Su orientación está dirigida a incrementar los niveles de calidad, eficiencia y transparencia en la gestión de las entidades y dependencias públicas, para con ello lograr las metas definidas en la denominada “Agenda de Buen Gobierno” establecida por el gobierno (2000-2006): Gobierno honesto y transparente, Gobierno profesional, Gobierno de calidad, Gobierno digital, Gobierno de mejora regulatoria, Gobierno que cueste menos y Acreditación Internacional.

1 Inicialmente sujetos a reglas de operación; actualmente también los nuevos programas federales, sujetos (o no) a reglas de operación, y cualquier programa que se considere pertinente. 2 Junto con la Secretaría de Hacienda y Crédito Público (SHCP) y la Secretaría de la Función Pública (SFP).

11

Las iniciativas son: i) Sistema de Seguimiento y Evaluación de Metas Presidenciales (SIMEP); mediante esta iniciativa, a cargo de la Secretaría de la Función Pública (SFP), los titulares de las dependencias de la APF establecen compromisos de mejora de resultados acordados con el propio titular del ejecutivo. El compromiso se traduce en fijación de metas sujetas a seguimiento y evaluación, y se definen estándares y ponderadores para su valoración. ii) El modelo Intragob, bajo responsabilidad de la Oficina de Innovación Gubernamental (actualmente Oficina de la Presidencia), está orientado a mejorar la calidad e innovación de la gestión de las dependencias e instituciones de la APF, para contribuir al logro de los lineamientos de la Agenda de Buen Gobierno. Tiene dos componentes: el modelo propiamente dicho, que define ocho criterios que caracterizan una organización y gestión orientada a la calidad; el segundo, la premiación, que se divide en dos vertientes: Calidad (basada en el modelo) e Innovación (basado en prácticas novedosas de gestión); iii) MIDO, Modelo Integral de Desempeño de Órganos de Vigilancia y Control de la APF. Esta iniciativa, bajo el liderazgo de la SFP, establece un sistema de control de carácter preventivo, basado en enfoques modernos de control interno. Las primeras dos iniciativas han desaparecido y sus funciones han sido absorbidas por el Programa de Mejora de la Gestión (PMG), que comenzará su implementación durante el segundo trimestre del año 2008. El MIDO forma parte integral del PMG. Caracterización del sistema · Coordinación institucional. En el Sistema participan muchas instituciones, sin embargo son tres

las que lideran las iniciativas en ambos componentes: el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) -con mayor énfasis en la vertiente de Programas-, la Secretaría de Hacienda y Crédito Público (SHCP) y la Secretaría de la Función Pública (SFP) -con mayor presencia en Gestión Pública-. Al interior de las iniciativas existe articulación, y también en algún grado entre componentes.

· Orientación funcional de las iniciativas. En ambos componentes las iniciativas están orientadas a la rendición de cuentas o al rediseño y ajustes de programas o acciones gubernamentales sobre la base del aprendizaje. A pesar que las iniciativas acompañan el ciclo presupuestal, no hay aún consecuencias directas y sustantivas en la planificación o en el proceso de asignación de recursos presupuestales. Se prevé un período de maduración de las iniciativas y lograr dicha vinculación en el mediano plazo.

· Financiamiento de las iniciativas. Existe estabilidad ya que en buena medida su operación está cubierta con recursos fiscales. Algunos diagnósticos y diseños de las iniciativas, o bien acciones puntuales, han recibido financiamiento de organismos multilaterales, sin embargo no comprometen su operación.

· Normativa. Existe un cuerpo normativo adecuado para la operación de las iniciativas en los dos ámbitos. Destacan la Ley Federal de Presupuesto y Responsabilidad Hacendaria, Ley Federal de Transparencia y Acceso a la Información Pública, Ley General de Desarrollo Social (está pendiente su reglamentación), y los Lineamientos Generales de Evaluación de los Programas Federales de la Administración Pública Federal. Hacen falta guías de implementación del PMG y de la SHCP relativas al registro de los indicadores de los programas federales en los programas presupuestales, entre otros.

· Densidad instrumental. Existe una amplia variedad de herramientas, métodos y aproximaciones gerenciales aplicadas para realizar actividades de monitoreo y evaluación. Predomina el análisis cuantitativo sobre el cualitativo. Destaca el uso de: indicadores de desempeño, marco lógico, encuestas formales, métodos rápidos de evaluación, análisis costo beneficio y costo efectividad, evaluación de impacto, metodología COSO de control interno, y adaptación de estándares internacionales de la administración de la calidad total.

· Estructura y posibilidades de expansión. Balance en el alcance del monitoreo y evaluación. Enfoque Top Down o arriba abajo, limitado a la Administración Pública Federal; hay margen menor para la expansión horizontal. Sólo en una iniciativa se prevé la expansión vertical. Podría expandirse verticalmente a través de acuerdos con los niveles subnacionales, pero no está contemplado en el corto plazo. El análisis de una entidad federativa indica que las iniciativas

12

emprendidas en materia de monitoreo y evaluación de la gestión pública en este nivel subnacional son similares a las que existen para la Administración Pública Federal, y podrían realizarse convenios de asistencia técnica y espacios para compartir mejores prácticas.

· Uso de la información. No hay acceso a la información de algunas iniciativas. Su utilización aún no es la deseada por todos los involucrados relevantes, como el Congreso y operadores de programas, y su uso ha sido, de manera predominante, la rendición de cuentas y en menor grado el aprendizaje.

Logros y desafíos de las iniciativas El gran desafío es la reforma hacendaria, que pretende integrar estas iniciativas en el denominado Sistema de Evaluación del Desempeño (SED). A través del SED se integrarán formalmente las iniciativas de cada componente para lograr una base sólida y confiable de resultados de los programas, acciones y funciones de las entidades y dependencias de la Administración Pública Federal. Bajo esta lógica, la asignación de recursos en el presupuesto tomará como un insumo esta base y, con ello, los acuerdos entre los poderes Legislativo y Ejecutivo tendrán una mejor fuente de información. Con el SED se podrá enfatizar en el desarrollo de nuevas orientaciones del sistema, precisamente las de asignación de recursos y planificación. Paralelo a esta reforma, habrá que consolidar aspectos en algunas de las iniciativas existentes, tales como mejorar la regulación del incipiente mercado de estudios de evaluación externa de programas, avanzar de la fase piloto a la de operación plena del Sistema de Evaluación y Monitoreo Basado en Resultados de la SEDESOL, y explorar su replicabilidad en otras instancias y dependencias de la APF, ya que las funciones de monitoreo y evaluación en las dependencias e instituciones del sector público deben fortalecerse. Por otra parte, hay que destacar como positivo el uso regular de herramientas como las reglas de operación de los programas, que definen su modelo de organización y gestión, y los lineamientos recientemente emitidos por las entidades coordinadoras para regular mejor las iniciativas en el ámbito de Programas. La Secretaría de Hacienda y Crédito Público ha emitido recientemente lineamientos de operación del SED que clarifican su alcance y el rol de los diversos actores. El proceso de instalación de un sistema de evaluación del desempeño ha alcanzado una densidad conceptual mínima en los actores involucrados, cuyo lenguaje se ha impregnado de conceptos técnicos relativos al monitoreo y evaluación. La densidad instrumental también ha logrado un conocimiento básico de los involucrados sobre el menú de métodos, herramientas y perspectivas disponibles; además existe una fuerte presencia de recientes instituciones coordinadoras del sistema como la CONEVAL, y ha habido resultados importantes en algunas iniciativas. Estas condiciones podrán seguramente orientar y apoyar técnicamente los debates en torno al SED y al ansiado Presupuesto Basado en Resultados.

13

INTRODUCCIÓN En México coexisten diversas iniciativas orientadas al monitoreo y/o evaluación de las políticas, programas, proyectos, actividades y funciones que realizan las entidades y dependencias de la Administración Pública Federal (APF). Estas iniciativas, que pueden ser agrupadas en dos grandes ámbitos, han iniciado un proceso de integración orientado a conseguir un gasto público pro-pobres y fiscalmente sostenible basado en el conocimiento de su eficiencia e impacto social. Esta integración constituirá el Sistema de Evaluación del Desempeño (SED) que se espera culmine su implementación a mediados del año 2008, y será la pieza clave del Presupuesto Basado en Resultados (PBR) que impulsa el actual gobierno (2006-2012), el cual se encuentra en fase final de diseño y deberá estar en plena operación en el año 2009. El primer ámbito está referido a los Programas de la APF, con énfasis inicialmente en los programas federales sujetos a reglas de operación y posteriormente a todos los programas considerados pertinentes, sujetos (o no) a dichas reglas, y a programas federales nuevos. El segundo ámbito está orientado a mejorar la Gestión Pública de las entidades y dependencias de la APF, con énfasis en la calidad, transparencia y eficiencia de su gestión. Las iniciativas en cada ámbito son lideradas y coordinadas por agencias o Secretarías de Estado específicas que han suscrito convenios de cooperación o han establecido lineamientos de operación conjunta para alguna o varias iniciativas. El núcleo estratégico de coordinación de estas iniciativas, y del SED, está integrado por la Secretaría de Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP) y el recién creado Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL). El objetivo de este estudio es describir y analizar las iniciativas existentes en materia de monitoreo y evaluación a nivel nacional, indicando las que ya forman parte del componente de programas del SED y aquellas cuyas mejores prácticas podrían todavía ser incorporadas al componente de gestión pública, concretamente al Programa de Mejora de la Gestión Pública PMG, en proceso de consolidación, definiendo en cada caso las instituciones responsables de su operación, las herramientas gerenciales implementadas, los resultados alcanzados, el marco normativo que les sustenta, la orientación estratégica o función esencial de la iniciativa, el o los mecanismos de financiamiento, y el uso de la información e influencia en la hechura de las políticas y programas públicos. Finalmente, se analiza el grado de institucionalización logrado por los dos componentes, la interacción existente entre las iniciativas de cada ámbito y entre ambos, para identificar los resultados alcanzados a nivel de iniciativa, ámbito y global, así como sus posibilidades y desafíos de expansión y consolidación. Es importante insistir en que el SED está en proceso de construcción y que algunas de las iniciativas que se describen en este estudio no forman aún parte formal del sistema, pero se analizan ya que constituyen iniciativas de monitoreo y evaluación que se encuentran actualmente operando o recién han culminado, y permiten una mirada global de lo que ha ocurrido en este campo; además es posible que algunas de sus mejores prácticas sean todavía incorporadas. Para la realización de este estudio se llevaron a cabo entrevistas a diversos responsables del diseño y operación de las iniciativas, tanto en Programas como en Gestión Pública, así como en las instancias coordinadoras y otras dependencias de la APF ligadas al proceso. También se entrevistó a académicos y expertos en el campo de monitoreo y evaluación, así como a otros actores relevantes involucrados en el Sistema, tales como firmas consultoras y evaluadores de programas sociales participantes en las evaluaciones externas de programas. Se recibieron comentarios al borrador inicial de este trabajo por responsables de las principales iniciativas analizadas.

15

Se realizó un análisis documental: normativa, informes existentes sobre algunas iniciativas, presentaciones entregadas por responsables de las medidas estudiadas, una tesis doctoral relativa a la evaluación en México, y material especializado en monitoreo y evaluación de la gestión pública. Se consultó en línea, en la página web de diversas secretarías de Estado, las evaluaciones externas realizadas a programas federales sujetos a reglas de operación del 2002 a 2006, y otros sitios de interés relativos al monitoreo y evaluación de la gestión pública. El autor agradece a todos los entrevistados y colegas que facilitaron información y compartieron sus reflexiones sobre las posibilidades de consolidación del Presupuesto Basado en Resultados.

16

I. ANTECEDENTES Y PANORÁMICA GLOBAL DEL SISTEMA 1.1 Descripción general Las iniciativas vigentes en materia de monitoreo y evaluación de los programas y acciones de la Administración Pública Federal se ordenan en dos ámbitos. El primero, denominado Programas, tiene por objetivo planificar y ejecutar las evaluaciones requeridas para conocer de manera oportuna y confiable los resultados más relevantes de los programas, a fin de contribuir a la rendición de cuentas y a su rediseño para maximizar su eficiencia e impacto, así como para, una vez implementado el SED, orientar la asignación presupuestal con la información del impacto social alcanzado por el gasto público ejecutado por los programas de la APF. Para ello, en el marco del SED, los calendarios de las evaluaciones y del ejercicio presupuestal ya han sido sincronizados. En el año 2007, los programas federales entregaron indicadores de desempeño a la Secretaría de Hacienda y Crédito Público (SHCP), con el fin de empatar los tiempos de formulación presupuestal con los de resultados de desempeño. Si bien, aún no hay incentivos ni consecuencias en la asignación presupuestal, el ejercicio pretende ajustar los arreglos institucionales requeridos para lograrlo en el futuro. El segundo ámbito, que puede ser genéricamente nombrado como Gestión Pública, tiene por objetivo introducir mejoras a la gestión de las entidades y dependencias (instituciones) de la Administración Pública Federal, que se traduzcan en mayores niveles de eficiencia, calidad y transparencia de la acción pública, así como de impacto de sus resultados. El SED enfatizará la continuidad de esfuerzos basado en el cumplimiento de compromisos de modernización con interés especial en los procesos transversales de gestión3. En el marco del SED se está en la fase final de diseño del Programa de Mejora de la Gestión (PMG), en el cual se prevé la articulación entre el desempeño de las instituciones y el rendimiento de los programas, que será la información de insumo del proceso presupuestal. El ámbito o componente de Programas Este ámbito incluye un conjunto de iniciativas articuladas entre sí: a) Evaluaciones Externas a programas federales, inicialmente sujetos a reglas de operación, actualmente también a nuevos programas federales, sujetos (o no) a reglas de operación, y a cualquier programa que se considere pertinente. A través de esta iniciativa, las unidades responsables de operación de los programas (UROP) y/o las direcciones generales de Planeación y Evaluación de las entidades y dependencias de la APF, bajo los lineamientos establecidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL)4, contratan o realizan convenios con instituciones públicas o privadas para realizar estudios de evaluación denominados de consistencia y resultados de sus programas5. Si bien las evaluaciones no han logrado, en general, consecuencias en el rediseño de los programas, hay excepciones como la de la Secretaría de Desarrollo Social, en donde existe un mecanismo de incentivos mediante el cual las recomendaciones de los estudios, que hayan sido catalogadas como pertinentes, deban ser atendidas por las UROP e incluirse en los programas operativos anuales correspondientes. b) Evaluación de Impacto a programas prioritarios; estas evaluaciones son más científicas y de carácter multianual, por lo que exceden los alcances de las evaluaciones externas; además, no se pretende, ni justifica, la evaluación de impacto de todos los programas federales. Se concentra en aquellos

3 Compras y contrataciones del Estado, gestión de personal, gestión financiera, planeación estratégica, entre otros. 4 Junto con la Secretaría de Hacienda y Crédito Público (SHCP) y la Secretaría de la Función Pública (SFP) principalmente. 5 Los lineamientos generales de evaluación contemplan, además de la evaluación de Consistencia y Resultados, las evaluaciones de Diseño, de Impacto, de Procesos y de Indicadores; estas últimas aún no se llevan a cabo; se prevé iniciarlas en el año 2008.

17

programas considerados como prioritarios de acuerdo con el Plan Nacional de Desarrollo y la estrategia gubernamental. c) Sistema de Evaluación y Monitoreo Basado en Resultados de Programas Sociales (SEMBR). Este sistema se encuentra actualmente en fase piloto con información de cuatro programas sociales. Es operado por la Dirección General de Monitoreo y Evaluación de la Secretaría de Desarrollo Social (SEDESOL), y su objetivo es promover la institucionalización de la gestión de programas basada en resultados con el fin de establecer mecanismos para su retroalimentación y aprendizaje gerencial. Cabe destacar que la SEDESOL es una de las secretarías que ha liderado la reflexión y acción para el fortalecimiento de su capacidad de monitoreo y evaluación de programas sociales, pero existe una debilidad importante para desarrollar esta función en muchas secretarías de Estado. d) Medición Oficial de Pobreza. El establecimiento de los lineamientos y criterios para la definición, identificación y medición de la pobreza bajo los principios de transparencia, rigor metodológico y objetividad es una de las funciones principales del CONEVAL, de acuerdo con la Ley General de Desarrollo Social. La metodología utilizada para la estimación de la pobreza fue establecida por el Comité Técnico para la Medición de la Pobreza (CTMP). Este conteo oficial es muy relevante ya que se liga a las evaluaciones de impacto y a las evaluaciones externas dando consistencia e integridad a las diversas iniciativas en este ámbito. e) Otras iniciativas. Además de las descritas, destaca el establecimiento del Plan Anual de Evaluación, que define los calendarios de ejecución de las evaluaciones, tipos de evaluaciones, programas y políticas a evaluar. También resaltan los esfuerzos por contar con un ágil y confiable padrón de beneficiarios de los programas sociales que los requieren, así como por mejorar la focalización de tipo geográfica y la constitución del Índice Mexicano de Satisfacción, en tanto instrumento estandarizado para valorar la satisfacción de beneficiarios y usuarios de los programas y que está utilizando actualmente el SEMBR de la SEDESOL. El marco normativo más relevante que soporta estas iniciativas está constituido por la Ley General de Desarrollo Social (LGDS), que permite estandarizar criterios para el diseño, implementación y evaluación de iniciativas para resolver las demandas sociales y su correspondiente proceso de asignación de recursos; y por la Ley Federal de Presupuesto y Responsabilidad Hacendaria, pieza fundamental de la actual estrategia nacional de monitoreo y evaluación de la gestión pública, ya que de ésta se deriva el Sistema de Evaluación del Desempeño para identificar la eficiencia, economía y eficacia de la Administración Pública Federal (componente de Gestión Pública) y el impacto social del gasto público (componente de Programas). El ámbito o componente de Gestión Pública Comprende tres iniciativas principales, algunas de las cuales han dejado formalmente de operar recientemente. Su orientación está dirigida a incrementar los niveles de calidad, eficiencia, eficacia, economía y transparencia en la gestión de las entidades y dependencias públicas, para con ello lograr las metas definidas en la denominada “Agenda de Buen Gobierno” establecida por el gobierno anterior (2000-2006), la cual contiene los siguientes lineamientos: Gobierno honesto y transparente, Gobierno profesional, Gobierno de calidad, Gobierno digital, Gobierno de mejora regulatoria, Gobierno que cueste menos y Acreditación internacional. Esta preocupación por incrementar los niveles de eficiencia y calidad de la gestión institucional se recupera en la recién aprobada Ley Federal de Presupuesto y Responsabilidad Hacendaria (2006). Las iniciativas más relevantes en este ámbito son: a) Sistema de Seguimiento y Evaluación de Metas Presidenciales (SIMEP). Mediante esta iniciativa, a cargo de la Secretaría de la Función Pública (SFP), los titulares de las dependencias de la APF establecen compromisos de mejora de resultados acordados con el propio titular del Ejecutivo. El compromiso se traduce en la fijación de metas sujetas a seguimiento y evaluación, y se definen estándares y ponderadores para su valoración.

18

b) El modelo Intragob, bajo responsabilidad de la Oficina de Innovación Gubernamental (actualmente Oficina de Presidencia), es una iniciativa orientada a mejorar la calidad e innovación en la gestión de las dependencias e instituciones de la APF, para contribuir al logro de los lineamientos de la Agenda de Buen Gobierno. Tiene dos componentes: el modelo propiamente dicho, que define ocho criterios que caracterizan una organización y gestión orientada a la calidad; el segundo es la premiación, y se divide en dos vertientes: Calidad (basada en el modelo) e Innovación (basada en prácticas novedosas de gestión). c) Modelo Integral de Desempeño de Órganos de Vigilancia y Control (MIDO) de la APF. Esta iniciativa, aún vigente, bajo el liderazgo de la SFP, ha permitido, desde su implementación en 2004, dirigir y evaluar el desempeño de los Órganos de Vigilancia y Control (OVC) y de las dependencias y entidades de la APF, a partir de las políticas y prioridades de la SFP. Se constituye en un mecanismo de evaluación del desempeño que impulsa una nueva cultura de desempeño para los OVC, orientada hacia un enfoque basado en resultados y apoyo estratégico a las instituciones de la APF, sin abandonar la vigilancia del adecuado ejercicio de atribuciones normativas, un enfoque preventivo del control, una correcta vigilancia de la gestión pública y una efectiva aplicación de medidas correctivas. Los buenos resultados de esta iniciativa permitirán a los Órganos Internos de Control (OIC) jugar un rol importante en las estrategias del PMG. En el marco del SED, como ya se comentó, se está en proceso final del diseño del Programa de Mejora de la Gestión (PMG), que recupera algunas orientaciones y mejores prácticas de estas iniciativas, y enfatiza la acción para la mejora de procesos de contratación administrativa, gestión financiera efectiva y de personal, así como la planeación estratégica. En el Gráfico Nº 1 se presenta una panorámica global de las diversas iniciativas enumeradas. Se incluyen, además de las enunciadas, antecedentes en materia presupuestal: el presupuesto por programas de la década de los años setenta y la reforma presupuestal de los años noventa, de la que derivó la nueva estructura programático-presupuestal. Además, en el año 2006 se aprobó la Ley de Presupuesto y Responsabilidad Hacendaria que establece el marco de operación del SED y del Presupuesto Basado en Resultados.

Gráfico Nº 1 Visión global de las iniciativas de monitoreo y evaluación

Presupuesto Basado en Resultados (PBR) ( en operación plena en 2009)

Sistema de Evaluación del Desempeño (SED)(se prevé su implementación completa al 2008)Programas Gestió

n

Pública

Evaluaciones Externas(2000)Evaluaciones de Impacto(1997)Medición Oficial de Pobreza(2004)Sistema MyE Basado en Resultados(2004)

SH

yC

P/

CO

NE

VA

L

Sistema de Metas Presidenciales (2002)Modelo Calidad Gubernamental (2002)Modelo Integral de Desempeño de Órganos

de Vigilancia y Control de la APF (MIDO)(2004)

SH

yC

P/

SF

P

Presupuesto porProgramas PPP(1976)

Nueva EstructuraProgramatica(NEP:1996)

Ley de Presupuesto yResponsabilidad Hacendaria (2006)

Pro

gra

ma

de M

ejora

de la

Gestió

n P

MG

Fuente: Elaboración propia.

19

1.2 Línea cronológica

Se presenta la secuencia cronológica de las iniciativas que constituyen los ámbitos de Programas y de Gestión Pública, así como también una síntesis de algunos antecedentes previos que permiten una mayor comprensión de los esfuerzos realizados en materia de evaluación en México. No se presentan los antecedentes de manera exhaustiva6, y se refieren sólo los más recientes que sientan las bases para la operación del SED. Antecedentes En la década de los años setenta destaca la creación de la Secretaría de Programación y Presupuesto (SPP) para ordenar el proceso presupuestal. En 1976 se introduce el Presupuesto por Programas (PPP), también denominado presupuesto por objetivos, programas y metas, siendo el esfuerzo preliminar de ligar planificación, programación y presupuestación con resultados. También en esta década se aprobó la Ley de la Contaduría Mayor de Hacienda, que mejora el ejercicio de control del poder Legislativo al Judicial. En los años ochenta se elabora el primer Plan Global de Desarrollo (PGD) y se establece un sistema integral de planeación vinculado al proceso presupuestal. Mediante la modificación de los artículos 25 y 26 de la Constitución se establece el vínculo entre planeación y desarrollo social, adquiriendo así la planeación un carácter constitucional. Se crea también, en los ochenta, la Secretaría de la Contraloría General de la Federación (SECOGEF) encargada de la fiscalización, control interno global y evaluación de la gestión pública, siendo un antecedente importante de acciones de control interno de los órganos de la APF (la SECOGEF posteriormente se transformó en la Secretaría de la Contraloría y Desarrollo Administrativo, SECODAM, y hoy Secretaría de la Función Pública, SFP). Más adelante se crea el Programa General de Simplificación de la Administración Pública Federal a cargo de la SECOGEF, orientado a la modernización de la gestión pública, aunque sin logros significativos. El Programa de Modernización de la Administración Pública Federal (PROMAP: 1995-2000) realizó un diagnóstico que evidenció la debilidad de la evaluación de resultados e inició acciones puntuales tanto para evaluar resultados como para sentar la bases de la vinculación de éstos a los recursos asignados; una de sus líneas de acción fue precisamente la Medición y Evaluación de la Gestión Pública. El PROMAP renovó el interés por los conceptos de rendición de cuentas, responsabilidad, transparencia y evaluación. En el año 1996 se lleva a cabo la reforma del sistema de presupuestación orientada a resultados, y a la descentralización de la toma de decisiones; se generó también, en el marco de la reforma, una nueva estructura presupuestal, y se diseña el Sistema de Evaluación del Desempeño, así como el Sistema Integrado de Administración Financiera Federal (SIAFF). Cronología de las iniciativas de monitoreo y evaluación comprendidas en los ámbitos de Programas y de Gestión Pública En 1997 se elabora el modelo de evaluación del impacto del Programa de Educación, Salud y Alimentación, PROGRESA (antes, Programa Nacional de Solidaridad, PRONASOL). El modelo de evaluación de impacto es de tipo experimental (o clásico), lo cual representa una innovación. El programa incluye, entre sus servicios, transferencias en efectivo a madres de familia, orientadas a mejorar el consumo en el corto plazo e inversión en capital humano; éste es un sólido precedente para la realización de evaluaciones de impacto. El Congreso, en el año 2000, establece la obligatoriedad de realizar evaluaciones externas, de carácter anual, de programas federales sujetos a reglas de operación, lo que generó, de manera repentina, una demanda intensa de estudios de evaluación y las bases para la construcción de un mercado para su realización.

6 Una revisión exhaustiva de los antecedentes de la evaluación en México desde la década de los años setenta hasta el año 2004 puede encontrarse en Cardozo (2006).

20

En el año 2001 se crea, por medio de la Secretaría de Desarrollo Social (SEDESOL), el CTMP, encargado de establecer la metodología para la medición de la pobreza. En este año se inicia también el desarrollo del Modelo Estratégico para la Innovación y la Calidad Gubernamental que define el modelo Intragob, y comienzan las primeras ediciones de los premios y reconocimientos a la calidad e innovación de las entidades y dependencias de la APF. En el año 2002 se inicia la operación del Sistema de Seguimiento y Evaluación de Metas Presidenciales (SIMEP), a cargo de la Secretaría de la Función Pública, concretamente de la Unidad de Control y Evaluación de la Gestión Pública.

La Dirección General de Monitoreo y Evaluación de Programas Sociales de la SEDESOL inicia, en el año 2004, el diseño del Sistema de Evaluación y Monitoreo Basado en Resultados de Programas Sociales (SEMBR). También en 2004, a cargo de la SFP, comienza la operación del Modelo Integral de Desempeño de Órganos de Vigilancia y Control, denominado MIDO, novedoso sistema de dirección y evaluación del desempeño, inspirado en la metodología COSO, que incluye los Órganos Internos de Control (OIC) y los delegados, subdelegados y comisarios públicos que ejercen funciones de evaluación y vigilancia de la gestión pública en cada una de las dependencias y entidades de la APF. Aunque nace con una orientación hacia los OVC, buena parte de sus índices e indicadores evalúan el desempeño de dependencias y entidades en materias relacionadas directamente con reducción de riesgos de corrupción, de opacidad y mejora del desempeño institucional sobre la Agenda del Buen Gobierno. En el año 2004 es promulgada, además, la Ley General de Desarrollo Social (LGDS), a través de la cual se dota a la administración pública de una institucionalidad ad hoc para la conducción y coordinación de las tareas de evaluación de la política nacional de desarrollo. Destaca la creación del CONEVAL, que actualmente lidera las iniciativas del componente de Programas, junto a la SHCP. En el año 2006 se publica en el Diario Oficial de la Federación la Ley Federal de Presupuesto y Responsabilidad Hacendaria, que establece los mecanismos de evaluación de programas y presupuestos de las entidades de la APF con base en el Sistema de Evaluación del Desempeño, y se convierte en la norma que lidera la implementación del SED y del PBR. En el año 2007, el CONEVAL, junto con la SHCP y la SFP, establecen los lineamientos generales para la evaluación de programas federales de la APF. Éstos contemplan diversos tipos de evaluación, así como las instrucciones para la planificación/programación a través del uso de la matriz de marco lógico (MML), además del Programa Anual de Evaluación para el Ejercicio Fiscal 2007 de los programas federales. En el mismo año 2007 se elabora, a través de la SHCP, la SFP y el CONEVAL, la propuesta a la Cámara de Diputados del Sistema de Evaluación del Desempeño (SED), y se programa el mes de junio de 2007 como la fecha para la recepción de observaciones. En julio de 2007, la Subsecretaría de Egresos de la SHCP establece los lineamientos generales para el proceso de programación y presupuestación del ejercicio fiscal 2008, presentando un esquema articulado e integrado de las diversas iniciativas que comprenden la vertiente de Programas y de Gestión Pública del SED.

21

II. DESCRIPCIÓN Y ANÁLISIS DE LAS INICIATIVAS EN LOS ÁMBITOS DE PROGRAMAS Y DE GESTIÓN PÚBLICA

2.1 Componente de Programas Este componente comprende diversas iniciativas que, paulatinamente, han logrado integración. La Ley General de Desarrollo Social (LGDS, 2004), promulgada en el año 2004, es la norma que regula las actividades de las diversas iniciativas de este componente. A través de la LGDS se crea y fortalece una institucionalidad ad hoc para hacer eficiente el proceso de formulación, implementación y evaluación de políticas públicas para el desarrollo. La Ley Federal de Presupuesto y Responsabilidad Hacendaria (artículo 78) también representa una iniciativa relevante, ya que ordena la evaluación de resultados de los programas sujetos a las reglas de operación. A través de estas leyes es que se sincronizan los calendarios de evaluación y presupuesto. 2.1.1 Ley General de Desarrollo Social El 20 de enero de 2004 se publicó en el Diario Oficial de la Federación el Decreto que promulga la Ley General de Desarrollo Social (LGDS), que se constituye en un instrumento de coordinación, ordenamiento y regulación de la política social. La LGDS señala las obligaciones del gobierno, establece las instituciones responsables, y define los principios7 y lineamientos generales que deben orientar la Política Nacional de Desarrollo Social para: “garantizar el pleno ejercicio de los derechos sociales consagrados en la Constitución Política de los Estados Unidos Mexicanos, asegurando el acceso de toda la población al desarrollo social” (LGDS, numeral 1, artículo 1, capítulo I, del Objeto).

Con esta norma se sientan las bases para la consolidación de un Sistema Nacional de Desarrollo Social, integrando los tres niveles de gobierno8, las vertientes de la política social9, las áreas prioritarias para programas sociales10, las características de su financiamiento, así como los denominados “candados” al gasto social. Éstos establecen que el gasto de los programas prioritarios no podrá ser inferior al del año fiscal anterior, se deberá incrementar en la misma proporción en que se estima el crecimiento del Producto Interno Bruto (PIB) de acuerdo con los Criterios Generales de Política Económica y, finalmente, el gasto social per cápita no podrá ser inferior, en términos reales, al asignado el año inmediato anterior. Destaca en la LGDS el rol otorgado a la evaluación. Uno de los numerales en el Objeto de la Ley, refiere específicamente a: “Establecer mecanismos de evaluación y seguimiento de los programas y acciones de la Política Nacional de Desarrollo Social” (numeral VIII, artículo 1, capítulo I, del Objeto).

7 Libertad, justicia distributiva, solidaridad, integralidad, participación social, sustentabilidad, respeto a la diversidad, libre determinación y transparencia. 8 Gobierno central, entidades federativas (32) y municipios. 9 Superación de la pobreza a través de educación, salud, alimentación, generación de empleo e ingreso, autoempleo y capacitación; seguridad social y programas asistenciales; desarrollo regional, infraestructura social básica y fomento del sector social en la economía. 10 Programa de educación obligatoria; campañas de prevención y control de enfermedades transmisibles y programas de atención médica; programas dirigidos a zonas de atención prioritaria; programas y acciones para asegurar alimentación y nutrición materno-infantil; programas de abasto social de productos básicos; programas de atención a grupos vulnerables, en condiciones de pobreza o marginación; programa de vivienda; programas y fondos públicos orientados a la generación y conservación del empleo, actividades productivas sociales y empresas del sector social de la economía; programas y obras de infraestructura para agua potable, drenaje, electrificación, caminos y otras vías de comunicación y saneamiento ambiental y equipamiento urbano.

22

Además, la Ley define la responsabilidad en la evaluación del CONEVAL, institución que se crea con la Ley, como organismo público descentralizado de la Administración Pública Federal, cuyo objetivo es precisamente normar y coordinar la evaluación de las políticas y programas de desarrollo social que ejecuten las dependencias públicas, y establecer los lineamientos y criterios para la definición, identificación y medición de la pobreza bajo los principios de transparencia, rigor metodológico y objetividad. El CONEVAL está integrado por el titular de la SEDESOL, seis investigadores académicos seleccionados mediante convocatoria pública, quienes ocupan el cargo por cuatro años, al término de los cuales pueden ser reelectos, y un Secretario Ejecutivo. Su administración está a cargo de un Consejo Directivo integrado por los académicos y, como miembros consejeros, el titular de la SEDESOL (presidente) y de la Subsecretaría de Egresos de la Federación (consejero) de la Secretaría de Hacienda y Crédito Público (SHCP). El CONEVAL puede realizar estudios de evaluación de programas o contratar evaluadores externos. La LGDS establece que: “Los organismos evaluadores independientes que podrán participar serán instituciones de educación superior, de investigación científica u organizaciones no lucrativas. Cuando las evaluaciones se lleven a cabo por un organismo distinto del Consejo, éste emitirá la convocatoria correspondiente y designará al adjudicado” (LGDS, artículo 72, capítulo I, de las Evaluaciones). Las principales funciones del CONEVAL se describen en el Cuadro Nº 1.

Cuadro Nº 1 Principales funciones del CONEVAL

· Establecer el Plan Anual de Evaluación que defina los calendarios de ejecución de las evaluaciones, tipos de

evaluaciones, programas y políticas a evaluar.

· Coordinar las acciones y estrategias de evaluación.

· Supervisar que los programas, proyectos y actividades del Sistema de Evaluación del Desempeño se ajusten a las líneas del Plan Nacional de Desarrollo y de los programas sectoriales.

· Establecer criterios y lineamientos para la aplicación de metodologías de evaluación de la política y los

programas de desarrollo social.

· Dar a conocer los resultados de las evaluaciones y otros estudios referentes al desarrollo social.

· Establecer criterios de resultados que apoyen la definición de zonas de atención prioritaria.

· Establecer los criterios y lineamientos para la definición, identificación y medición de la pobreza.

· Seguimiento a las recomendaciones derivadas de las evaluaciones.

· Emitir sugerencias y recomendaciones al Ejecutivo Federal, a la Comisión Intersecretarial de Desarrollo Social y a la Comisión Nacional de Desarrollo Social sobre la materia.

Fuente: LGDS (2004); Conde (2007); y http://www.coneval.gob.mx (consulta en abril de 2007).

El CONEVAL, a su vez, rinde cuentas a la Secretaría de Hacienda y Crédito Público y al Congreso a través de la Auditoría Superior de la Federación. En realidad, aunque se busca que los lineamientos generales de evaluación sean aplicados a todos los programas de la APF, el CONEVAL coordina y regula la evaluación de los programas federales del sector social.

23

Medición Oficial de la Pobreza Como se señaló, establecer los lineamientos y criterios para la definición, identificación y medición de la pobreza bajo los principios de transparencia, rigor metodológico y objetividad, es una de las funciones clave del CONEVAL11, y sienta una importante condición para el diseño, gestión y evaluación de la política nacional de desarrollo social, y de las estrategias y programas sociales que la hacen operativa. Los lineamientos y criterios que establezca el CONEVAL para la definición, identificación y medición de la pobreza son de “aplicación obligatoria para las entidades y dependencias públicas que participen en la ejecución de los programas de desarrollo social” (LGDS, artículo 36, capítulo 6). La metodología utilizada para la estimación de la pobreza12 fue establecida por el CTMP, organismo creado por la SEDESOL el 13 de julio de 2001, y presidido por el titular de dicha Secretaría de Estado. El CTMP estuvo conformado por siete académicos reconocidos y un representante del Consejo Nacional de Población (CONAPO), del INEGI y de la Presidencia de la República.

Producto de un serio trabajo de investigación, el CTMP presentó la metodología para medir la pobreza, aprobada de forma unánime por todos sus miembros como la mejor opción, conforme a sus características y disponibilidad de información. El consenso alcanzado quedó documentado en el libro “Números que mueven al mundo: La medición de la pobreza en México”, coeditado por una editorial mexicana e instituciones académicas. En el libro participan intelectuales y actores relevantes del diseño e implementación de políticas y programas sociales. Con respecto a la sostenibilidad de las mediciones, ésta se considera posible dada la robustez metodológica, sin dejar de reconocer que existen limitaciones a superar en el futuro. Esta metodología sigue vigente y es la utilizada actualmente por el CONEVAL. El CONEVAL, para medir la pobreza, utiliza la información básica que proporciona la Encuesta Nacional de Ingresos y Gastos de los Hogares (ENIGH). Además, a partir de 2002, la SEDESOL solicitó al INEGI la aplicación de un Módulo de Programas Sociales, a la par del levantamiento de la ENIGH, con fines de evaluación, ya que tal información complementa sus registros de datos. La medición de pobreza deberá contemplar, al menos, según indica la LGDS, los siguientes indicadores: ingreso corriente per cápita; rezago educativo promedio en el hogar; acceso a los servicios de salud; acceso a la seguridad social; calidad y espacios de la vivienda; acceso a los servicios básicos en la vivienda; acceso a la alimentación; y grado de cohesión social13. Además, el CONEVAL realiza análisis y mediciones en temas como vulnerabilidad y distribución del ingreso, entre otros derivados de los enfoques de medición multidimensional de la pobreza, así como su desagregación en entidades federativas y municipios. En la página web, por ejemplo, es posible obtener indicadores de rezago social por entidad federativa.

11 La estimación de pobreza en prácticamente todos los países de la región descansa en sus oficinas nacionales de estadística (ONE); para el caso de México, de acuerdo con la Ley General de Desarrollo Social (2004), en el título tercero, capítulo VI “De la definición y medición de la pobreza”, se instituye que el Instituto Nacional de Estadística, Geografía e Informática (INEGI) será el proveedor de información social a nivel de entidad federativa cada dos años, y a nivel municipal cada cinco, y que tanto el CONEVAL como la SEDESOL están obligados a usar la información generada por él. 12 Se agradece a José Vences, del INEGI, por la información proporcionada y la entrevista vinculada a los aspectos de medición de pobreza, también por la reunión organizada para discutir con el grupo de trabajo a su cargo. 13 Este último indicador relativo al “grado de cohesión social” ha generado debate en torno de su metodología de medición.

24

A través de comunicados de prensa y mediante su página web, el CONEVAL da a conocer reportes de cifras sobre la evolución de la pobreza en México. Éstos se han caracterizado por su objetividad y han sido, en general, bien recibidos por grupos de académicos y políticos, y por la opinión pública en general. La nueva institucionalidad para el Desarrollo Social que se deriva de la LGDS Con la finalidad de homogeneizar criterios para el diseño, implementación y evaluación de iniciativas para resolver demandas sociales y su correspondiente proceso de asignación de recursos, la LGDS crea un conjunto de instancias específicas. Además del CONEVAL, la LGDS crea otras cuatro instituciones, todas presididas por el titular de la Secretaría de Desarrollo Social, quien adquiere un rol protagónico en el proceso de formulación e implementación de la Política Nacional de Desarrollo Social: · La Comisión Intersecretarial de Desarrollo Social (CIDESOL). El Subsecretario de la SEDESOL

fungirá como Secretario Técnico de la Comisión. Participan titulares de las secretarías del ámbito económico y social14, así como de la Secretaría de Hacienda y Crédito Público. Su objetivo, de acuerdo con la LGDS, consiste en coordinar las acciones del Ejecutivo Federal para garantizar integralidad en el diseño y ejecución de la Política Nacional de Desarrollo Social.

· El Consejo Consultivo de Desarrollo Social (CCDS). Integrado por un secretario ejecutivo designado por el titular de la SEDESOL, así como por consejeros invitados por la SEDESOL. Constituye el órgano consultivo de la SEDESOL. Tiene como objetivo central analizar y proponer programas y acciones que incidan en el cumplimiento de la Política Nacional de Desarrollo Social.

· La Comisión Nacional de Desarrollo Social (CNDS). Participan titulares de las principales secretarías de Estado en el ámbito social15. La Comisión se concibe como instrumento de coordinación de programas, acciones e inversiones que para el cumplimiento de los objetivos, estrategias y prioridades de la Política Nacional de Desarrollo Social lleven a cabo las dependencias y entidades federales, de manera directa o en concurrencia con gobiernos de las entidades federativas y de los municipios, o en concertación.

· El Sistema Nacional de Desarrollo Social (SNDS). Integrado por los niveles nacional y subnacionales del Poder Ejecutivo, entidades del sector público y organizaciones sociales que participan en actividades de desarrollo social. Su objetivo es integrar la participación de los sectores público y privado en el cumplimiento de las estrategias y prioridades de la Política Nacional de Desarrollo Social, así como favorecer la alineación de la política social entre los niveles central y subnacionales.

Estos comités participativos han comenzado su operación. Sin embargo, de las entrevistas se deriva que aún hace falta consolidar los mecanismos de coordinación, comunicación y control entre éstos. Además, en el proceso de hechura de las políticas públicas en México, el rol que detentan los gabinetes social y económico, así como el peso específico de ciertas secretarías y de ciertos funcionarios en particular, podría diluir el cumplimiento de algunas funciones asignadas por la norma a estas nuevas instancias; es decir a su falta de consolidación se suma la dinámica propia de la gestión interinstitucional y de grupos de interés que participan en el proceso de formación de políticas públicas y que podrían influir en su desempeño.

14 Secretaría de Turismo; de Energía; de Economía; de Educación Pública; de Salud; de Trabajo y Previsión Social; de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación; de Medio Ambiente y Recursos Naturales; de Comunicaciones y Transportes; y de la Función Pública. Pueden participar con derecho a voz otros titulares de dependencias de la APF. 15 Secretaría de Educación Pública; de Salud; de Trabajo y Previsión Social; de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación; y de Medio Ambiente y Recursos Naturales.

25

Por otra parte, la reglamentación de la LGDS no ha estado exenta de controversia, pues presenta inconsistencias respecto a los alcances de la LGDS ya que la limita, le añade o le modifica competencias, y no se circunscribe, como todo reglamento, a establecer sus procesos y procedimientos de operación. Esto propició, como señala Conde (2007), una controversia constitucional aún no resuelta: “esto motivó que el 21 de febrero de 2006, el pleno de la Cámara de Diputados16 aprobara ‘interponer una controversia constitucional en contra de actos del Poder Ejecutivo federal consistente en la expedición, publicación y entrada en vigor’ del RLGDS, por lo que se ‘solicita que la Suprema Corte de Justicia de la Nación (SCJN) declare la invalidez constitucional de 31 artículos del Reglamento de la Ley General de Desarrollo Social, así como la suspensión temporal de una serie de actos que contravienen la Ley’. Un año después, aún no ha sido resuelta dicha controversia”17 (Conde, 2007: 26). 2.1.2 Evaluación externa de programas18

En el año 2000, el Congreso aprueba requerir evaluaciones anuales externas obligatorias (a partir del año 2001) para todos los programas sociales de la Administración Pública Federal sujetos a reglas de operación; esto incluye los programas ejecutados por dependencias19 y entidades20 de la APF que destinan recursos fiscales del gobierno federal a beneficiarios mediante las modalidades de subsidios o transferencias, en efectivo o en especie, o mediante la prestación de bienes y/o servicios. La lista de programas se hallaba en el Presupuesto de Egresos de la Federación (PEF). Las reglas de operación21 son diseñadas por las secretarías de Estado responsables de los programas; su dictamen está a cargo de la Comisión Federal de Mejora Regulatoria (COFEMER); y finalmente autorizadas por la SHCP para garantizar la aplicación eficiente, eficaz, transparente y equitativa de los recursos públicos. Las reglas, una vez aprobadas, son publicadas en el Diario Oficial de la Federación22. La cobertura de la evaluación externa se amplía no sólo a aquellos programas federales sujetos a reglas de operación, sino que incluye también programas que vayan a iniciar operación (nuevos programas), sin la condición de que estén sujetos a reglas de operación, así como otros programas federales que se consideren pertinentes para ser evaluados. Las evaluaciones externas inicialmente se hicieron por razones de rendición de cuentas y transparencia, y no con el fin explícito de ligar sus resultados a decisiones presupuestarias,

16 Con el voto a favor de todas las fracciones parlamentarias, excepto la del PAN. 17 Posición del grupo parlamentario del Partido de la Revolución Democrática (PRD) en la Cámara de Diputados: “La SCJN debe declarar la invalidez constitucional de 31 artículos del Reglamento de la Ley General de Desarrollo Social”, Boletín Desarrollo Social, Nº 0768, 6 de marzo de 2006. Versión electrónica: http://prdleg.diputados.gob.mx/sala/boletines/06_03_06/bol0768.htm (consulta: 13-04-2007). 18 En realidad la evaluación externa de programas es uno de los cuatro tipos de evaluación que comprenden los Lineamientos Generales de Evaluación emitidos por el CONEVAL y la SHCP, los que también comprenden otros aspectos tales como la elaboración de matrices de indicadores para programas sociales. Se elabora un apartado específico a las evaluaciones externas ya que éstas se iniciaron hace varios años y es, sin duda, el tipo de evaluación con más evidencia para el análisis. 19 Comprende, según el artículo 2 de la Ley Orgánica de la Administración Pública Federal (LOAPF), las secretarías de Estado, los departamentos administrativos y la Consejería Jurídica. 20 De acuerdo con el artículo 3 de la LOAPF, comprende organismos descentralizados, empresas de participación estatal mayoritaria, instituciones nacionales de crédito, organizaciones auxiliares de crédito, e instituciones nacionales de seguros, fianzas y fideicomisos. 21 En realidad no es totalmente claro a través de qué mecanismos un programa puede (o no) estar sujeto a reglas de operación, y en consecuencia exigir su evaluación; esto depende en buena medida del Presupuesto de Egresos de la Federación y de los criterios de la Secretaría de Hacienda y Crédito Público. 22 Las reglas de operación son herramientas de gestión que permiten ordenar los procesos y procedimientos que determinan de manera significativa la productividad de los principales procesos operativos de los programas. La ausencia de ellas favorece vacíos y discrecionalidad en la ejecución de recursos, en la producción y entrega de bienes y/o servicios de acuerdo con el diseño. Los Términos de Referencia de las evaluaciones externas se utilizan como un insumo clave.

26

planificación o aprendizaje23. Es posible reconocer, sin embargo, una amplia variedad de intereses que impulsaron la creación de esta iniciativa24.

El mercado de los estudios de evaluación Evaluar anualmente los programas sociales sujetos a reglas de operación generó de manera súbita una demanda de estudios de evaluación de programas sociales. Para el año 2002, la demanda por la SEDESOL, una de las secretarías con mayor número de programas del sector social, era de 31 programas (18 sectorizados y 13 no sectorizados). La demanda de evaluación en 2006 era de 17 programas (el 55% en relación con el año 2002). De septiembre de 2002 al 30 de marzo de 2006 se han entregado a la H. Cámara de Diputados 65 evaluaciones externas de programas sociales operados por la SEDESOL y sus organismos sectorizados (SEDESOL, 2006). A éstas, por supuesto, hay que sumar las del resto de entidades y dependencias del sector social que caen en el mandato del CONEVAL.

La Oferta para realizar los estudios enfrentó, al inicio, varios problemas: a) la falta de un número suficiente de proveedores; b) la falta de habilidades, conocimientos técnicos y experiencia en evaluación por parte de un número importante de instituciones participantes, en especial en relación con la realización de estudios de evaluación de impacto25; c) la falta de suficiente competencia entre proveedores, así como la ausencia de mecanismos claros para dirimir controversias.

Por el lado de la Demanda, también existieron dificultades: d) la falta de información básica y organizada de la gestión de los programas a evaluarse, que facilitara la realización de los estudios de evaluación26; e) un sistema de contratación administrativa27 poco eficaz, por las siguiente razones: · plazos administrativos para llevar acabo la contratación, tiempo de entrega del presupuesto y de

realización de los estudios de evaluación no compatibles, lo que generó cuellos de botella;28

23 Este argumento se encuentra en Hernández Licona (2006), y también en la entrevista a Gloria Martha Rubio, Directora General de Evaluación y Monitoreo de Programas Sociales de la SEDESOL. 24 La creciente presión de los diputados por restringir el uso de los programas sociales con fines proselitistas; el interés de los propios operadores de programas por una gestión más eficiente; los esfuerzos de la Secretaría de Hacienda y Crédito Público por iniciar acciones encaminadas a mejorar la fiscalización del gasto gubernamental; los avances conceptuales e instrumentales, y evidencias en distintos países correspondientes a democracias avanzadas y países en desarrollo de la instrumentación de iniciativas de gestión por resultados y transparencia que renuevan el interés de algunos funcionarios por otorgar continuidad a los esfuerzos de modernización de la gestión pública iniciados por el PROMAP, entre otras, como el interés generado por la evaluación del PROGRESA. Ver Cardozo Brum (2006), Banco Mundial y BID (2006), Conde Bofill (2007), y entrevistas realizadas. 25 Sobre la base de entrevistas realizadas a: titular de CONEVAL, Dr. Gonzalo Hernández; y a Myriam Cardozo (Universidad Autónoma Metropolitana), quien realizó investigación exhaustiva de los estudios y consulta de las evaluaciones 2002-2005 de la página web de SEDESOL. 26 Bajo la hipótesis de que los estudios de evaluación de resultados requieren de información producida por los programas a nivel de monitoreo, básicamente registros administrativos, y que sin ésta los costos de los mismos se elevan, la Secretaría de Hacienda y Crédito Público, la Secretaría de la Función Pública y el Consejo Nacional de Evaluación de la Política de Desarrollo Social, el 30 de marzo de cada año, publican en el Diario Oficial de la Federación los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal, a través de los cuales se establecen las bases conceptuales e instrumentales para la definición de metas y el establecimiento de un sistema básico de monitoreo a través de la matriz de indicadores. 27 A través de las modalidades de: licitación pública -nacional e internacional-, invitación directa (lista corta) y, bajo ciertos requisitos, adjudicación directa (artículo 26 de la Ley). 28 Etapas del proceso de contratación de estudios de evaluación de programas: se inicia con la autorización del PEF, a partir de la autorización del presupuesto global a la dependencia por la Dirección General de Programación y Presupuesto, etapa que requiere al menos mes y medio para asignar recursos a cada unidad administrativa (UA). A fines de febrero de cada año se notifica a la UA sobre su presupuesto autorizado. El siguiente paso es gestionar ante la Secretaría del ramo, el ejercicio de partidas restringidas (artículo 19, último párrafo de la Ley de Adquisiciones, Arrendamientos y Servicios del Sector Público), recibiendo dicha autorización (en el caso de la SEDESOL) a fines de mayo. Una vez autorizada se procede a llevar a cabo la licitación pública; a partir de la revisión de las bases hasta la adjudicación se requieren 37 días naturales, esto representa contar con los evaluadores externos en el mejor de los escenarios hasta la primera quincena de julio, tomando en cuenta que el PEF señala que la entrega de resultados de las evaluaciones, deberá enviarse a la Cámara de Diputados el último

27

· proceso de evaluación de ofertas29 basado más en la consideración del precio más bajo que en el cumplimiento de especificaciones técnicas de carácter sustantivo (calidad);

· ambigüedad en relación con quiénes pueden o no constituirse en proveedores30; esto es relevante ya que contratar un organismo público o uno privado define modalidades y tiempos distintos de contratación para una institución. Las restricciones de tiempo favorecen la contratación de agentes públicos (contratación al interior) más que privados (contratación al exterior).

El proceso de contratación también generó incentivos en los proveedores para distorsionar sus precios a la baja con el fin de lograr adjudicaciones, y la asimetría de información hacía muy compleja la estimación de precios; f) requerimientos excesivos de “requisitos mínimos”31 que deberían cumplir las evaluaciones, tales como: realización de evaluaciones de impacto32 o estudios costo-beneficio, dejando de lado aspectos clave como el diseño y formulación; esto provocaba términos de referencia y especificaciones técnicas para guiar los estudios de evaluación irrealizables y ambiguos33; y g) la no existencia de condiciones mínimas en cuanto a recursos, personal, tecnología de información o equipos para garantizar que las recomendaciones pertinentes de los estudios de las evaluaciones pudiesen ser implementados por los operadores de los programas, entre otros. De esta manera, el inicio de las denominadas evaluaciones externas fue complejo: “En las dos primeras experiencias resultó muy complicado realizar los concursos y asignar los proyectos por la falta de experiencia de las dependencias y entidades así como de un marco regulatorio apropiado” (Conde Bofil, 2007: 8).

Estas condiciones provocaron h) la generación de estudios voluminosos que desincentivaban su lectura y hacían difícil identificar las recomendaciones específicas para las autoridades y operadores de los programas evaluados. Se suma, además, el hecho de la no existencia en el país de una oferta regular de formación y entrenamiento en el campo. El mercado de evaluación no surge por decreto, generación espontánea o ausencia de intervención estatal. La utilización de mecanismos de mercado, como la contratación al exterior, resulta de utilidad cuando sus supuestos de operación son verificados y se crean incentivos y mecanismos institucionales, reglas y procedimientos claros que permitan operar a las fuerzas del mercado34.

La no existencia de una oferta suficiente en número, calidad técnica y solidez financiera de proveedores, así como la ausencia de un nivel de competencia suficiente entre ellos35, tiende a generar el fraccionamiento del mercado y colusión. La contratación al exterior requiere también de la definición precisa de los estándares esperados de desempeño, y mecanismos de arbitraje y conciliación

día hábil del mes de agosto; significa que tanto el evaluador como los responsables de la evaluación, cuentan únicamente con mes y medio para llevar a cabo los trabajos. 29 De conformidad con las normas previas a la entrada en vigencia de las reformas a la Ley de Adquisiciones, Arrendamientos y Servicios del Sector Público de fecha 7 de julio de 2005, implementadas a partir del primero de diciembre de 2006. 30 El artículo 73 de la LGDS señala que los organismos evaluadores independientes que podrán participar en la evaluación de la Política de Desarrollo Social, serán instituciones de educación superior, de investigación científica u organizaciones no lucrativas. El PEF 2007, en su artículo 26, señala que las dependencias y entidades responsables de los programas deberán realizar la evaluación de resultados de los programas sujetos a Reglas de Operación a través, además, de organismos especializados, de carácter nacional o internacional, que cuenten con reconocimiento y experiencia en las respectivas materias de los programas. 31 En el año 2002, la SHCP y la SECODAM (hoy Secretaría de la Función Pública) expidieron un acuerdo que especificaba los requisitos mínimos que deberían contener los informes de las evaluaciones. 32 En programas sociales, el período de tiempo para que las condiciones de bienestar de la población objetivo de un programa que recibe bienes y/o servicios se modifique, suele ser multianual; además, el costo para realizarlo es alto, y requiere un fuerte rigor metodológico; por estas razones no es útil pensar en evaluaciones anuales de impacto. 33 Cfr. Cardozo Brum (2006) y entrevista con evaluadores. 34 Un interesante artículo referido al arte del diseño de mercados, ver en Roth (2007). 35 Hubo licitaciones declaradas desiertas o de único oferente.

28

para dirimir controversias36; de no ser así se corre el riesgo de cesación de actividad, elevación de precios, altos costos de transacción, resultados de baja calidad, etc. Estos y otros supuestos deben ser verificados antes de operar un sistema de contratación al exterior (u otro mecanismo de mercado), o bien tomar medidas iniciales para fortalecer las deficiencias detectadas. Si bien es cierto que se asumió un riesgo importante al apostar por un cambio drástico y no incremental, y se tuvo un número importante de estudios de evaluación de baja calidad37 que desincentivaban su utilización, se logró por otra parte posicionar el tema de la evaluación en la agenda gubernamental y en los principales involucrados, y se comienza a generar una densidad conceptual e instrumental mínima en torno del tema de la evaluación, que apunta al fomento de una cultura de gestión por resultados. Además se han creado incentivos y mecanismos para mejorar la regulación y ordenamiento del mercado de la evaluación, todavía en proceso de consolidación. Sin embargo, aun suponiendo que el mercado de estudios de evaluación se consolide, ello en sí mismo no soluciona la necesidad de evaluación de los programas sociales. Es un instrumento de apoyo; sin embargo, en la medida que mejore la capacidad gerencial de los programas sociales y sus habilidades para desarrollar sistemas propios de monitoreo y evaluación38, se dependerá menos de las evaluaciones externas, tal y como ahora se realizan. Quizás se acuda a controles de otra naturaleza, y se concentren los esfuerzos en las evaluaciones de impacto y en el fortalecimiento de la capacidad técnico/gerencial de los programas. La situación ideal, como señala Gonzalo Hernández, Secretario Ejecutivo del CONEVAL, “sería que cada programa tuviera un cierto nivel de evaluación interna para que la evaluación externa sólo compruebe ciertos datos o corrobore cierta información, haga una evaluación general del programa” (Hernández, 2006). Los ajustes realizados Las evaluaciones externas se iniciaron con un énfasis en la rendición de cuentas, como ya se comentó. Al respecto, la mera realización y entrega en tiempo y forma de los estudios constituiría un indicador de eficacia de la iniciativa. En algunas secretarías de Estado, como la SEDESOL, se enfatizó también en la atención prestada a las recomendaciones por parte de la unidad responsable de la operación del programa (UROP), es decir la influencia de las evaluaciones en términos del rediseño y mejoramiento de los programas; la función de aprendizaje cobró, entonces, relevancia. En esta dinámica, el titular de la Dirección General de Monitoreo y Evaluación de Programas Sociales de la SEDESOL decide cambiar su indicador de eficacia de “porcentaje de programas evaluados a porcentaje de recomendaciones atendidas”. Además, requirió a los evaluadores realizar “síntesis ejecutivas que presentasen las fortalezas, retos y recomendaciones para facilitar la utilización de los estudios” 39, para lo cual se elaboró un formato específico40. También se requirió a los funcionarios de las UROP una respuesta oficial respecto a cuáles recomendaciones se implementarán41 y cómo se hará42.

Los alcances de las evaluaciones fueron evolucionando de altos niveles de exigencia, difíciles de cumplir, derivados del acuerdo (del año 2002) entre la SHCP y la SECODAM (hoy Secretaría de la 36 Para ver con más detalle los riesgos, ventajas y requerimientos del uso de mecanismos de mercado y de la nueva gestión pública en programas sociales, véase Medina Giopp (1998). 37 Cardozo, 2006; Bernal, 2006; y consulta en línea de las evaluaciones 2002-2005 en la página web de la SEDESOL. 38 En este sentido, los lineamientos del CONEVAL, de la SHCP y de la SFP se van orientando a fortalecer la capacidad gerencial de las unidades operadoras de los programas federales. 39 Entrevista con Gonzalo Hernández, Secretario Ejecutivo del CONEVAL y anteriormente Director General de Evaluación y Monitoreo de Programas Sociales de la SEDESOL. 40 La revisión en línea de los estudios de evaluación permite apreciar cómo de 2002 a 2005 se dan mejoras significativas en la elaboración de síntesis ejecutivas. 41 A partir de 2005, en la SEDESOL existe un sistema informático que captura las recomendaciones, las que son calificadas como “pertinentes” y “no pertinentes”. 42 Aunque esto podría generar, según entrevistados, un contra-incentivo al inducir a comprometerse con desafíos poco retadores y fáciles de lograr, para obtener buenas evaluaciones.

29

Función Pública) que especificaba los requisitos mínimos que deberían contener los informes de las evaluaciones, a requisitos con alcances realistas y de más fácil comprensión y manejo en las evaluaciones de consistencia y resultados, de acuerdo con la clasificación de tipos de evaluación que realiza el CONEVAL (del año 2007)43. En realidad existieron ajustes también en 2003 y 2004. Los lineamientos emitidos apuntan además al ordenamiento de la información de gestión de los programas. La experiencia acumulada de los últimos años comienza a corregir los problemas de la regulación. Los precios de mercado de los estudios de consistencia y resultados comienzan a definirse, reduciendo la inicial asimetría de información, por lo que se puede estimar con mayor precisión el costo de una evaluación. Esto se deriva de una exigencia más realista de los estudios, eliminando la exigencia de evaluación de impacto y concentrándose en un estudio de consistencia y resultados, con cien preguntas específicas para todos los programas sujetos a evaluación. Así, el valor de la contratación de estudios específicos y el precio de la oferta económica de los proveedores son más realistas. En cuanto a la capacidad técnica y experiencia de los ofertantes, se da una mejora incremental derivada de la misma experiencia de la realización de las evaluaciones, así como de la oferta académica de algunas universidades y centros de investigación en materia de actividades de extensión educativa relativas al campo de monitoreo y evaluación. Sin embargo, los avances se dan en aspectos relativos al monitoreo y escasamente en materia de evaluación de impacto. La Tabla Nº 1 muestra la evolución del proceso de consolidación del mercado de estudios de evaluación; el primer círculo refiere al año 2001 y el segundo a 2007. Los tonos usados refieren a lo siguiente: negro, condición negativa; gris, en proceso de solución; y blanco, condición superada.

43 Ver “Lineamientos Generales para la Evaluación de Programas Federales de la Administración Pública Federal”, en Diario Oficial de la Federación, 30 de marzo de 2007, capítulo II, artículo decimoctavo.

30

Tabla Nº 1 El mercado de estudios de evaluación

Principales debilidades

Oferta de proveedores de estudios de evaluación

Año 2001

Año 2007

Demanda de estudios de evaluación por parte de las

instituciones y dependencias de la APF

Año 2001

Año 2007

Insuficiente número de proveedores.

Insuficiente información de gestión de los programas por parte de las UROP.

Capacidad técnica y experiencia insuficiente de proveedores adjudicados (especialmente en evaluación de impacto).

Requerimientos excesivos en TDR iniciales; ambigüedad. No es claro quién debe contratar.

Poca competencia existente entre proveedores (en ocasiones hubo licitaciones desiertas o con proveedor único).

No existencia de condiciones para garantizar la aplicación de las recomendaciones pertinentes derivadas de las evaluaciones y su conexión al proceso presupuestal.

Punto de encuentro Oferta y Demanda (Contratación administrativa)

Incentivos de los proveedores a distorsionar el precio de su oferta (a la baja) para lograr la adjudicación.

Incentivos a usar Convenios en lugar de modalidades de contratación administrativa por presión de tiempo para entrega de los estudios de evaluación. En el año 2007 gran parte de las contrataciones fueron por Convenios.

Ausencia de información sobre el valor de los estudios de evaluación que asigna el contratista.

Fijación poco precisa del valor de los estudios de evaluación.

Presiones de tiempo para entrega de estudios (derivado de los plazos de contratación y plazos legales de entrega de los estudios).

Ausencia de mecanismos ágiles de resolución de controversias.

Fuente: Elaboración propia. Financiamiento de las evaluaciones externas Las evaluaciones externas de los programas federales deberán ser financiadas, en su totalidad, por el presupuesto de las entidades y dependencias de la APF responsables de su operación, según indica el Programa Anual de Evaluaciones para el Ejercicio Fiscal 2007 de los Programas Federales de la Administración Pública elaborado por el CONEVAL (30 de marzo, Diario Oficial de la Federación). Para las evaluaciones que realicen la SEDESOL o el CONEVAL, el mecanismo de financiamiento podrá ser realizado por las dependencias y entidades de acuerdo con las normas jurídicas y lineamientos presupuestales, o en su caso con cargo a la Secretaría y/o Consejo, cuando éstos así lo determinen. Un estudio de las evaluaciones externas realizadas hasta el año 2004 (Cardozo, 2006) indica que no existe una correlación entre el presupuesto del programa y el costo de la evaluación, así como tampoco hay elasticidad calidad/precio de las evaluaciones, es decir, el mayor gasto en evaluación no implica necesariamente mayor calidad en la misma.

31

Información pública La información de las evaluaciones externas es pública. Pueden consultarse actualmente en la página web de diversas secretarías de Estado; por ejemplo, la SEDESOL tiene en línea todas las evaluaciones realizadas, en su versión completa, entre los años 2002 y 2005. También la Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación (SAGARPA), la Secretaría de Medio Ambiente y Recursos Naturales (SEMARNAT) y otras secretarías de Estado tienen los estudios de evaluación disponibles “en línea”. La Ley Federal de Transparencia y Acceso a la Información Gubernamental44 y la Ley General de Desarrollo Social han impulsado la difusión de información. “La Ley Federal de Transparencia y Acceso a la Información Gubernamental busca recuperar la confianza de los ciudadanos en su gobierno, entre otras cosas a través de la transparencia en la información de programas sociales y el ejercicio del gasto público” (Muñoz Gutiérrez, 2004; negrillas nuestras). En relación con la información de las evaluaciones externas de los programas, ésta no era parte de las obligaciones de la Ley, por lo que debía ser solicitada a la unidad de enlace del Instituto Federal de Acceso a la Información Pública (IFAI). Sin embargo, con la Ley General de Desarrollo Social (2004) esta situación cambia, ya que la publicación de resultados es obligatoria. 2.1.3 Uso del Marco Lógico Los lineamientos generales para la evaluación de programas federales de la APF, establecen que las dependencias y entidades deberán elaborar la matriz de indicadores de cada programa federal, con base en la metodología del Marco Lógico que determine el CONEVAL en el ámbito de su competencia. Si bien el Marco Lógico es conocido y utilizado por algunas instituciones desde hace años, su uso es más exclusivo del nivel directivo, y no elaborado de manera participativa. En algunas secretarías de Estado, como la Secretaría de Desarrollo Social (SEDESOL), se iniciaron en el año 2004 jornadas de capacitación detonadas por el proceso de diseño e implementación de su Sistema de Evaluación y Monitoreo Basado en Resultados de Programas Sociales (SEMBR), que se analizará más adelante. La capacitación en general para los programas federales sujetos a reglas de operación se dio en 2007 con la intención de que éstos pudiesen incluir indicadores en el Presupuesto de Egresos de la Federación (PEF 2008). En el año 2007, el ejercicio de elaboración del Marco Lógico tuvo los siguientes aspectos positivos a resaltar: el logro de un lenguaje gerencial común mínimo entre funcionarios públicos vinculados a programas federales; la conciencia de que la existencia de un programa no se debe a la mera entrega de bienes y/o servicios que presta, sino a los resultados que logra en cuanto a mejorar condiciones de bienestar de su población objetivo; buen conocimiento del marco lógico como herramienta gerencial; y centrar la discusión, por parte de los operadores de programas, en la identificación de indicadores precisos, así como en los requerimientos de información y sus costos. Sin embargo, las presiones en la SHCP, en tiempo y forma, para la presentación de indicadores generó conflictos en algunos responsables de operación de los programas: a) por la creencia de que los indicadores entregados serán utilizados para ampliar el presupuesto (o para su recorte); b) por el temor de que los indicadores entregados, con presión de tiempo y en el formato exigido, no reflejan de manera fidedigna ni la realidad del programa ni lo que se desea obtener el siguiente año. Lo anterior generó la existencia de matrices en distintas versiones. Una, la Matriz del Marco Lógico (MML) que los programas comenzaron a elaborar a partir de marzo de 2007 (MML1); la segunda, la entregada a la SHCP, que es una matriz ejecutiva que no contempla actividades y sólo permite un

44 Promulgada el 12 de junio de 2000.

32

número específico de indicadores (MML2), la cual se pidió en agosto de 2007; y la matriz completa terminada, después de haber entregado a la SHCP (MML3) y que refleja mejor la planificación del programa para el siguiente año. Existe dificultad en algunos programas para elaborar indicadores de fin, e incluso de propósito, por varias razones: a) no se cuenta con las fuentes de información adecuadas para estos indicadores (encuestas, registros administrativos, etc.); b) no se tiene total claridad de las metas sectoriales a las que el fin debe contribuir; y c) no se dio, en algunos casos, un proceso efectivo de validación técnica y política de las matrices por parte de las autoridades de las entidades y dependencias de las que depende el programa. Las principales ventajas del Marco Lógico, de acuerdo con el Departamento de Evaluación de Operaciones del Banco Mundial, aparecen reflejadas en el Cuadro Nº 2.

Cuadro Nº 2 Principales ventajas del Marco Lógico

Ventajas del Marco Lógico (World Bank, 2004)

Práctica observada en aplicaciones de los lineamientos

Asegura a los tomadores de decisión formular las preguntas fundamentales y analizar los supuestos y riesgos.

Puede concluirse que, en efecto, la MML ha generado la reflexión en operadores de programas y algunos tomadores clave de decisión sobre preguntas fundamentales de los programas, sus supuestos y riesgos.

Involucra a los actores relevantes en la planeación y monitoreo del proceso.

Sobre la base de las entrevistas, no en todos los casos se involucra a los tomadores de decisión de alto nivel (actores relevantes) en la elaboración de la MML. En ocasiones, los niveles operativos elaboran las matrices y al llegar a los niveles de propósito y fin requieren de la participación de actores con mayor poder de decisión, lo que no se dio en todos los casos. Esto debe ser subsanado. Por otra parte, el proceso no involucra regularmente a beneficiarios.

Cuando se usa de manera dinámica, es una herramienta gerencial efectiva para guiar la implementación, monitoreo y evaluación.

Aún hay confusión sobre cuál MML de las distintas elaboradas es la que deberá servir de guía para la implementación de acciones, monitoreo y evaluación de la gestión de los programas. Esto debería resolverse durante el año 2008.

Fuente: Elaboración propia. 2.1.4 Evaluación de políticas públicas El esfuerzo de las evaluaciones externas está concentrado en programas de la Administración Pública Federal, originalmente sujetos a reglas de operación, aunque actualmente, como ya se comentó, esto dejó de ser condición y su cobertura es mayor. De cualquier modo, la unidad analítica es la de programa federal. A partir de 2007, se prevé la evaluación a un nivel superior, en las denominadas vertientes o estrategias de la Política Nacional de Desarrollo Social. En 2007, el énfasis radica en la Estrategia de Nutrición y Abasto, y para 2008 se concentrará posiblemente en la Estrategia de Generación de Empleo a través de microcréditos. Evaluar políticas, estrategias o vertientes constituye un desafío metodológico, ya que su evaluación no equivale a la mera agregación de evaluaciones individuales de programas; requiere conocimientos y habilidades que permitan analizar los mecanismos de coordinación, comunicación y control entre programas, y las posibilidades de sinergia entre ellos para el logro de mayor impacto.

33

La evaluación comprende el análisis de la articulación de instituciones, recursos, bienes y/o servicios complementarios, beneficiarios de uno o múltiples programas, etc. Por supuesto, las evaluaciones de impacto, las evaluaciones externas y los reportes del Sistema de Evaluación y Monitoreo Basado en Resultados de Programas Sociales (SEMBR) de la SEDESOL (que se analizará más adelante) constituyen insumos clave para la evaluación de estrategias, lineamientos o políticas que caracterizan la Política Nacional de Desarrollo Social. El mandato del CONEVAL está circunscrito a programas federales del sector social; sin embargo, podría ampliarse para incluir la evaluación de las políticas públicas. 2.1.5 Evaluación de impacto

Uno de los antecedentes importantes de la evaluación de impacto de programas sociales lo constituye el Programa de Becas para Capacitación de Trabajadores (PROBECAT). Entre 1992 y 1995 se realizaron tres evaluaciones de impacto: la primera (1992) apoyada por el Banco Mundial, la segunda (1994) liderada por la Secretaría del Trabajo y la última por el Banco Mundial (1995). Posteriormente se realizó una línea de comparación en 1999 basada en los mismos datos de 1995. Los resultados de las evaluaciones, aunque difieren, obligaron a la profunda revisión del programa y han permitido ajustar su diseño y operación45. Sin embargo, la evaluación de impacto del programa social Oportunidades (programa multisectorial, antes denominado PROGRESA, que entrega un paquete integrado de servicios de educación, salud y alimentación a los hogares en pobreza) marcó un importante precedente en cuanto al diseño e implementación de modelos de evaluación de impacto y a la etapa de análisis de sus resultados. Dicho programa se inició a mediados del año 1998.

Una de las novedades es que se constituyó en el primer programa mexicano cuya evaluación de impacto fue prevista desde su diseño, lo que permitía un diseño de evaluación de impacto del tipo clásico o experimental. En la evaluación participaron organizaciones mexicanas, pero la responsabilidad del proceso estuvo a cargo del International Food Policy Research Institute (IFPRI), de Washington, D.C., adjudicado mediante contratación directa. La evaluación tuvo un alto nivel de complejidad46 ya que se evaluó la operación, la efectividad de la focalización y el impacto del programa; a ello se añade la complejidad de que los resultados son multi-dimensionales, de aquí la importancia de su acabado diseño. Posterior a esta iniciativa, otros programas sociales aplicaron diseños de corte experimental para la realización de la evaluación de impacto, tales como la estrategia de Fortificación de Leche y el Programa de Apoyo Alimentario.

Debido, en parte, a los importantes hallazgos de la evaluación de impacto del PROGRESA y al nivel de análisis y reflexión generado en torno de su efectividad e impacto, y su potencial expansión a otros programas sociales, la Cámara de Diputados consideró ampliar el proceso de evaluación externa a los programas sociales que reciben recursos fiscales sujetos a reglas de operación.

En realidad, actualmente las evaluaciones de impacto (propiamente dichas) se consideran como una iniciativa aparte de las evaluaciones externas, aunque ambas forman parte del Sistema de Evaluación. Entre las evaluaciones externas llevadas a cabo en el período 2002-2005 salvo escasísimas excepciones, no se realizaron propiamente evaluaciones de impacto.

La realización de evaluaciones de impacto comienza a desmontar muchos mitos en torno de las implicaciones y alcances de llevarlas a cabo, tales como: excesivamente caras, complejas y de uso

45 Para el detalle de estas evaluaciones, ver Baker (2000). 46 Para analizar con detalle la complejidad del diseño y la implementación de la evaluación del PROGRESA, ver Baker (2000).

34

confidencial. Además, los detractores argumentan que la evaluación puede hacerse sólo en el muy largo plazo, y que basta incrementar el gasto social para lograr impacto47.

La evaluación de impacto implica conocer la magnitud de los cambios en las condiciones de bienestar de los individuos u hogares que constituyen la población meta de los programas de acuerdo con su naturaleza48. Identifica cuántos cambios se produjeron, de qué tipo, a qué segmentos afectaron más, a qué costos, si produjeron (o no) externalidades y, de existir, de qué tipo (positivas y/o negativas).

Existe, además del denominado diseño clásico o experimental de evaluación de impacto, una familia de diseños de modelos en función de la información disponible, características del programa, recursos y disponibilidad financiera entre otros, que, por supuesto, van perdiendo robustez metodológica en relación con el modelo clásico49.

La evaluación de impacto, dado que es más científica, se refiere a un conjunto más pequeño de programas, los que son elegidos por su carácter prioritario considerando el Plan Nacional de Desarrollo, las orientaciones estratégicas de combate a la pobreza, el volumen de inversión del gasto social asignado, la cobertura, así como también, en palabras de varios de los entrevistados50, la disponibilidad de las UROP para realizar la evaluación y que sean atendidas sus recomendaciones. Esto sin duda potencia la posibilidad de contar con evaluaciones con capacidad de influir en el rediseño y mejora de los programas sociales. No se busca, por tanto, tener evaluaciones de impacto para todos los programas, sino sólo para los más importantes.

Las evaluaciones de impacto han estado financiadas con recursos de la SEDESOL, complementados con fondos de donaciones provenientes del Banco Mundial y del Banco Interamericano de Desarrollo. Adicionalmente, se han utilizado recursos del Fondo Sectorial CONACYT (Consejo Nacional de Ciencia y Tecnología)/SEDESOL. La SEDESOL, a través de recursos asignados por fondos de una donación del Banco Mundial para el período 2003-2007 orientados al mejoramiento de la capacidad institucional de la SEDESOL y a la construcción de un sistema integrado de evaluación y monitoreo de programas sociales, asignó a un par de especialistas de reconocido prestigio para apoyar y orientar metodológicamente algunas de las evaluaciones, por ejemplo la evaluación de impacto del Programa Microrregiones. Los buenos resultados de dicha iniciativa muestran la importancia de la asistencia técnica a los equipos de evaluación. Entre 1997 y 2006 se realizaron siete evaluaciones de impacto en programas de la SEDESOL, las cuales están disponibles en la página web de la Secretaría:

· Programa Progresa-Oportunidades 1997-2006. · Programa de Abasto Social de Leche (PASL) operado por LICONSA (leche fortificada)51. · Programa de Apoyo Alimentario52. · Estrategia de Microrregiones53.

47 Para más detalle acerca de estos y otros mitos en torno de la evaluación de impacto, ver Medina Giopp (2002). 48 Por ejemplo, cambios en el nivel de ingreso, bienestar, perfil epidemiológico o desarrollo de capacidades derivadas de capacitación o entrenamiento, entre muchas otras. 49 Un Manual de Monitoreo y Evaluación de Programas Sociales del Instituto de Desarrollo Económico del Banco Mundial identifica, además del experimental o clásico, trece diseños de evaluación de impacto que se dividen en dos grupos: 1) diseños cuasi-experimentales, metodológicamente robustos, y 2) diseños más simples y económicos (ver Valadez y Bamberger, 1994). 50 De acuerdo con la opinión del titular del CONEVAL y de la titular de la Dirección General de Evaluación y Monitoreo de la SEDESOL. 51 Consiste en venta de leche subsidiada a beneficiarios de acuerdo con los atributos del padrón de beneficiarios del PASL; también venta comercial de leche a precios más bajos que el promedio en el mercado. 52 A través de apoyos, en especie o en efectivo, impulsa y fortalece las capacidades básicas de los hogares rurales en situación de pobreza al incrementar la ingesta diaria de alimentos.

35

· Programa Hábitat54. · Programa de Vivienda Tu Casa55. · Programa Piso Firme en el Estado de Coahuila56. La política social en México con el nuevo gobierno de Felipe Calderón ha reorientado el gasto social hacia ciertos grupos vulnerables, y se han creado nuevos programas sociales. La agenda de evaluación de impacto para el período 2007-2012 ya contempla las reorientaciones a efectos de agendar las evaluaciones de impacto pertinentes. 2.1.6 Sistema de Evaluación y Monitoreo Basado en Resultados de Programas Sociales La iniciativa de diseñar e implementar un sistema de evaluación y monitoreo de programas sociales basado en resultados se integra a las diversas iniciativas orientadas a la evaluación de programas. Mediante los fondos de la donación del Banco Mundial ya señalada se inician las acciones para el diseño e implementación del SEMBR. La Dirección General de Monitoreo y Evaluación de Programas Sociales adjudicó la contratación de servicios, mediante licitación internacional, al Instituto Canadiense Idea-International, firma reconocida internacionalmente en el campo del monitoreo y evaluación, tanto en actividades de formación como de asistencia técnica para apoyar en su diseño. Los objetivos específicos de la consultoría fueron: a) realizar un diagnóstico de la situación actual de los sistemas de monitoreo de los programas sociales de la SEDESOL que profundice la evaluación realizada por el Banco Mundial en 2003; b) diseñar un sistema de monitoreo basado en resultados de los programas sociales de la SEDESOL; c) diseñar un plan de implementación (fase piloto) para cuatro programas sociales; d) asistir y capacitar técnicamente a la SEDESOL durante la implementación piloto del sistema; y e) elaborar (con base en la experiencia de la prueba piloto) una estrategia de expansión y consolidación del sistema que promueva la institucionalización de la gestión de programas basada en resultados. El SEMBR se basa en la estructura del marco lógico, y su objetivo es contar con información oportuna, confiable y relevante que permita, con base en dicha estructura, conocer a los distintos involucrados, los avances logrados por los programas sociales en materia de impacto, resultados, focalización, cobertura y eficiencia de la gestión. El proceso de construcción del SEMBR La Dirección General de Monitoreo y Evaluación de Programas Sociales es la entidad responsable del diseño57 y operación del SEMBR; esta Dirección forma parte de la Subsecretaría de Prospectiva, Planeación y Evaluación de la Secretaría de Desarrollo Social (SEDESOL). El SEMBR es operado por la Dirección General, que cuenta con dos direcciones generales adjuntas: una para el Monitoreo de Programas Sociales y otra de Evaluación de Impacto de Programas Sociales. A cada una de ellas se subordinan las siguientes direcciones de área: a) Análisis de Política Social, b) Monitoreo y c) Análisis Estadístico, que corresponden a la Dirección General Adjunta de Monitoreo. Corresponden a la Dirección General Adjunta de Evaluación de Impacto: a) Dirección de Análisis e 53 Comenzó su operación en el año 2002. Une a los tres niveles de gobierno. Busca generar impactos en infraestructura y servicios de desarrollo de capacidades, patrimonio, generación de oportunidades y protección social. Se basa en la organización y participación comunitaria. 54 Prestación de servicios de infraestructura básica, equipamiento urbano y acciones de desarrollo social y comunitario. 55 Programa de ahorro, subsidio y crédito a la familia. 56 Para viviendas con piso de tierra; apoya la construcción de pisos de cemento y la creación de ambientes con “piso firme”. 57 En la parte de diseño se tuvo la asistencia técnica de una firma internacional experta en monitoreo y evaluación de la gestión pública.

36

Interpretación de Métodos Cuantitativos, y b) Dirección de Metodología de Evaluación. A este nivel siguen unidades denominadas subdirecciones y finalmente los departamentos, un total de 15 plazas. El SEMBR se instala en esta estructura orgánica, dentro de la cual se han establecido responsabilidades específicas por programa. El SEMBR forma parte de las tareas y funciones regulares de sus integrantes. En el año 2004, los resultados del diagnóstico inicial señalaron la ruptura del ciclo gerencial entre planeación estratégica, gestión operacional, resultados e impactos en los programas sociales, lo que imposibilita la retroalimentación y aprendizaje que se deriva de sistemas efectivos de Monitoreo y Evaluación (MyE) para programas sociales. El diagnóstico muestra la existencia de mucha información de carácter operativo, escasa en cuanto a resultados e impacto, y producción de un número muy grande de indicadores de instituciones externas, como la SHCP y la SFP58. También muestra la existencia de muchos sistemas de información que no se encuentran integrados, y problemas de falta de coordinación intra e interinstitucional que dificultan la gestión efectiva. Bajo esta lógica, la base teórica a través de la que se desarrolla el SEMBR es la perspectiva del Marco Lógico59, bajo la hipótesis de que este enfoque permite explicitar y garantizar los vínculos existentes en las fases que van desde la identificación de problemas hasta la medición de impacto de un programa o proyecto social. Como parte de las evaluaciones externas del año 2005 se realizó la primera elaboración de las matrices de marco lógico. Posteriormente, en el año 2006, como parte de las actividades de capacitación y sensibilización de los funcionarios de la SEDESOL sobre el tema de Gestión Basada en Resultados, el Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES/CEPAL), dictó seminarios ejecutivos sobre la metodología de la matriz de marco lógico para altos mandos, y talleres para al menos dos funcionarios de todos los programas que opera la SEDESOL y sus organismos desconcentrados, con excepción del Programa de Empleo Temporal (PET). También se capacitó a los evaluadores sobre la utilización del marco lógico como una herramienta para la evaluación del diseño de los programas. La experiencia generada por la SEDESOL fue retomada en los nuevos Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal, que emite el CONEVAL en conjunto con la SFP y la SHCP. En ellos se establece que las entidades y dependencias: “deberán elaborar la matriz de indicadores de cada programa federal, con base en la metodología del marco lógico que determinen el Consejo en el ámbito de su competencia, la Secretaría y la Función Pública [sic], a través de los lineamientos específicos que emitan conjuntamente en el marco del proceso presupuestario, el programa de mejoramiento de la gestión y el Sistema de Evaluación del Desempeño” (Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal, Diario Oficial de la Federación, 30 de marzo de 2007). Bajo esta lógica, la estructura del SEMBR (así como también la matriz de indicadores de las evaluaciones de consistencia y resultados) se basa en la denominada “cadena de impacto”, que distingue distintas unidades analíticas, cuya operacionalización es secuencial60 (ver Gráfico Nº 2).

58 Información obtenida con base en entrevistas a la Dirección General de Evaluación y Monitoreo de Programas Sociales de la SEDESOL, en la presentación efectuada en 2006 por el SEMBR de la Dirección de Monitoreo, y en el reporte de la firma consultora: Idea-International (2006). 59 Es importante la distinción entre los alcances del denominado enfoque de marco lógico y la matriz del marco lógico. El enfoque comprende el análisis e identificación de problemas que dan pie a la formulación y la programación detallada, mientras que la matriz presupone el recorrido previo de varias fases orientadas precisamente al estudio de problemas y análisis de alternativas; la matriz presupone que ya una alternativa ha sido seleccionada. Aparentemente, el enfoque aplicado se restringe a la matriz; sin embargo, la reflexión del diseño y la formulación se presenta en las evaluaciones externas. 60 Los insumos refieren a los requerimientos de recursos humanos, materiales o financieros necesarios para implementar las actividades. Cada actividad puede estar asociada a uno o más insumos; si se estima el costo unitario de los insumos, así como su utilización por actividad, se tiene la base de una contabilidad precisa. Las actividades permiten transformar insumos en productos. Los productos son los bienes y/o servicios que presta un programa. Los resultados expresan el grado de uso de los productos y sus efectos inmediatos, mientras que el impacto refleja cambios en las condiciones de bienestar de la población objetivo de los programas.

37

Gráfico Nº 2 Cadena de impacto

La fase piloto del SEMBR iniciada en 2007 comprende cuatro programas sociales, y contiene tres módulos; se le denomina experiencia piloto de corto plazo61. · Módulo I: Indicadores Prioritarios de Información Técnica Financiera. Comprende la evaluación

técnico-presupuestaria y la evaluación de productos (básicamente cobertura) para los cuatro programa seleccionados.

· Módulo II: Monitoreo de Indicadores Prioritarios de Resultados. Refiere al acceso de la población

objetivo a los bienes y/o servicios que prestan los programas, al uso y calidad de los productos, así como al índice de satisfacción de los beneficiarios.

· Módulo III: Evaluaciones externas. Se utilizan los resultados de las evaluaciones y, de ser posible,

se participa en el ajuste de instrumentos de recolección de información para capturar mayor información de utilidad a los programas.

La evaluación de la satisfacción de los beneficiarios de los programas sociales Aunque no existe un pronunciamiento oficial del CONEVAL o de otra institución, la satisfacción de los usuarios de los programas de la SEDESOL será evaluada a través del Índice Mexicano de Satisfacción de Usuarios (IMSU) (ver Cuadro Nº 3).

Durante el año 2007, SEDESOL planea expandir la aplicación del IMSU a dos programas adicionales: Abasto Social de Leche (LICONSA) y Guarderías y Estancias Infantiles para Apoyar a Madres Trabajadoras. Los programas seleccionados para la experiencia piloto fueron: · Programa Opciones Productivas: impulsa procesos de desarrollo a partir de una estrategia que

genera opciones de ingreso para la población en condiciones de pobreza, mediante el apoyo a proyectos productivos viables.

· Programa Hábitat: está orientado a la prestación de servicios de infraestructura básica, equipamiento urbano y acciones de desarrollo social y comunitario.

· Programa Coinversión Social: basado en el principio de corresponsabilidad, brinda apoyo financiero complementario a actores sociales para proyectos dirigidos a la superación de la pobreza.

· Programa de Apoyo Alimentario: a través de apoyos en especie o en efectivo, impulsa y fortalece las capacidades básicas de los hogares rurales en situación de pobreza al incrementar la ingesta diaria de alimentos.

INSUMOS

ACTIVIDADES

PRODUCTOS

IMPACTO

RESULTADOS

61 Existe una conceptualización del SEMBR a largo plazo, el cual incorpora los resultados de las evaluaciones de impacto, así como el establecimiento de indicadores de monitoreo de impacto, los que no resuelven el denominado problema de “atribución”, pero sí pueden mostrar señales de alerta sobre la base de tendencias. Ver Idea-International (2006).

38

Cuadro Nº 3 Índice Mexicano de Satisfacción de Usuarios (IMSU)

El IMSU fue promovido por la Oficina de Innovación Gubernamental de la Presidencia, la Secretaría de la Función Pública y la Red de Calidad del Gobierno Federal, con objeto de contar con un instrumento estandarizado y una unidad de análisis que permita identificar áreas de oportunidad para incrementar la satisfacción y confianza de los usuarios. Para que esta herramienta sea comparable internacionalmente, se adaptó el American Customer Satisfaction Index (ACSI), un importante estándar internacional. Se seleccionó, sobre la base de un riguroso proceso, una universidad para adaptar la metodología (creada por la Universidad de Michigan). Los Programas de Abasto Rural y de Desarrollo Local, de la Secretaría de Desarrollo Social (SEDESOL), fueron evaluados recientemente obteniendo una calificación promedio de siete y ocho respectivamente, en la medición del Índice Mexicano de Satisfacción de Usuarios (IMSU). Luego de realizar encuestas para conocer la opinión de las personas que compran sus productos en las tiendas Diconsa, de Puebla -seleccionado por ser un estado representativo de la población atendida por el programa en términos de nivel de marginación de sus municipios, presencia de población indígena y número de tiendas, entre otros-, los usuarios del Programa de Abasto Rural evaluaron su satisfacción y confianza en 74, en una escala del uno al cien. Se recomendó concentrarse en la conveniencia (precio y calidad). El Programa de Desarrollo Local, abocado al desarrollo de la infraestructura social de los Centros Estratégicos Comunitarios de las Microrregiones del país, fue evaluado por sus usuarios, en cuanto a su satisfacción y confianza, en 84. Se detectaron como áreas de oportunidad la capacidad de gestión del personal del programa y la respuesta y asignación de recursos.

Para cada programa se elaboró un Plan de Implementación; destaca el efectivo proceso de identificación de los indicadores prioritarios para el monitoreo62, así como el trabajo de identificación de metas y definición de estándares de desempeño, que permitan valorar el grado de avance con respecto a lo programado. Con esta base se establecen sencillas y muy útiles herramientas visuales que simulan un semáforo y que indican lo adecuado (o no) de la gestión. También se elaboraron fichas que describen la metodología de recopilación, captura y procesamiento de cada indicador prioritario (ver Idea-International, 2006). El Gráfico Nº 3 expresa la lógica de la experiencia piloto para el corto plazo. 62 Se aplicaron útiles herramientas sugeridas por la firma consultora para priorizar los indicadores y definir su grado de disposición real para poder ser aplicados o esperar una nueva fase, así como también el uso de diagramas de flujos de datos para facilitar la operación posterior del sistema.

39

Gráfico N° 3 Coordinación del Sistema de Monitoreo y Evaluación de Programas Sociales,

de la SEDESOL

Coordinación del sistema de monitoreo y evaluación

Fuente: Idea-International (2006: 7). Los grandes hitos en el proceso de construcción del sistema de evaluación y monitoreo basado en resultados para programas sociales, en su fase piloto, que culmina con la definición de una clara estrategia de expansión, pueden ser apreciados en el Gráfico Nº 4.

Insumos Productos Actividades

Programas y vertientes

Monitoreo de indicadores prioritarios de implementación técnica y financiera para los

cuatro programas sele ccionados

Resultados Impactos

Metas de desarrollo social

Monitoreo de indicadores prioritarios de resultado de

los cuatro programas seleccionados

Evaluaciones anuales

externas de programas

40

Gráfico Nº 4 Proceso de Construcción del Sistema de Evaluación y Monitoreo Basado en Resultados

de Programas Sociales, de la SEDESOL

Fuente: Rubio (2007).

Resultados alcanzados La información de tres de los cuatro programas piloto está ya prácticamente cargada en el sistema. La carga corresponde al año 2005 y hay un buen avance en relación con el año 2006. La herramienta informática, cuyo desarrollo estuvo liderado por la Dirección General de Informática de la SEDESOL, está en operación. Al entrar al SEMBR se despliega la opción de los cuatro programas seleccionados definiendo los servicios que prestan, tal como se aprecia en el Gráfico Nº 5.

Al entrar a cada programa se despliegan cuatro indicadores clave (elegidos por cada responsable de la operación del programa). Existen las opciones para mirar todos los indicadores priorizados del marco lógico del programa. La desagregación de información al interior de cada programa sigue la secuencia de la “cadena de impacto” del marco lógico; existe también información de “metadatos” que explicitan los conceptos y formas de cálculo de cada indicador. El SEMBR utiliza y aplica el concepto de “tablero de control”63. Para su operación hay que definir metas en los indicadores de los primeros tres niveles de la matriz del marco lógico de cada programa;

63 Un tablero de control o cuadro de mando es una analogía utilizada hace mucho tiempo en la gestión empresarial para el diseño y operación de un conjunto de instrumentos que den cuenta de la buena marcha (o no) de una organización, así como un tablero de control de un automóvil nos brinda información valiosa. De manera más reciente se ha popularizado la imagen de un semáforo que indica, para el caso de las organizaciones, las alertas y señales requeridas para la buena gestión.

Diagnóstico inicial

Banco Mundial

Seminario sobre E&MBR

Construcción del Modelo/marco

Lógico

Diseño conceptual Sistema de

E&MBR

Diagnóstico de los Sistemas en la

SEDESOLI D E A

Implementación del sistema para 4 programas pilotoAdecuación de Evaluaciones Externas

Estrategia de Expansión y

Consolidación

2005

2006

Coinversión SocialApoyo Alimentario

Opciones ProductivasHábitat

Construcción del Marco Lógico para todos los Programas de la SEDESOL

Preparación técnica de 4 programas piloto

2007

Construcción del SEMBR

2004A

plicació

n p

iloto

del ín

dice

Mexican

o d

e Satisfacció

n d

el U

suario

(IMS

U)

Evalu

acion

es de Im

pacto

Desarrollo del sistema informático

41

para ello se pueden considerar datos de series de tiempo o simulaciones para estimarlas. Una vez definidas las metas, se establecen límites o umbrales que establecen, siguiendo la analogía de un semáforo, cuando estamos en situación crítica (rojo), de alerta (amarilla) o en una adecuada o incluso mejor que la prevista (verde).

Gráfico Nº 5

Pantalla inicial del Sistema de Evaluación y Monitoreo Basado en Resultados de Programas Sociales, de la SEDESOL

Fuente: Presentación en power point del SEMBR, entregada al autor durante entrevista realizada a la Dirección General de Evaluación y Monitoreo de la SEDESOL. El SEMBR define dos perfiles de usuarios: uno general (perfil 1) para la gerencia de los programas, y el perfil 2 para los responsables de los programas en la SEDESOL, que permite explotar la información realizando cruces básicos entre variables (minería de datos). En los programas piloto que iniciaron la carga al SEMBR existen muchos indicadores que no tienen estándares establecidos (por lo que los umbrales no pueden ser definidos), lo que hace que el color que aparezca asociado al indicador sea gris, que indica precisamente la no existencia de estándares establecidos, y por tanto que no sea evidente la valoración del nivel de desempeño. Por supuesto, el primer valor obtenido podría constituirse en punto de referencia para períodos posteriores. Es importante señalar que para cada programa, en función de sus requerimientos de información (indicadores), la unidad de informática es la que tiene el acceso a los códigos fuente de la aplicación informática y la que puede establecer el vínculo entre los indicadores y sus bases de datos. Por otra parte, de los dos programas revisados durante la entrevista, se aprecia que el SEMBR no permite valorar la gestión de un programa a nivel desagregado, por ejemplo conocer si la entrega de bienes y/o servicios en una entidad federativa o municipio es crítica, de alerta o adecuada para tomar las decisiones pertinentes. El sistema se concentra en indicadores agregados. La información del nivel municipal y estatal se envía a nivel central y después ésta se consolida y valora el rendimiento global

42

del programa, pero no permite evaluar de manera preventiva el desempeño a nivel municipal y estatal ya que no se construyen estándares e indicadores de desempeño que permitan operar el “semáforo” gerencial en estos niveles. Si bien la periodicidad y desagregación está en función del programa, las funcionalidades desarrolladas están limitadas a períodos largos de tiempo y a niveles agregados. Se prevé en el mediano plazo la descentralización a las delegaciones de la SEDESOL en las entidades federativas del país (expansión vertical), lo que permitiría tener tableros de control a ese nivel y mayor oportunidad en la información. Durante el proceso de carga de datos, así como de definición de los tableros de control, se ha detectado mayor complejidad en los programas no sectorizados. En el SEMBR aún no se han desarrollado módulos o funcionalidades que permitan analizar los resultados de los programas en relación con las estrategias o vertientes de la política social a las que pertenecen; tampoco se permite la comparación entre programas, o la configuración y elaboración de reportes específicos; de hecho, conceptualmente no hay una delimitación clara del tipo de reportes requeridos, aunque es un tema que está ya en proceso de análisis y desarrollo. Aún no se han elaborado reportes de los cuatro programas sobre la base de la información colectada por el SEMBR. La conceptualización de los reportes resulta clave, ya que en realidad lo que más interesa a los altos mandos “es ver los reportes, no meterse al sistema”, según se aprecia en las entrevistas realizadas. Más allá de la elaboración de los reportes64, debe existir una clara estrategia para su preparación y distribución, asegurando que se cubren las necesidades de información de los principales involucrados para cada programa, lo cual resulta crucial. De hecho, diversas definiciones en torno del monitoreo y evaluación se centran en señalar que ésta se basa en comunicar de manera adecuada y oportuna a los involucrados en la marcha del programa. El Cuadro Nº 4 presenta una guía para preparar y difundir reportes de monitoreo y evaluación.

Cuadro Nº 4

Guía para preparar y diseminar reportes de monitoreo y evaluación

Asegurarse que las necesidades de información de la audiencia meta son totalmente entendidas antes de elaborar los reportes. Saber cuándo los reportes son necesarios, el nivel de detalle y el tipo de decisiones a las que contribuyen.

Deben ser cortos, dejar fuera tablas y detalles que no sean estrictamente necesarios. Incluir material de referencia en anexos separados.

Prepararlos tan rápido como sea posible. Un excelente reporte que llega tarde puede no ser útil a la gestión.

Elaborar una guía detallada del reporte, mucho antes de prepararlo. Debe comprender los temas, principales tablas y gráficos, extensión, y ser aprobado.

Todos los reportes deben iniciar con un resumen ejecutivo.

Los reportes deben hacer recomendaciones específicas.

Discutir los hallazgos informalmente con todos los involucrados antes de distribuirlos.

Decidir quién debe recibir cada reporte.

Fuente: Adaptado de Valadez y Bamberger (1994).

64 Un sistema de monitoreo y evaluación de programas sociales debería producir, al menos, los siguientes tipos de reportes (adaptado de Valadez y Bamberger, 1994): reporte mensual o trimestral del programa que muestre el estatus general de indicadores clave; reportes de seguimiento o monitoreo financiero; reportes de monitoreo basados en procesos y estudios especiales de diagnóstico; reportes de desempeño; reportes de auditoría; reportes de evaluación de impacto y reportes de sostenibilidad.

43

Las fuentes de información del SEMBR El SEMBR se liga a otras iniciativas de monitoreo y evaluación en el campo de los programas sociales, lo que garantiza la articulación entre éstas. Sobre la base de la estructura del marco lógico en cada programa, la información se obtiene de las evaluaciones de impacto, las que permiten resolver el denominado “problema de atribución”, es decir establecen las relaciones causales de los cambios en las condiciones de bienestar de la población objetivo del programa evaluado. Si el programa no está sujeto a evaluación de impacto, se contará, de acuerdo con el modelo SEMBR, con indicadores de monitoreo de impacto, que muestran resultados pero no resuelven el problema de atribución. Para los niveles de resultados y de productos, las evaluaciones externas de programas proveen información para estos niveles. Además, en el proceso de diseño y levantamiento de información por encuestas que realicen los evaluadores, las unidades responsables de la operación del programa, junto a los técnicos que operan el SEMBR, pueden solicitar ajustes para capturar información. Aunado a ellos, se tienen los registros administrativos de los programas. El SEMBR intenta cada vez más extraer la información de bases de datos correspondientes a cada programa, así como de la base Sistema de Información Integral de Programas Sociales (SIIPSO) de la SEDESOL (http://www.sipso.sedesol.gob.mx), lo que implica un trabajo de integración de bases de datos. Alguna parte de la carga de datos es manual, ya que depende de las evaluaciones de impacto o bien de las evaluaciones externas, pero se busca cada vez más que los datos se extraigan de la fuente original. Adicionalmente, el Índice Mexicano de Satisfacción de Usuarios (IMSU) se convierte en otro insumo de información del SEMBR. Aspectos y externalidades positivas del SEMBR Sobre la base de entrevistas a funcionarios de la Dirección General de Evaluación y Monitoreo de Programas Sociales de la SEDESOL, y a responsables de programas, es fácil extraer como conclusión algunas externalidades positivas que ha generado el SEMBR. Ante la demanda de información sistematizada y oportuna por parte del SEMBR, se han identificado los “cuellos de botella” en los procesos de consolidación de información desde niveles subnacionales a las unidades responsables de operación de los programas (UROP). Se ha mejorado la calidad de los registros administrativos de los programas sobre la base de los requerimientos específicos de información del SEMBR, que han suscitado ajustes y mejoras. Se ha logrado estandarizar el proceso de registro y captura de información; también se comienzan a utilizar los mismos códigos en distintas fases de los procesos y con distintos involucrados en la operación de los programas. Además, el hecho de que el SEMBR dependa de evaluaciones externas y de impacto, hace que las UROP y los responsables del SEMBR estén al tanto de la oportunidad y calidad de las evaluaciones (externas y de impacto). A nivel de programas, el SEMBR ha permitido en los programas la identificación de los requerimientos de información y la identificación de usuarios, así como también reflexionar sobre aspectos del diseño. También ha posibilitado la depuración de los indicadores existentes y lograr mayor precisión en la selección de los indicadores pertinentes para dar cuenta del desempeño del programa. La desigualdad en la implementación de programas radica en el hecho de que algunos programas no cuentan con bases de datos, o bien éstas se encuentran dispersas y en formato distinto; además, no todos los programas han adaptado la aplicación informática a sus requerimientos de conexión, por lo que no pueden procesar y analizar información y por tanto generar reportes, ni consolidar un manual

44

de gestión del SEMBR del programa para sus operadores. La adaptación requiere interacción continua entre el programa, la Dirección General de Evaluación y Monitoreo y la Unidad de Informática. De la entrevista realizada a la Unidad de Informática, se hace evidente su incapacidad de cubrir demandas de desarrollo para los programas pilotos si tuviera varias solicitudes simultáneas, lo que se agravará con la expansión. Además, en algunos programas se han identificado nuevos indicadores lo que exige capacidades organizativas y recursos para su implementación, y ajustes al SEMBR. En el Gráfico Nº 6 se aprecia la lógica de incorporación de los programas al SEMBR y las fuentes de información utilizadas.

Gráfico Nº 6 Lógica de operación del SEMBR

Reglas deOperación del

Programa

Programa Socialseleccionado para entrar

al SMBR

Fin

Propósito

Componentes

Actividades (e insumos)

Estructura delMarco Lógico Evaluación de Impacto/

monitoreo de Impacto

Registros administrativosdel Programa

Evaluaciones externas

SIIPSO

IMSU (Satisfacción deBeneficiarios)

Reportes de Monitoreo yEvaluación Poder Ejecutivo

UROPs

Congreso

Ciudadanía

Reportes de Monitoreo yEvaluaciónReportes de Monitoreo y

Evaluación

Elaborada entre técnicosSEDESOL, evaluadoresy responsables de lasUROPs

Fuente: Elaboración propia.

Siguientes pasos del SEMBR y desafíos El SEMBR está en proceso de iniciar acciones de consolidación y de expansión; se busca seguir incorporando programas y abarcar en un período de seis años (contados a partir de 2007) la totalidad de programas sociales (“expansión horizontal”). En las entrevistas queda claro que la incorporación va privilegiando aquellos programas cuyas reglas de operación no se prevé que vayan a cambiar de

45

manera repentina, ya que esto alteraría su incorporación al SEMBR porque implicaría cambios en su estructura del marco lógico; es decir van entrando los programas de mayor estabilidad. Otros criterios de incorporación son que su matriz de marco lógico esté bien elaborada y que las UROP manifiesten un genuino interés por participar, lo que potencia la posibilidad de que las evaluaciones tengan influencia. También se prevé, a mediano plazo, una “expansión vertical”, que consiste en la descentralización a las delegaciones que tiene la SEDESOL en las entidades federativas del país. No se descarta incluso la posibilidad de una expansión interministerial, es decir la demanda de otra Secretaría de Estado por contar con un sistema equivalente y que requiera la asistencia técnica de la SEDESOL. 2.1.7 Focalización La focalización tiene diversas modalidades. Puede ser entendida en un plano estratégico para decidir la orientación de la asignación de recursos (atención preventiva contra curativa, fondos a educación preescolar o universitaria, etc.), así como para precisar la población objetivo en el diseño de programas sociales En las evaluaciones externas de programas, la focalización se concibe como una pieza clave para conocer los bienes y servicios que han entregado los programas a beneficiarios, y cuántos de éstos cumplen o no con los atributos de la población objetivo del programa analizado. La focalización puede ser geográfica o bien por atributos concretos de quienes integran la población objetivo y debiesen ser beneficiarios; en este último caso las unidades pueden ser hogares o individuos. Si bien en México no existe aún un Sistema Único de Identificación de Beneficiarios, o SUIB (en Colombia existe el SISBEN y el SIPO en Costa Rica), para lograr procesos efectivos de focalización, la Subsecretaría de Prospectiva, Planeación y Evaluación de la SEDESOL cuenta con una Dirección General de Geoestadística y Padrones de Beneficiarios. Esta unidad proporciona información a la Secretaría que permita el análisis multidimensional de la información estadística y espacial para la planeación, diseño y evaluación de la política social, así como crear un sistema único de identificación de beneficiarios de los programas sociales, en la perspectiva de aportar elementos de juicio para la racionalización de los recursos fiscales y maximizar las posibilidades de impacto. Los esfuerzos de la Dirección van en la línea de integración de los padrones, homogeneizar los campos comunes y lograr un proceso de cedulación única. Actualmente se utiliza el CURP (Clave Única de Registro de Población), el cual se encuentra ligado a las actas de nacimiento, pero no se garantiza la identidad ni los controles requeridos65.

Además de la SEDESOL existen iniciativas importantes de focalización en otras Secretarías de Estado, como en la Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación (SAGARPA), que define criterios específicos de focalización para sus programas sociales prioritarios orientados a jornaleros y productores agrícolas y gestiona padrones de beneficiarios. La Dirección General de Geoestadística y Padrones de Beneficiarios de la SEDESOL tiene como propósito “apoyar en el alcance e impacto de los programas sociales dirigidos a familias de escasos recursos, conformando y operando un padrón único de beneficiarios, mediante la utilización de criterios objetivos, transparentes y homogéneos” (consulta en el sitio http://www.sedesol.gob.mx, abril de 2007). La Dirección inició operaciones en el año 2001; uno de sus objetivos prioritarios fue la conformación del padrón único de beneficiaros que integra a LICONSA, a través de los programas de abasto social de leche y tortilla gratuita (programa liquidado en el año 2003), y al Programa Oportunidades. También da apoyo para la focalización de hogares de otros programas sociales, como el Programa de Apoyo Alimentario operado por DICONSA, así como para la focalización geográfica.

65 Hay situaciones en las que hay más de un CURP para una persona, personas sin actas, etc.

46

Un aspecto sobresaliente es la información geo-referenciada desagregada que puede integrarse a los padrones, lo que permite identificar niveles o tipos de pobreza para una asignación más efectiva de recursos a los programas sociales. Una de las acciones regulares de la Dirección es la identificación de duplicidades entre padrones, y la existencia de vacíos de información. Hay programas con padrones de mucha calidad sujetos a operativos de mantenimiento regulares, y otros programas con archivos en Excel, o documentos en papel. Actualmente hay un proceso de integración de padrones y coordinación de esfuerzos para mejorar la base de datos de registros. La Dirección puede, al evaluar los padrones, indicar al responsable del padrón de beneficiarios de un programa los reportes relativos a inconsistencias detectadas. A juicio del responsable del Padrón de Beneficiarios del Programa de Abasto Social de Leche (PASL), operado por LICONSA, la Dirección General de Geoestadística y Padrones de Beneficiarios tiene además la capacidad para llevar a cabo operativos técnicos profundos orientados a evaluar la calidad de los padrones, aunque esto, reconoce, involucraría volúmenes muy grandes de recursos66, que podrían ser financiados con fondos de los propios programas, tal y como se hace con las evaluaciones externas. El mantenimiento de padrones de beneficiarios de los programas sociales es una actividad indispensable para evitar duplicidades y reducir errores de inclusión y exclusión en los programas sociales. Un padrón exige, de acuerdo con el responsable del padrón de beneficiarios del Programa de Abasto Social de Leche, mantenimiento externo, referido a la validación de los algoritmos para definir puntajes, validación de domicilios, procesos de altas y bajas67 (debido a la temporalidad, o a inasistencias, no se recogen las tarjetas, o no hay mecanismos de identificación de beneficiarios, etc.), entre otros, así como mantenimiento interno, referido a la supervisión de campo, para lo cual es muy importante analizar los datos y generar criterios de supervisión. La focalización es un tema presente en las evaluaciones de consistencia y de resultados que constituyen las evaluaciones externas. En algunas evaluaciones hay análisis rigurosos sobre las razones de mantener (o no) padrones excluyentes o complementarios entre programas. Sin embargo, prácticamente no hay, en las evaluaciones, atención a los temas de su mantenimiento y calidad. En algunos casos extremos la situación es más grave; de acuerdo a la entrevista con evaluadores de programas, la información que se tiene en algunos de los programas en relación con padrones, se refiere a un directorio de intermediarios en la prestación de bienes y/o servicios y no a beneficiarios finales. A manera de ejemplos anecdóticos, obtenidos por entrevistas, y que ilustran bien la importancia del mantenimiento interno, se señalan los siguientes: el padrón de beneficiarios del PASL mostraba entre sus beneficiarios una tasa de gemelos del 9% en el segmento de la población objetivo: niños de 6 meses a 13 años; el responsable del padrón consultó, dado el valor anómalo, la Revista Nacional de Pediatría y encontró que la tasa de gemelos es del 0,1%, y además que la mayor proporción se da en parejas que realizan tratamientos de fecundidad, que con seguridad están fuera de la población objetivo del programa; esto indica errores de registro, falsificación y/o inclusión, que requiere de operativos de campo para la supervisión. También la población de personas mayores de 100 años (parte de la población objetivo) presentaba valores anómalos que desencadenaron operativos de supervisión. Por otra parte, se reportan ingresos

66 Con base en la entrevista a Alejandro Tuirán Gutiérrez, subdirector del Padrón de Abasto Social de Leche operado por LICONSA. 67 Esto depende del grado de dinamismo de los padrones. Para el caso del Programa de Abasto Social de Leche, la rotación anual de beneficiarios es del 28%, de acuerdo con la entrevista realizada a Alejandro Tuirán, responsable de la gestión del padrón.

47

“cero” en hogares de beneficiarios PASL, lo que es una inconsistencia o error de sub registro ya que la leche se vende a precio subsidiado, no se regala, lo que haría imposible su adquisición. Los costos del padrón referido comprenden la nómina del personal, el valor de la tarjeta plástica de los beneficiarios, el equipo lector, pago de kilometraje a promotores (ellos utilizan su propio auto), gasto de captadores y mantenimiento del sistema informático de control del padrón (SICOPA). Las innovaciones en los procesos de gestión del padrón y la efectividad y oportunidad en su mantenimiento pueden representar ahorros importantes. Hasta no hace mucho tiempo, para ser beneficiario del Programa de Abasto Social de Leche, de LICONSA, un promotor visitaba a potenciales beneficiarios y llenaba un cuestionario sobre la base de la entrevista. El tiempo promedio que transcurría para que el cuestionario se procesara, se aprobara la incorporación de dicha persona al padrón y se le entregara su tarjeta como beneficiario, era de 120 días. Actualmente, el promotor visita el hogar, lleva consigo un computador portátil, ingresa las respuestas y automáticamente el algoritmo indica si la persona puede (o no) ser beneficiaria; de ser así, durante la misma visita se le da de alta y se le entrega la tarjeta68. La focalización entre programas Un debate presente en algunas de las evaluaciones externas revisadas consiste en la posible complementariedad (o no) de los programas, lo que en vez de producir padrones excluyentes, pudiese sumar bienes y/o servicios de dos o más programas para potenciar el logro de impacto. Este debate, en el fondo, plantea el dilema acerca del equilibrio entre las prioridades de maximización de cobertura, equidad y maximización del impacto. Uno de los casos que ilustran este debate está presente en la evaluación externa del PASL 2006, elaborada por un instituto de educación superior69. Cuando en esta evaluación se analizan el Programa Oportunidades y el Programa de Abasto Social de Leche, bajo la normativa imperante se establece mutua exclusión, es decir a pesar de cumplir con los requisitos de elegibilidad de ambos programas, ser beneficiario de uno excluye pertenecer al otro, obligando al beneficiario a elegir. La evidencia de las evaluaciones externas del PASL realizadas durante varios años (por el mismo centro y en años consecutivos70), indica la existencia de escasa o nula duplicidad, ya que la transferencia de ingreso que reciben los hogares mediante el abasto social de leche, a través del subsidio implícito, se dedica, en buena medida, a aumentar el consumo global de leche de las familias, mientras que Oportunidades muestra impacto positivo de las transferencias para el consumo general. Por otra parte, existen argumentos contrarios que señalan que la lógica de la mutua exclusión entre programas se explica por el hecho de que mientras un grupo de población se beneficia de más de un programa social, otros grupos no acceden a ninguno de ellos. Por otra parte, se señala que la prioridad institucional de LICONSA es la de mejorar su focalización antes de eliminar la mutua exclusión con otros programas. Además, otras evaluaciones revelan que la leche fortificada de LICONSA cumple objetivos similares al complemento nutricional alcanzado por el Programa Oportunidades, razón por la que podrían mantenerse como excluyentes.

68 Es importante mencionar que esta experiencia fue parte de una Carta Compromiso establecida entre el órgano interno de control (OIC) correspondiente a Liconsa, suscrito con la Secretaría de la Función Pública. El rol de los OIC es muy relevante como componente de los sistemas de monitoreo, como se analizará más adelante. 69 También realizó las evaluaciones del PASL en años anteriores y ha documentado la argumentación en relación con la posible complementariedad o duplicidad de padrones entre el PASL y Oportunidades. Se agradece a Jorge Mario Soto (c), líder del equipo de evaluación del Tecnológico de Monterrey, por la información y la entrevista para el tema de padrones de beneficiarios y otros. 70 Para algunos analistas de las evaluaciones externas esto debería ser regulado.

48

La importancia de la focalización para el Sistema de Monitoreo y Evaluación de la Gestión Pública El análisis de focalización permite conocer si los beneficiarios de los programas sociales, es decir aquellos que reciben bienes y/o servicios, cumplen con las condiciones o atributos de la población objetivo del programa, y juzgar si existen errores de inclusión. Los atributos y mecanismos para ser considerado parte de la población objetivo de un programa se encuentran descritos en las reglas de operación de los programas, y deben ser difundidos en las poblaciones en donde habitan potenciales beneficiarios. Las evaluaciones de impacto de programas sociales, y las de consistencia y resultados, realizan estudios de focalización. La información de los padrones de beneficiarios (hogares e individuos) resulta muy relevante para la realización de estos análisis y es una fuente de información regular. Asimismo, el adecuado mantenimiento de los padrones permite reducir la posibilidad de errores en la asignación y mantenimiento de los beneficios entregados, evitar duplicidades, actualizar y completar información que reduzca la asignación arbitraria de beneficios. Además, la Dirección General de Geoestadística y Padrones de Beneficiarios apoya técnicamente los diseños de focalización de programas sociales. La focalización no aparece en el diseño del SED como una iniciativa dentro de la vertiente de Programas, sino como un área sujeta a la aplicación de acciones estratégicas a fin de mejorar su eficiencia y eficacia, dentro de la vertiente de mejora de la gestión pública; es considerada en el SED como una estrategia de racionalización del trabajo. Los objetivos previstos en el SED en relación con la focalización son: “Integrar información objetiva de los listados y padrones de beneficiarios de Programas de Apoyo para promover la Transparencia, la rendición de cuentas, además del eficiente ejercicio, manejo y control de recursos públicos. Estandarizar y homologar los datos e información en los padrones de beneficiarios, permitiendo la interoperabilidad de bases de datos para uso de la Administración pública” (Alvarado Ramírez, 2007: IV: 15). Si bien la focalización puede ser vista como un mecanismo de racionalización del ejercicio presupuestal, no debe olvidarse que constituye una estrategia de diseño de políticas y programas. 2.2 Componente de Gestión Pública En el diseño del Sistema de Evaluación del Desempeño (SED), la vertiente de gestión pública, a diferencia de la vertiente de programas, se encuentra menos desarrollada; se cuenta con las orientaciones estratégicas y áreas específicas de intervención del Programa de Mejora de la Gestión Pública (PMG) basado en la reducción de costos vía eficiencia, incremento de productividad y calidad de los servicios públicos. Se prevé la mejora en el sistema electrónico de contrataciones, y la ampliación de la cobertura en la realización de trámites administrativos a través del portal de servicios públicos de calidad del gobierno federal, entre otras iniciativas orientadas a la mejora de la eficiencia. El eje de análisis de esta vertiente son las instituciones. Al no estar aún totalmente definidas las iniciativas de esta vertiente, ni aun puesto en marcha el PMG, este apartado describe las iniciativas más relevantes de los últimos años en materia de monitoreo y evaluación del quehacer de las entidades y dependencias de la APF, algunas todavía funcionando, otras recién interrumpidas, cuyas mejores prácticas podrían incorporarse al PMG. Al final se describe el avance en las iniciativas de este programa.

49

El gobierno del período 2000-2006 impulsó como estrategia de modernización de la gestión pública, la conformación de la denominada Agenda de Buen Gobierno, que define líneas precisas de intervención que caracterizan una gestión moderna, así como una estrategia orientada a la innovación y mejora de la calidad que permitan alcanzarla. De la estrategia de buen gobierno se derivan iniciativas concretas como el sistema de metas presidenciales, el modelo de calidad de la gestión Intragob y la iniciativa de los premios a la gestión pública. En el Cuadro Nº 5 se describen y analizan las iniciativas derivadas de dicha estrategia.

Cuadro Nº 5 Agenda del Buen Gobierno

1. Un gobierno honesto y transparente para recuperar la confianza de la sociedad en su gobierno. 2. Un gobierno profesional que cuente con las mejores mujeres y los mejores hombres en el servicio público,

para garantizar que la administración pública transite sexenalmente con el mínimo trastorno y la máxima eficacia, y asegurando que, siendo políticamente neutra, se convierta en un factor estratégico de la competitividad del país.

3. Un gobierno de calidad que satisfaga, o incluso supere, las expectativas de los ciudadanos en los servicios que

se le brindan. 4. Un gobierno digital para posibilitar que desde la comodidad de su casa, oficina, o desde un Centro

Comunitario Digital e-México, en pro de la eficiencia y el valor del tiempo, los ciudadanos obtengan información del gobierno y tengan acceso a los servicios que éste ofrece.

5. Un gobierno con mejora regulatoria que garantice que la ciudadanía y los servidores públicos efectúen

trámites y procesos con facilidad, seguridad, rapidez y a bajo costo. 6. Un gobierno que cueste menos para reducir el gasto que no agrega valor, para ofrecer mayores beneficios a la

sociedad.

Fuente: http://www.innova.fox.presidencia.gob.mx/archivos/9/files/archivos/sip-5049.pdf (consulta en abril de 2007), y Muñoz Gutiérrez (2004). 2.2.1 Sistema de Seguimiento y Evaluación de Metas Presidenciales (SIMEP) El SIMEP se inició en el año 2002 y forma parte del modelo estratégico para la Innovación y la Calidad Gubernamental71. A semejanza de iniciativas similares emprendidas en otros países de Latinoamérica, contempla que los titulares de las dependencias de la Administración Pública Federal establezcan compromisos de mejora de resultados acordados con el propio titular del Ejecutivo o con quien éste designe. El compromiso se logra mediante concertación con los titulares de las instituciones seleccionadas para la fijación de las metas que estarán sujetas a seguimiento y evaluación, y se definen estándares y ponderaciones para su valoración. Las metas deben estar alineadas al Plan Nacional de Desarrollo (PND), a planes sectoriales, a programas institucionales y a la estructura programático presupuestal de la SHCP, entre otros documentos, para garantizar su congruencia. El SIMEP está a cargo de la Unidad de Control y Evaluación de la Gestión Pública (UCEGP) de la Secretaría de la Función Pública (SFP). Las metas presidenciales para cada institución deben ser iniciadas y respaldadas por la autoridad de más alto nivel, considerar unas cuantas metas (ya que inicialmente su número era mayor y dificultaba su seguimiento) que estén orientadas a impacto, motivadoras y retadoras, no definidas en términos de

71 El SIMEP se inició con una prueba piloto e involucró directamente a la Oficina de Innovación Gubernamental y a la Unidad de Control y Evaluación de la Gestión Pública de la SFP.

50

entrega de bienes y/o servicios o presupuesto; además, el cumplimiento (o no) de las mismas debe estar sujeto a consecuencias, previamente negociadas entre las partes. Si la institución no cumple con las metas, los órganos internos de control (OIC), órganos de vigilancia y control de la Secretaría de la Función Pública (SFP) ubicados en las unidades y dependencias de la Administración Pública Federal en el nivel directivo -al nivel de oficialía mayor-, tienen la facultad de hacer observaciones, las cuales deben ser firmadas por el titular del área involucrada; existe un lapso de 45 días para solventar la información. Si la dependencia no cumple con los compromisos firmados en la observación, si no se hace nada, se incurre en omisión; la OIC elabora un extrañamiento y puede, eventualmente, otorgarse tiempo adicional para que la observación pueda ser solventada. Si continúa sin hacerse nada, la sanción puede ir desde un acta en el expediente de la institución, una separación del cargo por 15 días sin goce de sueldo, hasta la inhabilitación para desempeñar un cargo público por meses o incluso años. Los funcionarios entrevistados en la SFP señalaron que el primer mecanismo de sanción de las metas presidenciales era informal y de tipo moral. Ningún titular de entidad o dependencia deseaba ser cuestionado por el Presidente acerca del color rojo o amarillo en sus metas, y si lo era, reaccionaba de inmediato; en tal sentido era efectivo. Para cada una de las metas presidenciales es requerida la elaboración de una ficha técnica. Los datos de la ficha técnica son ingresados a una herramienta informática que permite cargarlos, realizar seguimiento y monitorear su desempeño. Los campos de la ficha son: número, meta, descripción del indicador, ponderación, fórmula del indicador, premisas (supuestos), beneficios a obtener y estándares (umbrales) para la meta -mínima, satisfactoria y sobresaliente. Previo al acuerdo y compromiso de la “meta presidencial” entre la dependencia y el titular del Ejecutivo, la Oficina de Innovación Gubernamental (OIG) revisa la naturaleza y el alcance de las metas. Posteriormente, el titular del Ejecutivo puede sugerir ajustes, y tanto la OIG como la UCEGP deben verificar que éstos queden reflejados en las fichas. Las metas presidenciales pueden ser ordenadas, de acuerdo con su tipo, en tres clases: Operación, Buen Gobierno y Evaluación del Cliente; su ordenamiento también resulta jerárquico. Las metas de operación son relativas a la valoración del desempeño de los programas operativos anuales y su influencia en los programas sectoriales de mediano plazo. Las de buen gobierno contribuyen a impulsar la agenda gubernamental de buen gobierno, en sus diversas líneas estratégicas. Finalmente, las de evaluación del cliente son referidas a la valoración de los bienes y/o servicios que prestan las instituciones. Los tableros de control El SIMEP cuenta con una herramienta informática que permite cargar las fichas de cada meta presidencial, y por tanto también sus umbrales o rangos. Al igual que el SEMBR que desarrolla la SEDESOL, utiliza la analogía de las luces del semáforo para establecer las señales relativas a la buena marcha (o no) de la gestión de la dependencia o entidad. Ellas son las siguientes: · Verde. Cuando el avance alcanzado indique que se cumplieron las metas programadas al período

revisado, o que exista la factibilidad de lograr por lo menos el compromiso establecido en la meta mínima anual del indicador concertado.

· Amarillo. Cuando el cumplimiento de la meta mínima anual esté en riesgo de alcanzarse y sean necesarias acciones correctivas para asegurar su cumplimiento.

· Rojo. Cuando el avance de la meta reportado al período muestre que no será posible alcanzar la meta mínima anual concertada.

51

Cuando la frecuencia de luces rojas o amarillas incrementa las posibilidades de incumplimiento al cierre del ejercicio, las instituciones y los órganos internos de control (OIC) deben establecer mecanismos efectivos de revisión y ajuste72. Concretamente, la Guía para la Evaluación de las Metas Presidenciales que utilizan los Órganos Internos de Control señala: “En el supuesto de existir semáforos en rojo (para cualquier período) o amarillo (sólo para el primer semestre), se deberá solicitar al responsable de la meta, un informe que explique las causas de su incumplimiento y de las medidas que se están aplicando para la solución de la problemática detectada” (SFP, 2005). La herramienta establece perfiles de usuarios con un alto nivel de restricciones, ya que la información no es pública. Al ser un sistema en línea, cada institución carga las fichas correspondientes a sus metas y lo puede consultar. La Oficina de Innovación Gubernamental, la Unidad de Control y Evaluación de la Gestión Pública y la Oficina de Presidencia tienen acceso total al sistema. El sistema permite realizar reportes por institución y por períodos, que permiten observar la meta, los umbrales (mínimo, satisfactorio y sobresaliente), así como la luz del semáforo y comentarios puntuales. El rol de los Órganos Internos de Control (OIC) en el SIMEP73

El rol de los OIC resulta estratégico para el seguimiento de los compromisos derivados de las metas presidenciales. Los OIC y los Órganos de Vigilancia y Control (OVC) aplican el modelo MIDO (Modelo Integral de Desempeño de Órganos de Vigilancia y Control) a partir del año 2004, el que va mucho más allá del seguimiento a las metas presidenciales; de hecho, elaboran un índice de desempeño institucional (IDI) el cual evalúa avances y resultados de las dependencias y entidades en materia de la Agenda de Buen Gobierno (digitalización de trámites y servicios, mejora de la calidad en trámites y procesos, mejoras a la regulación interna, profesionalización de la APF), incluyendo la operación del SIMEP como uno de sus indicadores. Para el caso del seguimiento a las Metas Presidenciales, los OIC verifican los grados de avance, la documentación en relación con los compromisos asumidos, los estándares y que la luz del semáforo esté debidamente asignada. Para ello utilizan una cédula de verificación estándar que les permite registrar el grado de avance, así como las recomendaciones pertinentes. Esta revisión se presenta de manera semestral y anual, para las metas operativas y de buen gobierno. Las metas orientadas a la evaluación del cliente son valoradas mediante encuestas lideradas por la Coordinación General de Opinión Pública e Imagen, de la Presidencia de la República. Cada Órgano Interno de Control elabora las cédulas de revisión y el dictamen de resultados de la revisión de cumplimiento de Metas Presidenciales. La Unidad de Control y Evaluación de la Gestión Pública de la SFP integra los reportes consolidados por sector o entidad o dependencia. Con base en el dictamen, en las cédulas de revisión y en lo reportado por las instituciones, se integran las evaluaciones del “Indicador de Desempeño en Metas Presidenciales”, cuyos datos se entregan a la Coordinación General de Órganos de Vigilancia y Control (CGOVC) para su análisis y posterior incorporación como una de las variables del Índice de Desempeño Institucional (IDI) del Modelo Integral de Desempeño de Órganos de Vigilancia y Control (MIDO). Si bien el SIMEP constituyó un esfuerzo por contar con un sistema de gestión preventivo, no estuvo exento de dificultades y críticas. Originalmente se pensó establecer un sistema de puntajes, pero resultaba muy complejo, y se cambió al uso de indicadores. Sus detractores argumentan que la

72 Eventualmente, la Oficina de Innovación Gubernamental de la Presidencia y la UCEGP pueden convocar a reuniones de análisis y determinación de planes inmediatos de acción. 73 Con base en la entrevista a César López Nova, quien tiene experiencia laboral en OIC.

52

información debiese ser pública en su totalidad (ya que no lo es). Existen también debilidades en cuanto a su falta de vinculación a las decisiones presupuestarias: “los titulares de las dependencias y entidades se comprometían con la Presidencia, sin embargo, las metas eran comprometidas al margen del PEF (Presupuesto de Egresos de la Federación)” (SHCP, 2007: 15). El desenlace lógico previsto del sistema de seguimiento de metas presidenciales es que algunos de los instrumentos utilizados y mejores prácticas realizadas puedan ser considerados en el proceso de integración del sistema de evaluación del desempeño (SED) sometido a consideración de la Cámara de Diputados (marzo de 2007), concretamente en la vertiente de gestión pública, en el Programa de Mejora de la Gestión Pública (PMG). De hecho, la fijación de metas es el primer paso de implementación del SED. Actualmente, el SIMEP no opera más. 2.2.2 Modelo Intragob El modelo Intragob, bajo la responsabilidad de la Oficina de Innovación Gubernamental, es un enfoque basado en las orientaciones de la administración de la Calidad Total y en las experiencias internacionales desarrolladas en el sector público para adaptar dicho enfoque a las características propias de la administración pública. Incluye las iniciativas dirigidas a premiar a los organismos públicos, Premios a la Calidad e Innovación en el Sector Público, que se han desarrollado desde hace dos décadas en los gobiernos de democracias avanzadas y en América Latina desde mediados de la década de los noventa. El modelo Intragob, en el marco del Plan Nacional de Desarrollo 2000-2006, se orientaba a contribuir al desarrollo de las seis líneas de acción que comprende la Agenda del Buen Gobierno. Son dos los componentes que constituyen el modelo Intragob. El primero es el propio modelo que, bajo la inspiración de la serie ISO 9000 y de las experiencias internacionales, define ocho criterios que caracterizan un modelo de organización y gestión orientado a la calidad. El segundo componente es la premiación, que se divide en dos vertientes: la primera, dirigida a la Calidad (basada en el modelo), y la segunda, orientada a premiar “prácticas innovadoras”, es decir no se premia en esta última a un modelo orientado a la calidad sino a una práctica concreta; en esta modalidad también existen reconocimientos. El primer componente: el modelo Intragob propiamente El modelo Intragob está constituido por ocho criterios, los que se eslabonan en una lógica de sistemas, como una guía gerencial; cada uno de los criterios define una serie de requerimientos a lograr para alcanzar el estándar de calidad: 1. Satisfacción del cliente y ciudadano:

a. Conocimiento de necesidades y expectativas de clientes y ciudadanos. b. Comunicación con clientes y ciudadanos; capacidad de respuesta oportuna a sus quejas y

reclamos. c. Sistemas para determinar el nivel de satisfacción de clientes y ciudadanos.

2. Liderazgo: a. Implementación de métodos y prácticas para impulsar el liderazgo.

3. Desarrollo del personal y gestión del capital intelectual: a. Trabajo en equipo. b. Profesionalismo y desarrollo de personal. c. Capital intelectual. d. Reconocimiento. e. Mejoramiento de la calidad de vida en el trabajo. f. Ambientación permanente para la calidad.

4. Administración de la información y la tecnología: a. Administración de la información. b. Administración de la tecnología.

53

5. Planeación: a. Planeación estratégica. b. Planeación operativa.

6. Gestión y mejora de procesos: a. Desarrollo de servicios y procesos. b. Implementación del sistema de gestión. c. Proveedores.

7. Impacto en la sociedad: a. Mejoramiento del entorno.

8. Resultados: a. Valor creado para el personal y la dependencia o entidad. b. Valor creado para los clientes, ciudadanos y la sociedad. c. Valor creado para una cultura de calidad.

No hay distinción en la aplicación de los criterios de acuerdo con la naturaleza de la institución o dependencia participante. Resulta equivalente, para el modelo, la prestación de servicios regulatorios, recaudatorios, orientados al bienestar o a un bien público. Por otra parte, hay dependencias que no prestan servicios a ciudadanos. Además, algunos requerimientos de evaluación resultan de alta complejidad: incluyen análisis como cadena de valor y estudios costo beneficio para un buen número de criterios. Aunque en los criterios hay alta preocupación por el impacto, no es así con el monitoreo, y no es claro a través de qué metodologías es posible medir resultados del tipo de valor creado para una cultura de calidad, para ciudadanos, clientes y la sociedad. A pesar de que hay posibilidades de mejora, este modelo está suficientemente consolidado, ya que sentó las bases de una guía para la gestión de la calidad en las dependencias e instituciones de la Administración Pública Federal, así como las condiciones para premiar e incentivar la calidad a quienes demuestren acercarse en la práctica a las pautas del modelo, y a aquellas iniciativas puntuales de innovación. Una enorme ventaja es que todos aquellos participantes, al elaborar su autodiagnóstico y ser evaluados, pueden conocer su situación y las oportunidades puntuales de mejora, pero además pueden iniciar acciones encaminadas a la certificación internacional ISO 9000, ya que la guía de alguna manera les prepara para someterse a ser reconocidos y certificados por dicha norma. El segundo componente: los premios y reconocimientos a la innovación y la calidad Los premios y reconocimientos a la innovación y la calidad se establecieron en el año 2002. Ambos poseen un Comité Técnico que lidera el proceso asegurando la coherencia e integración de las fases de promoción, reconocimiento y difusión. Se cuenta además con un Comité Técnico orientado a precisar las herramientas de evaluaciones, bases del concurso, asistencia técnica, guías de participación, etc. Finalmente, existe un Comité de Premiación, que recibe los dictámenes del grupo evaluador y selecciona las entidades ganadoras; su fallo es definitivo e inapelable. Es relevante señalar que en México existe desde hace tiempo el Premio Nacional de Calidad (http://www.pnc.org.mx), que premia a organizaciones públicas y privadas a través del Instituto para el Fomento de la Calidad Total A.C. Este premio es un referente nacional en los temas de calidad y se encuentra articulado a la Oficina de Innovación Gubernamental, con el Fideicomiso del Premio Nacional a la Calidad para la coordinación técnica y apoyo. La importancia de premiar la gestión innovadora y de calidad es que se identifican, sistematizan y difunden las mejores prácticas. Por otra parte, permite realizar un diagnóstico de la calidad de la gestión de las organizaciones públicas y, mediante la evaluación, establecer recomendaciones de mejora a aquellas que no hayan logrado ser premiadas o reconocidas.

54

El reconocimiento y el Premio Innova El reconocimiento Innova se entrega a las entidades y dependencias de la Administración Pública Federal que se distinguen por la innovación en la prestación de servicios con alto impacto en su receptor, sea éste usuario, beneficiario o regulado. El reconocimiento a la innovación introduce, a partir de la edición 2004, la modalidad a través de la cual los ganadores del premio pasan a una instancia especial en la que se consideran criterios adicionales de impacto al ciudadano, alcance regional y grado de innovación. Las prácticas de mayor puntaje reciben el Premio Nacional a la Innovación en la Administración Pública: el Premio Innova. El premio consiste en el reconocimiento y orgullo de obtenerlo, al igual que en sus orígenes hacían los organizadores del Premio Deming a la calidad en Japón a través del izado de una bandera en la organización ganadora, y de otras iniciativas en América Latina, como el premio a la calidad e innovación de la Gerencia Social en República Dominicana, consistente en el uso durante un año de un sello de goma en su correspondencia que los acredita como ganadores. Las dependencias e instituciones que resulten ganadoras podrán ostentar el logotipo del Premio Innova, sinónimo de excelencia en la administración pública, señalando el año en que se obtuvo el reconocimiento, y formar parte del capital intelectual replicable en la administración pública como aportación exitosa a la innovación en el país. Algunos ganadores destacados del Premio Innova entre los años 2000 y 2005 son la Secretaría de Relaciones Exteriores, por el ágil y confiable proceso de expedición de pasaportes; la Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación, por la iniciativa de transparencia en el pago de apoyos para el campo a través de la tecnología de información; la Secretaría del Trabajo y Previsión Social, por la mejora de los servicios de intermediación laboral (Chambatel, Chambanet y Michamba); el Servicio de Administración Tributaria, por el nuevo esquema de pagos electrónicos; y la Secretaría de la Función Pública, por el Modelo Integrado de Desempeño de los Órganos de Control Interno, entre otros74, que se presentará más adelante. El Premio Intragob Esta iniciativa va dirigida a aquellas instancias de la administración pública que muestren un nivel de madurez en su modelo de organización y gestión basado en el modelo Intragob. El nivel de “madurez” refiere al puntaje alcanzado. La puntuación permite categorizar a los participantes en tres bloques. Los dos de menos puntaje (definido por rangos), si bien no entran en la competencia final por el premio, cuentan ya con una línea de base y recomendaciones para que puedan mejorar, o ser asistidos técnicamente en aspectos puntuales. El tercer grupo es el de modelos más consolidados (maduros) de organización y gestión, y quienes concursan por el Premio. Destacan como ganadores del Premio Intragob la Procuraduría General de la República, la Comisión Nacional de Arbitraje Médico, Petróleos Mexicanos y la Secretaría de Desarrollo Social, entre otros75. Al igual que el Premio Innova, el Premio Intragob consiste en el mismo reconocimiento y orgullo de obtenerlo. Las dependencias e instituciones que resulten ganadoras podrán ostentar el logotipo del Premio Intragob, sinónimo de excelencia en la administración pública, señalando el año en que se obtuvo el reconocimiento. La certificación de calidad Es importante señalar el gran número de certificaciones de la norma ISO 9000, con las adaptaciones que establece la metrología mexicana. Se han logrado 429 centros de trabajo en la administración pública, en el año 2000, y 1.273 en el año 2004; se triplicó prácticamente el número en un período de

74 Para conocer el detalle de las iniciativas premiadas, ver Muñoz Gutiérrez (2004). 75 Ídem.

55

cuatro años. El modelo Intragob es un impulsor de la implementación de buenas guías de gestión y, sin duda, tiene enorme influencia en este incremento. Se preguntó a expertos de la SFP el impacto en la gestión pública de este enorme volumen de certificaciones. Su opinión es que se creó una especie de mercado de la certificación en donde la enorme demanda por parte de las instituciones se satisfacía por la documentación de algún proceso, en muchas ocasiones no sustantivo, es decir no se certificaron en muchos casos modelos de organización y gestión integrales y el conjunto de procesos que contienen, sino procesos aislados, lo que no necesariamente impacta directamente en mejoras de gestión. 2.2.3 Modelo Integral de Desempeño de Órganos de Vigilancia y Control (MIDO) Quizás el MIDO es uno de los cambios más importantes de los últimos años en materia de control interno, involucrando tanto a los órganos de control como a las dependencias y entidades de la APF. Está orientado a lograr que los Órganos Internos de Control (OIC) y los delegados, subdelegados y comisarios públicos sean corresponsables estratégicos en el logro de resultados en las metas y objetivos de las dependencias y entidades de la APF en materia de transparencia, honestidad y mejora de la gestión pública. Sus logros han motivado que fuese galardonado con el Premio Innova, edición 2005, y se contempla que los OIC jueguen un rol protagónico en las iniciativas que comprende el PMG. En los procesos de diseño, integración, implementación y evaluación del MIDO, bajo la conducción de la Coordinación General de Órganos de Vigilancia y Control de la SFP, participan diversas unidades administrativas, el Instituto Federal de Acceso a la Información Pública (IFAI), todos los OIC y todos los delegados, subdelegados y comisarios públicos. Para sustentar la dirección y evaluación del desempeño integral, el MIDO está constituido por un conjunto de indicadores que generan evaluaciones trimestrales, semestrales y/o anuales, cuya vigencia es analizada técnica y metodológicamente de manera anual para dictaminar si un indicador permanece con modificaciones o se elimina del Modelo. Los indicadores del MIDO se agrupan bajo los siguientes cinco índices, donde los cuatro primeros son considerados como estratégicos y el quinto operativo: · Índice de Reducción de Riesgos de Corrupción. · Índice de Reducción de Riesgos de Opacidad. · Índice de Desempeño Institucional. · Índice de Percepción del Desempeño. · Índice de Desempeño Operativo.

La dinámica de integración del Modelo ha permitido, a partir del año 2004, precisar la estructura, enfoque y alcance de cada indicador a incluirse en el Manual de Operación del MIDO76. Por ello, el MIDO se constituye como un modelo de dirección y evaluación del desempeño integral que busca impulsar una nueva cultura de desempeño. Sus incentivos implícitos llevan a los agentes evaluados a convertirse en corresponsables y orientar su desempeño hacia el logro de resultados, bajo una ambiente de consenso entre los actores que en él participan, pero técnica y metodológicamente estructurado por el equipo que centralmente lo administra. Al constituirse inicialmente como base de operación para las instancias de contraloría y de control interno y vigilancia de las entidades y dependencias de la APF, fue percibido en principio más como un sistema tradicional de auditoría pero sin atribuirle rasgos de herramienta de gestión preventiva77; es

76 Consultar manuales de operación del MIDO en http://www.mido.gob.mx/regulacion.html. 77 En general, los funcionarios vinculados a la vertiente de Programas no conocen la importancia del MIDO, o si bien lo referían, no establecían vínculo con el Sistema Nacional de Monitoreo y Evaluación.

56

http://www.mido.gob.mx/regulacion.html

decir predominó una connotación de carácter sancionador y punitivo (evaluación divergente78), que afortunadamente comienza a cambiar fruto del sistema de incentivos a la cooperación entre organismos de control y entidades y dependencias de la APF involucrados en su implementación (evaluación convergente)79. Un rasgo de innovación del MIDO es su orientación, pues adopta un enfoque muy moderno de control interno basado en parte en la metodología COSO, que se popularizó hace pocos años en el campo de la auditoría y la gestión pública. Esta metodología surge debido a presiones derivadas del fracaso de los sistemas tradicionales de control que no pudieron evitar fraudes contables y financieros. Diversas organizaciones y agrupaciones de profesionales generaron así nuevas metodologías basadas en una visión moderna e integrada, como el COSO, que debe su nombre al Informe del Committee of Sponsors Organizations, publicado en 1992 en los Estados Unidos. Uno de los principios innovadores del COSO es que el control interno debe formar parte de la gestión organizacional y de la cultura organizacional. Es decir no es responsabilidad única del auditor u órgano de control y vigilancia, sino de toda la institución. Además, el control interno no es meramente de carácter detector (ex post), sino en la nueva modalidad incluye también el carácter preventivo. El modelo COSO promueve valores como: transparencia, orientación a resultados, eficiencia y excelencia (a través del seguimiento de las mejores prácticas)80. El COSO se ha constituido en un estándar internacional para la gestión pública moderna. El modelo se diseña, integra, implementa y evalúa desde la CGOVC, y su operación se realiza por medio del trabajo de los OIC y de los delegados, subdelegados y comisarios públicos, que juntos integran los Órganos de Vigilancia y Control (OVC) de la APF. La implementación del modelo ha distinguido tres grupos de OIC, de acuerdo con la cobertura definida para cada indicador. En 2006, el grupo uno estaba conformado por 43 OIC, el grupo dos por 92 OIC, y por 78 OIC el tres. En cada grupo se tiene un número de indicadores que permite considerar la naturaleza y circunstancias de cada institución de la APF y/o de cada OIC evaluado, conservando la homogeneidad, integralidad y robustez del MIDO. El objetivo del MIDO es garantizar que los Órganos Internos de Control y los delegados y comisarios públicos contribuyan a reducir riesgos de corrupción y de opacidad en la Administración Pública Federal, así como hacer efectiva la operación de ésta, mediante una adecuada relación con las dependencias, entidades, órganos desconcentrados y la PGR, con un enfoque preventivo de control, una correcta vigilancia de la gestión pública y una efectiva aplicación de medidas correctivas. Sus principios gerenciales son la corresponsabilidad en el logro de los objetivos y metas de las entidades y dependencias de la APF, y que su contribución en materia de honestidad, transparencia y efectividad institucional sea percibida como positiva y con agregación de valor; incluye, además, la promoción de un alto nivel de cooperación entre las instituciones y una cultura organizacional basada en resultados, entre otras. En el MIDO es muy innovadora la forma de evaluar el desempeño de los OIC. Buena parte de su evaluación depende de los resultados globales de la institución o dependencia en la que se insertan, de ahí sus incentivos de promover una gestión transparente y eficiente.

78 Este concepto utilizado en el modelo MIDO refiere al proceso de evaluación en el que los órganos de vigilancia y control de la APF operaron sin consenso y coordinación con las entidades y dependencias de la APF para el logro de objetivos. 79 Concepto utilizado en el MIDO para referirse a una de sus bases metodológicas, que implica una operación y evaluación de resultados corresponsable entre los órganos de vigilancia y control de la APF y las entidades y dependencias de la APF. 80 Agradezco a Julián Laski, de la firma de auditores PKF-Villagarcía y Asociados, de Argentina, por la conversación relativa a los alcances, características y requerimientos de aplicación de la metodología COSO en el sector público.

57

Los índices del modelo para Órganos Internos de Control (OIC) y para los delegados, subdelegados y comisarios públicos están compuestos de indicadores, cuyo número se ha ido moviendo, con tendencia hacia su reducción, a efecto de lograr cada vez mayor precisión y enfoque en el trabajo de los agentes evaluados y con ello obtener mejores resultados en el desempeño global de los OVC y de las dependencias y entidades de la APF. Por ejemplo, mientras en el MIDO de los OIC de 2004 se tenían 26 indicadores, en el mismo modelo para 2006 se contaba con 18 indicadores, siendo la gran mayoría de los indicadores de naturaleza estratégica, y los menos, operativos. Para su operación, anualmente se generan los “Manuales de operación del MIDO” que establecen la orientación y forma de evaluación de los OIC y de los delegados, subdelegados y comisarios públicos. Los manuales contienen fichas técnicas de los indicadores, su estructura de cobertura, aplicación y ponderación, entre otros elementos que permiten a los OVC la implementación de las políticas y prioridades de la SFP de manera transversal en la APF. En términos de la evaluación global, es decir la que incluye a todos los OIC con los respectivos indicadores aplicables, los OIC han mejorado las calificaciones globales alcanzadas, pasando de 8,34 (214 OIC) -en una escala de 0 a 10- en el año 2004, a 8,55 (213 OIC) para el año 2006.81 La evaluación global de los 40 delegados, subdelegados y comisarios públicos fue aun mejor pues pasó de 8,59 a 9,19 para el mismo período. El MIDO y la evaluación en los componentes de Programas y de Gestión Pública En la aplicación del MIDO se apoya la implementación de las iniciativas orientadas por la Agenda de Buen Gobierno, así como algunas de las iniciativas de la vertiente de Programas ya descrita. En relación con la Agenda de Buen Gobierno, el MIDO produce evidencia para monitorear los logros de cada una de las líneas de acción. Cada uno de los índices aporta evidencia de las metas alcanzadas; por ejemplo, para Gobierno Honesto y Transparente, la SFP, mediante el mapeo de cientos de trámites, servicios, programas y acciones que realizan los órganos internos de control y los órganos de vigilancia, ha identificado riesgos de corrupción en cientos de instituciones, y ha logrado que un buen número de ellas establezcan programas operativos puntuales para la atención de los riesgos. Al cierre de 2004, en una escala de 0 a 10, se alcanzó una calificación promedio para toda la APF de 9,27 en materia de obligaciones de transparencia establecidas en la Ley Federal de Transparencia y Acceso a la Información Pública Gubernamental82. En el ejercicio 2005 se mejoraron los indicadores del MIDO de 2004 al incluir tres indicadores nuevos: 1) el aseguramiento de una adecuada atención a las solicitudes de acceso y el cumplimiento de las resoluciones del IFAI; 2) el aseguramiento de la calidad de atención que las unidades de enlace brindan a los particulares que acuden a presentar sus solicitudes de acceso a información; y 3) el aseguramiento de la calidad, veracidad, oportunidad y confiabilidad de la información. En relación con la iniciativa de metas presidenciales (SIMEP), los órganos internos de control revisan diversos aspectos del avance en esas metas, generan recomendaciones y dictaminan los resultados que permiten evaluar el SIMEP. De esta forma, el MIDO incluyó un indicador para evaluar estos trabajos. Una innovadora iniciativa que por efectos del MIDO promueven los OIC y los delegados, subdelegados y comisarios públicos es el establecimiento de Cartas Compromiso, inspiradas en el Citizen Chart inglés. Mediante ellas, la institución se compromete a una mejora significativa en los resultados, estableciendo un compromiso y acordando una sanción en caso de incumplimiento. Por ejemplo, LICONSA, órgano que opera el Programa de Abasto Social de Leche, suscribió una carta compromiso con la SFP, relativa a que la Dirección del Padrón reduzca los tiempos en la selección de beneficiarios y entrega de la tarjeta. A través del uso de PDA (tecnología de información sustentada en

81 Fuente: http://www.mido.gob.mx/evaluacion_mido.asp (consulta en julio de 2007). 82 El Instituto Federal de Acceso a la Información Pública (IFAI) integra en el MIDO indicadores, directrices y metas para la Administración Pública Federal, los OIC y los delegados y comisarios públicos.

58

http://www.mido.gob.mx/evaluacion_mido.asp

el empleo de pequeños computadores portátiles), el tiempo se redujo de 20 días a un día, constituyéndose en uno de varios casos exitosos que demuestran el impacto del MIDO. Las cartas ciudadanas se integran al PMG. A pesar de su corta existencia (comenzó su implementación en marzo de 2004), el MIDO es una práctica innovadora orientada a transformar la cultura organizacional de los OIC y de delegados, subdelegados y comisarios públicos, constituyéndose en aliado de las entidades y dependencias de la APF en la consecución de objetivos, sin descuidar sus funciones primarias de control interno. Como se comentó anteriormente, se prevé que el PMG se apoye en los OIC como operadores clave de las iniciativas del programa. Esto implica fortalecer la capacidad técnica de los OIC en materia del manejo de técnicas y habilidades de modernización de la gestión pública, que son distintas aunque complementarias a las de control interno, lo que implica contar con funcionarios de un perfil distinto al de expertos en control interno, que son mayoría en la SFP. Este es un desafío presente, al igual que el tema cultural, ya que a pesar del éxito del MIDO, las instituciones del sector público, en su mayoría, siguen percibiendo a los OIC como órganos fiscalizadores y no como socios impulsores de la modernización gerencial. 2.2.4 Juntando las piezas: el Presupuesto Basado en Resultados En marzo de 2007, el Ejecutivo Federal, liderado por la Secretaría de Hacienda y Crédito Público (SHCP), como parte de la estrategia de impulsar un presupuesto basado en resultados contemplado en la Ley Federal de Presupuesto y Responsabilidad Hacendaria, sometió la propuesta del Sistema de Evaluación del Desempeño (SED) a la Cámara de Diputados para su consideración, con la finalidad de que la Comisión de Presupuesto y Cuenta Pública, previa consulta a las Comisiones Ordinarias de la Cámara, proporcionen al Poder Ejecutivo sus observaciones en junio de 2007. El presupuesto basado en resultados es definido en la propuesta como: “el conjunto de procesos e instrumentos técnicos que permitirán que las decisiones involucradas en el presupuesto incorporen sistemáticamente consideraciones de la aplicación de los recursos públicos” (SHCP, 2007: I: 6).

Existen antecedentes orientados a sentar las bases del presupuesto basado en resultados. A mediados de la década de los setenta se introdujo el presupuesto por programas (PPP), que constituyó un cambio importante en la práctica presupuestaria. Los programas se diseñaban en función de la misión de la entidad o dependencia, que a su vez se alineaba a funciones y subfunciones gubernamentales. Fue uno de los primeros antecedentes de planeación con base en objetivos o planes a mediano y largo plazo, y su vinculación a resultados. En el año 1982, la planificación se vincula al desarrollo social a través de la modificación a la Constitución, derivada del plan global de desarrollo, importante antecedente para vincular planificación, programación, presupuestación y evaluación. Más adelante, a mediados de la década de los noventa, en el marco del Programa de Modernización de la Administración Pública Federal (PROMAP 1995-2000), se reformó el proceso presupuestario introduciendo herramientas modernas de gestión bajo la influencia de la corriente de la nueva gestión pública en América Latina, que había mostrado resultados interesantes en las democracias avanzadas años atrás83. Esta reforma implicó ajustes en la estructura programático presupuestal, y el proceso presupuestal se denominó Proceso Integral de Programación y Presupuestación (PIPP). Una de las razones del ajuste era que la apertura programática impedía ligar institucional y sectorialmente las metas a proyectos, acciones y recursos asignados. La nueva estructura programática (NEP) precisamente reorienta la

83 También a través del Programa Nacional de Financiamiento del Desarrollo (PRONAFIDE) se propusieron innovaciones en la clasificación y concepción de las actividades del sector gubernamental, y la introducción de indicadores estratégicos.

59

clasificación funcional del gasto para facilitar el seguimiento y permitir medir los resultados de la acción pública. Junto a la nueva estructura programática se propone el diseño de un Sistema de Evaluación del Desempeño (SED), bajo la lógica de que éste utilice la estructura de la NEP para la medición de resultados y el fomento a la transparencia y satisfacción de los ciudadanos. El SED comprende todas las etapas del ciclo presupuestario. Las herramientas y técnicas de gestión que en ese momento se diseñaron para el SED, se agruparon en cinco mecanismos principales: a) indicadores estratégicos, ajustados a la NEP y en cinco dimensiones: impacto, cobertura, calidad, eficiencia y alineación de recursos; b) convenios de desempeño; c) encuestas a beneficiarios; d) auditorías de resultados; y e) sistema de información al Ejecutivo. De esta manera, la reforma presupuestal establecía, por una parte, una nueva estructura presupuestal que ordenaba las actividades del sector público en: funciones, subfunciones, programas sectoriales, programas especiales, actividades especiales y proyectos; por la otra, un esquema para ligar el presupuesto a resultados a través del diseño del SED. También con la reforma de mediados de los años noventa se desarrolló, al igual que en otros países de la región, el Sistema Integrado de Administración Financiera (SIAFI). En el período 2000 a 2006 se ajustó la estructura programático-presupuestal, se diseñó el SED y se avanzó en la implementación del SIAFI. Si bien el SED avanzó en su diseño y se crearon algunas bases para su desarrollo, no logró consolidar la estructura operativa para su implementación. Con el cambio de gobierno (2006-2012) surge un renovado interés por impulsar el presupuesto por resultados y el Sistema de Evaluación del Desempeño (SED), con ajustes, así como una mayor integración de las iniciativas de evaluación de los componentes de Programas y de Gestión Pública; todo ello en el marco de la nueva Ley de Presupuesto y Responsabilidad Hacendaria, aprobada por el Congreso de la Unión el 1º de abril de 2006, que ajustó las categorías de la estructura programática y estableció los mecanismos e incentivos para la implementación del SED. El SED, durante 2007, se inició con algunas acciones concretas que se incluyeron en el Proyecto del Presupuesto de Egresos de la Federación (PPEF) para el año 2008, como la carga de indicadores para los programas presupuestarios, y la aplicación de las evaluaciones a los programas presupuestarios. La estructura del SED y su implementación al año 2008 La propuesta del SED, presentada a la Cámara de Diputados, define dos componentes: a) evaluación de programas, que contribuya a orientar las asignaciones presupuestales, y b) evaluación de la gestión pública a través del Programa de Mejora de la Gestión (PMG). El primero será liderado por el CONEVAL, en estrecha colaboración con la SHCP, y el segundo, liderado con mayor protagonismo por la SHCP (concretamente, la Subsecretaría de Egresos) y la Unidad de Control y Evaluación de la Gestión Pública, de la SFP. Estos componentes ya han iniciado la implementación de iniciativas concretas y han previsto su articulación. Como ya se señaló, el componente de gestión pública es más reciente y aún menos desarrollado en su estructura organizativa y definición de iniciativas. Respecto al primer componente (programas), se enfatizan las acciones dirigidas a las evaluaciones externas independientes, la revisión de evaluaciones por parte del CONEVAL, el seguimiento y difusión de los resultados de las evaluaciones, las evaluaciones de impacto, la elaboración del Plan Nacional de Evaluación y el conteo oficial de pobreza, entre otras. El CONEVAL, la SHCP y la SFP han emitido ya, en conjunto, diversos lineamientos para coordinar e integrar las iniciativas.

60

Con respecto al componente de evaluación de la gestión pública, la SFP y la SHCP pondrán en marcha el Programa de Mejora de la Gestión Pública (PMG), que se traducirá en compromisos de modernización de las dependencias y entidades de la Administración Pública Federal. Para coordinar el PMG se constituirá una Comisión para la Mejora de la Gestión Pública (CMGP), instancia responsable del establecimiento de los programas y acciones de mejora, de concertar con las dependencias y entidades los programas y acciones a realizar, así como las metas y los plazos, efectuar el seguimiento y evaluación de las mismas y diseminar las mejores prácticas. El programa marco de mejoramiento de la gestión pública se basará en cambios en áreas estratégicas comunes para todas las instituciones públicas. Está orientado a una mejora de los procesos transversales de la Administración Pública Federal: planeación estratégica, compras y contrataciones del Estado, gestión financiera y gestión de recursos humanos. El objetivo general del PMG es mejorar la productividad del gasto público (ver Cuadro Nº 6). Su operación estará basada en buena medida en Comités de Expertos. En esta vertiente, como ya se comentó, se prevé que los OIC jueguen un rol importante en la implementación.

Cuadro N° 6 Objetivos del Programa de Mejora de la Gestión Pública (PMG)

· Generar mejoras que impacten el quehacer sustantivo de las instituciones. · Fortalecer una cultura de trabajo orientada a resultados. · Contribuir al cumplimiento de los objetivos estratégicos institucionales. · Fomentar un mayor compromiso con los resultados por parte de los directivos y los niveles de la dirección. · Apoyar en la construcción de sistemas de incentivos al desempeño, institucional e individual. · Proporcionar información relevante a la sociedad respecto al desempeño de las instituciones de la

Administración Pública Federal. Fuente: Subsecretaría de Egresos (2007).

El programa marco del PMG define cinco áreas de trabajo o iniciativas de intervención: 1) recursos humanos, enfatizando el desarrollo de la función pública y la gestión estratégica de los recursos humanos; 2) calidad regulatoria, que distingue entre regulación interna, que comprende los procesos transversales de contrataciones, recursos financieros y materiales, y la regulación de la vinculación con agentes privados; 3) calidad de los servicios públicos, que incluye procesos para la desreglamentación normativa y la desconcentración; 4) gobierno electrónico, incluyendo mejoras al interior de la administración pública y en su interacción con agentes privados, e impacto en la maximización de la cobertura; y 5) austeridad y disciplina del gasto público, basadas en medidas de racionalización, por ejemplo compras consolidadas, centralización de operaciones en almacenes, ahorros en consumo de energía, agua, etc.84

Uno de los mecanismos de operación del PMG es el establecimiento de convenios o compromisos de gestión entre las instituciones y dependencias y el comité directivo del PMG. Se están diseñando para la operación de estos convenios un conjunto de incentivos orientados a instituciones, programas (o unidades administrativas) e individuos; se prevén reconocimientos del tipo ranking, premios, acreditaciones y certificaciones, beneficios económicos vinculados al proceso de asignación presupuestal y financiamiento de proyectos (a nivel de institución); bonos por equipos (en unidades administrativas o programas) y bonos de desempeño individual o promociones a nivel personal,

84 Actualmente está en vigencia un decreto de austeridad (publicado en el DOF del 4 de diciembre de 2006). Algunas de las medidas sobresalientes son: reducción de salarios (10% en salarios de altos mandos; 2% en servicios personales; 5% en gastos de operación de las entidades y dependencias de la APF); disminución al mínimo indispensable de gastos de representación y comisiones; no se otorgarán aumentos de sueldos; reducción del costo de seguros de gastos médicos mayores, vida y de separación individualizado; no se adquirirán ni arrendarán nuevos inmuebles para la APF.

61

aunque estos últimos deben estar incorporados en los esquemas del servicio civil y de carrera administrativa, que administra la SFP. En el Gráfico Nº 7 se aprecia la lógica de operación del SED. Se visualizan las dos vertientes (o componentes) de operación, las entidades coordinadoras, el contenido de las acciones en cada vertiente y su vinculación al Presupuesto de Egresos de la Federación (PEF).

Gráfico Nº 7 Estructura de operación del SED

Programas, proyectos y actividades estratégicosP

E

F

P M G

S E D

P R O G R A M A SP R O Y E C T O S

A C T I V I D A D E S

Marco Lógico

Programas Presidenciales Nuevos (alineados al PND)

INDICADORES

Programa de Mejoramiento de la GestiónMarco Lógico

Racionalización de estructuras, redimensionamiento delnúmero de plazas y avance en la implantación del SPC

Outsourcing

Almacenes. Inventarios y adquisiciones consolidadas

Identificación y valuación de activos

Archivos y transparencia

INDICADORES

IND

ICAD

OR

ES

CONEVAL

Comité deExpertos

CMGP

Evaluaciones especiales (2 ó 3)• Seguro Popular• Enciclomedia• Otro

Programas con Reglas de Operación (alineados al PND)

Programas, proyectos y actividades estratégicosP

E

F

P M G

S E D

P R O G R A M A SP R O Y E C T O S

A C T I V I D A D E S

Marco Lógico

Programas Presidenciales Nuevos (alineados al PND)

INDICADORES

Programa de Mejoramiento de la GestiónMarco Lógico

Racionalización de estructuras, redimensionamiento delnúmero de plazas y avance en la implantación del SPC

Outsourcing

Almacenes. Inventarios y adquisiciones consolidadas

Identificación y valuación de activos

Archivos y transparencia

INDICADORES

IND

ICAD

OR

ES

CONEVAL

Comité deExpertos

CMGP

Evaluaciones especiales (2 ó 3)• Seguro Popular• Enciclomedia• Otro

Programas con Reglas de Operación (alineados al PND)

Fuente: Subsecretaría de Egresos (2007). Esta dinámica establecerá un cambio radical en la forma de configurar el Presupuesto de Egresos de la Federación (PEF). Por una parte, el SED consolida los resultados de la evaluación tanto a nivel de programas sociales como de la eficiencia institucional, los que serán contrastados con los indicadores de gestión y resultados definidos, y el gasto ejercido. Esta información permitirá tomar decisiones relativas a la asignación del gasto. La secuencia de pasos para la consolidación del SED en sus distintas vertientes se muestra a continuación. Para el caso de la vertiente de Programas: · Lograr la alineación de los programas a los objetivos prioritarios del Plan Nacional de Desarrollo

(PND) y a los programas sectoriales. La Oficina de la Presidencia está en proceso de afinación de las metas sectoriales que se derivan del PND, las que se articularán, hacia niveles inferiores, a los marcos lógicos elaborados por las instituciones y dependencias de la APF.

· Aplicación del enfoque que se deriva de la matriz del marco lógico a los programas alineados. Durante el año 2007 se han realizado acciones de capacitación en marco lógico a unidades responsables de programas y a técnicos de distintas secretarías de Estado, tales como la SEDESOL, la SEMARNAT o la SAGARPA, entre otras. También han sido capacitados técnicos del Departamento del Distrito Federal, en la Ciudad de México. Funcionarios y asesores de alto nivel también han sido entrenados en materia de presupuesto basado en resultados. El ejercicio de esta alineación se realizó en 2007 a través de la elaboración de todos los programas federales de la APF

62

en matrices de indicadores. La elaboración de indicadores de propósito y fin de los programas, obligó a explicitar la conexión con metas sectoriales y su alineación a las metas del PND.

· Acordar y negociar los objetivos, indicadores y metas de los programas, primero al interior de cada

dependencia o institución, y posteriormente con el CONEVAL, la SHCP y la SFP. En un siguiente momento, consensuarlos con la Comisión de Presupuesto y Cuenta Pública de la Cámara de Diputados. En 2007 se realizaron matrices de marco lógico (MML), de las que se derivaron matrices de indicadores para entregar a la SHCP; este proceso sirvió para poner en marcha a los actores involucrados en el SED, y probar mecanismos de coordinación y técnicas gerenciales. Al interior de las instituciones y dependencias no en todos los casos los tomadores de decisión se involucraron, por lo que no se lograron MML consensuadas. Con el CONEVAL y la SHCP hubo interacción; también con responsables del entrenamiento. En ocasiones, las lecciones y recomendaciones de estos actores a los programas no eran consistentes, lo que generó confusión. A ello se sumó la presión de tiempo de la SHCP por la entrega de indicadores. Si bien el ejercicio fue de utilidad para poner en movimiento los mecanismos institucionales del SED, generó bastante tensión en los programas. Se espera para el año 2008 ajustar la operación de dichos mecanismos de coordinación y técnicas gerenciales.

· Para formalizar este proceso, se establecerá la carta marco de compromisos basados en resultados y

la incorporación de acuerdos en el Proyecto de Presupuesto de Egresos de la Federación (PEF). · Para llevar adelante este proceso, y maximizar las posibilidades de éxito, se ha establecido una

estrategia incremental de incorporación de programas a través de tres fases: la fase I incluye los programas de la presente administración, así como los nuevos programas, los cuales debían presentar su matriz de indicadores a la CONEVAL a más tardar el 31 de agosto de 2007, para que posteriormente se incorpore a las reglas de operación; la fase II incluye programas seleccionados por las entidades y dependencias de acuerdo con su grado de maduración, habiendo sido sometidos previamente a evaluación y seleccionados como relevantes; y la fase III incluye el resto de los programas.

Aunque no está contemplado, sería recomendable que durante el proceso de negociación de las metas e indicadores se identificaran de la manera más precisa posible las fuentes básicas de información (encuestas, registros administrativos y censos) y las fuentes derivadas o de síntesis requeridas para poder utilizar dichos indicadores, y establecer las acciones requeridas para la mejora de las fuentes. El rol del INEGI sería fundamental en este paso, no sólo como productor estadístico sino como coordinador y regulador del sistema estadístico nacional. El INEGI no ha sido formalmente incorporado en el montaje y operación del SED. El Gráfico Nº 8 presenta el flujo de operación de la vertiente de Programas del SED.

63

Gráfico Nº 8 Vertiente de operación de Programas del SED

Fuente: Alvarado (2007). En cuanto a la vertiente de Gestión Pública y, concretamente, a las iniciativas contenidas en el PMG, la lógica de operación es la siguiente: · Identificación de las áreas de acción, derivadas del PND y planes sectoriales, e inclusión en el

denominado Programa Marco del PMG. · Definición de los programas orientados a la mejora de la gestión de las dependencias e

instituciones de la APF. · Establecer objetivos e indicadores de seguimiento de los programas de mejoramiento de la gestión

mediante el uso del marco lógico. · Realizar evaluaciones y rendir cuentas. Informe a la Cámara de Diputados. · Generación del Presupuesto de Egresos de la Federación. Al igual que en la vertiente anterior, es crucial conocer los operativos estadísticos concretos que permitan implementar esta vertiente, así como su fortalecimiento. El INEGI debería jugar un rol rector. De hecho, la calidad de los registros administrativos al interior de las instituciones es una necesidad dada la naturaleza de las actividades en esta vertiente85.

85 En el caso del presupuesto por resultados de Perú, la Oficina Nacional de Estadísticas recibe financiamiento del Ministerio de Economía y Finanzas para mejorar la calidad de los registros administrativos en diversas instituciones con el objetivo de conseguir información confiable, relevante y oportuna que permitan valorar el logro de las metas institucionales que se derivan precisamente del presupuesto por resultados. Esta conexión explícita de los sistemas nacionales de monitoreo y evaluación con las oficinas nacionales de estadística no es algo común en la región.

64

El vínculo con el Presupuesto El SED, a través de la operación de sus dos vertientes, permitirá conocer la eficiencia, economía, eficacia y calidad de la Administración Pública Federal, así como también el impacto social alcanzado por el gasto, enfatizando la calidad de los productos (bienes y/o servicios) públicos, el grado de satisfacción ciudadana, la rendición de cuentas, austeridad y transparencia, entre otros. El impacto social del gasto se evaluará mediante la coordinación del CONEVAL, y la productividad del gasto público mediante la evaluación por comités de expertos de los procesos transversales de la gestión pública, lo que permitirá en consecuencia tomar decisiones sobre la asignación del gasto. Para ello, el proyecto de PEF se presentará y aprobará incluyendo la clasificación funcional y programática de las entidades y dependencias, y de acuerdo con los resultados que se pretenden alcanzar en términos de funciones, subfunciones, programas, proyectos, actividades institucionales, indicadores y metas. En el marco del SED ya se han armonizado los calendarios presupuestal y de evaluación, lo que estrecha el vínculo de la evaluación al ciclo presupuestal.

65

III. ORIENTACIÓN FUNCIONAL DE LAS INICIATIVAS, NATURALEZA DE SUS HERRAMIENTAS Y COHERENCIA INSTITUCIONAL

En este apartado se presenta un análisis comparativo de las diversas iniciativas presentadas, ordenadas por componente. Se analizan a través de los siguientes criterios: a) orientación funcional; b) normativa principal; c) financiamiento; d) instrumentos gerenciales aplicados; e) capacidad de expansión de la iniciativa; y f) uso de la información. 3.1 Componente de Programas 3.1.1 Orientación funcional, normativa y financiamiento

En cuanto a la orientación funcional de las iniciativas comprendidas en este componente, la rendición de cuentas al interior y exterior de la administración pública constituye la función predominante; otra es la del aprendizaje para la mejora de los programas y de la prestación de servicios públicos, pero no es la predominante. No hay consecuencia aún en la asignación de recursos, y marginalmente la hay en planificación; éstas se impulsarán con el SED y con la plena operación del PBR, lo que exige mecanismos de flexibilidad en el presupuesto orientados a la reasignación del gasto sobre la base de resultados. No hay aún evaluaciones con consecuencias significativas, salvo en el caso de algunos programas de la SEDESOL y de alguna otra Secretaría, pero esto cambiará al estar plenamente instalado el PBR. Originalmente, la rendición de cuentas de las evaluaciones externas era más hacia los órganos de control de la administración pública. Con la Ley Federal de Transparencia y la LGDS lo es también al público en general, dada la obligatoriedad que se establece. En cuanto a la normativa de este componente destaca la reciente promulgación de la Ley General de Desarrollo Social, que crea la institucionalidad para la coordinación de las iniciativas. Incluye la creación del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), que ha realizado, en coordinación con la SHCP, una dinámica labor estableciendo lineamientos para la operación adecuada de las diversas iniciativas. También destaca la Ley de Adquisiciones de Bienes, Arrendamientos y Servicios del Sector Público como marco regulador de las iniciativas de evaluaciones externas; a través de dicho marco operan las modalidades de contratación interna (a órganos de la administración pública) y la contratación administrativa (o externa) a organismos privados. Por último, está la Ley de Presupuesto y Responsabilidad Hacendaria, aprobada por el Congreso de la Unión el 1º de abril de 2006, que es la que otorga el mandato de construcción del SED. En relación con el financiamiento, todas las iniciativas tienen una asignación regular de recursos fiscales por lo que hay estabilidad en cuanto a su financiamiento. Para los casos del Sistema de Evaluación y Monitoreo Basado en Resultados de Programas Sociales (SEMBR) y la evaluación de impacto se ha recibido donaciones y/o préstamos de organismos multilaterales orientados al diseño y apoyo a la ejecución, respectivamente. Una comparación entre las diferentes iniciativas de evaluación en el marco de la vertiente de Programas, relacionadas con la orientación funcional, la normativa y el financiamiento, se puede observar en el Cuadro Nº 7.

66

Cuadro Nº 7 Análisis comparativo: orientación funcional, normativa y financiamiento

Vertiente Programas Orientación Funcional Normativa principal Financiamiento

Evaluaciones externas.

Rendición de cuentas dentro y fuera de la administración86 pública en sus inicios. Posteriormente, aprendizaje para la mejora de los programas. En el futuro se prevén como un insumo del proceso presupuestal.

Ley Orgánica de la APF. Ley de Presupuesto y Responsabilidad Hacendaria 2006. Ley Federal de Procedimiento Administrativo. Ley General de Desarrollo Social. Lineamientos generales para evaluación de programas federales de la APF. TR1: Modelo de Términos de Referencia para la Evaluación de Consistencia y Resultados. Programa Anual de Evaluación para el Ejercicio Fiscal 2007 de los programas federales de la APF. Ley Federal de Transparencia y Acceso a la Información Gubernamental. Ley de Adquisiciones, Arrendamientos y Servicios del Sector Público.

Son cubiertas por el presupuesto de las entidades y dependencias de la APF responsables de su operación conforme a normas jurídicas y lineamientos presupuestales, o con cargo al Consejo Nacional de Evaluación.

Evaluaciones de Impacto.

Rendición de cuentas dentro y fuera de la administración pública, y aprendizaje. En el futuro se prevén como un insumo del proceso presupuestal.

Ley Orgánica de la APF. Ley Federal de Procedimiento Administrativo. Ley General de Desarrollo Social. Ley Federal de Transparencia y Acceso a la Información Gubernamental. Ley de Adquisiciones, Arrendamientos y Servicios del Sector Público. Programa Anual de Evaluación para el Ejercicio Fiscal 2007 de los programas federales de la APF.

Presupuesto de programas, CONACYT y organismos multilaterales.

Sistema de monitoreo y evaluación basado en resultados.

Rendición de cuentas dentro de la administración. Aprendizaje para mejorar la gestión de programas y mejorar la prestación de servicios.

Ley Orgánica de la APF. Ley General de Desarrollo Social. Ley Federal de Transparencia y Acceso a la Información Gubernamental. Programa Anual de Evaluación para el Ejercicio Fiscal 2007 de los programas federales de la APF. Lineamientos generales para evaluación de programas federales de la APF.

SEDESOL contó con la donación de un organismo multilateral para el diseño del SEMBR. Financiamiento de la operación por recursos fiscales.

Medición Oficial de la Pobreza.

Rendición de cuentas dentro y fuera de la administración pública.

Ley Orgánica de la APF. Ley General de Desarrollo Social. Ley Federal de Transparencia y Acceso a la Información Gubernamental.

Recursos fiscales asignados a CONEVAL.

3.1.2 Instrumentos gerenciales, capacidad de expansión y uso de la información En cuanto a las herramientas, métodos y aproximaciones, existe una amplia variedad. Los evaluadores externos utilizan de manera predominante el marco lógico para verificar la coherencia del diseño de los programas, el análisis costo-eficiencia, costo-efectividad y costo-beneficio (los últimos dos sin el rigor

86 De acuerdo con la conceptuación de Jaime Saavedra durante su presentación realizada en la Segunda Conferencia Regional de MyE en América Latina (Banco Mundial y BID, 2006).

67

metodológico adecuado87), y métodos de evaluaciones rápidas: informantes clave, grupos focales, mini encuestas, entrevistas y observación directa. También emplean el análisis financiero, técnicas de análisis de procesos y gestión de calidad. Las evaluaciones de impacto utilizan encuestas formales para recolectar información de una muestra seleccionada de personas u hogares. Regularmente recolectan información comparable de un número grande de personas en una población objetivo particular. Utilizan la gama de diseños cuasi-experimentales, salvo que se presenten las condiciones para aplicar el modelo experimental. El Sistema de Evaluación y Monitoreo Basado en Resultados utiliza como herramienta fundamental el marco lógico, también tableros de control de gestión e indicadores de desempeño. Finalmente, la medición de la pobreza utiliza la metodología adoptada por el Comité Técnico de Medición de la Pobreza y tiene como insumo principal la ENIGH producida por el INEGI. Actualmente está en proceso de medición multidimensional de la pobreza. En relación con la expansión de las iniciativas, las evaluaciones externas no pueden expandirse más verticalmente, pero sí podría ser una iniciativa a adoptarse en entidades federativas bajo la coordinación y asistencia técnica de instancias federales. Las evaluaciones de impacto podrían ampliarse horizontalmente en función del número de programas federales considerados prioritarios (así como de los recursos disponibles), y potencialmente de manera vertical a entidades federativas. El SEMBR prevé expansión horizontal al incorporar más programas, y vertical al establecer el sistema en las delegaciones estatales de la SEDESOL. Finalmente, la expansión de la medición de pobreza es relativa a la investigación y establecimiento de nuevas metodologías de medición. El enfoque de todas las iniciativas es jerárquico, es decir de arriba abajo o del tipo “Top Down”. Los nuevos lineamientos del CONEVAL se orientan a mejorar la calidad de las evaluaciones. La demanda de información resulta cada vez más efectiva debido a que los responsables de las unidades de operación de los programas deben analizar las recomendaciones y aplicar aquellas que se consideren pertinentes, lo que permitiría producir consecuencias. Los informes de las evaluaciones están, en su mayoría, disponibles en línea. La confiabilidad de las evaluaciones de impacto se deriva de su rigor metodológico; la accesibilidad es más restringida que en el caso de las evaluaciones externas. El SEMBR depende de la información de las mismas, así como de las evaluaciones de impacto. La medición oficial de pobreza resulta obligatoria para las entidades y dependencias públicas que participen en la ejecución de los programas de desarrollo social. La información es pública y se encuentra en línea en la página web del CONEVAL. El Cuadro Nº 8 compara las diferentes iniciativas en cuanto a instrumentos gerenciales aplicados, su capacidad de expansión y el uso de la información, dentro de la vertiente Programas. 87 Afirmación basada en el análisis de algunos informes y en las conclusiones del estudio exhaustivo de Cardozo Brum (2006).

68

Cuadro Nº 8 Análisis comparativo: instrumentos gerenciales, capacidad de expansión y uso de la información

Vertiente Programas Instrumentos

gerenciales aplicados Capacidad de expansión de

la iniciativa Uso de la información

Evaluaciones externas.

Marco lógico. Análisis costo-eficiencia, costo-efectividad (*) y costo-beneficio (*). Métodos de evaluación rápida: informantes clave, grupos focales, mini encuestas, entrevistas y observación directa. Técnicas de análisis financiero, gestión de procesos y de calidad. (*) Sin el rigor metodológico requerido.

Horizontal: ya se incluyen los programas federales sujetos a reglas de operación, nuevos programas y otros que se consideren pertinentes. Vertical (potencial): asistencia técnica para la evaluación de impacto de programas en entidades federativas. Depende del nivel de autonomía de las entidades federativas.

Inicialmente poca atención a recomendaciones. Actualmente, en algunas secretarías como SEDESOL, las recomendaciones se clasifican en pertinentes o no. Las pertinentes se traducen en líneas de acción de los programas operativos anuales de las unidades responsables de la operación de los programas. La información es pública.

Evaluaciones de impacto. Evaluaciones de impacto.

Horizontal: incorporación de nuevos programas federales. Vertical (potencial): asistencia técnica para la evaluación de impacto de programas en entidades federativas. Depende del nivel de autonomía de las entidades federativas.

Ajuste de programas sociales. La información es pública.

Sistema de monitoreo y evaluación basado en resultados.

Tableros de control de gestión, indicadores de desempeño, matriz del marco lógico, Índice Mexicano de Satisfacción de Usuarios (IMSU).

Horizontal: incorporación de programas federales. Vertical (potencial): implementación en las delegaciones de la SEDESOL en las entidades federativas.

En fase piloto; aún no se genera ningún reporte regular e integrado de los cuatros programas pilotos.

Medición Oficial de la Pobreza.

Método de línea de pobreza, del ingreso o indirecto. Método de Necesidades Básicas Insatisfechas. Método de medición integrada de pobreza.

Establecer investigaciones para elaborar nuevas metodologías que permitan mejor comprensión del fenómeno de la pobreza.

Su utilización es obligatoria para las entidades y dependencias públicas que participen en la ejecución de los programas de desarrollo social. La información es pública.

3.2 Componente de Gestión Pública 3.2.1 Orientación funcional, normativa y financiamiento La orientación funcional del componente que predomina es la de rendición de cuentas dentro, y la transparencia fuera de la administración pública, seguido del aprendizaje. No hay consecuencias evidentes en la reasignación del gasto, ni en la planificación gubernamental, a pesar de que en el diseño del SIMEP se preveía su vinculación al proceso de asignación presupuestaria. La Ley Federal de Transparencia y Acceso a la Información Gubernamental constituye el cuerpo normativo clave del componente. El Programa Nacional de Combate a la Corrupción y Fomento a la

69

Transparencia y el Desarrollo Administrativo 2001-2006 (DOF del 22 de abril de 2002) es una referencia para la operación del MIDO, al igual que el Decreto de Austeridad y Disciplina del Gasto Fiscal (del 4 de diciembre de 2006) y la Ley de Presupuesto y Responsabilidad Hacendaria 2006. El financiamiento de las tres iniciativas proviene de recursos fiscales, por lo que existe estabilidad. El Cuadro Nº 9 resume comparativamente la orientación funcional, la normativa y el financiamiento de las iniciativas en la vertiente de Gestión Pública.

Cuadro Nº 9

Análisis comparativo: orientación funcional, normativa y financiamiento Vertiente Gestión Pública

Orientación Funcional Normativa principal Financiamiento

Sistema de Metas Presidenciales (SIMEP).

Rendición de cuentas al interior de la administración pública (función primaria), y aprendizaje. Aunque se contempló en el diseño original, no se vinculó al presupuesto.

Ley Orgánica de la APF. Ley Federal de Transparencia y Acceso a la Información Gubernamental. Decreto de Austeridad y Disciplina del Gasto Fiscal (4 de diciembre de 2006).

Recursos fiscales.

Intragob.

Rendición de cuentas al interior y exterior de la administración pública y aprendizaje.

Ley Orgánica de la APF. Ley Federal de Transparencia y Acceso a la Información Gubernamental.

Recursos fiscales.

Modelo Integral de Desempeño de Órganos de Vigilancia y Control (MIDO) de la APF.

Rendición de cuentas al interior y exterior de la administración pública, y aprendizaje.

Ley Orgánica de la APF. Ley Federal de Transparencia y Acceso a la Información Gubernamental. Programa Nacional de Combate a la Corrupción y Fomento a la Transparencia y el Desarrollo Administrativo 2001-2006 (DOF del 22 de abril de 2002).

Recursos fiscales.

3.2.2 Instrumentos gerenciales, capacidad de expansión y uso de la información En cuanto a las herramientas, métodos y aproximaciones, el SIMEP utiliza tableros de control de gestión, indicadores de desempeño y compromisos o convenios de gestión como mecanismo de negociación y compromiso. El Intragob define un modelo de organización y gestión de calidad total con base en ocho criterios; se inspira en el modelo ISO 9000 y en las iniciativas para premiar la calidad tanto en el sector público como el privado. La base técnica del MIDO la constituye en buena medida el modelo COSO de control interno. En cuanto a la expansión de las iniciativas, todas se circunscriben y son concebidas para el ámbito federal; sin embargo, podrían ser desarrolladas en niveles subnacionales, por ejemplo en entidades federativas con la asistencia técnica y coordinación de instancias federales. Finalmente, la información de metas presidenciales no es de acceso público; se limita a directivos de entidades y dependencias de la APF. La información relativa al Intragob es pública; permite elaborar diagnósticos de la capacidad gerencial de entidades y dependencias de la APF. Los reportes del MIDO, especialmente los índices, permiten medir avances en la Agenda de Buen Gobierno; la información de los resultados de los índices se hace pública.

70

El Cuadro Nº 10 compara los instrumentos gerenciales aplicados, así como la capacidad de expansión y el uso de la información de las diversas iniciativas dentro de la vertiente de Gestión Pública.

Cuadro Nº 10 Análisis comparativo: instrumentos gerenciales, capacidad de expansión

y uso de la información Vertiente Gestión Pública

Instrumentos gerenciales aplicados

Capacidad de expansión de la iniciativa Uso de la información

Sistema de Seguimiento y Evaluación de Metas Presidenciales (SIMEP).

Compromisos de Gestión.

Indicadores de Desempeño.

Tableros de Control de Gestión.

Por su diseño la iniciativa se circunscribe a las entidades y dependencias de la Administración Pública Federal, y no se prevé expansión vertical. La iniciativa ha concluido ya formalmente su operación.

La información no es pública por lo que no hay acceso. La demanda de información es de directivos, de entidades y dependencias de la APF, ya que el cumplimiento (o no) de las metas tiene consecuencias. Gestión preventiva de acciones prioritarias del gobierno.

Intragob. Estándar ISO 9000.

Administración de la calidad total.

Vertical (potencial): puede expandirse a nivel de entidades federativas.

Los premios y reconocimientos de innovación han sido otorgados a entidades federativas, a través de iniciativas de los gobiernos estatales.

La información relativa a los premios y reconocimiento es pública. La información sirve de diagnóstico de la capacidad gerencial de las entidades participantes y para la identificación de mejores prácticas gerenciales.

Modelo Integral de Desempeño de Órganos de Vigilancia y Control (MIDO) de la APF.

El MIDO se compone de indicadores de desempeño que se integran en cinco índices:

· Reducción de riesgos de corrupción.

· Reducción de riesgos de opacidad.

· Desempeño institucional.

· Percepción del desempeño.

· Desempeño operativo de OVC.

Boletas de evaluación de desempeño para cada OIC o Delegado y Comisario Público.

Es posible su expansión a otros niveles de gobierno. Podría realizarse asistencia técnica para su desarrollo en entidades federativas.

Demanda de información para conocer los avances en cada uno de los indicadores e índices. Es un sistema de información que permite toma de decisiones estratégicas. La información de los índices e indicadores es pública al cierre del ejercicio.

3.3 El Sistema de Evaluación del Desempeño (SED) A pesar de estar aún en proceso de implementación, a continuación se caracteriza al Sistema de Evaluación del Desempeño (SED) bajo los mismos criterios de las iniciativas estudiadas.

71

El SED es definido en el artículo 2, fracción LI de la Ley de Presupuesto y Responsabilidad Hacendaria, como: “el conjunto de elementos metodológicos que permiten realizar una valoración objetiva del desempeño de los programas, bajo los principios de verificación del grado de cumplimiento de las metas y objetivos, con base en indicadores estratégicos y de gestión que permitan conocer el impacto social de los programas y proyectos”. La implementación del SED, a través de sus dos vertientes (Programas y Gestión Pública) será gradual y mediante la priorización de intervenciones, y se irá expandiendo a la APF. La información del SED se sistematizará a través del Sistema de Monitoreo y Evaluación de Resultados (SIMER), que debe ser alimentado por las diversas instituciones y dependencias de la APF. La información del SED contribuirá, una vez consolidado, a lograr la nueva programación y presupuestación que permita que el SMyE genere consecuencias en la asignación presupuestal. El SED, al englobar un amplio número de iniciativas en ambas vertientes, comprende distintas orientaciones (dentro de la orientación política básica), tales como el aprendizaje organizacional, la transparencia y rendición de cuentas, etc. Hay avance en la normativa, concretamente la recién aprobada Ley Federal de Presupuesto y Responsabilidad Hacendaria (2006) que establece el funcionamiento del SED, además de la Ley General de Desarrollo Social (2004) que avanza iniciativas en la vertiente de Programas. Los recursos para la implementación y su operación regular son de origen fiscal. En la parte de formulación e implementación se ha recibido asistencia técnica y fondos de agencias de cooperación y organismos multilaterales. El Cuadro Nº 11 resume estos aspectos.

Cuadro Nº 11

Caracterización del SED Sistema de Evaluación del Desempeño

Orientación Funcional Normativa principal Financiamiento Asignación de recursos como función primaria. Rendición de cuentas al interior y exterior de la administración pública, aprendizaje y planificación. El SED en sí mismo tiene una orientación política, más al conectarse al presupuesto en el marco del PBR; esta función se amplía y se convierte en política/económica.

Ley Orgánica de la APF. Ley Federal de Transparencia y Acceso a la Información Gubernamental. Ley de Presupuesto y Responsabilidad Hacendaria (2006). Ley General de Desarrollo Social (2004). Decreto de Austeridad y Disciplina del Gasto Fiscal (2006). Sistema de Evaluación del Desempeño (Propuesta a la Cámara de Diputados, marzo, 2007).

Recursos fiscales. Asistencia técnica y financiera de organismos multilaterales y agencias de cooperación.

En relación con las herramientas, métodos y aproximaciones gerenciales, el SED al englobar diversas iniciativas, incluye una amplia diversidad. Se pueden ubicar en el nivel más general mecanismos de coordinación inter-agencias que lideran el SED y las instancias y dependencias de la APF. En las vertientes de Programas y de Gestión Pública, las herramientas, métodos y aproximaciones ya han sido señalados anteriormente. Es importante destacar que el SIMER (Sistema de Monitoreo y Evaluación de Resultados, aún en diseño) se convertirá en la herramienta gerencial clave para conectar la evaluación al presupuesto. Capacidad de expansión del SED. Se prevé una expansión horizontal de manera gradual en tres fases o etapas hasta su plena operación en el año 2009. Fase I: programas implementados en la presente administración. Fase II: programas seleccionados por dependencia o entidad en función de su grado de maduración, que hayan sido previamente sometidos a evaluación y que sean relevantes para las dependencias o entidades. Fase III: resto de los programas. No se prevé expansión vertical, salvo asistencia técnica y coordinación con las iniciativas similares desarrolladas por las entidades federativas y los municipios.

72

Uso de la información. La información del SED se encuentra, por una parte, articulada en el ciclo de planeación, programación, presupuestación y evaluación, y por la otra, ordenada de manera cliente-proveedor entre unidades y dependencias de la APF, y la unidad coordinadora. Bajo esta lógica, cada subproducto de información en una fase del ciclo es el insumo del siguiente. Los resultados de las evaluaciones deberán ser considerados para efectos de programación, presupuestación y asignación de recursos. Los principales usuarios de información del SED son: las dependencias y entidades federales, ya que sus programas y proyectos serán objeto de evaluación; la SHCP-CONEVAL, como responsables de la evaluación de programas; la SFP-SHCP a cargo de la evaluación de la gestión pública; y la Cámara de Diputados, que recibirá informes de las evaluaciones para su consideración en la asignación de recursos. Otros usuarios son los académicos, la empresa privada, las organizaciones no gubernamentales, los partidos políticos y el sector privado, además de los organismos multilaterales. El Cuadro Nº 12 sintetiza los instrumentos gerenciales, la capacidad de expansión y el uso de la información que caracteriza al SED.

Cuadro N° 12

Caracterización del SED

Sistema de Evaluación del Desempeño Instrumentos gerenciales

aplicados Capacidad de expansión de la

iniciativa Uso de la información

Mecanismos de coordinación: Carta Compromiso Marco; Acuerdo de Programas, Proyectos y Actividades Estratégicas SHCP y dependencias; Acuerdo del Programa de Mejoramiento de la Gestión Pública entre SFP y dependencias; Convenios de Desempeño SHCP-SFP y entidades paraestatales; y Sistema de Monitoreo y Evaluación por Resultados (SIMER). Herramientas y métodos por vertiente: Programas: marco lógico, diseños experimentales y cuasi experimentales de evaluación de impacto, métodos de evaluación rápida, evaluaciones cualitativas, etc. Gestión pública: administración de la calidad total, reingeniería de procesos, control interno (COSO), regulación económica, gestión de compras y contrataciones del Estado.

Se prevé una expansión horizontal de manera gradual en tres fases o etapas hasta su plena operación en el año 2009. Fase I: programas implementados en la presente administración. Fase II: programas seleccionados por dependencia o entidad, en función de su grado de maduración. Fase III: resto de los programas. No se prevé expansión vertical, salvo asistencia técnica y coordinación con las iniciativas desarrollas por las entidades federativas y los municipios.

Los resultados de las evaluaciones deberán ser considerados para efectos de programación, presupuestación y ejecución de los recursos fiscales, así como mecanismo de ajuste y mejora de la gestión de programas e instituciones públicas.

La coherencia institucional en los componentes o vertientes La coherencia institucional implica la predisposición de los funcionarios a cumplir con los objetivos institucionales, es decir establece el grado de congruencia entre sus normas y las de la institución. En tal sentido, el diseño institucional del SED busca la alineación de los diversos intereses de los principales actores involucrados. Las pautas de intervención del SED deben repartir claramente las responsabilidades, utilizar adecuadamente los recursos disponibles y definir las secuencias de actividades a realizar, sin perder de vista los hitos a lograr en el tiempo, que han sido bien definidos hasta el año 2009.

73

El objetivo del SED es que los resultados de la evaluación de impacto de la vertiente de Programas y el nivel de productividad institucional alcanzado por las entidades y dependencias de la APF (vertiente Gestión Pública) sean considerados en el ciclo de programación, presupuesto y ejercicio de los recursos fiscales, y que los objetivos de los diversos involucrados se encuentren alineados a este fin. La SHCP lidera, junto al CONEVAL y a la SFP, la implementación del SED, en la que también participa la Comisión de Presupuesto y Cuenta Pública de la Cámara de Diputados. Las entidades y dependencias de la APF y los evaluadores externos se constituyen en los principales involucrados. Cada uno de estos actores tiene bien definidas sus responsabilidades y roles en el proceso de implementación del SED, aunque es muy importante lograr una visión compartida, ya que el mandato institucional varía entre ellos, y cada uno cumple una parte del SED o del PBR. Para ello, los mecanismos de comunicación formal e informal deben jugar un rol fundamental. La estrategia de implementación elegida ha sido gradual y por etapas para sincronizar los tiempos del Poder Ejecutivo y el Congreso, así como para afinar y ajustar los mecanismos de coordinación entre las instancias involucradas y el grado de apropiación de la visión compartida. En la evaluación de programas, el diseño de la operación comienza con el establecimiento del Programa Anual de Evaluación, liderado por el CONEVAL, especificando qué programas y tipo de evaluación será aplicada (evaluación de programas -dentro de ésta: procesos, indicadores, consistencia y resultados, diseño o impacto- y estratégica); después se realizan las evaluaciones por medio de evaluadores externos contratados por las dependencias o del propio CONEVAL, sobre la base de la matriz de indicadores generada por las UROP y la asignación presupuestal de los programas. Una vez realizadas y validadas las evaluaciones, se hace el seguimiento a las recomendaciones y compromisos, y finalmente se da difusión y acceso a los resultados, y envío de informes a la Comisión de Presupuesto y Cuenta Pública de la Cámara de Diputados. El proceso de evaluación tiene como antecedentes la elaboración de la estructura programática, la carga de la matriz de indicadores y las estructuras programáticas, de inversión y presupuestales. En la evaluación de la gestión pública, las entidades y dependencias de la APF suscriben compromisos y convenios de resultados con la unidad coordinadora de esta vertiente, los que se inscribirán en programas de mejora de la gestión, que tendrán también, en función de los expertos involucrados, una implementación gradual. Se prevé un esquema de incentivos aplicados a personas, equipos e instituciones. Con el SED, los trabajos entre el Ejecutivo y el Legislativo para la aprobación del presupuesto se harán coordinando los productos de la evaluación (programas y gestión) con la definición del presupuesto. El Proyecto de Presupuesto de Egresos se presentará y aprobará incluyendo la clasificación funcional y programática que agrupa las previsiones de gasto de acuerdo con los resultados que se proponen alcanzar en términos de funciones, programas, proyectos, actividades, indicadores, objetivos y metas, además de la armonización de calendarios. Las acciones de los diversos responsables en el diseño del SED, están alineadas, primero, a las etapas de programación y presupuestación del gasto público, que comprende las actividades de las dependencias y entidades para cumplir con los objetivos, políticas, estrategias, prioridades y metas, con base en indicadores de desempeño de acuerdo a los programas del PND. Segundo, a las etapas de ejercicio presupuestal y administración de resultados, en la que las entidades y dependencias tienen la responsabilidad por sus resultados y pueden suscribir acuerdos y convenios; y, finalmente, a la etapa de seguimiento y evaluación. Si bien el diseño del SED establece los procesos y mecanismos de coordinación de todas estas acciones, se dispone de un breve lapso de tiempo para su implementación (poco menos de dos años) y elaborar aquellas pendientes. Se prevé que la plena operación del PBR en toda la APF pueda alcanzarse en 5 años.

74

Articulación de las iniciativas estudiadas En relación con las iniciativas analizadas en este informe, algunas de las cuales se mantendrán en el SED, la articulación observada en la vertiente de Programas es alta. El Plan Nacional de Evaluación es un mecanismo ordenador de muchas iniciativas; asimismo, los lineamientos generales de evaluación se convierten en un marco articulador de los diferentes tipos de iniciativas. Se prevé que las entidades y dependencias de la APF inicien un proceso de fortalecimiento de sus capacidades de monitoreo y evaluación, que alimentarán al SIMER. La SEDESOL ha dado un paso adelante con el SEMBR, cuya estructura basada en la matriz del marco lógico utiliza muchas de las iniciativas de la vertiente Programas para nutrirse de información. La información relativa al fin y al propósito o resultados podría ser cubierta a través de las evaluaciones de impacto de programas. Las evaluaciones externas, por su parte, se orientan a completar la información de propósitos y componentes. Además, los estudios de evaluaciones, en buena medida, consideran los datos y metodología de la Medición Oficial de Pobreza realizada por el CONEVAL, lo que refleja la alta integración de las iniciativas. Por su parte, en el componente de Gestión Pública, el MIDO tiene una relación directa con el Sistema de Seguimiento y Evaluación de Metas Presidenciales, ya que el trabajo y resultados de este sistema se integran al Modelo para su seguimiento. El MIDO permite, a través de sus índices, establecer una base de seguimiento para la Agenda del Buen Gobierno. Las iniciativas a implementarse en el PMG estarán integradas al MIDO y se prevé su articulación directa al componente de Programas. En el marco del presupuesto por resultados existe ya una calendarización homologada entre las acciones relativas a la evaluación de programas y de la gestión pública y el proceso presupuestal, lo que establece una efectiva articulación. Para lograr una visión compartida entre los actores clave debieran afinarse los mecanismos de comunicación, coordinación y control institucionales tanto al interior de las vertientes como entre éstas, y avanzar en el marco normativo que complete la operación del SED. No debe olvidarse que el SED debe articularse a otras iniciativas en marcha de modernización de la gestión pública.

75

IV. USO DE LA INFORMACIÓN El SED está en proceso de construcción y es parte sustantiva de la iniciativa denominada Presupuesto por Resultados. No hay un sistema aún constituido, de cierta edad o nivel de maduración que permita su evaluación. El ejercicio inicial de 2007, a través del cual los programas federales entregaron a la SHCP indicadores de desempeño para el año 2008, no generará ningún impacto en el proceso presupuestario. El objetivo, como se comentó, fue poner en movimiento los mecanismos institucionales del SED. Sin embargo, las iniciativas existentes que integran o que serán consideradas para integrar al SED en cada una de sus vertientes descritas y analizadas en este documento, tienen algunos años de operación, de modo que la caracterización del uso de la información puede ser realizada sobre éstas. La información es el componente central de los sistemas de monitoreo y evaluación. Para enfatizar el hecho de que sin una información (I) adecuada no hay sistemas efectivos de MyE, comienza a ser utilizada en diversos ámbitos de investigación y asistencia técnica la sigla SMEeI. La información debe contar con al menos cuatro atributos para maximizar la posibilidad de apoyar el proceso de toma de decisiones de las políticas públicas prioritarias: confiabilidad, accesibilidad, consumo y logro de consecuencias, a los que podría añadirse la cobertura (temática y geográfica), entre otros atributos más. 4.1 Credibilidad de la información El rigor metodológico en el proceso de producción de datos, así como su calidad, son aspectos esenciales para la credibilidad. La apertura de los datos es otro factor que la determina. El Conteo Oficial de la Pobreza, que sirve como referencia a otras iniciativas, tiene como insumo básico la Encuesta Nacional de Ingresos y Gastos de los Hogares (ENIGH) que produce el Instituto Nacional de Estadística, Geografía e Informática (INEGI), quien entrega las bases de datos consistenciadas al CONEVAL. Además, el INEGI, a petición de la SEDESOL, elabora, a través de encuesta, un módulo especial para programas sociales que se levanta a la par de la ENIGH. La producción estadística del INEGI cumple con altos estándares de calidad de acuerdo con sus políticas internas y al cumplimiento de estándares internacionales. Además, el Conteo Oficial de la Pobreza se realiza a través de una metodología adoptada por consenso entre los principales expertos del país, lo que, sumado al estándar técnico de producción de la ENIGH y a la apertura de los datos, le otorga alta credibilidad al Conteo de Pobreza. Los datos presentados por el CONEVAL en materia de incidencia de pobreza no han sido, como lo eran anteriormente, controversiales, lo que puede anotarse como un logro importante en el montaje del SED. Un análisis de los informes de las evaluaciones externas a programas refleja la utilización de diversas fuentes de información. Entre las más recurridas se halla la producción estadística del INEGI: censos (económico, agropecuario, población y vivienda, etc.) y encuestas (ingreso y gasto de hogares, ocupación y empleos, etc.). En menor medida se consultan estadísticas derivadas como cuentas nacionales, índices de precios o cuentas satélites. Además, se recurre a otras fuentes como los padrones de beneficiarios de la SEDESOL, fuentes del Consejo Nacional de Población (CONAPO), etc. En los informes de evaluaciones externas a programas, la fuente principal de información son los registros administrativos de las entidades y dependencias de la APF. La calidad de los registros varía de una entidad a otra, ya que no existe en México una certificación de la producción estadística en términos de calidad para productores estadísticos. El cumplimiento de estándares de calidad y el uso riguroso de la metodología en la producción es, precisamente, una de las iniciativas que pretende

76

impulsar el INEGI88. Los registros administrativos constituyen sin duda el área que presenta mayores oportunidades de mejora en cuanto a credibilidad. En las evaluaciones externas se realizan mini-encuestas y en algunos casos encuestas formales; sin embargo, aspectos metodológicos como el muestreo han sido fuente de debate entre expertos y han restado credibilidad a algunos estudios de evaluación externa89. La mayoría de las evaluaciones externas están publicadas “en línea” y han constituido una fuente importante de análisis para investigadores, estudiantes, políticos y técnicos interesados en analizar sus resultados. En relación con la iniciativa de evaluaciones de impacto, la información que se obtiene de éstas se basa en un alto rigor metodológico de la evaluación, que obedece a modelos y diseños específicos. Cada vez hay mayor apertura en torno a las bases de datos sobre las que se elaboran, así como con la metodología aplicada. En algunas iniciativas comprendidas en la Agenda de Buen Gobierno y en el Sistema de Seguimiento de Metas Presidenciales, la información no es de acceso público, en especial en este último, lo que influye, sin duda, en su credibilidad frente a grupos externos a los tomadores de decisión política. En resumen, podría señalarse que, en general, hay un rigor técnico en las herramientas gerenciales del SED y, salvo excepciones, hay apertura de información, lo que hace que la información tenga un grado alto de credibilidad. 4.2 Acceso a la información El atributo de acceso a la información comprende tanto las estrategias y mecanismos de difusión para los distintos segmentos de públicos, como la adecuada presentación de la misma de acuerdo con sus requerimientos específicos. Las entidades y dependencias de la administración pública a nivel nacional y subnacional, el Poder Legislativo y Judicial, la sociedad civil (centros académicos, partidos políticos, organizaciones no gubernamentales, sector privado), así como las agencias internacionales de cooperación y los organismos multilaterales, se constituyen en los grupos de usuarios de la información del SED, quienes demandan acceso a ella en grados muy diversos. Respecto a las evaluaciones externas de programas, uno de los problemas iniciales era la difusión de sus resultados, ya que la información no era totalmente abierta al público, salvo la de algunos de los programas más grandes y de algunas secretarías de Estado que publicaban estudios en sus portales, por lo que las evaluaciones tenían que ser solicitadas por vía del Instituto Federal de Acceso a la Información Pública (IFAI). Además, los primeros informes de las evaluaciones desalentaban la lectura por su enorme volumen y falta de síntesis en las recomendaciones.

88 En países como Colombia, la Oficina Nacional de Estadística certifica las operaciones estadísticas que cumplen con estándares de calidad, como la metodología Data Quality Approach Framework (DQAF) del Fondo Monetario Internacional, bajo la lógica de contar con infraestructura estadística de muy alta calidad. La intención de avanzar en la estandarización y evaluación de la producción estadística se analizó en la entrevista con el personal de la Dirección de Desarrollo de Procesos Estadísticos, del INEGI, quienes actualmente analizan la posibilidad de utilizar la normativa ISO 9000 y el DQAF del FMI. 89 Sería oportuno que el INEGI realizara capacitación a los evaluadores con dos objetivos: reducir los errores cometidos en los diseños muestrales y en actividades de colecta, procesamiento y análisis de datos, así como apoyarles en la elaboración de recomendaciones más precisas a los programas y en tareas como la mejora de la calidad de los registros administrativos y encuestas.

77

En relación con el caso de los programas sociales, en el marco de la Ley General de Desarrollo Social de 2004 y de la obligatoriedad del Presupuesto de Egresos de la Federación (PEF) se hace pública la información de las evaluaciones. Para el caso particular de la SEDESOL, la Dirección General de Monitoreo y Evaluación de Programas Sociales establece que los evaluadores, por una parte, realicen una síntesis de las recomendaciones y dónde hallar los argumentos dentro del informe, y, por la otra, que las UROP argumenten sobre la pertinencia (o no) de las mismas. Con ello se establece un circuito de aprendizaje simple entre evaluaciones y responsables de los programas de las entidades y dependencias de la APF; incluso se desarrolló una aplicación informática para llevar adelante el seguimiento. Por su parte, la información de Conteo Oficial de Pobreza está disponible en línea a través de los boletines de prensa que emite regularmente el CONEVAL y de su página web (http://www.coneval.mx); además, el Consejo ha emitido el primer informe de rendición de cuentas para el período 2000-2006 en conjunto con la SEDESOL. El INEGI, que elabora encuestas muy relevantes para el Conteo Oficial de Pobreza y su estimación multidimensional, permite a través de su página web conocer los aspectos metodológicos y los resultados de las variables. Programas como Oportunidades realizan también acciones de difusión a través de spots publicitarios, folletos, etc. En las instalaciones de la SEDESOL hay información sobre los logros de los programas en murales y en documentos accesibles. En otras iniciativas analizadas como el Seguimiento y Evaluación de Metas Presidenciales (SIMEP), el grado de cumplimiento de las mismas y el detalle de su evaluación no son de acceso al público en general, sino sólo a miembros del gabinete y operadores del sistema, como los OIC de la SFP. El Congreso tiene acceso a la información al recibir por mandato la información presupuestal, tanto de asignación como de ejecución, así como la del desempeño de instituciones y programas. El diseño del SED apunta a potenciar la disponibilidad y acceso a la información para mejorar la planeación, programación y presupuestación, a través de un conjunto de mecanismos tales como: creación de un portal electrónico que permita acceder a bases de información; auditorías y publicaciones periódicas de amplia difusión; presupuesto, informes de resultados y cuenta pública. El SED contempla para mediados de 2008 concretar esfuerzos para la mejora de la información, según se aprecia en el Gráfico Nº 9.

78

Gráfico Nº 9 Mejora de información prevista por el SED

Planeación

Programación

Presupuesto

• Páginas Web• Auditorías• Publicaciones

• Presupuesto• Informes deresultados

• Cuenta pública

Disponibilidad y Acceso

• Calidad• Oportunidad• Didáctica• Facilidad

Proceso de Mejora de:

• Contenidos• Frecuencia• Calidad• Pertinencia

Mejorar:

SFP SHCP

Ciudadanía

Congreso

Planeación

Programación

Presupuesto

Planeación

Programación

Presupuesto



• Cuenta pública




• Cuenta pública







Mejorar:


Mejorar:

SFP SHCP

Ciudadanía

Congreso

Fuente: Alvarado (2007). 4.3 Consumo de la información Con la plena implementación del SED cambiará el proceso presupuestario (implica cambios sustantivos en todas las etapas del ciclo presupuestario). La información relativa a la productividad e impacto social del gasto público, que se obtiene de las vertientes de Programas y de Gestión Pública, permitirá nuevos criterios de asignación y gestión presupuestal, de aquí la relevancia de la información de las iniciativas descritas. A partir del uso de indicadores se incentivará una gestión presupuestal en donde la asignación se base en resultados concretos y evaluables objetivamente. Los incentivos a la mejora del desempeño serán aplicados a personas, equipos vinculados a programas o miembros de unidades administrativas, y a instituciones. A nivel institucional y de programas se prevé la entrega de bonos, pero igual o más relevante será la devolución de autoridad financiera. También se contemplan sanciones derivadas del incumplimiento en tiempo y forma. Oportunidad de la información El SED establece una secuencia lógica de actividades y subproductos para cada una de sus vertientes, así como la armonización entre las iniciativas de evaluación y las presupuestarias. Por ejemplo, el Plan Nacional de Evaluación, bajo responsabilidad del CONEVAL, establece el calendario de ejecución de las evaluaciones de los programas federales en operación (y los que van a comenzar), y los vincula al calendario de ejecución de la programación y presupuesto del ejercicio fiscal. Se parte de la revisión o ajuste de los lineamientos para realizar las evaluaciones de programas o compromisos de gestión por parte de la SHCP, la SFP y el CONEVAL (marzo), y la definición de objetivos estratégicos por parte de las dependencias (junio). Con esta base, las dependencias elaboran los indicadores de resultados de servicios y de gestión de programas (agosto) que tienen que aprobarse por el CONEVAL, el cual presenta un documento ejecutivo en octubre con los principales resultados de las evaluaciones, incluyendo las recomendaciones, a la Comisión de Presupuesto y Cuenta de la

79

Cámara de Diputados, a la SHCP y a la SFP. Finalmente, la Comisión Intersecretarial de Desarrollo Social presenta en noviembre un Plan de Trabajo a la Comisión de la Cámara de Diputados, a la SHCP, la SFP y el CONEVAL. Aún falta por definir algunas fechas y mecanismos de coordinación entre el Ejecutivo y el Legislativo en momentos clave, tales como los previos a la conformación de la estructura programática del presupuesto y también del Proyecto de Presupuesto de Egresos de la Federación. La oportunidad de la información deriva entonces del cumplimiento de los plazos legales que permita la armonización entre las evaluaciones y el ejercicio presupuestal. Incentivos institucionales El objetivo general del SED es lograr que el proceso de elaboración del presupuesto incorpore sistemáticamente consideraciones sobre los resultados de la aplicación de los recursos públicos, con el objeto de mejorar la calidad del gasto público y la rendición de cuentas. La mejora del desempeño se constituye en la principal orientación gerencial, y a ella se asocian incentivos tanto positivos como negativos en función de los resultados, para estimular dichas mejoras en un marco de transparencia y apego a normas. En el marco del SED, el gobierno establecerá compromisos de gestión con las dependencias e instituciones de la APF. Está en diseño el esquema concreto de incentivos a aplicar a instituciones, grupos de trabajo e individuos, basado en certificaciones, ranking, promociones, así como flexibilidad en la gestión financiera de las instituciones o programas que muestren altos niveles de desempeño. La SHCP debe incorporar al ejercicio presupuestal los resultados de las evaluaciones, razón por la que debe lograr una efectiva coordinación. Por su parte, el Congreso debe conocer los resultados de las evaluaciones y considerarlos en la aprobación del presupuesto. Sobre la base de las iniciativas específicas analizadas, pueden valorarse los incentivos existentes en relación con el uso de información que generan. Los responsables de operación de los programas evaluados mediante la iniciativa de evaluaciones externas tienen el incentivo de conocer las recomendaciones de los estudios, identificar aquellas que sean pertinentes, así como seleccionar cuáles podrían implementarse e incluirse en su correspondiente programa operativo anual. Por su parte, las evaluaciones de impacto generan interés en los funcionarios gubernamentales, partidos políticos y sociedad en general acerca de los resultados netos alcanzados por las intervenciones gubernamentales, las implicaciones de los resultados y la robustez de la metodología. Los incentivos al uso de información de otras iniciativas, como el MIDO o las metas presidenciales, son muy altos por la obligatoriedad de atender sus recomendaciones. 4.4 Impacto de la información En términos generales, el PBR, al estar consolidado, tendrá una orientación predominantemente económica en la que el uso del SMyE se orientará a la asignación económica para lograr un gasto público pro-pobres y eficiente. Sin embargo, las iniciativas estudiadas en los ámbitos de Programas y de Gestión Pública tienen como orientación política básica la rendición de cuentas y la transparencia. También, aunque en menor medida, el aprendizaje organizacional, lo que varía en ritmo y modalidad en cada iniciativa. La plena operación del SED y el PBR se orientarán principalmente a tener consecuencias en el proceso presupuestario sobre la base del desempeño institucional y de programas. Al hacerlo, transparentan el proceso de gestión presupuestal, favorecen el aprendizaje derivado de la evaluación y permiten los ajustes necesarios en la planificación. Con base en las iniciativas analizadas, es posible identificar dimensiones concretas de impacto. Así, en cuanto a la rendición de cuentas, en la mayoría de las iniciativas estudiadas existe información

80

disponible para los principales actores involucrados dentro de la administración pública así como para la opinión pública en general. En relación con los ajustes en las políticas, programas y proyectos derivados de las iniciativas (aprendizaje) no hay evidencia o datos que demuestren el impacto alcanzado. Como se mencionó, el uso mayor de la información es al interior de las secretarías de Estado y por los responsables de la operación de los programas, quienes deben analizar las recomendaciones emitidas e implementar aquellas que de acuerdo con los recursos (e interés de los responsables) sean viables. A nivel de políticas, las evaluaciones de impacto han permitido realizar ajustes puntuales en algunos programas evaluados en materia de focalización, procesos productivos, difusión, cobertura, etc., principalmente en el caso de la SEDESOL. Reasignar gasto público sobre la base de las evaluaciones no ha sido una consecuencia de las iniciativas implementadas, pero lo será en el marco del PBR. Las consecuencias en el gasto ocurrirán en la medida en que se tenga de manera regular los resultados del impacto social del gasto, así como del nivel de productividad y eficiencia de las entidades y dependencias de la APF, con base en sus metas e indicadores diseñados en función de las prioridades del Plan Nacional de Desarrollo. 4.5 Otros atributos La información del Sistema Nacional de Monitoreo y Evaluación debiese tener una cobertura de todos los temas relevantes para realizar el seguimiento de las políticas, programas y proyectos del Plan Nacional de Desarrollo (PND), estrategias sectoriales, programas de reducción de la pobreza y compromisos internacionales como los objetivos y metas del milenio. Los vacíos de información, a este nivel, deben permitir la identificación de las operaciones estadísticas que haría falta desarrollar para producir dicha información. La cobertura geográfica es también relevante, así como la desagregación temática o geográfica que permita incluir nuevas variables y realizar análisis local, distinguir dominio urbano y rural, el tema de género, etc. De ser necesaria esta información y no tenerla implicaría identificar los requerimientos para conseguirla, como la ampliación de muestras, ajuste de módulos de las encuestas, ajuste a los registros administrativos, etc. También es muy importante que las fuentes de información, así como los indicadores de las iniciativas del Sistema de Monitoreo y Evaluación cuenten con metadatos90, es decir con la descripción clara de las variables, los clasificadores utilizados, los algoritmos o formas de cálculo de los indicadores, etc. Esto permitiría tener una fuente de consulta acerca de cómo se están produciendo los datos. La ENIGH, por ejemplo, cuenta con diccionarios, descripción de variables, y mucha información que caracteriza dicha fuente. Resulta relevante lograr documentar todas las fuentes de información sobre la base de estándares (nacionales o internacionales) con la finalidad de que, al ser los datos abiertos al público, éstos se encuentren ya estandarizados. El tema de la periodicidad de la información resulta también crítico. En ocasiones se requieren datos mensuales o trimestrales, y si la frecuencia de las encuestas es semestral, la periodicidad es inadecuada para el análisis. También resulta relevante explorar la posibilidad de la integración de encuestas bajo un mismo marco muestral a efectos de hacerlas comparables y reducir costos.

90 Durante la entrevista a técnicos del SEMBR se revisaron las denominadas fichas técnicas de los indicadores que corresponden precisamente a la idea de los metadatos expuesta.

81

V. INSTITUCIONALIZACIÓN DEL SISTEMA El grado de institucionalización del Sistema Nacional de Monitoreo y Evaluación de la gestión pública puede ser analizado tomando en consideración tres condiciones. La primera, necesaria pero no suficiente, es la existencia de una estructura organizacional y de gestión que permita su operación regular; esto incluye la definición de procesos de gestión, recursos fiscales regulares, el establecimiento de mecanismos de coordinación e implementación interinstitucionales, tales como comités, comisiones o consejos, un marco normativo adecuado y actualizado, entre otros. Una segunda condición es el establecimiento de incentivos que establezcan patrones de interacción y comportamiento entre los principales actores involucrados en el sistema que permitan la operación plena del mismo en la estructura organizacional y gerencial. Incentivos a la demanda de información, a la oferta de información y a la adecuada coordinación que las vincula. La tercera y última condición es la consecución de resultados e impacto que sean de utilidad para la gestión pública, así como para el diseño, monitoreo y evaluación de políticas públicas, rendición de cuentas y transparencia, asignación de gasto público u otra función, de acuerdo con las prioridades definidas por el gobierno. Estas condiciones pueden ser evaluadas. Se ha construido un índice de institucionalización de los Sistemas Nacionales de Monitoreo y Evaluación (Ospina, 2007) que engloba trece dimensiones que refieren a las tres condiciones descritas. El índice está en proceso de construcción, pero constituye un primer esfuerzo orientado a la medición del grado de institucionalización de un sistema y podría permitir comparaciones iniciales entre países. El recorrido del índice de institucionalización va de 0 a 39 puntos, siendo 0 el peor escenario en donde el sistema no ha logrado consolidar ninguna dimensión, hasta 39 en la que todas las dimensiones existen actualmente y en buen estado. En el sistema analizado, el indicador tiene un valor para junio de 2007 de 27 puntos, o bien un 69% considerando una escala de 0 a 100 (ver Anexo N° 1). A continuación se analiza cada una de las tres condiciones señaladas. 5.1 Condición de la estructura organizativa y de los procesos de gestión El SED está basado en una estructura de coordinación en la que su vertiente de Programas está liderada por el CONEVAL y la SHCP; el mecanismo de coordinación es la elaboración conjunta de lineamientos generales de evaluación. En la vertiente de Gestión Pública el liderazgo es de la SHCP, concretamente la Subsecretaría de Egresos, y la SFP, en donde se prevé la emisión de lineamientos para la implementación del PMG y otras modalidades de coordinación del tipo convenios o comités, concretamente un Comité de Gestión para coordinar los diversos programas que contiene el Programa de Mejoramiento de la Gestión, que surge de la Comisión para la Mejora de la Gestión Pública (CMGP). La implementación plena del SED requiere la formalización de la coordinación entre la SHCP y la SFP mediante la suscripción de la Carta Compromiso Marco para la implementación del SED, que comprende el Acuerdo de programas, proyectos y actividades estratégicas entre la SHCP y las entidades y dependencias de la APF; el Acuerdo del Programa de Mejoramiento de la Gestión Pública entre la SFP y las dependencias y entidades de la APF, y los Convenios de Desempeño entre la SHCP, la SFP y las entidades paraestatales. Falta también la implementación del Sistema de Monitoreo y Evaluación de Resultados (SIMER), que se constituye en la herramienta gerencial clave del SED. EL SIMER debe ser alimentado continuamente de la información proveniente de programas e instituciones.

82

Quizás será necesario un mecanismo formal de coordinación entre la Oficina de la Presidencia y las tres instituciones que lideran el SED y el Presupuesto Basado en Resultados. A nivel de procesos de operación, ambas vertientes poseen cauces formales de actuación formalmente definidos. El CONEVAL, la SHCP y la SFP han establecido un importante conjunto de lineamientos que permiten operar al SED, tales como: lineamientos generales para la evaluación de programas federales de la APF, lineamientos para elaborar términos de referencia para contratar estudios de evaluación por parte de las UROP, lineamientos de programación y presupuestos, etc. Además, han logrado sincronizar, en un primer ejercicio del año 2007, los calendarios de las evaluaciones con los del ejercicio presupuestal. Para ambas vertientes existen flujos de actividades bien delimitados, que van desde la definición del PND e identificación de programas sectoriales hasta la generación del PEF, atravesando las etapas de priorización, utilización del marco lógico o del programa marco, construcción de matrices de indicadores, e informes a la Cámara de Diputados. Existen recursos fiscales regulares para la implementación del SED y del PBR, y un marco legal adecuado cuyos pilares son la Ley General de Desarrollo Social, la Ley de Presupuesto y Responsabilidad Hacendaria, la Ley Federal de Transparencia y Acceso a la Información Gubernamental, y la Ley de Presupuesto y Responsabilidad Hacendaria 2006, entre otras, que falta complementar con reglamentaciones relativas a la operación del presupuesto por resultados, lo que apoyará la implementación y la consecución de condiciones de sostenibilidad. 5.2 Condición de los incentivos Los procesos que operacionalizan el SED no sólo deben ser considerados como instrumentos de carácter técnico y organizativo, dado que además a través de ellos los funcionarios públicos otorgan sentido a sus negociaciones, construyen relaciones y definen sus intereses, valores y normas de actuación. Los procesos público-institucionales afectan el nivel de recursos que llegan a una dependencia o entidad de la APF, la formulación de la política, sus mecanismos de implementación y evaluación, y las relaciones con agentes externos tales como el Congreso, la Oficina de la Presidencia, medios de comunicación, grupos de interés especial y público en general. Además, el presupuesto es, indudablemente, el más político de todos los procesos; por esta razón, el objetivo estratégico en esta fase de implementación es lograr que el esquema de operación sea internalizado y adoptado por los actores vinculados directa e indirectamente, y que provoque resultados de acuerdo con las prioridades previstas. Las observaciones a la instrumentación del SED realizadas por el Congreso (junio de 2007) reflejan la dimensión político-institucional. Entre ellas se señala la práctica exclusión del Poder Legislativo en el proceso de operación del SED y un diseño que concentra el poder en el Ejecutivo, concretamente en la autoridad presupuestal. Los legisladores identifican un círculo vicioso del Ejecutivo al auto-vigilarse y evaluar su propio desempeño; además, señalan, el director del CONEVAL y de la Comisión Ejecutiva encargada de la evaluación son designados por la SHCP, dando más atribuciones a esta institución para el control del gasto y no necesariamente para su evaluación (Congreso de la Unión, Cámara de Diputados, LX Legislatura, 2007). El planteamiento del nuevo proceso presupuestal derivado del Presupuesto por Resultados induce a los ejecutores de los recursos públicos federales a la adopción de mejores prácticas de gestión; es decir el presupuesto se constituye en una estrategia de cambio de la gestión pública, por lo que los aspectos político-institucionales deben ser considerados. Desde el punto de vista gerencial, la reorientación del sistema presupuestal, de talante más controlador y centralizador, a un esquema basado en la retroalimentación derivada de la integración de las etapas del ciclo presupuestal, debiera constituirse en un primer incentivo a su adopción por parte de las entidades y

83

dependencias de la APF. En efecto, implica para éstas la reflexión de autodiagnóstico para poder establecer y comprometer metas e indicadores, así como el conocimiento de sus resultados, lo que les permitirá mejores proyecciones de resultados, argumentos claros de negociación en términos presupuestales y posibilidades de rediseño y mejora de su gestión; por supuesto, esta dinámica puede enfrentar grupos de interés que se ven beneficiados de la operación del proceso como se encuentra actualmente. Aún no se han establecido de manera definitiva los incentivos y mecanismos concretos a aplicar para las entidades y dependencias de la APF que cumplan cabalmente las metas y resultados comprometidos con la asignación presupuestal prevista. En algunas de las experiencias relatadas en este estudio, por ejemplo la de los estudios de evaluaciones externas, se aprecia que las entidades no intentan comprometerse a metas desafiantes, ya que temen no alcanzarlas y ser juzgadas como ineficientes. Los incentivos a establecer debiesen considerar la magnitud y complejidad de los desafíos adoptados. Un ejemplo de incentivos es el MIDO. En éste, los órganos internos de control (OIC) son en buena medida evaluados por los resultados de la institución o dependencia a la que pertenecen; en tal sentido, tienen enormes incentivos por proponer medidas de mejora viables y que puedan dar resultados en el corto plazo. En el Programa de Mejoramiento de la Gestión se tiene previsto introducir incentivos orientados a individuos, a equipos de trabajo e instituciones, tal como se describe en el Cuadro Nº 13.

Cuadro Nº 13 Incentivos previstos en el marco del PMG

Tipo de incentivo Reconocimiento Devolución Económicos

A la institución. 1. Ranking. 2. Premios. 3. Acreditación/ certificación.

1. Traspaso de responsabilidades. 2. Flexibilidad financiera.

1. Asignación presupuestal con base en resultados. 2. Financiamiento de proyectos.

A la unidad o programa. 1. Premios. 1. Flexibilidad financiera. 1. Bono de desempeño por

equipo.

A los individuos.

1. Días adicionales de vacaciones. 2. Vinculación con evaluación del desempeño individual.

1. Bono de desempeño individual. 2. Promoción vinculada al SPC.

Fuente: SFP (2007).

Para alinear los intereses de los diversos actores, la implementación del SED se acompaña de normativa, lineamientos e instrumentos de gestión que establecen, por un lado, los requerimientos de información por parte del Congreso, la SFP, la SHCP y el CONEVAL, que tienen que cumplir los programas, proyectos y actividades de la APF, y por el otro, los requerimientos para alcanzar la oferta de información relativa a la eficiencia e impacto del gasto público, a través de las evaluaciones de impacto, evaluaciones externas y evaluaciones de mejoramiento de la gestión, etc. Las entidades y dependencias de la APF están obligadas a definir las metas y establecer indicadores de seguimiento de sus programas, proyectos y actividades, ya sea a través de la aplicación del marco lógico o de la definición de mejoras de productividad en el programa marco. El CONEVAL aprueba la matriz de indicadores en el caso de los programas, y la CMGP para las iniciativas de las evaluaciones de mejora de la productividad. El CONEVAL regulará el mercado de evaluaciones externas. La SHCP y la SFP, por su parte, evaluarán bimestralmente los resultados de la recaudación y de la ejecución de los programas y presupuestos de las dependencias y entidades. Buen número de programas de la APF se encuentran sujetos a las denominadas Reglas de Operación, disposiciones que precisan su modalidad de gestión a efectos de lograr la eficiencia, equidad y transparencia programadas. Las Reglas de Operación son autorizadas y supervisadas por la SHCP y se publican en el Diario Oficial de la Federación, siendo también un aspecto sujeto a las regulaciones de

84

la APF. Su contenido incluye antecedentes del programa, objetivos, lineamientos generales de cobertura, focalización, transparencia, derechos y obligaciones de los beneficiarios. También incluye políticas de operación, coordinación institucional, difusión y promoción, ejecución y operación, informes programático-presupuestales, avances físicos financieros, y aspectos de seguimiento y monitoreo. Las Reglas de Operación se han convertido en un proceso político-institucional que permite alinear intereses en torno a los objetivos de los programas, constituirse en una herramienta de gestión útil a las unidades responsables de la operación de los programas y en un eficaz mecanismo de supervisión y control. Además, la elaboración de la matriz del marco lógico y la matriz de indicadores resultan más fáciles de elaborar al estar basadas en la información de las Reglas de Operación. 5.3 Condición de los resultados y del impacto La función predominante del presupuesto por resultados (PBR) que se apoyará en el SED, es relativa a las consecuencias del SMyE en la asignación del gasto en función de los resultados (y metas previstas) de productividad e impacto social de los programas, y del nivel de productividad de las entidades y dependencias de la APF. Sin embargo, el PBR está aún en proceso de construcción, por lo que los resultados e impacto pueden ser, por ahora, valorados al nivel de las iniciativas puntuales analizadas que están en proceso de integración al SED, orientadas en su mayoría a la rendición de cuentas al interior y exterior de la APF, así como al aprendizaje, tal como ya fue descrito, o de manera genérica su orientación actual podría ser más de tipo político que económico. En la vertiente de Programas se cuenta con evaluaciones externas de una gran cantidad de programas, disponibles en línea en la página electrónica de diversas secretarías de Estado. Además, programas como Oportunidades realizan difusión mediante folletos y spots publicitarios. Las recomendaciones derivadas de las evaluaciones externas, consideradas pertinentes y viables por las UROP, han sido parcialmente incorporadas a sus procesos de gestión en la medida del interés de los responsables de programas y autoridades de las instituciones y dependencias en que se insertan, así como en función de la disponibilidad de recursos. Son las unidades operativas de los programas los principales usuarios, y la SEDESOL es la Secretaría de Estado que muestra quizás un mayor grado de utilización. Como ejemplos concretos destacan (Rubio, 2007): el programa Oportunidades se amplió a zonas urbanas y se incrementaron los beneficios a la preparatoria como resultado de la información de la evaluación en salud, matriculación escolar y nutrición; la fórmula del complemento alimentario de Oportunidades se modificó debido a que la evaluación mostró una baja absorción de hierro. El programa Jóvenes por México sufrió cambios radicales entre 2004 y 2005 debido a información de la evaluación externa. Se mostró que la fortificación de la leche del programa Liconsa mejoró en 26% la incidencia de anemia en niños menores de 5 años, a un costo muy bajo. Dicha evaluación también mostró cuáles deberían ser las mejores prácticas en el uso de leche por parte de los beneficiarios. El estudio de Myriam Cardozo (2006) en relación con la utilización de los informes en la toma de decisiones coincide en señalar que éstos son los principales usuarios; le siguen, según el estudio, el Congreso, la SFP y la SHCP. La plena operación del SED y del PBR potenciará, sin duda, la utilización de estos estudios y de las evaluaciones de impacto. Por su parte, el SEMBR de la SEDESOL está en fase piloto y no ha generado informes regulares y periódicos por lo que su utilidad e impacto no pueden ser totalmente evaluados. Los programas con un grado mayor de avance como el de Opciones Productivas, sí realizan algunos informes a medida. El Conteo Oficial de Pobreza que emite el CONEVAL es utilizado con regularidad por investigadores, funcionarios públicos y el Congreso, y constituye un resultado contundente de la LGDS. En relación con la vertiente de Gestión Pública, las iniciativas de Intragob y los premios a la innovación y calidad que de éste se derivan, se expresan en reconocimientos y mejores prácticas. Los

85

beneficios de estas iniciativas van en una primera instancia asociados a los participantes y son consecuencia del proceso de participación, y en segundo lugar sirven de referencia o guías de gestión a otras entidades y dependencias de la APF. Su impacto es relevante en mostrar guías y condiciones de buena gestión en organizaciones públicas que puedan constituirse como mejores prácticas. Los resultados del MIDO son relevantes ya que no sólo se cumple la función de control interno, sino también la relativa a la gestión preventiva de las entidades y dependencias de la APF a través de la labor de las OIC, en la que existen ejemplos de buenas prácticas. 5.4 Otro aspecto de la institucionalización: del nivel federal a los niveles subnacionales Las iniciativas presentadas son del ámbito de las entidades y dependencias de la Administración Pública Federal, con sus niveles de estrategia, programas, proyectos y actividades. El sistema federal mexicano otorga a los niveles subnacionales amplios márgenes de autonomía. En torno a la evaluación de la gestión cada gobierno estatal diseña sus iniciativas dentro de sus márgenes de autonomía y coordinación con la Federación. Desde hace algunas décadas se han emprendido iniciativas para el fortalecimiento de la gestión hacendaria en los niveles subnacionales orientadas a fortalecer el pacto fiscal de la Federación. El Instituto para el Desarrollo Técnico de las Haciendas Públicas (Indetec) ha liderado varias de ellas: gestión tributaria eficiente y con equidad; manejo adecuado de la deuda pública; rendición de cuentas y transparencia en el ejercicio del gasto, entre otros. Actualmente impulsa el presupuesto por programas. En sectores como educación y salud existen instancias encargadas de la coordinación de la evaluación entre el nivel federal y el subnacional. Entre otras, el Instituto Nacional para la Evaluación Educativa, creado en el año 2002; el Consejo Nacional de Salud (1995), que en el año 1996 definió un conjunto de 71 indicadores de resultados para aplicar a niveles subnacionales, que posteriormente se fue ajustando en el proceso de validación. Además, las delegaciones estatales de dependencias como la SEDESOL, otorgan asistencia técnica a los gobiernos para realizar seguimiento y evaluación de la gestión vinculada a dichas instancias. Además de los avances en la gestión hacendaria y sectorial, es una práctica reciente el desarrollo de iniciativas integradas de monitoreo y evaluación de la gestión pública, centradas en conocer el impacto de los programas sociales y la eficiencia de las entidades que constituyen la Administración Pública Estatal. Estas iniciativas están inspiradas en su mayoría en las reformas gerencialistas de la nueva gestión pública de la década de los noventa en las democracias avanzadas, y en la perspectiva de la rendición de cuentas. Son ejemplos, el recién creado sistema de seguimiento y evaluación de impacto de la gestión pública del Estado de Zacatecas, orientado a la rendición de cuentas, a la asignación eficiente de recursos y al aprendizaje; el Sistema Estatal de Evaluación del Desempeño de Puebla (SEDEP), cuyo objetivo es evaluar la gestión gubernamental para conocer los recursos invertidos y el impacto social alcanzado. El Gobierno del Estado de México cuenta, desde hace algunos años, con una interesante iniciativa en la que, mediante un convenio, la Secretaría de la Contraloría del Gobierno acuerda con 120 municipios del Estado, colaboración técnica para el fortalecimiento del sistema municipal de control y evaluación de la gestión pública, simplificación administrativa y transparencia. La transparencia y el acceso a la información caracterizan también al sistema de evaluación de la acción gubernamental en el Estado de Guanajuato. El Estado de Guerrero está en fase de ajuste de su estructura programático-presupuestal como parte del proceso de diseño del Presupuesto por Resultados. En síntesis, se aprecia a nivel de las entidades federativas la implementación de iniciativas de monitoreo y evaluación similares a las existentes en el nivel federal. Estas iniciativas podrían ser agrupadas en cuatros categorías o sus combinaciones: a) mejoras a la calidad de los servicios públicos;

86

b) mejoras a la gestión de programas sociales; c) mejoras a la hacienda pública; y d) medidas para mejorar la transparencia de la gestión pública. En el Anexo N° 2 se presenta a manera de ejemplo la experiencia del Estado de Aguascalientes en cuanto a iniciativas de monitoreo y evaluación de la gestión pública. Dada la similitud con las experiencias a nivel central, se realiza el análisis bajo el mismo esquema de dos vertientes: Programas y Gestión Pública.

87

VI. CONCLUSIONES Y DESAFÍOS El Sistema Nacional de Monitoreo y Evaluación de la Gestión Pública: hacia el Presupuesto Basado en Resultados Las presiones de cambio. El proceso de implementación del Sistema de Evaluación del Desempeño (SED), componente central del Presupuesto Basado en Resultados (PBR), es un proceso de cambio institucional como cualquier otro; surge como respuesta a diversas presiones tanto internas al aparato público como externas. A continuación se destacan algunas de ellas. El entorno político presiona por evitar el uso de programas sociales con fines partidistas, lo que asigna a la evaluación un rol regulador. El hecho de que la administración pueda conocer y juzgar los resultados de sus entidades y dependencias ejerce una presión similar a la que juega el mercado para las empresas. Desde hace algunos años, presiones de este tipo caracterizan la lucha partidista en torno del diseño, implementación y evaluación de programas sociales. La alternancia política que se vive en México y la cohabitación política en donde la capital y la Presidencia están en manos de distintos partidos, han incentivado una incipiente demanda de “valor por dinero”, en donde los contribuyentes, cada vez más, exigen servicios públicos de calidad y que contribuyan al bienestar. Por su parte, la presión por corregir el déficit fiscal y evitar el déficit continuado, obliga a adoptar estrategias de racionalización del gasto, ya sea por la reducción de la asignación en áreas consideradas como no prioritarias, así como por mejoras en la productividad y eficiencia del gasto. El enorme interés que generó la evaluación del PROGRESA, tanto a nivel nacional como internacional, hace ya varios años, renovó también el interés por los temas de la evaluación de los resultados netos de la actividad administrativa en las condiciones de bienestar de la población (creación de valor público). La búsqueda de mayor legitimidad en la actuación de los órganos de la administración pública ante quejas ciudadanas por falta de transparencia o baja calidad de algunos servicios, y la evidencia de buenas prácticas internacionales en materia de evaluación de la gestión pública por resultados, conforman en conjunto un cúmulo de presiones e incentivos por avanzar con el SED. La estrategia adoptada. El Presupuesto Basado en Resultados se inicia con dos orientaciones específicas: la primera, dirigida a consolidar los resultados de acciones de evaluación en programas e instituciones (esto es el SED), las que deben estar alineadas al Plan Nacional de Desarrollo, sus planes estratégicos y metas sectoriales, por lo que podría ser considerada una orientación política. La segunda, orientada a realizar los ajustes al proceso presupuestal, para que posteriormente ambas puedan confluir y hacer operativo el Presupuesto Basado en Resultados, en donde la información de evaluación tenga consecuencias para la asignación presupuestal. Esta segunda es de orientación marcadamente económica. El proceso de implementación del SED empezó recientemente; sin embargo, algunas iniciativas que lo constituyen (lo que podría denominarse el actual Sistema Nacional de Monitoreo y Evaluación de la Gestión Pública en México), se iniciaron hace algunos años. El SED define dos ámbitos de intervención bien delimitados, coordinados por un núcleo estratégico: uno, el ámbito o vertiente de los Programas de la Administración Pública Federal, y otro, el de las actividades y proyectos de las entidades y dependencias de la APF, denominado Gestión Pública, cuya base de análisis son instituciones. El proceso de cambio hacia el PBR supone tres momentos, utilizando la analogía del cambio organizacional de Kurt Lewin: “el deshielo”, que se inicia con la introducción de nuevas iniciativas, capacitación y arreglos institucionales; “el movimiento”, que supone la operación de los nuevos

88

arreglos, aplicación de herramientas gerenciales y aplicaciones de los conocimientos y habilidades adquiridas; y “el re-congelamiento” que se traduce en la plena internalización por parte de las dependencias e instituciones de la APF de los nuevos mecanismos y prácticas gerenciales que constituyen el PBR. Los agentes de cambio. El núcleo estratégico está constituido por dos secretarías de Estado y un organismo público descentralizado de la administración pública, de reciente creación. La SHCP y el CONEVAL lideran la vertiente de Programas, y la SHCP junto a la SFP conducen la vertiente de Gestión Pública. El Congreso, a través de su Comisión de Presupuesto y Cuenta Pública, se constituye también en un agente importante de cambio. Los principales destinatarios del cambio son las entidades y dependencias de la APF, quienes durante el proceso adoptarán nuevas prácticas gerenciales y establecerán acuerdos y compromisos de gestión en el proceso de alinear sus objetivos a los objetivos del PBR. Existe un importante liderazgo técnico y político del núcleo estratégico de coordinación; cumple roles complementarios y ha realizado una gestión estratégica e iniciado con éxito la creación de estructuras y procesos para la gestión del cambio. Ha logrado establecer canales adecuados de comunicación y coordinación al interior del núcleo coordinador y entre éste y los responsables de operación de programas federales sociales, otras agencias públicas vinculadas y los propios evaluadores. Es necesario, sin embargo, completar los mecanismos de coordinación, comunicación y control pendientes, así como establecer y reforzar los incentivos a nivel individual, de grupos de trabajo e institucionales. En el entorno interinstitucional hay un usuario clave de la información que se siente marginado: la Cámara de Diputados (LX Legislatura). Ésta señala en su reporte de observaciones al SED que ha sido relegada de su implementación y que su papel en el nuevo arreglo institucional es marginal. Las iniciativas implementadas desde hace algunos años, y que sirven de plataforma al SED, ordenadas en vertientes son las siguientes: en la vertiente de Programas comprenden: evaluación externa de programas sociales, evaluación de impacto, SEMBR en la SEDESOL y conteo o medición oficial de pobreza, que muestran vínculos estrechos de interacción. En la vertiente de Gestión Pública, que tiene como unidad de análisis la gestión de entidades y dependencias de la APF, se incluye al SIMEP, Intragob y MIDO. Estas iniciativas establecen también vínculos de operación y reforzamiento, aunque en menor grado que en la vertiente de Programas. En esta vertiente es que se ubica el Programa de Mejoramiento de la Gestión cuyas iniciativas están en la fase final de diseño. Es importante mencionar que en el año 2007, y con base en los lineamientos generales de monitoreo y evaluación emitidos por CONEVAL y la SHCP, se llevó adelante en los programas federales la elaboración de matrices de marco lógico con la finalidad de realizar un ejercicio de programación que permitiera identificar los principales indicadores para incorporar a la SHCP. La estructura del Sistema Nacional de Monitoreo y Evaluación de la Gestión Pública Un sistema de monitoreo y evaluación puede ser clasificado (Valadez y Bamberger, 1994; Ospina, 2007) de acuerdo con su nivel de integración vertical (y horizontal), así como al rango de actividades de monitoreo y evaluación que lleva a cabo. Las iniciativas que constituyen el SNMyE están en su totalidad orientadas al ámbito de la Administración Pública Federal, tanto en la vertiente de Programas como de la Gestión Pública de las entidades y dependencias que la componen. Se han construido institucionalmente con un enfoque de arriba abajo o Top Down.

89

En cuanto a la integración vertical, la expansión del Sistema es viable en algunas iniciativas; en otras, cabría explorar el establecimiento de mecanismos de colaboración y asistencia técnica para que las entidades federativas (y municipios) adopten medidas similares a las de carácter federal, en el marco de sus niveles de autonomía. El Sistema de Evaluación y Monitoreo Basado en Resultados de Programas Sociales de la SEDESOL es una de las iniciativas que prevé, en el mediano plazo, la posibilidad de su descentralización a través de las delegaciones con que cuenta la SEDESOL en las entidades federativas del país. Por otra parte, las iniciativas de premiación y reconocimiento a la calidad y la gestión pública han sido adoptadas por gobiernos estatales. Otras iniciativas de carácter federal, como las evaluaciones de impacto o externas91, tendrían que ser desarrolladas en el marco de la autonomía de las entidades federativas o municipios. La descripción del caso del Gobierno de Aguascalientes, una de las 32 entidades federativas del país (Anexo N° 2), basada en el esquema del SED -en las vertientes de Programas y de Gestión Pública-, muestra similitudes con las iniciativas federales tanto en orientación conceptual como instrumental, lo que permitiría establecer articulaciones más estrechas de colaboración entre ambos niveles de gobierno para compartir mejores prácticas. Este escenario se replica en un número grande de gobiernos estatales, los cuales han implementado iniciativas tendientes a mejorar la calidad de sus servicios públicos, la gestión de sus programas sociales, la transparencia de la gestión pública, así como la mejora de la gestión hacendaria. Un rasgo importante del SNMyE es que existe un balance entre las acciones destinadas al monitoreo y las destinadas a la evaluación de impacto. En México se cuenta con un organismo que lidera el proceso de evaluación a nivel de programas federales del sector social, establece su plan anual de evaluación sobre la base de criterios objetivos, rigor metodológico y consenso, distinguiendo tipos de evaluación (diseño, consistencia y resultados, procesos, indicadores e impacto), lo que constituye una positiva condición al desarrollo y consolidación del sistema nacional. Las iniciativas de la vertiente de Programas logran, en conjunto, un balance adecuado en cobertura temática de monitoreo y evaluación, ya que las iniciativas recorren todos los aspectos involucrados, desde la planificación hasta la evaluación de impacto. Se cubren aspectos de planificación y diseño, programación, cobertura, eficacia, eficiencia, economía y calidad en la producción y entrega de servicios, análisis de efectos, focalización, resultados e impacto. En la vertiente de Gestión Pública se presenta también la orientación al impacto en el proceso de definición de las metas que se desarrollan en el marco del SIMEP, aunque en este caso no hay evaluaciones formales de impacto, sino la identificación de algunos indicadores que registran tendencias (indicadores de impacto), pero que no resuelven el denominado problema de “atribución”. Las funciones del Sistema Nacional de Monitoreo y Evaluación La función predominante en las iniciativas analizadas es la transparencia y la rendición de cuentas al interior y exterior de la administración pública, y en menor medida, el aprendizaje para el ajuste y rediseño de programas. Si bien hay evidencia de que comienzan a surgir aprendizajes en los operadores de los programas derivados de los estudios de evaluación, éstos al parecer son en su mayoría incrementales y no de gran significado, además de no existir obligatoriedad para llevarlos a cabo. Estas funciones son de tipo político, orientadas en conjunto al logro de las metas de programas e instituciones y su alienación a metas sectoriales y programas estratégicos del PND. Las funciones de asignación presupuestal con base en los resultados, con consecuencias en la planificación de las entidades y dependencias de la APF, están contempladas en el Sistema de

91 El Director del CONEVAL ha realizado visitas a entidades federativas con el fin de mostrar los avances logrados en la vertiente de Programas.

90

Presupuesto Basado en Resultados (PBR) en proceso de implementación, pero esta función aún no se ha materializado. La utilización de los resultados de las evaluaciones externas de los programas se constituye en la dimensión clave para el cumplimiento de las funciones, especialmente las de aprendizaje, de planificación y, en un futuro, de asignación de recursos. Sin embargo, los principales usuarios actuales son las propias unidades responsables de la operación de los programas, las instituciones y dependencias de la APF, en donde destaca la SEDESOL como usuaria activa, y en menor medida el Congreso y otras dependencias involucradas. No hay aún evidencia contundente de cambios drásticos derivados de las evaluaciones. La densidad conceptual e instrumental del Sistema El número de iniciativas orientadas a la evaluación de programas y a la gestión de entidades y dependencias de la Administración Pública Federal ha logrado disipar ciertos mitos arraigados en torno de la evaluación, especialmente en relación con la evaluación de impacto. Los funcionarios de la APF utilizan de manera regular en informes, foros y conversaciones una amplia variedad de conceptos del campo del monitoreo y evaluación, así como el conocimiento de los alcances y utilidad concreta de diversas herramientas gerenciales y metodologías relacionadas con la evaluación. Algunas instituciones públicas de educación superior han comenzado a ofrecer cursos especializados sobre herramientas, perspectivas y métodos relacionados con el campo de monitoreo y evaluación y la gestión por resultados. Asimismo, el tema se ha incorporado ya a los contenidos de cursos regulares en universidades y centros de investigación; los informes de evaluaciones externas se constituyen en estudios de casos en algunos programas. Además, técnicas gerenciales muy recurridas como las cartas compromiso, los convenios de desempeño o el análisis de pertinencia de las evaluaciones externas, entre otras, permiten el aprendizaje y la retroalimentación en los funcionarios que las aplican. Igualmente, los distintos lineamientos establecidos por el CONEVAL, la SHCP y/o la SFP se constituyen en orientaciones claras y precisas de gestión que apuntan a ordenar los conceptos y herramientas de monitoreo y evaluación en la realización de las iniciativas. En relación con la densidad instrumental existe una amplia variedad de herramientas, métodos y aproximaciones utilizadas por las diversas iniciativas. Las técnicas duras (hard) son propias del diseño experimental o diseños cuasi-experimentales de la evaluación de impacto (modelos econométricos, regresión discontinua, micro-simulaciones, análisis multivariados, etc.) sobre la base de información colectada mediante encuestas formales. En las evaluaciones externas se puede identificar, globalmente, la utilización del marco lógico, análisis costo-eficiencia y costo-beneficio, métodos de evaluaciones rápidas: informantes clave, grupos focales, mini encuestas, entrevistas y observación directa. También los análisis financieros y las técnicas de análisis de procesos para valorar la operación de los programas. El Sistema de Evaluación y Monitoreo Basado en Resultados utiliza el marco lógico, los tableros de control de gestión y los indicadores de desempeño. Finalmente, la medición de pobreza utiliza los métodos de línea de ingreso y de necesidades básicas insatisfechas, entre otros, orientados a la evaluación multidimensional de pobreza. El SIMEP utiliza tableros de control de gestión, indicadores de desempeño y compromisos o convenios de gestión. El Intragob define un modelo de organización y gestión de calidad total, con base en ocho criterios, inspirados en el estándar ISO 9000 y en las iniciativas para premiar la calidad tanto en el sector público como en el privado. La base técnica del MIDO, inspirada en el COSO, se compone de indicadores de desempeño agrupados en cinco índices: Reducción de riesgos de corrupción, Reducción de riesgos de opacidad, Desempeño institucional, Percepción del desempeño, y Desempeño operativo de OVC.

91

En general, hay poco uso de herramientas cualitativas y técnicas especializadas. Hay también tratamiento insuficiente del análisis gerencial relativo a los procesos de operación de los programas. Las fuentes de información son encuestas formales (para la evaluación de impacto), mini-encuestas (para las evaluaciones externas), análisis documental, bases de datos de los programas, registros administrativos y entrevistas a actores clave, entre otras. Aún falta, desde el punto de vista instrumental, el diseño final de las iniciativas del PMG y sus mecanismos de implementación, así como del Sistema de Monitoreo y Evaluación del SED (SIMER). La importancia de las reglas de operación de los programas sociales Las reglas de operación de los programas federales (ROPF) son el conjunto de disposiciones que precisan su forma de operación, con el propósito de lograr la eficacia, eficiencia, equidad y transparencia programada. Las ROPF son elaboradas por cada entidad o dependencia de la APF como anteproyectos. El dictamen (no más de 10 días después de recibido el anteproyecto) está a cargo de la Comisión Federal de Mejora Regulatoria (COFEMER) antes de ser publicadas en el DOF, de acuerdo con el Presupuesto de Egresos de la Federación. La estructura básica de las ROPF contiene antecedentes del programa, objetivos (generales y específicos), lineamientos generales relativos a cobertura, población objetivo y condiciones de elegibilidad, transparencia, derechos y obligaciones de los beneficiarios; lineamientos específicos de operación; coordinación institucional, mecánica de operación: difusión y promoción, ejecución y operación; informes programático-presupuestales, avances físicos y financieros, y aspectos de seguimiento y monitoreo. Constituyen una base sólida sobre la cual construir las matrices de indicadores o la matriz del marco lógico. Sin estas reglas, sin duda, los esfuerzos por construir las matrices serían más largos y complejos. Si bien existen posiciones críticas relativas a las reglas de operación92 argumentando que a través de ellas hay una definición autoritaria de la ejecución del presupuesto y de las formas de prestar los servicios, que podrían establecer barreras de entrada a potenciales beneficiarios, además de que su rigidez impone una “camisa de fuerza” a la operación de los programas, en realidad las reglas de operación se han constituido en instrumentos clave para definir el ciclo de gestión de los programas con atención a criterios de racionalidad gerencial y económica. Además, están sujetas a una revisión constante producto de las evidencias acumuladas y de los análisis que se realizan en las evaluaciones de consistencia y resultados, en los que se recogen las percepciones de los beneficiarios. También constituyen insumos importantes en las evaluaciones de impacto y en el SEMBR de la SEDESOL. Financiamiento El presupuesto es la base de financiamiento de todas las iniciativas. Si bien han existido fuentes de financiamiento externas, éstas se han limitado al diseño o apoyo de tareas muy concretas. El financiamiento a las evaluaciones externas se organiza sobre la base de que los estudios se llevan a cabo con el presupuesto de los programas; esto lleva a considerar la evaluación no como una tarea excepcional sino permanente y que debe ser considerada en los ejercicios regulares de planeación. Sin embargo, las evaluaciones externas de consistencia y resultados no se prevé se realicen anualmente ni en todos los programas. El CONEVAL, a través del Plan Anual de Evaluación y de su mandato como coordinador, deberá elegir aquellos tipos de evaluación más pertinentes en los momentos más oportunos y en los programas adecuados, lo que permitirá una asignación efectiva del gasto en evaluación de los programas sociales.

92 Véase por ejemplo a Molinet (2003).

92

El rol del Instituto Nacional de Estadística, Geografía e Informática (INEGI) La base estadística con que cuenta un país determina en buena medida la efectividad de su sistema de monitoreo y evaluación. Si ésta es relevante, oportuna y confiable, las posibilidades de apoyar de manera significativa el proceso de diseño, implementación y evaluación de políticas públicas se incrementan. Esta base estadística es producida por lo que se denomina en términos generales el Sistema Estadístico Nacional (SEN93) liderado por el INEGI, y se constituye en la Oferta Estadística Nacional. La demanda debiese provenir del Plan Nacional de Desarrollo y de los planes sectoriales, de la estrategia de reducción de pobreza, de los compromisos internacionales como los objetivos y metas del Milenio, y de usuarios clave vinculados a los procesos de toma de decisión de políticas públicas. En el caso concreto del SED, la SHCP, el CONEVAL y la SFP se constituyen en usuarios clave con demandas concretas al SEN. La producción estadística del INEGI en materia de censos y encuestas sociodemográficas y económicas es amplia y accesible, y se ha constituido en fuente de información clave para las evaluaciones externas y de impacto. El INEGI, a través de comités técnicos, ha comenzado a apoyar a productores estadísticos en diversos sectores con el fin de que mejoren la calidad de sus operaciones estadísticas94. Además del INEGI existen otros productores de información cuyos productos son recurridos, como el Consejo Nacional de Población (CONAPO), los registros administrativos de las Secretarías de Estado, etc. Dada la importancia de las fuentes de información y de la calidad y confiabilidad de la base estadística como un prerrequisito para el diseño y operación del SNMyE, diversos especialistas hablan de sistemas de monitoreo, evaluación e información (SMEeI), enfatizando que sin esta última letra los sistemas serían incompletos y condenados al fracaso. El rol del INEGI, como órgano coordinador y rector de la producción estadística del Sistema Estadístico Nacional, resulta clave para satisfacer la demanda de información del SED de manera oportuna y confiable. Además el nivel de autonomía de la institución y su reconocimiento técnico le otorgan amplia legitimidad. Sería recomendable incorporar equipos de trabajo del INEGI para capacitar a evaluadores en temas relacionados con las metodologías de producción de datos; con ellos podrían tenerse dos importantes resultados: el primero, que los evaluadores mejoren sus procesos de diseño, colecta y análisis de datos, y el segundo, que puedan efectuar recomendaciones pertinentes a los programas en cuanto a la mejora de la producción estadística. El INEGI podría diseñar cursos especializados orientados a corregir las deficiencias encontradas en las evaluaciones realizadas desde 2002 hasta 2006, para evitar que continúen. Desafíos El primer desafío de corto plazo es lograr una visión compartida del Presupuesto Basado en Resultados de todos los actores involucrados. Existe en ellos disposición y compromiso por alentar el proceso, pero de las entrevistas a funcionarios en distintas instituciones se deriva que cada uno percibe el SED y el PBR desde su marco de referencia institucional con misiones e intereses particulares, que de no alinearse y coordinarse adecuadamente podrían, eventualmente, competir entre sí. El énfasis para unos está en la rendición de cuentas; para algunos, en mejorar la eficiencia de la gestión; en otros, el apego a las normas o el aprendizaje; y en otros, una mejor asignación del gasto. Para algunos el 93 SNIEG, en el caso de México: Sistema Nacional de Informática, Estadística y Geografía. 94 Sobre la base de la entrevista en INEGI a José Vences y su equipo de trabajo. Aguascalientes, México, abril de 2007.

93

análisis es institucional, en otros es de programas, y para unos más es presupuestal, etc. El liderazgo de la Oficina de Presidencia para alinear el marco de referencia y lograr consolidar una visión compartida, constituye un primer desafío. Un segundo desafío es relativo al alcance y ritmo de la expansión del SED y el PBR. En cuanto al alcance, el mandato del CONEVAL no es para todos los programas de la APF, sino para los programas del sector social. No es claro quién asume el liderazgo técnico del resto de los programas ni cómo la asistencia técnica será equivalente. Además, tan importante como evaluar programas es la evaluación formal de políticas públicas, lo que implica ampliar el alcance del SED. Por otra parte, se prevé en la Ley que el SED se inicie de manera gradual y priorizada, pero todas las señales apuntan a su implementación universal. Un tercer desafío es relativo a los incentivos. Avanzar en la consolidación del SED en el marco del Presupuesto Basado en Resultados implica impulsar, consensuar y aprobar cambios estructurales en las fuentes de ingreso, flexibilidad en la distribución del gasto sobre la base de resultados y mejorar la contabilidad gubernamental, como iniciativas iniciales que permitan ir constituyendo un marco de actuación del PBR. Los esfuerzos por mejorar las evaluaciones e incorporarlas al ciclo presupuestal permitirán integrar el ciclo de gestión o las fases de la realización de políticas públicas. De allí se deriva la necesidad de una mejor planeación global y sectorial, y presupuestación basada en acciones, productos y resultados estimados. El tercer desafío, entonces, es el grado de adopción e internalización de los roles y funciones asignados a los funcionarios e instituciones vinculados al quehacer cotidiano del SED. Contar con un marco normativo adecuado, estructura organizativa, procedimientos de trabajo debidamente establecidos y una efectiva coordinación interinstitucional será una condición necesaria, mas nunca suficiente. La capacitación y entrenamiento de los operadores del SED es recomendable, así como el establecimiento de políticas e incentivos que permitan a los diversos actores, tanto agentes del cambio como destinatarios del mismo, obtener beneficios adicionales a los que tendrían al estar desconectados del sistema.

De manera más particular, existen desafíos importantes que se derivan de la experiencia de aplicación de los lineamientos generales de evaluación. La aplicación efectiva de los lineamientos requiere de capacidad de monitoreo y evaluación en las entidades y dependencias de la APF que coordinen las actividades de planificación y evaluación. Se ha designado ese rol a las Direcciones Generales de Planificación y Evaluación. Sin embargo, existen disparidades muy grandes entre éstas, que van desde la SEDESOL, con cuadros técnicos altamente calificados, recursos propios y un sistema de monitoreo y evaluación en proceso de implementación, hasta otras en donde se cuenta con sólo dos personas para realizar el acompañamiento técnico de todos los programas, y algunas secretarías que no tienen ni siquiera una unidad definida o constituida. Además, no hay una definición clara del tipo de estructura organizativa requerida, de los cargos y sus perfiles, así como de las funciones precisas que tienen que desarrollar estas unidades y los apoyos que deben jugar para acompañar la implementación de los lineamientos. Resulta imprescindible definir y establecer las características organizacionales y de gestión de las unidades de monitoreo y evaluación que en las instancias y dependencias de la APF deben acompañar la aplicación de los lineamientos. Se debe avanzar gradualmente en el fortalecimiento de las Unidades de Monitoreo y Evaluación (pilotos) que permita identificar con claridad los requerimientos organizacionales y técnicos para su efectivo desempeño. Esto permitirá una mejor asistencia técnica a su desarrollo y al rediseño efectivo de las Direcciones Generales de Planificación y Evaluación, que son las designadas a tal fin.

94

Otro desafío importante es el de consolidar las condiciones de mercado de los estudios de evaluaciones externas. Se ha estimulado la creación de un mercado de estudios de evaluación, el que debe consolidarse para lograr los beneficios que se derivan de la operación de las fuerzas del mercado. Las disposiciones generales de los lineamientos establecen que éstos “tienen por objeto regular la evaluación de los programas federales”. La regulación debe establecer con precisión quiénes pueden contratar, quiénes pueden constituirse en proveedores y qué mecanismos y reglas existen para articulan la oferta y demanda de estudios de evaluación. Estos puntos, si bien son explícitos, no son aún del todo precisos. Las debilidades del mercado de estudios de evaluación son: número insuficiente de proveedores con capacidad técnica adecuada; ambigüedad en la ley nacional de adquisiciones que fracciona el mercado al ser más fácil la contratación a agencias públicas que a privadas; posible sesgo al ser el responsable del programa a evaluar quien contrata la evaluación; ausencia de mecanismos para dirimir controversias; dificultad para establecer precios adecuados; no existe oferta de formación académica en el campo de M&E; demanda de estudios en ocasiones general o ambigua, entre otras debilidades que hacen que el mercado no opere de manera eficiente. Se requiere adoptar medidas inmediatas para la regulación del mercado tanto desde el lado de la oferta como de la demanda y de su punto de encuentro. Parece muy razonable continuar con la elaboración de documentos estándar para la contratación, la fijación más precisa de precios, la identificación (aún informal) de evaluadores de calidad que quizás derive en un banco de evaluadores certificados, y la revisión del marco normativo para la contratación de estos servicios de consultoría. La base de cualquier sistema nacional de monitoreo y evaluación es la información. El presupuesto basado en resultados no es la excepción. Si bien la fase inicial de implementación del SED ha comenzado a precisar los requerimientos de información que den cuenta del impacto de los programas y productividad de las instituciones y dependencias de la APF, así como de su ejercicio presupuestal, para que pueda juzgarse el grado de cumplimiento de los programas estratégicos del PND, no se perciben incentivos, lineamientos o acciones concretas a nivel nacional dirigidas a la mejora de la oferta de información. Esto implicaría medidas para tener diagnósticos precisos de los problemas de las fuentes de información en las entidades y dependencias productoras de información, y también medidas para superar las debilidades. La participación del INEGI como órgano rector del Sistema Estadístico Nacional va en esta línea, y no sólo como productor de información estadística sino como rector del Sistema.

95

BIBLIOGRAFÍA

Alvarado Ramírez, José Antonio (2007), “Sistema de Evaluación del Desempeño, SED”, Washington, BID.

Baker, Judy (2000), “Evaluating the Impact of Developing Projects on Poverty”, Washington, Banco Mundial.

Banco Mundial (2004), “Seguimiento y evaluación: instrumentos, métodos y enfoques”, Washington, Banco Mundial. Departamento de Evaluación de Operaciones.

Bernal, Guillermo (2006), “Comentarios a la ponencia de Gonzalo Hernández Licona, ‘M&E de programas sociales en México’”, en Hacia la institucionalización de los sistemas de monitoreo y evaluación en América Latina y el Caribe: actas de una conferencia del Banco Mundial / Banco Interamericano de Desarrollo, Ernesto May (ed.) …[et al], Washington, Banco Mundial, BID.

Bouillon, César Patricio y Tejerina, Luis (2006), “Do We Know what Works? A Systematic Review of Impact Evaluations of Social Programs in Latin America and the Caribbean”, Washington, Inter-American Development Bank. Sustainable Development Department. Poverty and Inequality Unit.

Cardozo Brum, Myriam (2006), La evaluación de políticas y programas públicos: el caso de los programas de desarrollo social en México, México, Editorial Miguel Ángel Porrúa.

Conde Bofil, Carola (2007), Evaluación de programas sociales sujetos a reglas de operación: ¿un ejemplo de rendición de cuentas horizontal?, México, mimeo.

Congreso de la Unión. Cámara de Diputados. LX Legislatura (2007), “Observaciones a la propuesta de la Secretaría de Hacienda y Crédito Público para la instrumentación del Sistema de Evaluación del Desempeño (SED)”, México, Congreso de la Unión.

Gobierno del Estado de Aguascalientes. Secretaría de Gestión e Innovación (2006), “Manual de Cartas Compromiso al Ciudadano”, Aguascalientes, SEGI.

Hernández Licona, Gonzalo (2006), “M&E de programas sociales en México”, en Hacia la institucionalización de los sistemas de monitoreo y evaluación en América Latina y el Caribe: actas de una conferencia del Banco Mundial / Banco Interamericano de Desarrollo, Ernesto May (ed.) …[et al], Washington, Banco Mundial, BID.

Husseim, Karim (2000), “Monitoring and Evaluating Impact on Livehoods: Lesson from Experience; Final Draft”, London, Department for International Development. Rural Policy and Environment Group.

Idea-International (2006), “Propuesta de diseño para el Sistema de Monitoreo y Evaluación Basado en Resultados (piloto) de la SEDESOL”, México, Idea-International.

Mackay, Keith (2004), “Two Generations of Performance Evaluation and Management System in Australia”, Washington, Banco Mundial (Evaluation Capacity Development Working Paper Series; N° 11).

May, Ernesto (ed.) …[et al], (2006), Hacia la institucionalización de los sistemas de monitoreo y evaluación en América Latina y el Caribe: actas de una conferencia del Banco Mundial / Banco Interamericano de Desarrollo, Washington, Banco Mundial, BID.

Medina Giopp, Alejandro (1998), “Mecanismos de mercado y nueva gestión pública en programas sociales: riesgos y potencialidades”, en Inequidad y política social, Rolando Franco y Domingo

96

Rivarola (eds.), Asunción, CEPAL, Centro Paraguayo de Estudios Sociológicos, Instituto Universitario para el Desarrollo Social.

__________ (2002), “Monitoría y evaluación en programas y proyectos rurales”, en Pobreza rural en América Latina y República Dominicana: desafíos para el diseño y gestión de políticas y programas sociales, Jefrey Lizardo (ed.), Santo Domingo, BID. Instituto Interamericano para el Desarrollo Social.

__________ (2005), Gestión por procesos y creación de valor público: un enfoque analítico, Santo Domingo, Washington, Instituto Tecnológico de Santo Domingo.

Molinet, Jonathan (2003), “¿Las reglas de operación en programas de política social producen efectos inesperados?”, documento presentado en el VIII Congreso del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28 al 31 de octubre.

Ospina, Sonia (2007), “Propuesta de protocolo para un estudio comparado sobre sistemas de evaluación y monitoreo en el sector público en América Latina”, New York, CLAD, Banco Mundial.

Roth, Alvin (2007), “The Art of Designing Markets”, en Harvard Business Review, Boston, October.

Rubio, Gloria Martha (2007), “Construyendo un Sistema de Evaluación y Monitoreo Basado en Resultados de los Programas Sociales”, presentación en power point del SEMBR en la Tercera Conferencia Regional sobre Monitoreo y Evaluación en América Latina y el Caribe, Banco Mundial, Lima, 23 y 24 de julio.

SEDESOL (2006), “6º Informe de labores”, México, Secretaría de Desarrollo Social.

SFP (2005), “Guía para la revisión de metas presidenciales de los Órganos Internos de Control”, México, Secretaría de la Función Pública.

__________ (2007), Presentación del Programa de Mejora de la Gestión del SED, México, Secretaría de la Función Pública, mimeo.

SHCP (2007a), “Lineamientos generales para el proceso de programación y presupuestación para el ejercicio fiscal 2008”, México, Secretaría de Hacienda y Crédito Público.

__________ (2007b), “Sistema de Evaluación del Desempeño”, México, Secretaría de Hacienda y Crédito Público, Propuesta ante la Cámara de Diputados.

Subsecretaría de Egresos (2007), “La efectividad del gasto público”, documento presentado en la CXXI Junta Macroeconómica de la Secretaría de Hacienda y Crédito Público, México.

Valadez, Joseph y Bamberger, Michael (eds.) (1994), Monitoring and Evaluating Social Programs in Developing Countries: a Handbook for Policymakers, Managers, and Researchers, Washington, Banco Mundial. Instituto de Desarrollo Económico (EDI Development Studies).

97

NORMAS CONSULTADAS “Ley General de Desarrollo Social (LGDS)”, en Diario Oficial de la Federación, México, 20 de enero de 2004.

“Decreto que establece las medidas de austeridad y disciplina del gasto de la Administración Pública Federal”, en Diario Oficial de la Federación, México, 4 de diciembre de 2006.

98

PERSONAS ENTREVISTADAS

Andrade, Sonia. Analista. Coordinación General de Mejores Prácticas. Secretaría de Gestión e Innovación (SEGI), Gobierno del Estado de Aguascalientes, México. Caballero García, Francisco. Director de Desarrollo. DICONSA. Secretaría de Desarrollo Social (SEDESOL), México. Cardozo Brum, Myriam. Investigadora, especialista en monitoreo y evaluación de programas sociales. Universidad Autónoma Metropolitana (UAM), Campus Xochimilco, México. Conde Bofil, Carola. Investigadora y responsable de consultoría en materia de monitoreo y evaluación de programas sociales del Colegio Mexiquense. Estado de México, México. Hernández Licona, Gonzalo. Secretario Ejecutivo del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), México. Laski, Julián Pablo. Responsable de consultorías del sector público de la firma PKF-Villagracia y Asociados. Buenos Aires, Argentina. Experto en metodología COSO (control interno) en el sector público. López Nova, César. Analista de Recursos Materiales. Sociedad Hipotecaria Federal, México. Martínez Mendoza, Edgar A. Director General Adjunto de Coordinación. Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), México. Millán, Alfonso. Experto Estadístico de la Dirección de Desarrollo de Procesos Estadísticos. Instituto Nacional de Economía, Geografía e Informática (INEGI), Gobierno del Estado de Aguascalientes, México. Rangel Silva, Moisés. Coordinador General de Mejores Prácticas. Secretaría de Gestión e Innovación (SEGI), Gobierno del Estado de Aguascalientes, México. Reyes Escalante, José. Director de Sistematización. Dirección General de Opciones Productivas. Secretaría de Desarrollo Social (SEDESOL), México. Rojkind O., Isaac. Director General de Opciones Productivas. Secretaría de Desarrollo Social (SEDESOL), México. Rubio, Gloria Martha. Titular de la Dirección General de Evaluación y Monitoreo de Programas Sociales. Secretaría de Desarrollo Social (SEDESOL), México. Soto, Jorge Mario. Director del Centro de Estudios Estratégicos. División de Negocios. Instituto Tecnológico de Monterrey, Campus Ciudad de México, México. Tuirán, Alejandro. Subdirector del Padrón de Beneficiarios del Programa de Abasto Social de Leche (PASL). Secretaría de Desarrollo Social / LICONSA, México. Velázquez Vadillo, Fernando. Profesor-Investigador Titular C del Departamento de Economía, Universidad Autónoma Metropolitana (UAM)-Azcapotzalco. Miembro del Sistema Nacional de Investigadores (SNI), Nivel I. Vences Rivera, José. Titular de la Dirección de Desarrollo de Procesos Estadísticos. Instituto Nacional de Economía, Geografía e Informática (INEGI), Gobierno del Estado de Aguascalientes, México.

99

GLOSARIO DE SIGLAS UTILIZADAS

ACSI Índice Americano de Satisfacción de Usuarios (siglas en inglés). APF Administración Pública Federal. CCDS Consejo Consultivo de Desarrollo Social. CGOVC Coordinación General de Órganos de Vigilancia y Control. CIDESOL Comisión Intersecretarial de Desarrollo Social. CMGP Comisión para la Mejora de la Gestión Pública. CNDS Comisión Nacional de Desarrollo Social. COFEMER Comisión Federal de Mejora Regulatoria. CONACYT Consejo Nacional de Ciencia y Tecnología. CONAPO Consejo Nacional de Población. CONEVAL Consejo Nacional de Evaluación de la Política de Desarrollo Social. CTMP Comité Técnico para la Medición de la Pobreza. CURP Clave Única de Registro de Población. DOF Diario Oficial de la Federación. ENIGH Encuesta Nacional de Ingresos y Gastos de los Hogares. IDI Índice de Desempeño Institucional. IFAI Instituto Federal de Acceso a la Información Pública. IFPRI International Food Policy Research Institute. ILPES Instituto Latinoamericano y del Caribe de Planificación Económica y Social. IMSU Índice Mexicano de Satisfacción de Usuarios. INEGI Instituto Nacional de Estadística, Geografía e Informática. LGDS Ley General de Desarrollo Social. LOAPF Ley Orgánica de la Administración Pública Federal. MIDO Modelo Integral de Desempeño de Órganos de Vigilancia y Control. MML Matriz de Marco Lógico MyE Monitoreo y Evaluación. NEP Nueva Estructura Programática. OIC Órganos Internos de Control (de las entidades y dependencias de la Administración

Pública Federal). OIG Oficina de Innovación Gubernamental. OVC Órganos de Vigilancia y Control (incluye todos los Órganos Internos de Control y a

los Delegados, Subdelegados y Comisarios Públicos de la SFP en la Administración Pública Federal).

PAN Partido de Acción Nacional. PASL Programa de Abasto Social de Leche. PBR Presupuesto Basado en Resultados. PEF Presupuesto de Egresos de la Federación. PET Programa de Empleo Temporal. PGD Plan Global de Desarrollo. PGR Procuraduría General de la República. PIPP Proceso Integral de Programación y Presupuestación. PMG Programa de Mejora de la Gestión. PND Plan Nacional de Desarrollo PPEF Proyecto del Presupuesto de Egresos de la Federación. PPP Presupuesto por Programas. PRD Partido de la Revolución Democrática. PROBECAT Programa de Becas para Capacitación de Trabajadores. PROGRESA Programa de Educación, Salud y Alimentación. PROMAP Programa de Modernización de la Administración Pública Federal. PRONAFIDE Programa Nacional de Financiamiento del Desarrollo. PRONASOL Programa Nacional de Solidaridad. RLGDS Reglamento de la Ley General de Desarrollo Social.

100

ROPF Reglas de Operación de Programas Federales. SAGARPA Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación. SCJN Suprema Corte de Justicia de la Nación. SECODAM Secretaría de la Contraloría y Desarrollo Administrativo. SECOGEF Secretaría de la Contraloría General de la Federación. SED Sistema de Evaluación del Desempeño. SEDEP Sistema Estatal de Evaluación del Desempeño de Puebla. SEDESOL Secretaría de Desarrollo Social. SEGI Secretaría de Gestión e Innovación. SEMARNAT Secretaría de Medio Ambiente y Recursos Naturales. SEMBR Sistema de Evaluación y Monitoreo Basado en Resultados de Programas Sociales. SEN Sistema Estadístico Nacional. SFP Secretaría de la Función Pública. SHCP Secretaría de Hacienda y Crédito Público. SIAFF Sistema Integrado de Administración Financiera Federal. SIAFI Sistema Integrado de Administración Financiera. SICOPA Sistema Informático de Control del Padrón. SIIPSO Sistema de Información Integral de Programas Sociales. SIMEP Sistema de Seguimiento y Evaluación de Metas Presidenciales. SIMER Sistema de Monitoreo y Evaluación de Resultados. SMyE Sistema de Monitoreo y Evaluación. SNDS Sistema Nacional de Desarrollo Social. SPC Servicio Profesional de Carrera. SUGeS Sistema Único de Gestión Social. SUIB Sistema Único de Identificación de Beneficiarios. UA Unidad Administrativa. UCEGP Unidad de Control y Evaluación de la Gestión Pública. UROP Unidades Responsables de Operación de los Programas.

101

ANEXO N° 1 Índice de Institucionalización del Sistema Nacional de Monitoreo y

Evaluación de la Gestión Pública

El índice formalmente debiese evaluar un sistema constituido y con cierta edad o nivel de maduración para poder aplicar todas las dimensiones. El SED está en proceso de consolidación; sin embargo, las iniciativas existentes que constituirán y se integrarán al SED, existen desde hace algunos años, y el índice permitiría valorar éstas y las medidas más recientes adoptadas en el proceso de implementación del SED para su aplicación en las 13 dimensiones. El Cuadro Nº 14 resume las dimensiones y valores del índice.

Cuadro Nº 14

Índice de institucionalización del Sistema

Dimensión Existe actualmente y en

buen estado (3)

Existe pero con muchos problemas

que se están trabajando

(2)

No existe. Se está planeando introducir

(1)

No existe. No se ha considerado aún

(0)

1. Existe unidad coordinadora con staff, presupuesto propio y ubicada en una entidad con poder.

Integrada por SHCP, SFP y CONEVAL, que lideran las 2 vertientes del SED. Cuenta con recursos fiscales y autoridad suficiente para liderar. Falta constituir algunos mecanismos de coordinación como comités o convenios, así como desarrollar algunos reglamentos.

2. Procesos permanentes de entrenamiento de funcionarios dentro y fuera de la unidad coordinadora.

Desde 2006 se han iniciado acciones de capacitación a la entidad coordinadora y a funcionarios de la APF en Marco Lógico y PBR. Existe ya un programa de capacitación para funcionarios públicos previsto en los lineamientos de programación y presupuestación de la SHCP (2007).

3. Aceptación de la cultura de gestión por resultados en la alta gerencia.

Existe compromiso de la alta gerencia de la APF. Existe convicción del proceso en los principales actores involucrados: Presidencia, SHCP, SFP y CONEVAL; sin embargo, falta lograr una visión común y mejor coordinación.

4. Aceptación de la cultura de gestión por resultados en mandos medios.

SED y PBR en proceso de implementación (2008). Comienza a existir uso de MyE

102

para aprendizaje organizacional.

5. El sistema ya existe en nivel territorial además del central.

El SED y el PBR están diseñados para la APF. CONEVAL iniciará acciones de difusión a nivel de entidades federativas.

6. Convergencia entre función de Planeación y función de Presupuesto dentro del sistema.

En el Presupuesto por Resultados se prevé la integración de todas las fases del ciclo de gestión. Los primeros pasos se están dando con la implementación del SED. Hasta ahora, las iniciativas están más orientadas a la planificación, pero al madurar la implementación del SED y operar el PBR se establecerá el vínculo planeación y presupuesto.

7. Mecanismos formales para facilitar comunicación entre unidad coordinadora y unidades evaluadas.

Existen lineamientos ya en operación. Falta la implementación de acuerdos y convenios de desempeño.

8. Mecanismos formales para facilitar comunicación entre unidad coordinadora y otras entidades evaluadoras.

Existen lineamientos ya en operación entre entidad coordinadora y entidades evaluadoras públicas y privadas que participan en las evaluaciones externas, así como con responsables de UROP.

9. Hay demanda de la información por parte del Congreso.

Hay demanda de información a través de la obligatoriedad que marca la Ley Hacendaria. El SED, en ambas vertientes, tiene que elaborar un informe para la Cámara de Diputados. Sin embargo, no hay aún análisis suficiente en la Cámara, de donde se derivan consecuencias para el PEF o el aprendizaje.

10. Hay demanda de información por parte del Presidente y sus ministros.

Sí; de las iniciativas existentes y se prevé de manera regular con el SED. Falta establecer mecanismos específicos de coordinación entre la

103

Oficina de Presidencia y las instituciones que lideran el SED.

11. Oferta de información en los sistemas y demanda de información en los usuarios está sincronizada.

Sí; en las iniciativas puntuales como evaluaciones externas y evaluaciones de impacto, y se prevé también en el SEMBR. Se prevé la sincronización del ciclo presupuestal al de evaluación, y la entrega oportuna a usuarios clave como el Congreso.

12. Mecanismos formales de información para la ciudadanía.

Información inicial en página electrónica, por ejemplo medición oficial de pobreza y resultados de las evaluaciones externas, folletos y spot publicitarios de algunos programas de la APF; se prevé un portal para el PBR.

13. Los resultados de la evaluación producen consecuencias concretas de acuerdo con la orientación funcional.

Solamente de rendición de cuentas y en menor medida en aprendizaje; aún no en la asignación del gasto.

104

ANEXO N° 2 Una iniciativa regional: el caso del Gobierno del Estado de

Aguascalientes95

Las iniciativas de monitoreo y evaluación de la gestión pública presentadas se orientan en su totalidad a las instituciones, dependencias y programas de la Administración Pública Federal. En México, las entidades federativas o estados poseen niveles importantes de autonomía. Se presenta a continuación, el caso de las iniciativas de monitoreo y evaluación de la gestión pública del gobierno del Estado de Aguascalientes, uno de los 32 estados de la República Mexicana96, caracterizado, por su innovación gubernamental, como una referencia frente a las iniciativas federales. El análisis de la entidad federativa sigue el mismo esquema utilizado a nivel federal de dos componentes: uno de Programas y otro de Gestión Pública. De acuerdo con la entrevista realizada al Coordinador General de Mejores Prácticas Gubernamentales de la Secretaría de Gestión e Innovación (SEGI) del Gobierno de Aguascalientes, también el gobierno prevé avanzar en el corto plazo hacia el diseño e implementación de un presupuesto basado en resultados para la gestión pública, y como se analiza más adelante, existen otras similitudes con las iniciativas federales, aunque con ciertas dosis de innovación y adaptación. Componente de Programas A nivel de Programas destaca la iniciativa de la Secretaría de Desarrollo Social (SEDESO) del Gobierno de Aguascalientes en el diseño y desarrollo de un padrón de beneficiarios para los programas a su cargo. La iniciativa es denominada SUGeS: Sistema Único de Gestión Social. El SUGeS integra un padrón que permite tener un control preciso y evitar la duplicidad en la entrega de apoyos sociales. Este sistema permite, además de mejorar la focalización, ampliar la cobertura de los programas. El sistema posibilita el fácil acceso y consulta de los programas en un solo ambiente, digitalizar documentos, huellas y fotografías, manejar bases de datos históricas de beneficiarios, y contar con un proceso de gestión social documentado y aplicado para una eficaz respuesta a las peticiones recibidas. De hecho, la titular de la SEDESO considera que el SUGeS puede ser extendido a toda la gestión gubernamental. “El SUGeS es un método actualmente utilizado por la Secretaría para el registro y control de sus beneficiarios, que sin embargo podría actuar como eje rector e integrador de padrones de todas las dependencias del gobierno estatal” (Boletín Nº 2598 del Gobierno del Estado de Aguascalientes, Aguascalientes. 4 de mayo de 2007; portal del gobierno: http://www.aguascalientes.gob.mx). Los programas son evaluados en cuanto a la entrega de productos por funcionarios de la SEDESO con base en registros administrativos y a través de encuestas de satisfacción de usuarios. No se realizan aún evaluaciones de impacto de los programas sociales, y tampoco se prevé en el corto plazo la realización de evaluaciones externas; los padrones tienen limitada capacidad de geo referenciar la información para mostrar condiciones multidimensionales de pobreza. En el caso de la expansión vertical del SEMBR a través de las delegaciones de la SEDESOL, estos programas podrían quizás ser incorporados en el sistema, además de los programas de la SEDESOL. Existen siete programas sociales y cuatro programas sociales más calificados como especiales. 95 Agradezco a Moisés Rangel Silva, Coordinador General de Mejores Prácticas Gubernamentales del Gobierno de Aguascalientes, por la larga entrevista realizada y su atención. También a Sonia Andrade, Analista de Innovación e Informática de la misma oficina. 96 Aguascalientes constituye el centro geográfico del país; tiene una población de alrededor de un millón de habitantes.

105

Programas: Valgo. Su población objetivo son personas discapacitadas. Los servicios que presta consisten en capacitación orientada a potenciar la autoestima, entrega de despensas y apoyo para lograr autoempleo. Espacios. Programa de vivienda; apoya con calentadores solares, provisión de focos de bajo consumo, blocks de cemento y materiales de apoyo a la construcción en general. Estaciones de Desarrollo. Centros de servicios múltiples de apoyo familiar. Los servicios son apoyos en especie, trámites para inscripción en programas sociales, atención psicológica, lugares de esparcimiento familiar, atención infantil, ventanilla de trámites del estado, entre otros. Vértebra. Promueve la creación de microempresas orientadas a casas de atención infantil; se contratan mujeres de escasos recursos y se facilita a mujeres trabajadoras el servicio de estancia infantil. Se entregan becas y servicios de estancia infantil. Impulsa. Programa alimentario orientado a la población infantil y capacitación a madres sobre orientación nutricional. Se entrega material educativo. Genera. Orientado a la capacitación y asistencia técnica para micro y pequeñas empresas; asesoría en gestión de fondos. Justicia para todos. Asistencia jurídica para arbitraje y mediación a los más pobres, seguridad jurídica en transacciones particulares, soluciones a controversias, etc. Programas Innovadores: DeshilArte. Promueve el desarrollo individual y comercial de los artesanos dedicados al deshilado (textiles). Transforma. Promueve la autoestima en mujeres en situaciones de desventaja, y les apoya para su autosuficiencia. Por mi tierra. Padrón estatal de ciudadanos exitosos en otras ciudades del país y en el exterior para que realicen proyectos productivos en su lugar de origen. Promujer. Forma y capacita mujeres para su autosuficiencia. Componente de Gestión Pública La Secretaría de Gestión e Innovación, SEGI (antes Secretaría de Finanzas y Administración del Estado), lidera las iniciativas en este componente, que en alguna medida son similares a las existentes a nivel federal. Dentro del Plan Nacional de Desarrollo del Estado 2004-2010, a la SEGI le corresponde impulsar el Reto 12: Innovación en la administración pública y fomento a la tecnología97. Destacan las siguientes iniciativas: Mejoras a procesos transversales. En los primeros años del gobierno (2004-2010), el sistema de contratación administrativa se agilizó a través de un completo y actualizado registro de proveedores, el uso de modalidades novedosas de contratación como la subasta pública, y prácticas de “compras consolidadas” que permiten importantes ahorros al gobierno estatal derivadas de economías de escala. La gestión de recursos humanos o estrategia de capital humano, como se designa por las autoridades del gobierno, ha logrado transparencia en el proceso de reclutamiento y selección de personal mediante un sistema de concurso administrado por una universidad pública. En esta estrategia se desarrolla además, a partir de 2007, un diplomado en gestión pública en convenio con una prestigiosa universidad privada, y se aplica un elaborado sistema de evaluación del desempeño del personal. Servicios innovadores gobierno-ciudadano. Para mejorar el punto de encuentro entre la administración y los ciudadanos, se establecieron Módulos Inteligentes de Servicios (MIS), así como Centros de Atención y Servicios. Además, junto con un novedoso portal del gobierno del estado, se presenta una oferta disponible de 400 trámites o servicios, que en buena medida pueden ser realizados en línea, lo que constituye un avance importante en materia de gobierno electrónico, logrando economías tanto en usuarios como en proveedores, y mayor transparencia.

97 Gobierno del Estado de Aguascalientes. Plan Nacional de Desarrollo 2004-2010. Aguascalientes, México.

106

Modelo de calidad gubernamental. Con una orientación similar al Intragob en la Administración Pública Federal, aunque sin coordinación y vinculación directa con la Oficina de Innovación Gubernamental, se diseñó y aplica el denominado Modelo Excellentia. Al igual que en el nivel federal, el modelo se inscribe en una orientación de Buen Gobierno que coordina el Consejo Ciudadano de Buen Gobierno, constituido por 24 consejeros que incluyen rectores universitarios, directores de empresas, organizaciones no gubernamentales, etc. Los evaluadores de la aplicación del Modelo Excellentia son denominados Constatadores Ciudadanos (auditores externos), quienes son voluntarios. Este modelo ha sido de adopción voluntaria por cuatro dependencias de la administración pública del estado, como prueba piloto, pero a partir de 2008 será de aplicación obligatoria a todas las dependencias de la administración pública de Aguascalientes. Constituye un acabado esquema de evaluación de la organización y gestión pública de las entidades y dependencias de la administración gubernamental, inspirado en los esfuerzos de premiación a la calidad e innovación del sector privado y, más recientemente, en diversos gobiernos de países de la OCDE y América Latina, y en las normas internacionales de certificación de la calidad. Otras iniciativas. Recientemente se ha creado el Instituto de Transparencia del Estado de Aguascalientes (ITEA) lo que impulsa la consolidación de las iniciativas de Buen Gobierno; fue creado su portal electrónico. También, basadas en el Citizen Chart, se ha impulsado la implementación de Cartas Ciudadanas, denominadas como “Triple C: Carta Compromiso Ciudadana”. De acuerdo con el Manual de la Carta Compromiso del Estado de Aguascalientes, los objetivos son: · “Fortalecer la confianza y credibilidad de la ciudadanía en la Gestión Pública Estatal gracias a que

en ésta se percibe perfeccionamiento, eficiencia y eficacia. · Dotar a la ciudadanía de un instrumento de vigilancia que se sume a los esfuerzos para prevenir y

abatir la corrupción. · Definir, mediar y comunicar las normas de servicio de cada trámite y servicio de alto impacto que

proporciona el Gobierno del Estado para que sean ampliamente conocidos por la ciudadanía” (Estado de Aguascalientes, Secretaría de Gestión e Innovación, 2006: 5).

Actualmente hay 92 CCC en proceso. Sistemas de evaluación de la gestión. Existen dos sistemas que establecen indicadores de seguimiento: uno con énfasis en el nivel estratégico y otro en el operativo. El SIGA, Sistema de Indicadores del Gobierno de Aguascalientes, tiene un nivel más estratégico, y el GIGA, Gestión de Indicadores del Gobierno de Aguascalientes, tiene un nivel más operativo y centrado en la explotación de datos.

El SIGA es una herramienta de planeación estratégica que apoya la toma de decisiones de los distintos niveles directivos, es decir es un cuadro de mando directivo. Además, informa a los usuarios sobre el estatus y evolución de los programas y sus líneas de acción, la obra pública y los proyectos de inversión del gobierno del estado garantizando la transparencia de la gestión gubernamental y ofreciendo al público información puntual y oportuna. Sus principales funciones son: · Evaluar el cumplimiento. · Controlar y vigilar el ejercicio del gasto del gobierno. · Localizar geográficamente las acciones del gobierno y su inversión. · Detectar necesidades de aplicación de recursos en zonas vulnerables. · Evaluar el desempeño de funcionarios. · Informar a la ciudadanía. · Proporcionar información estratégica para la toma de decisiones. Reportes del SIGA: se manejan cuatro tableros electrónicos (ejecutivo, técnico, transparencia, obra pública), de los cuales en cada uno de los casos se tienen a su vez información en cuadros estadísticos y gráficas que muestran la información necesaria para reportar el avance en materia integral y los avances reflejados en indicadores estadísticos o de gestión.

107

Acceso a los resultados: es de carácter confidencial; sin embargo, la vista que se pretende que tenga hacia la ciudadanía será el propio portal de transparencia, por lo que pronto será de acceso público. El Cuadro Nº 15 muestra una ficha de información relativa a proyectos, que sistematiza los resultados de acuerdo con líneas de acción, establece medidas y compromisos.

Cuadro Nº 15 Ficha de información

Proyectos

Reestructura la forma de organizar la Semana de Excelencia del 2007, así como los Foros de Prácticas Exitosas 2007

Poca participación de personas de la SEGI y de todo el GEA en las

conferencias

Se recibieron TRES Reconocimientos Innova Estatal 2006

Se presentóexitosamente el modelo de ExcellentiaSe llevaron a cabo las 4 conferencias

Terminado

Terminado

Terminado

100 %

100 %

100 %

Plan Sectorial de Buen Gobierno

Reconocimientos Innova Estatal 2006

Semana de

Excelencia

CompromisoMedidasSituaciónPlanEstatusProyecto

Mejores PrácticasLínea de Acción

Servicios con Innovación para la GentePrograma PDE 2004- 2010

Fuente: Secretaría de Gestión e Innovación del Estado de Aguascalientes, presentación en power point de la Oficina de Coordinación de Mejores Prácticas Gubernamentales.

Por su parte, el sistema de Gestión de Indicadores del Gobierno de Aguascalientes (GIGA) define indicadores de carácter más operativo, que alimentan el nivel estratégico. La base de información son registros administrativos y encuestas a servicios. Los reportes del GIGA son revisados periódicamente por el Gobernador y su equipo directivo; presenta reportes que muestran resultados y tendencias, por ejemplo relativas al volumen de transacciones electrónicas realizadas en servicios que permiten la interacción en línea con sus usuarios, quejas ciudadanas, tiempos de realización de trámites, uso del tiempo de funcionarios, etc. Estos indicadores son más para la realización de reportes internos de desempeño. Es importante señalar que aunque no existen en el diseño y operación de estas iniciativas vínculos directos con las iniciativas descritas a nivel federal, existen algunas similitudes en el enfoque, especialmente en el ámbito de Gestión Pública, aunque con grados propios de innovación. La Secretaría de Gestión e Innovación del estado se constituye en el líder de las iniciativas de Gestión Pública, que han logrado bastante visibilidad y legitimación, y la Secretaría de Desarrollo Social lidera la iniciativa de Programas, ambas coordinadas a nivel de la Oficina del Gobernador en tanto núcleo estratégico. Por otra parte, si el SEMBR logra su expansión vertical a través de las delegaciones de la SEDESOL, e incorpora además de sus programas a los de la SEDESO, seguramente estimularía las evaluaciones externas como complemento de información y articularía la expansión del Sistema de Evaluación del Desempeño (SED). Esta iniciativa estatal puede madurar tanto en la vertiente de programas sociales como en la de gestión pública. En la primera, el uso del padrón podría mejorar su alcance al contar con información geo

108

referenciada, así como ampliarse a la totalidad de los programas. Además, podrían sumarse otras iniciativas como la evaluación de impacto. En cuanto a la vertiente gerencial, ésta está más desarrollada que la relativa a programas. Habría que sistematizar los esfuerzos de ambas vertientes para lograr síntesis de la información del desempeño de programas e instituciones, y acompañarla al ciclo presupuestal para, como desean los líderes de estas iniciativas, lograr que las mismas tengan consecuencias en el presupuesto. Existe respaldo de la oficina gubernamental para llevar adelante estas iniciativas y quedan varios años del actual gobierno, por lo que se prevé avances significativos dado el apoyo y los cuadros técnicos existentes.

109

el sistema nacional de monitoreo y evaluación de la ... · el equipo clad-banco mundial a cargo...

Documents